Vigil: сканер безопасности LLM с открытым исходным кодом.

Vigil — это сканер безопасности с открытым исходным кодом, который обнаруживает точечные инъекции, взломы и другие потенциальные угрозы для больших языковых моделей (LLM).

Мгновенная инъекция возникает, когда злоумышленнику удается повлиять на LLM, используя специально созданные входные данные. Это приводит к тому, что LLM непреднамеренно выполняет цели, указанные злоумышленником.

«Меня очень воодушевили возможности для обладателей степени LLM, но я также заметил необходимость в более эффективных методах обеспечения безопасности приложений, созданных на их основе, и данных, к которым мы предоставляем приложениям доступ. Этот проект дал мне прекрасную возможность создать что-то, что сочетает в себе Искусственный интеллект и кибербезопасность. Мы надеемся, что это предоставит исследователям и разработчикам: «Другие специалисты в области безопасности начинают экспериментировать с существующими мерами обеспечения целостности входных и выходных данных LLM и даже создавать свои собственные. «Что возможно» — это больше, чем все, чего я ожидал. использоваться непосредственно в производстве», — сказал Адам М. Сванда, создатель Vigil для Help Net Security.

Основные характеристики сканера безопасности Vigil LLM

• Модульная и расширяемая конструкция
• Поддерживает YARA (вывод), сходство векторной базы данных, модель преобразователя и сходство QR.
• Пользовательские сканеры можно добавить с помощью небольшого кода.
• Самостоятельное размещение или использование OpenAI
• Предоставляются наборы данных для встраивания и подписи YARA.
• Vector DB может автоматически обновляться с учетом обнаруженных запросов при совпадении пороговых значений сканеров.
• Широкие возможности настройки (включение/отключение сканеров, настройка пороговых значений, использование различных моделей внедрения и т. д.)
• Его можно легко расширить, добавив специальные сканеры, новые подписи YARA или обновив базу данных векторов.

Дежурство доступно для скачивания по адресу github. Этот репозиторий также предоставляет сигнатуры обнаружения и наборы данных, необходимые для запуска самостоятельного размещения.

Сванда планирует продолжить разработку Vigil в ближайшем будущем. В частности, он работал над приложением, предназначенным для оценки Vigil и его различных сканеров на основе пользовательских наборов данных. Это приложение оценивает такие аспекты, как ложные срабатывания и другие соответствующие показатели. Кроме того, Сванда изучает методы обнаружения точечных инъекций на основе изображений.

Дополнительные инструменты с открытым исходным кодом, которые стоит рассмотреть: