Перейти к содержимому
Правило корреляции

AI Security: LLM01 — Промпт-инъекции

Правило обнаруживает попытки промпт-инъекций во входных запросах к LLM (OWASP LLM01) по библиотеке из 45 сигнатур на русском и английском: джейлбрейки, подмена роли, извлечение системного промпта.

Флагманское правило модуля AI Security (OWASP LLM Top 10, LLM01). Обнаруживает попытки промпт-инъекций во входных запросах пользователей к LLM-приложениям: игнорирование инструкций, подмена роли, джейлбрейки, извлечение системного промпта, обфускация кодированием.

Как работает

  • Источник: события LLM-шлюза в индексах gen_ai_events* (event_type = request_completed, непустое поле question).
  • Логика: текст запроса сверяется с библиотекой регулярных выражений из справочника prompt_injection_patterns — 45 сигнатур на русском и английском языках, сгруппированных по техникам (подмена инструкций, ролевая игра, джейлбрейк, извлечение промпта, обход ограничений, кодирование, косвенные инъекции). При срабатывании фиксируются имя сигнатуры и подкатегория техники.
  • Расписание: */14 * * * *; троттлинг — 5 минут.

В карточке инцидента: сервис, модель, пользователь, текст запроса, сработавшая сигнатура и рекомендации по реагированию (включая корреляцию с правилами LLM07 — опасные действия после инъекции).

Требования

  • Smart Monitor: >=6.1
  • Источники данных: телеметрия GenAI в gen_ai_events* — конфигурация сбора opentelemetry_gen_ai.
  • Справочник prompt_injection_patterns: определение и полная библиотека сигнатур приложены в object/lookups/.

Установка

  1. Загрузите архив ai_security_llm01_prompt_inekcii-<версия>.zip в меню «Управление контентом» и установите задачу и справочник prompt_injection_patterns.
  2. Загрузите в справочник prompt_injection_patterns данные из data/prompt_injection_patterns.csv архива: меню «Управление контентом» переносит только описание справочника.
  3. Включите задачу в планировщике: она устанавливается выключенной.
  4. По мере появления новых техник дополняйте библиотеку сигнатур.

Поток данных

Конфигурация сбора
OpenTelemetry GenAI
Данные
gen_ai_events*
Справочники
prompt_injection_patterns
Правило корреляции
AI Security: LLM01 — Промпт-инъекции

Конфигурации сбора данных

Разработчик
VolgaBlob
Категория
Безопасность · AI и ML
Тип
Правило корреляции
Задание Планировщика задач с активными действиями
Стоимость
Бесплатно
Лицензия
Apache 2.0
Связанные модули
Конфигурации сбора данных