OpenTelemetry GenAI

Конфигурация сбора данных содержит конфигурации OpenTelemetry Collector и Data Prepper для приема трассировок, событий и метрик AI-сервисов по OTLP и записи данных в индексы gen_ai_* Smart Monitor.

Модель данных

В основе модели данных лежит открытый стандарт OpenTelemetry GenAI semantic conventions. Collector и Data Prepper нормализуют атрибуты service.*, deployment.*, gen_ai.*, tool.* и app.* к именам, пригодным для поиска в Smart Monitor.

Состав конфигурации сбора данных

1. opensearch – шаблоны индексов gen_ai_traces, gen_ai_metrics и gen_ai_events.
2. otlp_collector – OTLP-домен приёма:
   • docker-compose.yml – запуск otel-collector и data-prepper;
   • otel-collector/config.yaml – приём OTLP (gRPC/HTTP) и нормализация атрибутов;
   • data-prepper/pipelines.yaml – пайплайны traces/metrics/events в OpenSearch;
   • .env.example – шаблон переменных окружения.

Предварительные требования

На хосте должны быть доступны Docker и docker compose. Smart Monitor должен быть доступен по HTTPS endpoint, указанному в .env.

1. Настройка индексов OpenSearch

Выполните шаблоны из opensearch/*.json и при необходимости привяжите индексы к политике ISM.

2. Настройка OTLP Collector и Data Prepper

2.1. Подготовка переменных окружения

Создайте .env на основе otlp_collector/.env.example и заполните:

• SMART_MONITOR_HOST, SMART_MONITOR_PORT;
• SMART_MONITOR_USERNAME, SMART_MONITOR_PASSWORD;
• SMART_MONITOR_VERIFY_SSL;
• OTEL_COLLECTOR_HOST, OTEL_COLLECTOR_GRPC_PORT, OTEL_COLLECTOR_HTTP_PORT;
• DATA_PREPPER_TRACES_PORT, DATA_PREPPER_METRICS_PORT, DATA_PREPPER_LOGS_PORT;
• DEPLOYMENT_ENVIRONMENT.

2.2. Запуск collector stack

Из каталога otlp_collector выполните:

docker compose up -d

2.3. Подключение источников OTLP

Настройте AI-сервисы и LLM-gateway на отправку OTLP-телеметрии в collector:

gRPC: ${OTEL_COLLECTOR_HOST}:${OTEL_COLLECTOR_GRPC_PORT}
HTTP: http://${OTEL_COLLECTOR_HOST}:${OTEL_COLLECTOR_HTTP_PORT}

Поток данных

Соответствие компонентов и индексов

Кто использует данные

Дашборды и правила