Codex

Конфигурация сбора данных содержит конфигурации для сбора локальных rollout-сессий Codex, событий usage и расчетной стоимости с помощью Smart Monitor Data Collector и Smart Beat Manager.

Модель данных

Данные нормализуются в индексы gen_ai_events и gen_ai_cost. События содержат параметры сессии, модель, usage токенов, длительность запроса и локальные метаданные окружения. Стоимость рассчитывается по таблице цен в pipeline-конфигурации.

Состав конфигурации сбора данных

1. sm_data_collector_pipelines – конфигурационный файл pipeline Smart Monitor Data Collector:
   • codex.conf – сессии Codex (события + usage) → gen_ai_events, gen_ai_cost.
2. opensearch – шаблоны индексов gen_ai_events и gen_ai_cost.
3. sample – примеры исходных (original) и разобранных (expected) данных.
4. SmartBeatManager – приложение Filebeat:
   • filebeat_codex – чтение нативных rollout-сессий Codex.

Предварительные требования

Предполагается, что ПО установлено по стандартным путям:

/app/logstash/
/app/smartBeatManager/
/app/smartBeat/

При нестандартных путях проверьте конфигурационные файлы и скорректируйте пути вручную.

1. Настройка Smart Monitor Data Collector

1.1. Размещение pipeline-конфигов

Содержимое каталога sm_data_collector_pipelines/ разместите в /app/logstash/config/conf.d.

1.2. Ключи logstash.keystore

В logstash.keystore должен присутствовать ключ:

• ES_PWD — пароль пользователя logstash для подключения к Smart Monitor.

1.3. Подключение pipeline в pipelines.yml

В файл /app/logstash/config/pipelines.yml добавьте:

### Codex

- pipeline.id: codex
  path.config: "/app/logstash/config/conf.d/codex.conf"
  pipeline.workers: 1

Pipeline собирает документ из нескольких строк сессии, поэтому ему задан pipeline.workers: 1.

1.4. Замена токенов в конфигах

В размещённом codex.conf замените:

• HOST:PORT в output.opensearch — адрес и порт Smart Monitor;
• PORT в input.beats — порт приёма данных от Smart Beat.

Стоимость вызовов Codex считается по таблице цен в блоке ruby { init => ... } файла codex.conf (USD за 1M токенов) — проверьте и при необходимости скорректируйте цены под свои модели.

1.5. Перезапуск Logstash

systemctl restart logstash

2. Настройка Smart Beat Manager

2.1. Размещение приложений и binaries

Каталог SmartBeatManager/apps/filebeat_codex разместите в /app/smartBeatManager/apps, а совместимый OSS-дистрибутив Filebeat — в /app/smartBeatManager/binaries.

2.2. Параметры приложения

В filebeat.yml замените:

• HOST:PORT — адрес и порт Smart Monitor Data Collector;
• <HOME> — домашний каталог пользователя.

Источники, из которых собираются данные:

Поток данных

Соответствие конфигов и индексов

Кто использует данные