LiteLLM

Конфигурация сбора данных содержит конфигурации для сбора usage/cost/error данных LiteLLM из PostgreSQL, а также оверлей-конфиги для включения OTLP-экспорта LiteLLM.

Модель данных

Данные нормализуются в индексы gen_ai_cost и gen_ai_events. Spend logs формируют документы стоимости и события вызовов, error logs формируют события ошибок proxy.

Состав конфигурации сбора данных

1. sm_data_collector_pipelines – конфигурационный файл pipeline Smart Monitor Data Collector:
   • litellm_spendlogs.conf – cost/usage из PostgreSQL LiteLLM → gen_ai_cost, gen_ai_events.
2. opensearch – шаблоны индексов gen_ai_cost и gen_ai_events.
3. sample – примеры исходных (original) и разобранных (expected) данных.
4. llm_gateway – оверлей-конфиги для LiteLLM:
   • host-config.yaml – добавляет success_callback/failure_callback: [otel] и цены за токены;
   • otel.override.yml – docker-compose override с переменными OTLP-экспорта;
   • .env.example – шаблон переменных окружения.

Предварительные требования

Предполагается, что ПО установлено по стандартным путям:

/app/logstash/

Для JDBC-сбора должен быть доступен PostgreSQL LiteLLM и JDBC-драйвер PostgreSQL.

1. Настройка Smart Monitor Data Collector

1.1. Размещение pipeline-конфигов

Содержимое каталога sm_data_collector_pipelines/ разместите в /app/logstash/config/conf.d.

1.2. Ключи logstash.keystore

В logstash.keystore должны присутствовать ключи:

• ES_PWD — пароль пользователя logstash для подключения к Smart Monitor;
• PG_PWD — пароль пользователя PostgreSQL LiteLLM;
• JDBC_DRIVER_LIBRARY — путь к PostgreSQL JDBC-драйверу.

Добавление и просмотр ключей:

sudo -u logstash /app/logstash/bin/logstash-keystore add имя_ключа
sudo -u logstash /app/logstash/bin/logstash-keystore list

1.3. Подключение pipeline в pipelines.yml

В файл /app/logstash/config/pipelines.yml добавьте:

### LiteLLM

- pipeline.id: litellm_spendlogs
  path.config: "/app/logstash/config/conf.d/litellm_spendlogs.conf"

1.4. Замена токенов в конфигах

В размещённом litellm_spendlogs.conf замените:

• HOST:PORT в output.opensearch — адрес и порт Smart Monitor;
• PG_HOST, PG_PORT, PG_DB — подключение к БД LiteLLM.

1.5. Перезапуск Logstash

systemctl restart logstash

2. Настройка OTLP-экспорта LiteLLM

Оверлей-конфиги в llm_gateway/litellm/ не устанавливают LiteLLM, а дополняют существующее развертывание:

• host-config.yaml — пример host-конфига LiteLLM;
• otel.override.yml — docker-compose override для OTLP-переменных;
• .env.example — пример переменных окружения.

Перед применением замените значения LITELLM_*, DATABASE_URL, OTEL_EXPORTER_OTLP_ENDPOINT, OTEL_SERVICE_NAME и OTEL_ENVIRONMENT_NAME.

Поток данных

Соответствие конфигов и индексов

Кто использует данные

Дашборды и правила