vLLM Metrics

Конфигурация сбора данных содержит конфигурации для сбора inference-метрик vLLM из Prometheus /metrics с помощью Smart Monitor Data Collector и Smart Beat Manager.

Модель данных

Данные нормализуются в индекс gen_ai_metrics. Собираются метрики очереди, latency, token usage, prefix cache, preemption и состояние engine.

Состав конфигурации сбора данных

1. sm_data_collector_pipelines – конфигурационный файл pipeline Smart Monitor Data Collector:
   • vllm_metrics.conf – метрики инференса vLLM → gen_ai_metrics.
2. opensearch – шаблон индекса gen_ai_metrics.
3. sample – примеры исходных (original) и разобранных (expected) данных.
4. SmartBeatManager – приложение Scriptbeat:
   • scriptbeat_vllm_metrics – запуск collect_vllm_metrics.py (скрейп /metrics vLLM).

Предварительные требования

Предполагается, что ПО установлено по стандартным путям:

/app/logstash/
/app/smartBeatManager/
/app/smartBeat/

На хосте инференса должен быть доступен HTTP-эндпойнт /metrics vLLM.

1. Настройка Smart Monitor Data Collector

1.1. Размещение pipeline-конфигов

Содержимое каталога sm_data_collector_pipelines/ разместите в /app/logstash/config/conf.d.

1.2. Ключи logstash.keystore

В logstash.keystore должен присутствовать ключ:

• ES_PWD — пароль пользователя logstash для подключения к Smart Monitor.

1.3. Подключение pipeline в pipelines.yml

В файл /app/logstash/config/pipelines.yml добавьте:

### vLLM Metrics

- pipeline.id: vllm_metrics
  path.config: "/app/logstash/config/conf.d/vllm_metrics.conf"

1.4. Замена токенов в конфигах

В размещённом vllm_metrics.conf замените:

• HOST:PORT в output.opensearch — адрес и порт Smart Monitor;
• PORT в input.beats — порт приёма данных от Smart Beat.

1.5. Перезапуск Logstash

systemctl restart logstash

2. Настройка Smart Beat Manager

2.1. Размещение приложений и binaries

Каталог SmartBeatManager/apps/scriptbeat_vllm_metrics разместите в /app/smartBeatManager/apps, а совместимый OSS-дистрибутив Scriptbeat — в /app/smartBeatManager/binaries.

2.2. Параметры приложения

В scriptbeat.yml замените HOST:PORT на адрес и порт Smart Monitor Data Collector.

Адрес и параметры источника задаются переменными:

• VLLM_METRICS_URL — endpoint vLLM metrics, по умолчанию http://127.0.0.1:8000/metrics;
• VLLM_SERVICE_NAME — имя сервиса, по умолчанию vllm;
• DEPLOYMENT_ENVIRONMENT — имя окружения.

Поток данных

Соответствие конфигов и индексов

Кто использует данные