NVIDIA DCGM Metrics

Конфигурация сбора данных содержит конфигурации для сбора GPU-метрик NVIDIA через DCGM Exporter с помощью Smart Monitor Data Collector и Smart Beat Manager.

Модель данных

Данные нормализуются в индекс gen_ai_gpu_metrics. Каждая Prometheus-серия DCGM превращается в отдельный документ с именем метрики, значением, типом, GPU UUID, моделью GPU, PCI bus id и метаданными exporter.

Состав конфигурации сбора данных

1. sm_data_collector_pipelines – конфигурационный файл pipeline Smart Monitor Data Collector:
   • nvidia_dcgm_metrics.conf – GPU-метрики (DCGM Exporter) → gen_ai_gpu_metrics.
2. opensearch – шаблон индекса gen_ai_gpu_metrics.
3. sample – примеры исходных (original) и разобранных (expected) данных.
4. SmartBeatManager – приложение Scriptbeat:
   • scriptbeat_nvidia_dcgm_metrics – запуск collect_gpu_metrics.py (скрейп /metrics DCGM Exporter, без Docker).

Предварительные требования

Предполагается, что ПО установлено по стандартным путям:

/app/logstash/
/app/smartBeatManager/
/app/smartBeat/

На GPU-хосте должен быть доступен HTTP-эндпойнт /metrics DCGM Exporter.

1. Настройка Smart Monitor Data Collector

1.1. Размещение pipeline-конфигов

Содержимое каталога sm_data_collector_pipelines/ разместите в /app/logstash/config/conf.d.

1.2. Ключи logstash.keystore

В logstash.keystore должен присутствовать ключ:

• ES_PWD — пароль пользователя logstash для подключения к Smart Monitor.

1.3. Подключение pipeline в pipelines.yml

В файл /app/logstash/config/pipelines.yml добавьте:

### NVIDIA DCGM Metrics

- pipeline.id: nvidia_dcgm_metrics
  path.config: "/app/logstash/config/conf.d/nvidia_dcgm_metrics.conf"

1.4. Замена токенов в конфигах

В размещённом nvidia_dcgm_metrics.conf замените:

• HOST:PORT в output.opensearch — адрес и порт Smart Monitor;
• PORT в input.beats — порт приёма данных от Smart Beat.

1.5. Перезапуск Logstash

systemctl restart logstash

2. Настройка Smart Beat Manager

2.1. Размещение приложений и binaries

Каталог SmartBeatManager/apps/scriptbeat_nvidia_dcgm_metrics разместите в /app/smartBeatManager/apps, а совместимый OSS-дистрибутив Scriptbeat — в /app/smartBeatManager/binaries.

2.2. Параметры приложения

В scriptbeat.yml замените HOST:PORT на адрес и порт Smart Monitor Data Collector.

Адрес и набор метрик задаются переменными:

• DCGM_EXPORTER_URL — основной endpoint, по умолчанию http://127.0.0.1:9401/metrics;
• DCGM_EXPORTER_FALLBACK_URL — резервный endpoint, по умолчанию http://127.0.0.1:9400/metrics;
• DCGM_KEEP_METRICS — список DCGM-метрик для сбора; пустое значение означает все DCGM_FI_DEV_*.

Поток данных

Соответствие конфигов и индексов

Кто использует данные

Дашборды и правила