Сводный обзор AI-инфраструктуры: трафик и стоимость LLM, провайдеры и модели, активность AI-сервисов, состояние GPU, вызовы инструментов и результаты запросов агентов.
Сводный дашборд AI-инфраструктуры из модуля AI Observability. Единая точка обзора для команды, эксплуатирующей LLM-сервисы: сколько стоит трафик моделей, какие провайдеры и модели используются, живы ли AI-сервисы и GPU, как ведут себя агенты и их инструменты.
Что внутри
KPI-панели по объёму телеметрии и расходам.
Распределение токенов и стоимость моделей, USD.
LLM: провайдеры и модели, AI-сервисы, активность AI-сервисов.
GPU: состояние устройств (метрики NVIDIA DCGM).
Типы событий, вызовы инструментов, запросы моделей, средняя длительность запроса, результаты запросов агентов, покрытие сервисов доменами данных.
Фильтр: временной диапазон.
Требования
Smart Monitor: >=6.1
Источники данных: индексы gen_ai_traces*, gen_ai_metrics*, gen_ai_events*, gen_ai_cost*, gen_ai_gpu_metrics*. Настраиваются конфигурациями сбора: opentelemetry_gen_ai (трассировки, метрики и события по OTLP), litellm (стоимость и usage LLM-gateway), nvidia_dcgm_metrics (метрики GPU).
Справочники не требуются.
Установка
Загрузите архив ai_observability_overview-<версия>.zip в меню «Управление контентом» и установите дашборд.