Описание
AI Observability расширяет Smart Monitor до полной наблюдаемости AI-инфраструктуры: её состояния, стоимости и надёжности. Модуль собирает телеметрию LLM-сервисов, GPU, AI-агентов и локальных AI-клиентов в единое окно состояния, расходов и производительности с готовыми сценариями для команд эксплуатации, ML и FinOps.
Для кого: ML/AI-платформенные инженеры и DevOps, FinOps, CTO и руководители AI-направления.
Возможности
Шесть сценариев наблюдаемости AI-контура — от GPU до расходов на LLM.
Единое окно AI-инфраструктуры
Сводная операционная картина всего AI-контура с переходом к состоянию GPU в один клик.
- Живое состояние LLM-моделей и AI-сервисов
- Запросы, трейсы, события, токены и стоимость
- GPU: загрузка, видеопамять, температура, ошибки
Прозрачность расходов на LLM
Контроль потребления и стоимости LLM-запросов по моделям и провайдерам.
- Токены и стоимость по моделям и провайдерам
- Аномальный рост расходов и самые дорогие запросы
- Сравнение эффективности моделей по потреблению
Анализ AI-агентов и трассировок
Разбор поведения AI-агентов и структуры запросов на уровне отдельных спанов.
- Запросы, ответы, tool-вызовы, токены, латентность
- Drilldown к трассировкам: спаны, карта запроса, ошибки
- Поиск узких мест на уровне tool-вызовов
Мониторинг локальных AI-клиентов
Наблюдаемость AI-инструментов разработчиков на примере Claude Code.
- Диалоговая активность и потребление токенов
- События и ошибки приложения
- Распределение по пользователям и проектам
Метрики и производительность AI-сервисов
Наблюдение за производительностью inference и AI-сервисов на уровне runtime-метрик.
- Очередь, латентность и кэш inference-сервисов (vLLM)
- Поток метрик и матрица покрытия метриками
- Каталог метрик с типом и графиком за период
Здоровье AI-инфраструктуры в МАЯК
Шесть готовых глобальных метрик включают AI-контур в ресурсно-сервисную модель здоровья.
- GPU, длительность запросов, ошибки, доступность
- Ранние сигналы деградации до жалоб пользователей
- Настраиваемые пороги критичности