Описание
Kafka Manager — партнёрский модуль Группы НН2 для мониторинга кластера Apache Kafka и управления топиками и группами консьюмеров. Независимо от размера инфраструктуры можно контролировать производительность, обеспечивать безопасность и принимать оперативные меры для оптимизации работы системы.
Модуль отслеживает параметры работы Apache Kafka — производительность, загрузку, пропускную способность, использование ресурсов, состояние каждого брокера и топика — и позволяет управлять конфигурацией топиков. Содержимое модуля — набор дашбордов, структурно разделённых на разделы мониторинга и управления.
Apache Kafka — распределённая платформа обработки данных в реальном времени, которая обеспечивает надёжную передачу сообщений между различными приложениями и системами.
Для кого: администраторы кластеров Apache Kafka, служба эксплуатации платформы, инженеры потоков данных.
Возможности
Разделы мониторинга и управления кластером Apache Kafka — от состояния брокеров до операций над топиками и консьюмер-группами.
Состояние кластера
Общее состояние кластера и текущий поток сообщений: число активных брокеров и контроллеров, число топиков, состояние партиций.
- Брокеры и контроллеры онлайн, активные контроллеры
- Партиции онлайн, офлайн и недореплицированные
- Входящие сообщения в секунду и прирост за интервал
- Справочник узлов: роль, версия Apache Kafka, данные о JDK
Загруженность и задержка
Загруженность кластера и задержка при ключевых запросах к брокерам.
- Загруженность сетевого процессора и обработчика запросов
- Задержка запросов продюсеров, консьюмеров и последователей
- Общие показатели по кластеру и разбивка по брокерам
Пропускная способность
Потоки данных в кластере: количество обработанных запросов и скорость передачи сообщений.
- Входящий и исходящий поток байтов по топикам и по брокерам
- Частота входящих запросов на запись и на чтение
- Входящие сообщения на топик и запросы к продюсерам
Диагностика неполадок и JVM
Панели с данными о возможных проблемах кластера и метрики Java Virtual Machine, важные для его функционирования.
- Неудачные запросы от продюсеров и на выборку по брокерам
- Отложенные запросы в очереди, колебания синхронизированных реплик
- Частота выборов лидера, скорость и время очистки логов
- JVM: сборщик мусора, нагрузка на CPU и память, VM-потоки
Отставание вычитки и хранение
Задержка между появлением сообщения в топике и его потреблением, а также структура данных, хранимых на кластере.
- Отставание вычитки по топикам и по партициям
- Справочник данных по топикам: партиции и фактор репликации
- Количество сообщений в топике и занимаемое место на диске
- Распределение лидеров и реплик партиций по брокерам
Управление кластером
Управляющие действия над составляющими кластера — из интерфейса платформы.
- Создание и удаление топиков, добавление партиций
- Удаление групп консьюмеров и справочник актуальных групп
- Просмотр сообщений топика: название, оффсет и содержимое