Kafka Manager

Модуль мониторинга и управления Kafka Manager от наших партнёров, Группы НН2, предоставляет надежное и интуитивно понятное решение для эффективного контроля и управления экосистемой Apache Kafka. Независимо от размера инфраструктуры, вы сможете контролировать производительность, обеспечивать безопасность и принимать оперативные меры для оптимизации работы системы.

Apache Kafka – это распределенная платформа обработки данных в реальном времени, которая обеспечивает надежную передачу сообщений между различными приложениями и системами.

Функциональные характеристики

Мониторинг состояния кластера

Cодержит информацию по общему состоянию кластера: число активных брокеров и контроллеров, число топиков, информацию по состоянию партиций (недореплицированные, онлайн, офлайн), а также информацию по версии Apache Kafka и данным о JDK.

Мониторинг загруженности и задержки

Показывает информацию о загруженности сетевого процессора и обработчика запросов. Также показывает задержку при ключевых запросах к брокерам, таким как задержка для продюсеров или консьюмеров или задержка брокеров при общении с контроллером.

Мониторинг пропускной способности

Предоставляет информацию по потокам данных в кластере. Например, входящие и исходящие байты по брокерам и по топикам. Также показывает частоту входящих запросов (это могут быть как на запись, так и на чтение) по брокерам и по топикам.

Диагностика неполадок

Отображает панели с данными относительно возможных проблем кластера. Так, например, в этом разделе показаны дашборды с неудачными запросами на чтение и на запись, задержкой запросов к ZooKeeper’ам, размером очереди запросов, частотой выбора лидера при его умирании.

Мониторинг JVM

Показывает данные о Java Virtual Machine кластера: время проведённое в сборщике мусора (GC), нагрузку на CPU, нагрузку на память JVM и количество VM потоков. Здесь также предоставлены таблицы с пиковыми и средними значениями этих параметров.

Отставание вычитки

Показывает на сколько сообщений опаздывают разные консьюмер группы при чтении из топиков. Данные представлены по топикам и по партициям.

Хранение

Предоставляет данные по хранению данных в кластере в виде справочника данных по топикам: количество партиций, фактор репликации, недореплицированность партиции, количество сообщений в топике и занимаемое место на диске (в мегабайтах).

Управление топиками

Доступна возможность создания и удаления топиков, а также возможность увеличить количество партиций для топика.

Удаление групп консьюмеров

На дашборде реализован функционал удаления групп консьюмеров в Apache Kafka, который позволяет управлять ресурсами и оптимизировать работу системы.

Сообщения топика

В этом разделе реализована возможность прочитать сообщение из какого-либо топика. Это позволяет посмотреть, что приходит в топик и в каком формате.

Если вас заинтересовал модуль, вы можете изучить подробную информацию на сайте наших партнёров, Группы НН2.

Подробнее о модуле