Kafka — это распределенное хранилище событий и платформа потоковой обработки. Это система с открытым исходным кодом, разработанная Apache Software Foundation и написанная на Java и Scala.


Kafka изначально разрабатывалась в LinkedIn, а затем в начале 2011 года была открыта.

Apache Kafka основан на журнале коммитов и позволяет пользователям подписываться на него и публиковать данные в любом количестве систем или приложений реального времени.

Kafka хранит сообщения «ключ-значение», поступающие от произвольного множества процессов, называемых производителями. Данные могут быть разделены на разные «разделы» в разных «темах». Внутри раздела сообщения строго упорядочены по их смещениям, индексируются и хранятся вместе с меткой времени.

В Kafka есть пять основных API,
Производитель, Потребитель, Соединитель, Потоки и Админ.

Мониторинг производительности E2E требует отслеживания метрик от брокеров, потребителей и производителей в дополнение к мониторингу ZooKeeper, который Kafka использует для координации между потребителями.

Официальный сайт :-