[Rebrain] Мини-практикум KAFKA [Алексей Калакин, Николай Макаров, Матвей Сухов]

Описание

Apache Kafka – распределенный программный брокер сообщений для организации очередей в целях отслеживания больших потоков входных данных.
На сегодняшний день Apache Kafka является стандартом индустрии в качестве брокера сообщений.
Более 80 % компаний из Fortune 100 используют Kafka.
Модуль 1. Инфраструктура:
Что такое очередь сообщений и журнал сообщений
Для чего нужен брокер сообщений
Аналоги Kafka и дистрибутивы Kafka
Архитектура Kafka
Установка Kafka
Базовая настройка
Обзор WebUI
Документация
Настройка с ZooKeeper
Настройка с KRaft
Настройка аутентификации и авторизации через GSSAPI + Kerberos
Мониторинг Kafka: метрики
Настройка мониторинга Kafka на базе Prometheus & JMX Exporter
Отказустойчивость Kafka
Поведение в случае отказа broker/consumer/producer
Защищённый кластер Hardware Administration: как рассчитать необходимые мощности (CPU, Network, HDD, RAM) для кластера
Модуль 2. Разработка:
Конфигурация Producer
API продюсера
send(), ack и callback-отправки
Синхронная и ассинхронная отправка
Транзакции Producer
Сериализаторы: знакомство
Конфигурация Consumer
Offset и Commit
Партиции
Транзакции
API Консьюмера
Настройка аутентификации и авторизации через GSSAPI + Kerberos
Apache Avro Schema Registry: как валидировать структуру сообщений с её помощью
Event-driven архитектура и пример её применения
Репликация в Kafka
Партицирование
Контроллеры и лидеры
Работа с несколькими consumer/producer на одном топике
Гарантии доставки в Kafka и как они достигаются
Retention
Что такое Kafka Connect и зачем он нужен
Use cases Connect
Типы коннекторов
Kafka Streams: зачем нужны и как могут упростить архитектуру
Processor: что такое и как подключается
KSQL и KSQLdb: что такое и как пользоваться
Программа охватывает все основные аспекты работы с Kafka.
Научимся:
Производить установку и настройку Apache Kafka
Выбирать и настраивать WebUI интерфейс в зависимости от требуемых результатов
Настраивать мониторинг данных на базе prometheus & jmx exporter
Настраивать защищённый мультиброкерный отказоустойчивый кластер
Создавать и конфигурировать продюсеры и консьюмеры
Валидировать структуру данных с помощью Schema registry
Обеспечивать гарантию доставки данных
Настраивать и использовать Kafka connect и Kafka streams
Для работы с практикумом необходимо:
Уверенно владеть каким-либо языком программирования (предпочтительны Java, Python)
Иметь базовые представления об асинхронных вычислениях, общепринятых форматах данных
Базовое знание сетей
Практикум рассчитан на разработчиков среднего и начинающего уровня, желающих познакомиться с инструментом Apache Kafka и углубить свои познания в нем.