С этой технологией вы будете работать с более сложными продуктами и сможете повысить грейд.
Навыки работы с Apache Kafka помогут профессионально вырасти:
- Бэкенд-разработчикам
- Сможете создавать масштабируемые, отказоустойчивые и гибкие системы обработки данных в реальном времени
- Архитекторам ПО
- Научитесь создавать распределённые системы с высокой степенью интеграции и обеспечивать консистентность данных
- DevOps-инженерам
- Освоите инструменты для автоматизации развёртывания, настройки и мониторинга кластеров, чтобы стало проще управлять инфраструктурой
- Инженерам данных
- Научитесь строить конвейеры данных, чтобы обеспечить их передачу из различных источников в системы хранения и обработки
Курс подойдёт вам, если:
- Вы пишете код на Java, Python или Golang
- Работаете в Linux
- Понимаете, как устроены базы данных — SQL и NoSQL
- Разбираетесь в архитектуре распределённых систем
- Запускаете приложения в Docker‑контейнере и управляете ими
Программа курса
1) Базовая эксплуатация Apache Kafka
- Основные концепции и терминология
- Архитектура Kafka
- Установка и настройка Kafka‑кластера
- Продюсеры и консьюмеры
- Consumer Groups
- Сериализация данных
2) Реализация потоковой обработки на базе Apache Kafka
- Потоковая обработка данных
- KSQL и ksqlDB
- Работа с данными
3) Администрирование Kafka
- Администрирование Kafka
- Балансировка
- Мониторинг
4) Интеграция с внешними системами на примере Kafka Connect
- Интеграция данных
- Kafka Connect
- Debezium PostgresConnector
5) Безопасность в Kafka
- Безопасность Kafka‑кластера
- Работа с внешними службами авторизации
- ACL
6) Kafka в production и интеграция Kafka с Big‑Data‑экосистемой
- Kafka в проде
- Kafka в облаке
- Apache NiFi
- Apache Spark
- Apache Hadoop
7) Финальный проект
- Сконфигурируете сервис с использованием технологий, которые изучили на курсе
