Изучите архитектуру и принципы работы брокеров и очередей за максимально короткий срок, даже не обладая опытом работы в хайлоад-проектах.
О курсе:
- Погрузиться в «мир брокерев и очередей» за максимально короткий срок, даже не обладая опытом работы в хайлоад-проектах
- Изучить асинхронное взаимодействие с помощью очередей: подходы, свойства и гарантии
- Получить практику использования очередей на Python или Golang
- Изучить и сравнить Kafka/Rabbit/NATS/Redis:
- Архитектуру проектов, и чем они отличаются
- На что нужно смотреть при использовании очереди
- Как правильно конфигурировать системы очередей
Ваши цели в обучении:
- Получить навыки проектирования с использованием самых «топовых» систем очередей: Kafka и NATS
- Получить фундамент компетенций архитектора сложных, высоконагруженных информационных систем
- Получить навыки масштабирования и обеспечения надежности систем, использующих очереди
- Получить навыки сравнения и выбора систем очередей под конкретную задачу
Программа обучения
Занятие 1
- Вводная теория по очередям. Для чего нужны очереди и где они применяются. Подходы в использовании очередей. Основные системы очередей (брокеры и сервисы) их плюсы и минусы. Алгоритмическая составляющая очередей. Как достигнуть exactly once? Топологические схемы систем очередей. Золотые правила мониторинга очередей
Занятие 2, 3
- Apache Kafka. Архитектура Apache Kafka. Основные понятия, свойства и принципы Потоковая обработка с помощью Kafka Streams. Сценарии применения. Практика. Пошаговый запуск Kafka в различной конфигурации от минимального single instance до production grade кластера с отказоустойчивостью. Разбор основных настроек кластера и на что они влияют. Базовая реализация клиентов на Python и Go
Занятие 4
- Достижение консистентности между БД и очередью. Transactional Outbox. Deduplication key. Практика: Реализация “сценария оплаты” между двумя БД (postgresql) с использованием очереди
Занятие 5
- Обзор архитектуры NATS. Ключевые подходы и компоненты (pub/sub, req/res, streaming). Кластеризация (кластер, суперкластер, федерация, edge). Практика: запуск суперкластера и разбор сценариев.
Автор курса – Владимир Перепелица:
- Эксперт по большим проектам, очередям и Tarantool
- Регулярный спикер и член ПК конференций Highload
- Создатель S3 в VK Cloud
