Научитесь работать с Apache Kafka — мощной платформой для потоковой обработки данных в реальном времени. В этом курсе вы освоите архитектуру Kafka, клиентские API (Producer, Consumer, Admin), обработку потоков с помощью Kafka Streams, интеграцию через Kafka Connect и работу с Spring Kafka и Schema Registry. Практические задания и проекты помогут закрепить навыки для использования Kafka в микросервисах, анализе логов и event-driven архитектуре.
Чему вы научитесь
Применять Apache Kafka для потоковой передачи и обработки данных в реальном времени
Разрабатывать приложения с использованием Kafka Producer и Consumer API
Обрабатывать данные с помощью Kafka Streams (DSL и Processor API)
Настраивать коннекторы Kafka Connect для интеграции внешних систем
Использовать Spring Kafka и Schema Registry в проектах
Тестировать и оптимизировать приложения Kafka
Строить отказоустойчивые и масштабируемые event-driven архитектуры
О курсе
Этот курс — ваш практический гид по Apache Kafka, одной из самых востребованных технологий для работы с потоками данных в реальном времени. Вы не просто изучите теорию, а сразу примените знания на практике:
От основ к продвинутым темам – начнете с архитектуры Kafka и клиентских API (Producer, Consumer, Admin), а затем перейдете к обработке данных с Kafka Streams, интеграции через Kafka Connect и работе с Spring Kafka.
Реальные кейсы – научитесь настраивать Kafka для микросервисов, мониторинга логов, event-driven архитектур и других задач.
Практика через код – каждый урок содержит упражнения, викторины и демонстрации, а в конце вас ждет итоговый проект, который можно добавить в портфолио.
Лучшие практики и оптимизация – узнаете, как тестировать, масштабировать и настраивать Kafka для надежной работы в production.
Курс подойдет тем, кто хочет не просто познакомиться с Kafka, а научиться применять её в реальных проектах – от потоковой аналитики до построения распределенных систем.
Для кого этот курс
Разработчики, желающие освоить Kafka для работы с большими данными и event-driven системами
Инженеры данных, создающие конвейеры обработки данных в реальном времени
Специалисты по данным, которым нужна надежная потоковая инфраструктура
Архитекторы, проектирующие микросервисные и слабосвязанные системы
Начальные требования
Базовый опыт программирования на Java (желательно)
Знание основ распределенных систем (полезно, но не обязательно)
Умение работать с терминалом
Наши преподаватели.Николай Степанов .Инженер DevOps и преподаватель.
Помогаю освоить современные инструменты DevOps и контейнерные технологии. Участвовал в разработке обучающих программ для IT-специалистов.
Как проходит обучение
Теория: лекции с примерами и лучшими практиками
Демонстрации: работа с Kafka Producer, Consumer, Streams и Connect
Программа курса
Введение
1. Обзор курса
2. Установка и настройка среды
3. Архитектура Apache Kafka
4. Клиентские библиотеки Apache Kafka
5. Библиотека Java-клиента Apache Kafka
Producer и Consumer API
1.API продюсера Kafka
2.Конфигурация и лучшие практики API производителя Kafka
3. API потребителя Kafka
4. Использование Kafka как темы и очереди
5. Конфигурация и лучшие практики для API потребителя
Kafka Streams
1.Введение в Kafka Streams
2.Обзор stateless операций DSL API
3. Использование Stateless-операций DSL API
4. Состояния операций DSL API: Агрегация
5. Операции объединения в DSL API
6. Оконные функции в DSL API Kafka Streams
7. Интерактивные запросы
8. Тестирование приложений Kafka Streams
Kafka Connect
1.Введение в Kafka Connect
2. Коннекторы источников Kafka Connect
3. Коннекторы Sink для Kafka Connect
4. Трансформации в Kafka Connect
Проекты в экосистеме Kafka
1.Основы Spring Kafka
2.Приложения производителя и потребителя
3.Основы работы с Реестром Схем
4.Использование Avro в приложениях производителя и потребителя
5.Kafka MirrorMaker
Заключение