Результаты поиска по запросу: Apache Airflow и конвейеры обработки данных (Бас Харенслак, Джулиан де Руйтер)

онвейеры обработки данных управляют потоком данных с момента их первоначального сбора до консолидации, очистки, анализа, визуализации и многого другого. Apache Airflow предоставляет единую платформу, которую можно использовать для проектирования, реализации, мониторинга и обслуживания...

Apache Kafka представляет собой ведущий брокер сообщений, широко используемый в современных разработческих стэках. Владение Apache Kafka позволяет Java-разработчикам выстраивать системы для обработки потоковых данных, такие как системы очередей, стриминговую обработку и обмен данными между...

Книга посвящена передовым методам построения конвейеров данных, сбору данных из множества разнообразных источников и преобразованию их для аналитики. Дано введение в конвейеры данных, раскрыта их работа в современном стеке данных. Описаны стандартные шаблоны конвейеров данных. Показан процесс...

О профессии: Онлайн-образование в IT-школе TeachMeSkills предлагает курсы по профессии Data Engineer, которые станут отличным стартом для тех, кто хочет стать инженером данных. Инженер данных, играет ключевую роль в обработке и анализе больших объемов данных. Твой результат в конце курса: 1...

Практический fast-track по data engineering: за 4–6 недель собираем рабочий конвейер Kafka → Spark → Lakehouse под управлением Airflow. Разберём batch и streaming, окна и watermark, схемы и контракты. Мини‑проекты, Docker Compose, шаблоны DAG и пайплайнов. Курс подойдёт инженерам, аналитикам и...

При работе любого корпоративного приложения образуются данные: файлы журналов, показатели, информация об активности пользователей, исходящие сообщения и другие. Правильное управление этими данными не менее важно, чем сами данные. Если вы архитектор, разработчик или инженер-технолог, но вы пока...

Научитесь создавать проекты в области обработки данных и машинного обучения, используя возможности ChatGPT. Вы научитесь: Узнаете об основах науки о данных и машинном обучении. Использовать возможности ChatGPT и добавите мощный инструмент в свой техностек. Узнаете о Matplotlib и Seaborn — двух...

Технология хранения и обработки больших данных Hadoop (Тимур Машнин) Apache Hadoop - это платформа для распределенной обработки больших наборов данных на кластерах компьютеров с использованием простых моделей программирования. В этой книге вы познакомитесь с общей архитектурой платформы...

Apache Arrow – это программная платформа с открытым исходным кодом, предназначенная для разработки приложений, эффективно выполняющих обработку и анализ табличных данных за счет размещения в оперативной памяти. В обновленном втором издании представлен обзор формата Arrow с акцентом на его...

В ходе программы предусмотрен сбор профессионального портфолио. Вы не только набьете руку на новых проектах, но и сможете еще более качественно представить собственную кандидатуру на рынке труда. Старт: май 2023 | Формат: онлайн вебинары с преподавателем | Длительность обучения: 10 месяцев 8...

О чем буду рассказывать: Какие ПД могут обрабатываться в рамках образовательной деятельности без согласия. На что обращать внимание при подписания согласия. Электронный дневник, ГТО и другие системы обработки данных - на что обратить внимание? Обязательно разберём ваши вопросы. Плюс файл с...

Курс подойдёт тому: Кто хочет ускорить свою работу в 100 раз и автоматизировать ежедневные задачи; Кто хочет получить повышение по карьере; Кто хочет рост зарплаты или источник дополнительного дохода; Кто хочет избавить от постоянных ошибок в отчетах из-за ручного труда; Кто хочет, чтобы его...

В ходе программы предусмотрен сбор профессионального портфолио. Вы не только набьете руку на новых проектах, но и сможете еще более качественно представить собственную кандидатуру на рынке труда. Программа "Профессия Data Engineer": 1 курс "Старт в Data Engineering" - Автоматизируете процессы...

Инструментарий для помощи программисту/аналитику для доступа и обработки данных [infostart] Набор обработок(методов) для выгрузки данных, обработки и подготовки их для дальнейшего использования во внешних программах, таких как excel, power bi и др. 1. Создание представлений (Views) таблиц в...

Программа "Профессия Data Engineer": 1 курс "Старт в Data Engineering" - Автоматизируете процессы сбора, очистки и анализа реальных данных без разработчиков (ETL) - Освоите инструменты: Git, SQL, базовый Python - Научитесь работать с хранилищами данных (DWH) 2 курс "Python: основы языка" -...

В ходе программы предусмотрен сбор профессионального портфолио. Вы не только набьете руку на новых проектах, но и сможете еще более качественно представить собственную кандидатуру на рынке труда. Старт: май 2023 | Формат: онлайн вебинары с преподавателем | Длительность обучения: 10 месяцев 8...

Data Internals X 2025 Профессиональная конференция по инженерии данных, базам данных и системам хранения и обработки данных Data Internals X 2025 — это инвестиция в ваше техническое развитие и решение завтрашних проблем уже сегодня. Это не просто "техническая тусовка", а стратегическая...

Данная методика работает как в масштабных исследованиях по генеалогии, так и при работе по сбору сведений биографии отдельных людей. Позволяет выстраивать систему из уже собранных фактов, благодаря которой находятся не только решения в сложных поисковых задачах, но и становится видна...

Описание: Пособие содержит необходимый теоретический материал и примеры реализации данных, которые используются для неформального описания и реализации алгоритмов. Приведены и исследованы алгоритмы внутренней и внешней сортировки, алгоритмы поиска. Все рассмотренные методы сопровождаются...

Изучение языка Python с использованием статистики: Анализ данных и наука о данных. Meritshot Academy Learn Python using Statistics: Data Analysis & Data Science Курс на английском языке с английскими субтитрами и русской аудио дорожкой Исчерпывающее и практическое руководство по изучению языка...