Книга посвящена передовым методам построения конвейеров данных, сбору данных
из множества разнообразных источников и преобразованию их для аналитики. Дано введение в конвейеры данных, раскрыта их работа в современном стеке данных. Описаны стандартные шаблоны конвейеров данных. Показан процесс сбора данных от их извлечения до загрузки в хранилище. Затронуты вопросы преобразования и проверки данных, оркестровки конвейеров, методов их обслуживания и мониторинга производительности. Примеры программ написаны на Python и SQL и задействуют множество библиотек с открытым исходным кодом.
Для специалистов по обработке данных
Конвейеры данных — это фундамент успеха в анализе данных.
Сбор данных из множества разнообразных источников и преобразование их для использования в контексте задачи — вот где кроется разница между наличием данных и получением от них реальной пользы. Этот карманный справочник дает определение конвейеров данных и объясняет, как они работают в современном стеке данных.
Вы познакомитесь с общими соображениями и ключевыми моментами принятия решений при реализации конвейеров, таких как пакетный или потоковый прием данных, а также выбор между разработкой и покупкой инструментов. В книге рассматриваются наиболее распространенные решения, принимаемые специалистами по данным, и обсуждаются основополагающие концепции, применимые к платформам с открытым исходным кодом, коммерческим продуктам и к собственным разработкам.
Что такое конвейер данных и как он работает
Как данные перемещаются и обрабатываются в современной инфраструктуре, включая облачные платформы
Популярные инструменты и продукты, применяемые для построения конвейеров
Как конвейеры помогают закрыть потребности в аналитике и отчетности
Вопросы обслуживания, тестирования и предупреждения сбоев конвейеров данных