Курс «Data Engineering»

Нынешние организации обладают огромным объемом информации поддающейся аналитики, построению гипотез и прогнозу моделей. Сбор информации из различных ресурсов, их очищение и передача в доступном формате для аналитики. Всем этим занимается Data Engineer.

Аналитик, должен понимать принципы работы хранилища данных: обработка, хранение и извлечение информации.

Онлайн-курс Data Engineer, поможет вам пройти обучение с нуля, в формате выполнения реальной работы дата инженера. Все этапы, будут являться частичкой огромной работы. В конце, вам удастся автоматизировать весь процесс.

В основе курса лежат практические занятия. Вы рассмотрите инструменты и технологии, которые будут обработаны на практике.

Все обучение строится на принципе поэтапного, по уровню сложности, решения задач. Вам удастся изучить все обязанности Data Engineera.

Кураторы и преподаватели, будут оказывать поддержку, на протяжении всего обучения.

Учебные блоки:

1

• Вводная лекция, практика linux
• Обязанности Data Engineer, функции Linux

2

• Современное хранилище информации
• Разновидности БД

3

• Все об экосистеме Hadoop
• Все о Hadoop

4

• Источники данных, их обработка
• JDBC для структурирования информации, SQL, для выдачи

5

• Apache Spark в переработке информации
• Все о Apache Spark

6

• Hadoop для хранения данных
• Все о hdfs

7

• Apache Airflow, оркестрация конвейеров
• Настраиваем data pipelines

8

• Облачные хранилища
• Правила использования ОХ Google, Amazon, Azure