Data Engineer от Otus

Модуль 1. Data Architecture

• Тема 1. Инженер данных. Задачи, навыки, инструменты, потребность на рынке

• Тема 2. Архитектура аналитических приложений: базовые компоненты и принципы

• Тема 3. On premises / Cloud solutions

• Тема 4. Автоматизация пайплайнов и оркестрация – 1

• Тема 5. Автоматизация пайплайнов и оркестрация – 2

Модуль 2. Data Lake

• Тема 6. Распределенные файловые системы. HDFS / S3

• Тема 7. SQL-доступ к Hadoop. Apache Hive / Presto

• Тема 8. Разбор ДЗ по 1 модулю

• Тема 9. Форматы хранения данных и их особенности

• Тема 10. Очереди сообщений. Обзор Kafka

• Тема 11. Выгрузка данных из внешних систем

• Тема 12. Apache Spark – 1

• Тема 13. Apache Spark – 2

Модуль 3. DWH

• Тема 14. Аналитические СУБД. MPP-базы данных

• Тема 15. Моделирование DWH – 1. Основы работы с dbt

• Тема 16. Моделирование DWH – 2. Data Vault 2.0

• Тема 17. Data Quality. Управление качеством данных

• Тема 18. Разбор ДЗ по 2 модулю

• Тема 19. DevOps практики в Аналитических приложениях. CI + CD

• Тема 20. Развертывание BI-решения

• Тема 21. Мониторинг / Метаданные

Модуль 4. NoSQL/NewSQL

• Тема 22. NoSQL Хранилища. Wide-column и key-value

• Тема 23. NoSQL Хранилища. Document-oriented

• Тема 24. ELK

• Тема 25. ClickHouse

• Тема 26. Разбор ДЗ по 3 модулю

Модуль 5. MLOps

• Тема 27. Организация и Packaging кода

• Тема 28. Docker и REST-архитектура

• Тема 29. MLFlow + DVC

• Тема 30. Деплоймент моделей

• Тема 31. Разбор ДЗ по 4 модулю

• Тема 32. Разбор ДЗ по 5 модулю

Модуль 6. Выпускной проект

• Тема 33. Выбор темы и организация проектной работы

• Тема 34. Консультация по проектам и домашним заданиям

• Тема 35. Защита проектных работ