Профессия Data Engineer от Skillbox
Программа курса
Ознакомьтесь с программой курса «Профессия Data Engineer» от Skillbox
Первый уровень: базовая подготовка. Среднее время прохождения — 6 месяцев.
-
Введение в Data Science.
-
Познакомитесь с основными направлениями Data Science. Узнаете, какие задачи решают дата-аналитики, дата-инженеры и специалисты по машинному обучению. Пройдёте все этапы работы с данными.
-
Научитесь выявлять проблемы, собирать бизнес-требования. Будете выгружать данные из различных источников, проводить разведочный анализ и готовить датасет к дальнейшему использованию. Обучите и внедрите готовую ML-модель, попробуете себя в роли продуктового и маркетингового аналитика. Узнаете, как формулировать и проверять гипотезы. Освоите базовые инструменты для работы: Python, SQL, Excel, Power Bi, Airflow.
-
Основы математики для Data Science. Получите базовые знания по математике для работы с машинным обучением. Поймёте, что такое аппроксимация, интерполяция, функции, регрессии, матрицы и векторы. Научитесь работать с математическими сущностями в Python-библиотеке SymPy.
-
Основы статистики и теории вероятностей. Поймёте принципы работы со случайными величинами и событиями. Познакомитесь с некоторыми видами распределений и статистическими тестами, которые пригодятся при составлении моделей и проверке гипотез.
-
Возможность стажировки. Базовых знаний и навыков хватит, чтобы устроиться на стажировку — сможете продолжить учиться и на курсе, и в компании одновременно.
Второй уровень: введение в дата-инженерию и трудоустройство. Среднее время прохождения — 6 месяцев.
-
Data Engineer Junior:
-
Узнаете, чем занимается Data Engineer, какую роль играет в Data Science проекте и какие у него пути карьерного развития. Поймёте, как построен курс и какие темы вы будете изучать.
-
Научитесь манипулировать данными в существующих таблицах, выполнять операции вставки, очистки и обновления данных. Сможете сохранять данные из БД в различные форматы. Познакомитесь с оконными функциями и основами подготовки витрин данных, использующих SQL. Научитесь обеспечивать корректную вставку информации в режиме транзакции. Сможете читать и понимать лог транзакций.
-
Узнаете, что такое индексы и архитектура индексов, где они применяются. Изучите методы ускорения запросов.
-
Рассмотрите типы данных, возможности их преобразования и принцип совместной работы Python и SQL — получение данных из БД, работа с данными и выполнение запросов. Изучите основные понятия схем данных JSON и XML. Сможете настраивать отладку приложений, писать тесты, обезличивать и шифровать данные.
-
Узнаете, что такое библиотеки для работы с графиками, обучение с учителем, визуализация метрик и источники датасетов. Научитесь использовать Python и библиотеки для работы с данными. Сможете продолжить изучение Pandas.
-
Рассмотрите ключевые понятия и практики по работе с Airflow. Изучите архитектуру и основы взаимодействия от UI до CLI. Построите свой первый data pipeline.
-
Освоите Spark: узнаете, какими ресурсами вычислений он оперирует, как хранит данные и работает с памятью и диском. Развернёте свой первый локальный стенд.
-
Изучите основы RDD: базовые концепции, работу с источниками, actions. Научитесь работать с Dataframe API. Изучите вопросы производительности и оптимизации при использовании Dataframe, источники и типы данных, работу с валидными/невалидными данными, обработку ошибок, UDF, взаимодействие с Python и SQL.
-
Разберёте основные виды моделей машинного обучения, ключевые термины и определения. Изучите алгоритмы регрессии и алгоритмы кластеризации.
-
Изучите основные этапы подготовки модели к деплою, подходы к построению API и способы обработки ошибок и отладки приложений. Сможете устранять проблемы при деплое и освоите основные инструменты swagger.
-
Познакомитесь с ключевыми процессами bash: написанием скриптов, работой с переменными и текстовыми редакторами sed и awk.
-
Трудоустройство с помощью Центра карьеры:
-
Карьерный консультант поможет подготовиться к собеседованию в компании-партнёре.
-
Разберёте частые вопросы и научитесь меньше переживать на интервью.
-
Напишете сопроводительное письмо и грамотно оформите резюме.
-
Будете готовы пройти собеседование — карьерный консультант организует встречу с работодателем.
-
На интервью презентуете проекты, над которыми вы работали на курсе, а знания и навыки пригодятся для выполнения тестовых задач.
Продвинутый уровень: погружение в профессию. Среднее время прохождения — до года.
- Data Engineer Advanced. Научитесь пользоваться типовыми средствами мониторинга, настраивать алерты. Будете выбирать архитектуру для хранения данных и работать со сложными типами архитектуры хранилищ. Выстраивать инфраструктуру и пайплайны для обучения ML-моделей.
Дипломные проекты. Выполните большую работу в конце каждого уровня, чтобы закрепить знания. Сможете добавить проекты в портфолио.
-
Базовый уровень. Закрепите новые знания Data Science на индивидуальном проекте — пройдёте путь от загрузки данных до внедрения модели. Решите задачи дата-инженера, ML-инженера и дата-аналитика, чтобы определиться со специализацией.
-
Уровень Junior. Проведёте когортный анализ и выгрузите справочники по API. Построите дашборды по полученным данным.
-
Уровень Middle. Хакатон.
Бонусные курсы:
-
Карьера разработчика: трудоустройство и развитие. Узнаете, как выбрать подходящую вакансию, подготовиться к собеседованию и вести переговоры с работодателем. Сможете быстрее получить должность, которая соответствует вашим ожиданиям и умениям.
-
Система контроля версий Git. Научитесь версионировать изменения в коде, создавать и управлять репозиториями, ветками, разрешать конфликты версий. Узнаете полезные правила работы с Git.
-
Английский для IT-специалистов. Получите языковые навыки, которые помогут пройти собеседование в иностранную компанию и комфортно общаться в смешанных командах.
- Город
- Онлайн
- Формат обучения
- Онлайн
- Сертификат
- Есть
- Инструменты на курсе
- JavaScript Python
Удобная платформа. Skillbox разработали собственную удобную платформу для студентов.
Всё обучение онлайн. Все курсы Skillbox заранее записаны. Изучать можно в любое время.
Доступ навсегда. После окончания обучения вы всегда сможете вернуться к лекциям.
Преподаватели-эксперты. Лекции на курсах ведут крутые специалисты из больших компаний.
Настойчивые менеджеры. Cтуденты отмечают агрессивную рекламу перед покупкой курсов.
Навязывание рассрочки. Первые 6 месяцев бесплатно — на деле это кредит с отсрочкой.
Взгляните, что студенты и выпускники говорят про Skillbox
Я выбрала курс «Анимация интерфейсов», потому что мне было интересно подробно изучить эту тему. Понравился подход преподавателей, то, как они объясняют материал. После обучения у меня увеличилась скорость работы, да и сам подход сменился. В будущем планирую найти работу получше, ...
Начала проходить курс «Рекламная графика 1.0» по совету, и не жалею. Понравилось качество материалов, хотя порой бывало сложно. Мои работы объективно улучшились, это поможет мне в будущем.