DevOps-инженер с нуля от Нетологии

DevOps-инженер: введение в профессию  

Овладеете базовой терминологией, которую используют в процессе создания программного обеспечения. Познакомитесь с популярными методологиями разработки и поймёте их отличия. Узнаете, зачем нужны инфраструктурные архитекторы и чем они занимаются.

• Чем занимается DevOps-инженер
• Знакомство с основной терминологией
• Цели методологии DevOps
• Общее представление об инфраструктуре современной разработки

Операционная система Linux

Узнаете, какие бывают типы операционных систем, какие функции они обеспечивают. Поймёте, как устроено взаимодействие внутри ОС, как приложения обращаются к системе. Детально разберёте ОС Linux и принципы работы системного администратора с ней. Научитесь управлять процессами, потоками, сигналами, хранением данных.

• Принципы работы современных компьютеров: процессоры, память, накопители
• Средства автоматизации и основные функции систем
• Типы и назначение операционных систем. ОС Linux
• Процессы, управление процессами
• Память. Управление памятью
• Шедулер
• Дисковые системы
• Файловые системы
• Ядро операционной системы
• Загрузка ОС
• Типы дистрибутивов
• Управление пакетами
• Инициализация системы. Systemd, init-v
• Управление пользователями
• Производительность системы

Английский язык для начинающих разработчиков

В этом модуле вас ждут 10 видеолекций, которые помогут вам начать разговаривать на английском языке как настоящий разработчик.

• Лексика, без которой не обойтись
• Как вести переписку на английском
• Чтение документации и анализ требований
• Программирование
• Тестирование ПО
• Стрессовые ситуации
• Устранение неполадок
• Работа и роли в команде
• Поддерживаем любую беседу на английском
• Собрания, презентации на высшем уровне

Сеть и сетевые протоколы

Изучите основы работы компьютерных сетей, команды для конфигурации сетевых устройств и служб, инструменты настройки и диагностики сетей, а также самые распространённые сетевые приложения. Рассмотрите модель OSI, работу сетей TCP/IP на втором, третьем и четвёртом уровнях. Узнаете, как работать с VPN, Firewall, NAT.

• Модель OSI/ISO. Обзор сетевых протоколов
• L2-сеть
• L3-сеть
• L4-сеть
• NAT
• VPN
• Firewall
• Высокоуровневые сетевые протоколы
• Траблшутинг
• Конфигурация сетевых сервисов прикладного уровня: DHCP, DNS, HTTP/HTTPS, SMTP
• Протокол IPv6
• Базовое программирование на Bash. Коды возврата, функции
• Regexp и их использование для синтаксического анализа
• Полезные утилиты: sed, awk, cut, grep
• Разбор скриптов и написание своих скриптов. Linter, Shell check

Виртуализация, автоматизация и CI/CD

Узнаете, что такое облака и зачем они нужны. Изучите основы виртуализации. Познакомитесь с системой оркестрации Kubernetes и научитесь с её помощью разворачивать приложения. Сможете поднять облачный сервер с помощью Terraform и сконфигурировать его с помощью Ansible. Узнаете, что такое DevOps, и познакомитесь с основными задачами и инструментами DevOps. Получите практические навыки работы с системой контроля версий Git.

• Виртуализация и облачные решения. AWS, GCP, Yandex.Cloud, Openstack
• Типы виртуализаций KVM, QEMU
• Docker
• Kubernetes
• Ansible
• Terraform
• Подъём инфраструктуры в Yandex.Cloud
• Git
• Что такое DevOps. CI/CD
• GitLab

Системы управления версиями

Узнаете, почему и как возникли системы управления версиями исходного кода. Получите практические навыки глубокой работы с Git-репозиториями. Научитесь работать одновременно с несколькими репозиториями, синхронизировать их и создавать резервные копии. Познакомитесь со способами интеграции репозиториев со внешними системами. Узнаете, как контролировать процесс разработки ещё на уровне отправки кода в репозиторий.

• Системы контроля версий
• Основы Git
• Ветвления в Git. Хранилища репозиториев
• Инструменты Git

Отказоустойчивость

Узнаете, как обеспечивается отказоустойчивая работа приложений. Изучите основные иструменты кластеризации и балансировки. Изучите принципы и инструменты резервного копирования операционной системы, баз данных и приложений. Узнаете, что такое disaster recovery и как его можно реализовать.

• Демон Keepalived для реализации VRRP
• Кластеризация
• Pacemaker
• Резервное копирование. Bacula
• Балансировка нагрузки. HAProxy/Nginx
• Disaster recovery
• Отказоустойчивость в облаке (на примере Yandex.Cloud)

Системы хранения и передачи данных

Узнаете, чем различаются базы данных SQL и NoSQL, и научитесь выбирать нужную из всего многообразия существующих решений. Разберётесь, что такое кеш, зачем он нужен и как его использовать. Научитесь складывать и смотреть логи приложений в Elasticsearch, а также настраивать и использовать менеджер очередей RabbitMQ.

• Базы данных и их типы
• Кеширование Redis/memcached
• ELK
• Очереди RabbitMQ

Реляционные базы данных

Узнаете принципы работы реляционных баз данных. Научитесь писать SQL-запросы к базе данных. Научитесь работать с индексами и оптимизировать выполнение запросов. Освоите репликацию и масштабирование баз данных, а также научитесь делать резервное копирование.

• Базы данных
• Работа с данными (DDL/DML)
• SQL
• Индексы
• Репликация и масштабирование
• Резервное копирование
• База данных в облаке (на примере Yandex.Cloud)

Администрирование баз данных

Познакомитесь с решениями для полнотекстового поиска. Овладеете навыками установки и настройки кеш-систем. Научитесь устанавливать и настраивать базы данных для нужд разработки. Познакомитесь с технологиями создания отказоустойчивых кластеров баз данных и кеш систем при помощи кластеризации и шардинга. Научитесь писать простые SQL-запросы и запросы для работы с NoSQL-базами данных.

• Типы и структура системы управления базой данных (СУБД)
• Запросы, индексы и эксплейны
• MySQL
• PostgreSQL
• Elasticsearch
• Troubleshooting

Виртуализация в DevOps

Узнаете различия видов виртуализации и контейнеризации. Научитесь управлять виртуальными машинами с помощью libvirtd. Напишете несколько Dockerfile, которые можно будет использовать в дальнейших проектах как примеры. Научитесь запускать несколько контейнеров одновременно и объединять их в виртуальную сеть.

• Основы виртуализации
• Системы управления виртуализацией
• Контейнеризация на примере Docker
• Практические навыки работы с Docker

Непрерывная разработка и интеграция

Подробно разберём все этапы жизни ПО. Вы узнаете, как организовать взаимодействие между разработчиками, тестировщиками и системными администраторами. Получите практические навыки работы с Jenkins, TeamCity и Gitlab CI.

• Жизненный цикл ПО
• CI\CD
• Практическое знакомство с Jenkins
• TeamСity
• Gitlab

Мониторинг и логи

Подробно разберётесь, зачем нужен мониторинг и какие параметры нужно контролировать. Узнаете, как организовать систему оповещения о различных событиях, чтобы узнавать о сбоях первым, а не от заказчика. Научитесь организовывать логирование всех действий приложений и анализировать эти логи. Овладеете навыками работы с elasticsearch, Logstash, Kibana и Graylog. Научитесь настраивать связку Prometehus + Grafana + Alertmanager. Познакомитесь с Zabbix для мониторинга физических и виртуальных машин.

• Зачем и что нужно мониторить
• Системы для мониторинга
• Grafana
• ELK
• Sentry
• Инцидент-менеджмент

Система управления конфигурациями

Научитесь описывать инфраструктуру в виде кода. Сможете настроить удалённый сервер и восстановить его конфигурацию в случае необходимости. Получите набор готовых шаблонов для решения типовых задач конфигурирования серверов.

• Введение в Ansible
• Работа с Playbook
• Работа с Roles
• Создание собственных Modules

Облачная инфраструктура. Terraform

Научитесь описывать конфигурацию любых сервисов, имеющих API, в виде кода при помощи Terraform. Поймёте, как выстраивать командные процессы работы над инфраструктурой. Овладеете навыками написания скриптов на Golang. Научитесь писать собственные расширения для Terraform.

• Конфигурация как код
• Облачные провайдеры и провайдеры Terraform
• Синтаксис и принцип работы Terraform
• Средства командной работы над инфраструктурой
• Введение в Golang
• Написание собственных провайдеров для Terraform

Микросервисная архитектура

Узнаете, в каких случаях выгодно использовать микросервисы вместо монолитного приложения. Научитесь проектировать отказоустойчивые системы. Познакомитесь с популярными веб-серверами и балансировщиками нагрузок.

• Введение в микросервисы
• Принципы работы микросервисов
• Подходы к проектированию
• Масштабирование

Администрирование кластера Kubernetes

Научитесь разворачивать кластер Kubernetes на собственных мощностях. Поймёте, из каких компонентов состоит control plane и на что нужно обращать внимание при администрировании собственного кластера Kubernetes. Узнаете, как с помощью навыков автоматизированного управления конфигурациями добавлять и удалять узлы, менять конфигурацию имеющихся нод.

• Компоненты Kubernetes
• Команды для работы с Kubernetes
• Развёртывание кластера на собственных серверах
• Сетевые решения CNI

Конфигурация Kubernetes

С помощью полученных теоретических знаний развернёте stateless-приложение. Добавите обавив stateful-зависимости. Воспользуетесь готовыми манифестами для установки приложений в кластер.

• Контейнеры, поды, deployment, statefulset, services, endpoints
• Разделы и монтирование
• Работа c Kubectl
• Инструменты для упрощения написания конфигурационных файлов. Helm и Jsonnet
• Поддержка нескольких окружений на примере Qbec

Сетевая безопасность в Kubernetes

Разберётесь, как хранить и использовать пароли внутри кластера и передавать конкретным приложениям. Узнаете, как управлять уровнем доступов контейнеров и подов. Научитесь контролировать взаимодействия подов между собой.

• Создание и использование секретов
• Синхронизация секретов с внешними сервисами. Vault
• Карты конфигураций
• Сервис-аккаунты
• SecurityContext, NetworkPolicies

Организация проекта при помощи облачных провайдеров  

Освоите общие принципы создания проектов в облачных сервисах. Познакомитесь с основными инструментами, которые предоставляют облачные провайдеры.  

• Организация сети
• Вычислительные мощности. Балансировщики нагрузки
• Контексты безопасности. Менеджеры секретов
• Кластеры. Ресурсы под управлением облачным провайдером

Итоговый проект

Самостоятельно выстроите процесс DevOps в облачном сервисе Yandex.Cloud. Закрепите накопленные знания и создадите свой первый серьезный проект для портфолио.

• Создадите базовую инфраструктуру с помощью Terraform
• Задеплоите собственный Kubernetes-кластер с помощью Ansible
• Настроите Jenkins для деплоя сервисов в Kubernetes