Глубокое обучение (Deep Learning) от Нетологии

Основы нейронных сетей

• Линейная регрессия
• Логистическая регрессия
• Построение простой нейронной сети
• 3 часа теории
• 3 часа практики

Многослойная нейронная сеть

• Многослойный персептрон
• Оценка качества модели
• Градиентный спуск и его модификации
• Регуляризация нейронных сетей
• 3 часа теории
• 3 часа практики

Свёрточные сети

• Что такое свёрточная операция и как она работает
• Padding и stride
• Pooling
• LeNet
• 2 часа теории
• 3 часа практики

Архитектуры свёрточных сетей

• LeNet, AlexNet, VGG, NiN, GoogLeNet, ResNet
• 2 часа теории
• 3 часа практики

Улучшение качества обучения нейросетей

• Аугментации
• Динамическое изменение learning rate (LR Schedulers)
• Transfer learning: fine tuning, feature extractors
• Архитектуры Feature extractors: VGG, EfficientNet, MobileNet
• 2 часа теории
• 3 часа практики

Рекуррентные сети

• Языковые модели
• Обучение рекуррентных нейросетей
• GRU и LSTM
• Генерация текста
• Deep RNN
• BiRNN
• Residual Connections
• Encoder-Decoder архитектура
• Машинный перевод
• 8 часов теории
• 9 часов практики

Механизм внимания

• Виды внимания
• Трансформер
• 2 часа теории
• 3 часа практики

Компьютерное зрение

• Задача детекции
• Архитектуры Region Based, YoLo и SSD
• Семантическая сегментация
• Архитектуры SegNet и U-Net
• Модификации изображений
• 7 часов теории
• 9 часов практики

Работа с текстом

• Векторные представления слов
• Сингулярное разложение (SVD)
• Word2Wec, FastText
• Модель ELMo
• BERT и его вариации
• GPT
• 4 часа теории
• 6 часов практики

Генеративные состязательные сети (GAN)

• Автоэнкодеры
• Вариационные автоэнкодеры (VAE)
• Генеративные состязательные сети (GAN)
• Проблемы генеративных состязательных сетей
• Глубокое обучение с подкреплением
• 3 часа теории
• 3 часа практики

Итоговый проект

• Классификация или генерация продолжения текстов, распознавание или сегментация объектов на фото и видео, машинный перевод — тему диплома вы выбираете самостоятельно.
• 2 часа теории
• 20 часов практики