Аналитика на Python c 0 от ProductStar

Урок 1: "Проверка гипотез и поиск точек роста с помощью A/B-тестирования"

• Как мы принимаем решения о продуктовых изменениях

• В чем уникальная особенность A/B тестов

• Преимущества и недостатки A/B тестирования

• Что можно тестировать и какие границы применимости у A/B тестов

Урок 2: "Основы математической статистики для A/B тестирования"

• Что такое метод выборочных обследований

• Как доверительный интервал позволяет давать оценку неопределенности

• Как рассчитывать доверительные интервалы

• Как использовать доверительные интервалы к unit-экономике

Урок 3: "Статистический тест для оценки результатов A/B эксперимента"

• Как устроен статистический тест на различия параметров выборок

• Как уровень доверия связан с вероятностью получить ложноположительный результат

• Что такое мощность теста

• Как рассчитать необходимый размер

Урок 4: "Цель и метрики A/B теста"

• Гипотеза в основе A/B теста

• Целевая метрика A/B теста

• Какие бывают метрики

• Вспомогательные и контрольные метрики

• Процедура принятия решения

Урок 5: "Практическая реализация A/B теста"

• Объект рандомизации

• Аудитория эксперимента

• Инфраструктура для экспериментирования

• Жизненный цикл теста

• Тестирования в нативных приложениях

• Тестирование когда данных мало (например, B2B)

Урок 6: "Продвинутые методики тестирования"

• A/A тесты

• Мультивариантные тесты и двухэтапное тестирование

• Тест на не-ухудшение метрики

• Сколько тестов может идти одновременно

• Альтернативные методики тестирования

• Синтетические метрики на основе ML

• Тестирование решений на основе ML

• Многорукие бандиты

Урок 7: "Инструменты для A/B тестирования"

• Подготовка данных для A/B-тестов

• Анализ результатов A/B-тестов

• Используемые инструменты и практика