A/B-тестирование от Skillbox

Введение в A/B-тестирование

Узнаете, по каким правилам нужно проводить A/B-тестирование и с какими сложностями придётся столкнуться. Познакомитесь с основными инструментами и научитесь избегать ошибок. Сможете самостоятельно выбирать методы для обзорного тестирования.

Элементы статистики для построения гипотез

Поймёте, какие метрики помогают получить данные о продукте. Познакомитесь с нулевой и альтернативной гипотезами. Научитесь находить среднее, медиану и моду. Потренируетесь в проверке гипотез и построении доверительного интервала по разным параметрам.

Статистические инструменты

Поймёте, на основе чего строится оценка критериев теста. Научитесь проверять продуктовые гипотезы с помощью T-теста Стьюдента и работать с ненормальными распределителями. Узнаете, как пользоваться картой статистических тестов.

Вариации А/В-тестирования и его приложения

Научитесь выбирать нужные метрики, соответствующие цели тестирования. Разберёте частые ошибки, возникающие при интерпретации данных, и узнаете, как исключить их появление. Попрактикуетесь в подсчёте метрик и проверке гипотез на реальном датасете. Сможете проводить множественное тестирование с несколькими группами и гипотезами одновременно.

Организация массового A/B-тестирования

Узнаете, как рассчитать оптимальный размер выборки и время проведения тестирования. Поймёте, как разделить пользователей на контрольную и экспериментальную группу. Научитесь проверять множество гипотез одновременно.

Ускорение и оптимизация

Узнаете, какие эффекты могут возникать при проведении А/В-тестирования. Изучите методы ускорения и лайфхаки, которые упростят работу.

Бонус-модуль. Продвинутые подходы к A/B-тестированию

Поймёте, как находить аномалии в данных и оптимизировать тестирование. Познакомитесь с байесовским и частотным подходом, а также с методом «многорукие бандиты». Разберёте кейсы с типичными ошибками на тестированиях.

Итоговая работа. Проведение А/В-тестирования

Полученные знания вы примените на практике в итоговом проекте: исследуете качество данных; выберите метрики для тестирования; сформулируете гипотезу; проведёте A/B-тестирование; сделаете выводы по результатам теста на основе статистики.