a_b_testing

A/B тест:
Изменение дизайна страницы лендинга

Цель проекта:
Выяснить, повышает ли конверсию в целевое действие
изменение дизайна страницы

Описание данных

Датасет представляет собой данные А/В теста для лендинга.

Источник данных (Kaggle): https://clck.ru/3S2Z9z

В рамках реализации эксперимента предполагается:

Контрольная группа (control) видела старый дизайн страницы
Экспериментальная группа (treatment) видела новый дизайн страницы

Предполагалось, что изменение дизайна страницы приведет к повышению конверсии в целевые действия

Github
---
Ноутбук: https://clck.ru/3S3BDa

В ходе A/B-тестирования:

Проведена очистка данных от перекрестного загрязнения
Проанализирована конверсия в целевое действие пользователей в контрольной (старый дизайн) и экспериментальной (новый дизайн) группах
Оценена статистическая значимость различий с помощью Z-теста
Рассчитаны 95% доверительные интервалы для конверсии в обеих группах
Оценена статистическая значимость различий между конверсией в разные дни недели с помощью хи-квадрат теста.

Исследование позволило:

Выявить отсутствие значимых различий между группами (p-value >0.18)
Выявить отсутствие значимых различий между днями недели (p-value >0.47)
Зафиксировать незначительное снижение конверсии в тестовой группе
Сделать вывод о нецелесообразности внедрения нового дизайна, так как он не показал ожидаемого улучшения и незначительно ухудшил конверсию

Обработка данных

Проведена предобработка и очистка данных:

Исключены пользователи, у кого отображались страницы обоих типов
Преобразованы типы данных
Данные проверены на корректность

Контрольная группа
(control)

Число участников: 145274
Конверсия: 0.120386

Экспериментальная группа
(treatment)

Число участников: 145311
Конверсия: 0.118807

Для каждой группы рассчитана конверсия в целевое действие как отношение числа пользователей, совершивших целевое действие, к общему числу пользователей в группе

Подробнее в ноуте

Визуально практически нет отличий!

Но нельзя с этим согласиться
без дополнительной проверки

Ключевые результаты:

Конверсия в контрольной группе: 12,04%
Конверсия в экспериментальной группе: 11,88%
Разница: относительное снижение на 1,3%

Статистический анализ (Z-тест):
Нулевая гипотеза: конверсия после введения нового дизайна страницы не изменилась
Альтернативная гипотеза: конверсия после введения нового дизайна стала меньше (так как при первичном подсчете она уже ниже)

Результаты:

Недостаточно оснований отвергнуть нулевую гипотезу
Z-тест: p-value > 0,18
95% доверительные интервалы частично пересекаются, что также говорит также об отсутствии различий

Вывод: Изменение дизайна не привело к статистически значимому росту конверсии. Новый дизайн неэффективен, рекомендовано сохранить текущую версию.

Подробнее в ноуте

Новый дизайн не повысил конверсию

В качестве дополнительного исследования, посмотрим, отличается ли, в целом, конверсия по дням недели (без учета групп)

Показатели конверсии находятся примерно на одном уровне.

Статистический анализ (хи-квадрат):
Нулевая гипотеза: между конверсией в разные дни недели нет различий
Альтернативная гипотеза: есть различия между конверсией в разные дни недели

Результаты:

Недостаточно оснований отвергнуть нулевую гипотезу
Хи-квадрат: p-value > 0,47

Вывод: По дням недели различия в показателях конверсии не достигают статистической значимости

Подробнее в ноуте

Итоговый вывод

Основные результаты:

Конверсия в контрольной группе (%): 12.04%
Конверсия в тестовой группе (%): 11.88%
Разница: относительное снижение на 1.3%

Статистическая значимость:

Z-тест: p-value > 0.18
95% доверительные интервалы перекрываются

Значит, наблюдаемое снижение конверсии находится в пределах статистической погрешности и не может быть признано значимым.

Дополнительный анализ (по дням недели):

Хи-квадрат тест: p-value > 0.48
Конверсия стабильна по всем дням недели, значимых различий не обнаружено

Итоговая рекомендация:

Не внедрять новый дизайн. Изменение не привело к ожидаемому росту конверсии, более того, наблюдается незначительное снижение показателя.
Рекомендуется сохранить текущую версию сайта.

Возможные причины отсутствия эффекта:

Новый дизайн оказался менее интуитивным для пользователей
Технические проблемы при совершении целевого действия
Недостаточная проработка пользовательского опыта (UX)
Изменения не затронули ключевые факторы, влияющие на конверсию

Github
Подробнее в ноуте