А/Б-тестирование (A/B testing)
Синонимы: Bucket tests, Split-run testing, Раздельное тестирование
Разделы: Бизнес-задачи
В статистике A/B-тестирование представляет собой проверку значимости различия двух реализаций одной и той же случайной переменной. Для этого набор наблюдений, в которых случайная переменная принимает, например, 100 различных значений, случайным образом разделяют на два равных (по 50 наблюдений) подмножества: контрольное и модифицированное , и формулируют гипотезу о значимости их различия относительно дисперсии, среднего или другой структурной характеристики.
При этом обычно используется t-тест Стьюдента или -тест, если распределение переменной можно аппроксимировать нормальным распределением.
На практике метод наиболее часто используется в конверсионном маркетинге с целью оценить влияние изменений значения какого-либо признака на результаты бизнеса. Типичным приложением является анализ воронки продаж — выявление улучшений маркетинговой стратегии, которые позволят попасть в воронку продаж большему числу покупателей.
Пусть компания имеет рекламную web-страницу и выдвигается гипотеза, что элементы ее дизайна (формат, стиль и цвет заголовков, цвет фона и шрифта) влияют на то, какая доля посетителей страницы станут покупателями (т.е. нажмут конверсионную кнопку «купить»). Если дизайн рекламной страницы долго не менять, то он становится для интернет-пользователей привычным элементом веб-ландшафта и перестает привлекать внимание. Это может привести к снижению продаж. Поэтому периодически принимается решение об изменении дизайна рекламной страницы на более привлекательный.
Не все элементы веб-дизайна одинаково влияют на решение простого посетителя стать клиентом. Следовательно, главной задачей является выбрать такие улучшения, которые дадут максимальный эффект. Эту задачу и позволяет решить A/B-тестирование.
В качестве меры эффективности обычно выбирается величина, называемая коэффициентом конверсии — отношение числа посетителей страницы, ставших клиентами, к общему числу посетителей. Например, если за определенный период времени страницу посетит 100 человек и 4 из них нажмут кнопку «купить», то коэффициент конверсии составит 4%.
Выбирается какой-либо элемент дизайна (например, наименование товара или услуги) и изменяется его стиль отображения. Затем поток посетителей разделяется на две группы, одна из которых (контрольная) направляется на старый вариант страницы, а вторая — на модифицированный, и для каждой группы вычисляется коэффициент конверсии. После этого определяется значимость отличия значений коэффициентов конверсии для групп и .
Если провести подобное тестирование для всех элементов дизайна, то можно определить, модификация каких из них даст больший эффект в плане роста продаж.
Преимуществом A/B-тестирования является то, что оно может проводиться непрерывно и практически в любых приложениях, поскольку большинство программ автоматизации маркетинга включают соответствующие возможности.
Узнать, как A/B-тестирование применяется в рамках реального аналитического проекта, можно в статье «Цезарь Сателлит» прогнозирует отток клиентов с помощью Loginom». А проследить все этапы A/B-тестирования на примере проверки гипотез по оптимизации сайта в статье «Как измерить предпочтения аудитории?».