B testing) Скачать в PDF

Синонимы: Bucket tests, Split-run testing, Раздельное тестирование

Разделы: Бизнес-задачи

В статистике A/B-тестирование представляет собой проверку значимости различия двух реализаций одной и той же случайной переменной. Для этого набор наблюдений, в которых случайная переменная принимает, например, 100 различных значений, случайным образом разделяют на два равных (по 50 наблюдений) подмножества: контрольное $A$ и модифицированное $B$ , и формулируют гипотезу о значимости их различия относительно дисперсии, среднего или другой структурной характеристики.

При этом обычно используется t-тест Стьюдента или $Z$ -тест, если распределение переменной можно аппроксимировать нормальным распределением.

На практике метод наиболее часто используется в конверсионном маркетинге с целью оценить влияние изменений значения какого-либо признака на результаты бизнеса. Типичным приложением является анализ воронки продаж — выявление улучшений маркетинговой стратегии, которые позволят попасть в воронку продаж большему числу покупателей.

Пусть компания имеет рекламную web-страницу и выдвигается гипотеза, что элементы ее дизайна (формат, стиль и цвет заголовков, цвет фона и шрифта) влияют на то, какая доля посетителей страницы станут покупателями (т.е. нажмут конверсионную кнопку «купить»). Если дизайн рекламной страницы долго не менять, то он становится для интернет-пользователей привычным элементом веб-ландшафта и перестает привлекать внимание. Это может привести к снижению продаж. Поэтому периодически принимается решение об изменении дизайна рекламной страницы на более привлекательный.

Не все элементы веб-дизайна одинаково влияют на решение простого посетителя стать клиентом. Следовательно, главной задачей является выбрать такие улучшения, которые дадут максимальный эффект. Эту задачу и позволяет решить A/B-тестирование.

В качестве меры эффективности обычно выбирается величина, называемая коэффициентом конверсии — отношение числа посетителей страницы, ставших клиентами, к общему числу посетителей. Например, если за определенный период времени страницу посетит 100 человек и 4 из них нажмут кнопку «купить», то коэффициент конверсии составит 4%.

Выбирается какой-либо элемент дизайна (например, наименование товара или услуги) и изменяется его стиль отображения. Затем поток посетителей разделяется на две группы, одна из которых $A$ (контрольная) направляется на старый вариант страницы, а вторая $B$ — на модифицированный, и для каждой группы вычисляется коэффициент конверсии. После этого определяется значимость отличия значений коэффициентов конверсии для групп $A$ и $B$ .

Если провести подобное тестирование для всех элементов дизайна, то можно определить, модификация каких из них даст больший эффект в плане роста продаж.

Преимуществом A/B-тестирования является то, что оно может проводиться непрерывно и практически в любых приложениях, поскольку большинство программ автоматизации маркетинга включают соответствующие возможности.

Узнать, как A/B-тестирование применяется в рамках реального аналитического проекта, можно в статье «Цезарь Сателлит» прогнозирует отток клиентов с помощью Loginom». А проследить все этапы A/B-тестирования на примере проверки гипотез по оптимизации сайта в статье «Как измерить предпочтения аудитории?».