A/B-тестирование (A/B testing)

Синонимы: Bucket tests, Split-run testing, Раздельное тестирование

Разделы: Бизнес-задачи

В статистике, A/B-тестирование представляет собой проверку значимости различия двух реализаций одной и той же случайной переменной. Для этого набор наблюдений, в которых случайная переменная принимает, например, 100 различных значений, случайным образом разделяют на два равных (по 50 наблюдений) подмножества: контрольное и модифицированное , и формулируют гипотезу о значимости их различия относительно дисперсии, среднего или другой структурной характеристики.

При этом обычно используется t-тест Стьюдента или -тест, если распределение переменной можно аппроксимировать нормальным распределением.

На практике, метод наиболее часто используется в конверсионном маркетинге, с целью оценить влияние изменений значения какого-либо признака на результаты бизнеса. Типичным приложением является анализ воронки продаж — выявлением улучшений маркетинговой стратегии, которые позволят попасть в воронку продаж большему числу покупателей.

Пусть компания имеет рекламную web-страничку и выдвигается гипотеза, что элементы её дизайна (формат, стиль и цвет заголовков, цвет фона и шрифта) влияют на то, какая доля посетителей странички станут покупателями (т.е. нажмут конверсионную кнопку "купить"). Если дизайн рекламной странички долго не менять, то он становится для интернет-пользователей привычным элементом веб-ландшафта и перестаёт привлекать внимание. Это может привести к снижению продаж. Поэтому периодически принимается решение об изменении дизайна рекламной странички на более привлекательный.

Не все элементы веб-дизайна одинаково влияют на решение простого посетителя стать клиентом. Следовательно, главной задачей является выбрать такие улучшения, которые дадут максимальный эффект. Эту задачу и позволяет решить A/B-тестирование.

В качестве меры эффективности обычно выбирается величина, называемая коэффициентом конверсии — отношением числа посетителей странички, ставших клиентами, к общему числу посетителей. Например, если за определенной период времени страничку посетит 100 человек и 4 из них нажмут кнопку "Купить", то коэффициент конверсии составит 4%.

Выбирается какой-либо элемент дизайна (например, наименование товара или услуги) и изменяется его стиль отображения. Затем поток посетителей разделяется на две группы, одна из которых (контрольная) направляется на старый вариант странички, а вторая — на модифицированный, и для каждой группы вычисляется коэффициент конверсии. После этого определяется значимость отличия значений коэффициентов конверсии для групп и .

Если провести подобное тестирование для всех элементов дизайна, то можно определить, модификация каких из них даст больший эффект в плане роста продаж.

Преимуществом A/B-тестирования является то, что оно может проводится непрерывно и практически в любых приложениях, поскольку большинство программ автоматизации маркетинга включают соответствующие возможности.

results matching ""

    No results matching ""