A/B-тестирование — это способ проверить, какая версия страницы, письма или рекламного объявления работает лучше: посетителей случайно делят на две группы, одной показывают вариант А, другой вариант Б, а через какое-то время сравнивают результат по выбранной метрике. Побеждает тот вариант, что дал больше конверсий, кликов или продаж, и его оставляют работать постоянно.
Тестировать можно почти любой элемент: заголовок лендинга, цвет и текст кнопки, порядок блоков на странице, тему письма в рассылке, цену в объявлении. Смысл метода в том, что выигравший вариант диктует реальное поведение живых посетителей, а вкусы дизайнера и мнение руководителя остаются в стороне.
Как проходит тест
Сначала формулируют гипотезу: например, «кнопка с текстом Оставить заявку сработает лучше кнопки Отправить, потому что называет понятную выгоду». Затем готовят два варианта страницы, которые отличаются только этим одним элементом: если менять сразу несколько вещей одновременно, потом невозможно понять, что именно повлияло на результат.
Трафик делят между вариантами поровну через специальный инструмент, который случайным образом показывает каждому новому посетителю одну из версий и запоминает, какую именно он видел. Тест идет до тех пор, пока не наберется достаточно данных для статистически значимого вывода, обычно от одной до нескольких недель в зависимости от объема трафика на страницу.
Сколько нужно посетителей
Маленький трафик остается главной причиной, почему тесты дают ложные выводы. Если через страницу за неделю проходит 200 человек, разница в 5 заказов между вариантами вполне может оказаться случайным колебанием, за которым нет никакого реального эффекта. Онлайн-калькуляторы размера выборки учитывают текущую конверсию страницы и минимальную разницу, которую бизнес хочет заметить: чем меньше ожидаемый эффект, тем больше посетителей нужно каждому варианту, часто от 1000–2000 на вариант для страниц со средней конверсией.
Ранний запуск теста без нужной выборки и остановка по первому впечатлению, что один вариант вырвался вперед, остаются частой причиной, по которой команда меняет сайт под случайное колебание цифр, приняв его за реальную закономерность.
Что можно тестировать кроме сайта
A/B-тест применяют не только к сайту. В email-рассылках сравнивают темы писем на небольшой части базы и потом отправляют победившую тему на всю остальную аудиторию. В рекламных кабинетах тестируют разные тексты объявлений и креативы на одинаковом бюджете, чтобы понять, какой вариант дает более дешевую заявку. В мобильных приложениях проверяют разные экраны онбординга, чтобы увидеть, какая версия удерживает больше новых пользователей после первого запуска.
Общий принцип везде одинаковый: один изменяемый элемент, случайное разделение аудитории, заранее посчитанная выборка и одна метрика, по которой оценивают победителя. Разница только в инструментах: для сайта используют сервисы веб-аналитики со встроенным A/B-модулем, для рассылок эта функция обычно уже есть внутри платформы email-маркетинга, а для рекламных кабинетов сравнение объявлений встроено в саму систему размещения.
Статистическая значимость простыми словами
Статистическая значимость показывает, насколько вероятно, что разница между вариантами не случайна. Стандартный порог в маркетинге составляет 95%: это означает, что при повторении теста результат подтвердится в 95 случаях из 100. Калькуляторы значимости на входе просят число посетителей и число конверсий каждого варианта и на выходе показывают, можно ли уже доверять результату или нужно копить данные дальше. Пока значимость не достигнута, разница в цифрах между вариантом А и вариантом Б остается догадкой, которую пока нельзя считать фактом.
Пример: тест заголовка на лендинге
Компания, продающая курсы английского языка, тестировала два заголовка лендинга: «Выучите английский за 3 месяца» против «Английский для работы: разговорный за 3 месяца». Первый заголовок обещал скорость, второй уточнял результат и аудиторию. За три недели теста на равном трафике второй вариант дал конверсию в заявку 6,2% против 4,1% у первого: более конкретное обещание оказалось убедительнее общей скорости обучения. Компания заменила заголовок на всех источниках трафика и получила прирост заявок без увеличения бюджета на рекламу.
Типичные ошибки
- Меняют сразу несколько элементов страницы, поэтому после теста непонятно, какое именно изменение повлияло на результат.
- Останавливают тест слишком рано, как только один вариант вышел вперед на маленькой выборке, хотя разница еще укладывается в случайные колебания.
- Тестируют мелочи вместо важных гипотез: цвет кнопки редко меняет конверсию сильно, а вот заголовок, оффер или порядок блоков влияют гораздо заметнее.
- Не учитывают сезонность и источники трафика: тест, запущенный в период распродажи или только на одном канале, может дать результат, который не повторится в обычные дни.
- Запускают несколько тестов одновременно на одной странице, из-за чего результаты одного теста искажают выводы другого и невозможно понять, что именно повлияло на итоговую цифру.
Частые вопросы
Сколько длится обычный A/B-тест? От одной до четырех недель в зависимости от трафика страницы: важно захватить хотя бы один полный недельный цикл, потому что поведение посетителей в будни и выходные различается.
Можно ли тестировать без специального сервиса? Технически можно вручную менять страницу через день и сравнивать метрики, но так на результат влияет сезонность и разный состав трафика по дням, поэтому специализированные сервисы со случайным разделением аудитории дают более надежный вывод.
Что делать, если оба варианта показали одинаковый результат? Оставить более простой или дешевый в поддержке вариант и переходить к тесту другой гипотезы: отсутствие разницы тоже результат, который экономит время на дальнейшую доработку этого элемента.
Можно ли тестировать сразу три и больше вариантов? Можно, это называют мультивариантным тестом, но тогда для той же статистической значимости нужно кратно больше трафика на каждый вариант, поэтому малому бизнесу проще сравнивать варианты по два.
A/B-тестирование чаще всего проверяет гипотезы, которые формулируют на основе CTR объявлений и поведения пользователей на сайте. Настроить сквозную аналитику и регулярные A/B-тесты для landing page и рекламных кампаний помогает аналитика и performance: там считают выборку и статистическую значимость перед тем, как менять сайт по итогам теста.