A/B-тест
Также: сплит-тест, a-b тестирование
Сравнение двух вариантов страницы на живом трафике: половине показывают первый, половине второй, и смотрят, какой даёт больше целевых действий.
Когда он имеет смысл
При достаточном потоке посетителей. Если в месяц приходит сто человек и пять оставляют заявку, разница между вариантами утонет в случайности: такой тест покажет что угодно.
Как он устроен
Посетителей случайным образом делят на две группы: одной показывают текущую версию страницы, другой — изменённую. Дальше сравнивают долю целевых действий в каждой группе. Случайность здесь принципиальна: если первую неделю показывать один вариант, а вторую другой, вы сравните не страницы, а недели — с разной погодой, рекламой и сезоном.
Второй принципиальный момент — размер выборки. Разница в конверсии между вариантами обычно составляет доли процента или единицы процентов, и чтобы отличить её от случайного колебания, нужны сотни целевых действий на каждый вариант. Именно поэтому A/B-тесты — инструмент сайтов с большим потоком, а не с десятком заявок в месяц.
Правила, без которых тест бесполезен
- Одно изменение за раз: иначе непонятно, что сработало.
- Обе версии показываются одновременно, а не по очереди — иначе сравниваются разные недели, а не варианты.
- Тест не останавливают на середине, увидев «хороший» результат: ранние цифры почти всегда обманчивы.
- Считают целевое действие, а не клики по кнопке.
| Гипотеза | Шанс увидеть разницу |
|---|---|
| Цены на странице против «уточняйте» | высокий |
| Форма из двух полей против пяти | высокий |
| Другой заголовок первого экрана | средний |
| Другой цвет кнопки | низкий |
Чем заменить тест на малом трафике
Если заявок единицы в неделю, статистика не поможет — но это не значит, что улучшать страницу нельзя. Работают качественные методы: записи визитов показывают, где человек застревает; карта скроллинга — докуда долистывают; прямой опрос обратившихся отвечает на вопрос, что их чуть не остановило. Пять разговоров с реальными клиентами дают больше, чем месяц наблюдения за долями процента.
Частые вопросы
Сколько нужно посетителей для теста?
Ориентир — сотни целевых действий на каждый вариант, а не сотни визитов. При пяти заявках в неделю накопление такой выборки займёт годы, и за это время изменится всё остальное: сезон, конкуренты, реклама.
Можно ли тестировать без специальных сервисов?
Грубо — да: показать один вариант месяц, другой следующий. Но на результат повлияют сезон, реклама и состав трафика, поэтому выводы будут шаткими. Такой способ годится разве что для очень крупных изменений.
Почему нельзя остановить тест, когда виден хороший результат?
Потому что на малых числах разница скачет случайно: сегодня один вариант впереди, завтра другой. Остановка в удачный момент почти гарантированно закрепляет случайность, а не находку.
Что делать, если разницы между вариантами нет?
Это тоже результат: значит, изменение несущественно для решения человека, и силы стоит потратить на что-то другое. Чаще всего «ничья» выпадает у тестов оформления, а не содержания.