A/B-тест — это сравнение двух версий страницы (или элемента) на реальном живом трафике. Половина посетителей видит «A» (контроль), половина — «B» (новый вариант). Через 1–4 недели смотрите, какая версия дала больше конверсий с учётом статистической значимости. Это единственный честный способ узнать, что работает — не «по ощущениям», а на цифрах.
Что тестируют: заголовок (H1), CTA-кнопку (текст, цвет, размер), первый экран, цены и тарифы, форму заявки, расположение блоков, фото и иллюстрации. Иногда — структуру страницы целиком (radical test). Главное правило: один тест — одна переменная. Если меняете заголовок и кнопку одновременно — не поймёте, что сработало.
Самая частая ошибка — остановить тест слишком рано. Чтобы получить значимый результат, нужно набрать достаточный объём конверсий: ориентир — минимум 100 конверсий на каждый вариант, в идеале — 200–300. С CR 2% это 5–10 тысяч уников на вариант. Меньше — это шум, а не результат.
Чем запускать в России. Главный штатный инструмент — Varioqub (раньше — «Эксперименты в Метрике», в 2022 Яндекс выделил их в отдельный продукт): сплит-тестер с интеграцией Метрики, бесплатный для большинства задач, удобен для CRO, тестов заголовков, цен и лендингов. Google Optimize Google закрыл в сентябре 2023 — вместо него теперь связка GA4 + сторонние сервисы (Optimizely, AB Tasty, VWO) или серверные решения на собственном бэкенде.
5 000 уников → CR 2.1%
105 заявок
5 000 уников → CR 2.9%
145 заявок · p=0.97
+38% заявок при том же трафике. Эффект на год: +14 400 заявок
Как делать правильно
- когда есть стабильный трафик (от 1000 уников в день) и измеримая конверсия
- тестировать по одной переменной — иначе не поймёте, что сработало
- ждать статистической значимости 95%+, не останавливать тест преждевременно
- тестировать гипотезы из анализа: куда уходят пользователи на heatmap, что говорит Webvisor
- не тестировать без четкой гипотезы «зачем» — это лотерея
- не запускать на низком трафике — выборки не хватит, результат — шум
- не делать «вижу — A лидирует на 5%, остановим тест» — это ловушка ранней остановки
- не тестировать одновременно несколько A/B — они влияют друг на друга
Клиент-edtech: лендинг курса с конверсией 2.1%. Гипотеза — сильнее работает «начни бесплатно», чем «подробнее о курсе». Запустили тест 50/50 на 18 000 уников за 12 дней — «начни бесплатно» дал 2.9% при p=0.97. Раскатили вариант B, годовой эффект — +38% заявок.