Интуиция полезна для гипотез, но проверять их нужно числами. Запустили два варианта баннера — A/B-тест покажет, какой реально приносит заявки. Подняли ставку — смотрите на ROMI, а не на ощущение, что «стало лучше». Данные убирают споры в команде: вместо мнений на столе цифры.
Ловушка в том, что данные легко собрать криво и сделать уверенный вывод из мусора. Нужны чистая аналитика, достаточная выборка и честные метрики, а не те, что приятно показывать руководству. И помните: цифры отвечают на вопрос «что произошло», но «почему» вы всё равно достраиваете головой.
Бюджет двигают по метрикам, а не по интуиции директора.
Гипотезу проверяют тестом, итог смотрят в реальном времени.
Отключают то, что не окупается, в первые же дни.
Маркетолог не гадал, а запустил A/B-тест двух заголовков: версия Б дала конверсию 5,2 % против 3,8 %. Решение приняли по цифрам, а не «потому что красивее».
Подход держится на трёх вещах: единый источник правды, корректная атрибуция и достаточная выборка. Если Метрика, Директ и CRM считают конверсии по-разному, спор «чьи цифры верные» съест больше времени, чем сэкономит весь data-driven. Поэтому сначала сводят данные в один дашборд с общими определениями метрик, и только потом принимают решения. Иначе каждый отдел оптимизирует свою цифру, а общая выручка стоит на месте.
Вторая ловушка — статистическая значимость. A/B-тест на 80 визитах, где «версия Б лучше», чаще всего показывает шум, а не эффект: при таком объёме разница в 1-2 п.п. укладывается в случайность. До старта прикидывают нужный размер выборки и срок, иначе тест останавливают на красивой цифре и катят в прод гипотезу, которая в реальности не работает. В SEO это особенно коварно — сезонность и апдейты алгоритмов Яндекса и Google легко принять за результат своих правок, если не держать контрольный период.
Команда хотела выкатить новый заголовок на лендинг по первым 90 визитам: 6,1 % против 4,0 % выглядело как победа. Прогнали через калькулятор значимости — при таком объёме p-value 0,21, то есть результат случаен. Докрутили тест до 1400 визитов на вариант: разрыв сжался до 4,6 % против 4,3 % и оказался незначимым, заголовок не меняли и не потеряли конверсию.