Интуиция полезна для гипотез, но проверять их нужно числами. Запустили два варианта баннера — A/B-тест покажет, какой реально приносит заявки. Подняли ставку — смотрите на ROMI; ощущение «стало лучше» тут не показатель. Данные убирают споры в команде: вместо мнений на столе цифры.
Ловушка в том, что данные легко собрать криво и сделать уверенный вывод из мусора. Нужны чистая аналитика, достаточная выборка и непредвзятые метрики; удобные для показа руководству цифры сюда не годятся. И помните: цифры отвечают на вопрос «что произошло», но «почему» вы всё равно достраиваете головой.
Бюджет двигают по метрикам, интуиция директора тут не аргумент.
Гипотезу проверяют тестом, итог смотрят в реальном времени.
Отключают то, что не окупается, в первые же дни.
Вместо догадок маркетолог запустил A/B-тест двух заголовков: версия Б дала конверсию 5,2 % против 3,8 %. Решение приняли по цифрам. Без «потому что красивее».
Подход держится на трёх вещах: единый источник правды, корректная атрибуция и достаточная выборка. Если Метрика, Директ и CRM считают конверсии по-разному, спор «чьи цифры верные» съест больше времени, чем сэкономит весь data-driven. Поэтому сначала сводят данные в один дашборд с общими определениями метрик, и только потом принимают решения. Иначе каждый отдел оптимизирует свою цифру, а общая выручка стоит на месте.
Вторая ловушка — статистическая значимость. A/B-тестна 80 визитах, где «версия Б лучше», чаще всего показывает шум вместо эффекта: при таком объёме разница в 1-2 п.п. укладывается в случайность. До старта прикидывают нужный размер выборки и срок, иначе тест останавливают на красивой цифре и катят в прод гипотезу, которая в реальности не работает. В SEO это особенно коварно — сезонность и апдейты алгоритмов Яндекса и Google легко принять за результат своих правок, если не держать контрольный период.
Команда хотела выкатить новый заголовок на лендинг по первым 90 визитам: 6,1 % против 4,0 % выглядело как победа. Прогнали через калькулятор значимости — при таком объёме p-value 0,21, то есть результат случаен. Докрутили тест до 1400 визитов на вариант: разрыв сжался до 4,6 % против 4,3 % и оказался незначимым, заголовок не меняли и не потеряли конверсию.
Подход начинается с качества данных. Пока метки кампаний ставятся вручную и по-разному, цели дублируются, а часть переходов теряет источник, цифры в отчёте описывают настройки аналитики вместо поведения людей. Поэтому первый этап — единая схема разметки, проверенные цели и сверка с системой учёта клиентов.
Второй шаг — договориться о правилах до эксперимента: какой показатель главный, какая разница считается значимой и что вы сделаете при каждом исходе. Иначе после теста начинается подгонка объяснений под результат. Отдельная ловушка — смотреть только на выживших: отчёт по купившим ничего не скажет о тех, кто ушёл с середины пути.
Частые вопросы
С чего начинать переход к решениям по данным?
С качества сбора: единая схема меток кампаний, проверенные цели, передача источника в систему учёта клиентов. Пока данные собираются как придётся, любые выводы описывают настройки аналитики вместо поведения аудитории.
Какие данные нужны в первую очередь?
Источник обращения, стоимость канала, число заявок и сделок с суммами. Этой четвёрки хватает, чтобы считать стоимость привлечения и окупаемость по каналам. Остальные метрики подключают по мере появления вопросов.
Как избежать подгонки выводов под результат?
Фиксировать правила до эксперимента: главный показатель, минимальную значимую разницу и действия при каждом исходе. Решение, записанное заранее, защищает от поиска объяснений уже случившемуся.
Где проходит граница между данными и интуицией?
Интуиция порождает гипотезы, данные их проверяют. Опыт подсказывает, что стоит попробовать, эксперимент показывает, сработало ли. Отказ от любой из частей приводит либо к слепым решениям, либо к бесконечным тестам мелочей.