Калькулятор A/B-теста

Как это работает

После: можно ли верить разнице, которая получилась. Значимость считается z-критерием для двух долей — тем же способом, что в рекламных кабинетах и в статистических пакетах.

Под ответом стоит доверительный интервал прироста: он говорит больше одного числа, потому что показывает не только «выиграл», но и насколько уверенно. Отдельно инструмент предупреждает о самой частой ошибке — подглядывании в тест до набора выборки.

Что считает A/B-тест и какие величины в нём главные

A/B-тест сравнивает два варианта и отвечает на один вопрос: достаточно ли данных, чтобы считать разницу настоящей. Наблюдаемое отличие конверсий почти всегда есть, но оно может быть случайным колебанием. Статистическая значимость показывает, насколько маловероятно получить такую разницу, если варианты на деле одинаковы.

До запуска считают размер выборки: он зависит от исходной конверсии, минимального эффекта, который вы хотите заметить, и требуемой мощности. Чем меньше эффект, тем больше нужно людей, причём зависимость квадратичная: чтобы поймать разницу вдвое меньшую, выборку увеличивают вчетверо.

Главная ловушка теста — подглядывание. Если проверять результат каждый день и останавливаться в тот момент, когда значимость впервые перешла порог, тест перестаёт работать: при достаточном числе проверок случайное колебание рано или поздно даст нужную цифру. Поэтому размер выборки и срок фиксируют заранее и досматривают до конца.

История: от делянок Фишера до почтовых рассылок

Идея сравнивать группы с случайным распределением пришла из сельского хозяйства. В двадцатые годы Рональд Фишер, работая на опытной станции в Ротамстеде, показал: чтобы понять действие удобрения, делянки нужно распределять жребием, иначе почва и погода подменят собой эффект. Там же он ввёл понятие уровня значимости и предложил порог в пять процентов как удобное практическое соглашение.

Медицина взяла метод в середине века и сделала рандомизированное испытание золотым стандартом. В прямой маркетинг он пришёл через почтовые рассылки: каталог печатали в двух версиях и рассылали случайным половинам базы, а считали по возвратам купонов. Веб добавил к этому лишь скорость: тот же план эксперимента исполняется за дни и без типографии.

Как спланировать тест и прочитать результат

Значимость не отвечает на вопрос, стоит ли внедрять вариант. Разница в полпроцента может оказаться статистически надёжной на большой выборке и при этом не окупить переделку. Поэтому минимальный эффект задают из экономики: считают, какой прирост вернёт стоимость изменений, и уже под него планируют тест.