Калькулятор A/B-теста

Вероятность увидеть такую же или большую разницу между вариантами, если на самом деле разницы нет. P-value 0,03 значит: если бы варианты были одинаковыми, такой результат случайно выпадал бы в трёх случаях из ста. Это не вероятность того, что вариант B лучше, — распространённое, но неверное прочтение.

Это соглашение, а не закон природы. Порог 0,05 предложил Рональд Фишер в 1920-е как удобную границу, и он прижился. Для решений с высокой ценой ошибки берут 1%, для быстрых продуктовых проверок иногда допускают 10%. Важно выбрать порог ДО теста: подбирать его после того, как увидел данные, — это способ получить любой желаемый ответ.

Нет, и это главная причина ложных побед. При подглядывании каждый день вероятность хотя бы раз случайно пересечь порог доходит до 20–30% даже когда разницы нет вообще. Размер выборки считается заранее, тест останавливается по его достижении. Исключение — заранее заложенные промежуточные проверки со скорректированным порогом.

Диапазон, в котором с заданной уверенностью лежит настоящая разница. Интервал «от −2% до +18%» означает, что вариант B может оказаться и хуже: результат не значим, хотя среднее показывает рост. Интервал «от +4% до +12%» говорит не только о победе, но и о её масштабе — а это то, что нужно для решения.

Зависит от базовой конверсии и от того, какой прирост вы хотите поймать. Ловить рост на 1% при конверсии 2% — это десятки тысяч наблюдений на вариант. Правило простое: чем меньше эффект, тем больше выборка, причём вчетверо при уменьшении эффекта вдвое. Второй блок считает это точно.

Значит, данных не хватило, чтобы отличить его от A. Отсутствие доказательства не есть доказательство отсутствия. Посмотрите на доверительный интервал: если он широкий, тест просто не добрал выборку; если узкий и лежит вокруг нуля, разницы действительно нет.

Нет, всё считается в браузере.