ПаветтаКалькулятор размера выборки
Опрос из ста человек показывает 40 % довольных — но с погрешностью ±10 %, то есть на самом деле где-то между 30 и 50. Чтобы ужать погрешность до ±5 % при доверии 95 %, нужно 385 ответов, до ±3 % — уже 1 068, и размер города или базы клиентов почти не важен, пока выборка меньше 5 % от него.
От чего зависит размер выборки
Калькулятор считает размер выборки для теста: сколько посетителей нужно провести через каждый вариант, чтобы разница между ними была не случайной. Расчёт идёт по базовой конверсии, ожидаемому приросту и требуемой надёжности.
Ключевое, что определяет размер, — величина эффекта. Прирост конверсии на четверть обнаруживается на тысячах наблюдений, прирост на пару процентов — на сотнях тысяч, и это делает мелкие правки непроверяемыми для небольшого сайта.
Стандартные настройки — надёжность 95 процентов и мощность 80. Первая ограничивает вероятность увидеть разницу там, где её нет, вторая — вероятность не увидеть разницу там, где она есть.
Инструмент показывает и срок теста в днях по вашему трафику. Тест короче двух недель ненадёжен независимо от числа наблюдений: недельный цикл поведения нужно захватить целиком.
| Базовая конверсия | Прирост | Нужно на вариант |
|---|---|---|
| 2 % | +25 % | ≈ 12 000 |
| 2 % | +10 % | ≈ 75 000 |
| 10 % | +25 % | ≈ 2 200 |
| 10 % | +10 % | ≈ 13 000 |
Фишер, порог 0,05 и мощность теста
Статистическую проверку гипотез в нынешнем виде создал Рональд Фишер в двадцатые годы, работая на сельскохозяйственной станции: он планировал опыты с делянками и удобрениями и придумал рандомизацию как способ отделить эффект от случайности.
Порог 0,05, который сегодня применяется повсеместно, Фишер выбрал как удобный ориентир, специально оговорив, что это дело договорённости. Полвека спустя эта договорённость превратилась в жёсткое правило, о чём он не предупреждал.
Понятие мощности теста ввели Ежи Нейман и Эгон Пирсон в тридцатые. Их подход дополнил фишеровский вторым видом ошибки: не только «увидеть то, чего нет», но и «не увидеть то, что есть».
Массовое тестирование в вебе принесло свою беду — подглядывание за результатом. Если останавливать тест в момент, когда разница выглядит значимой, ложные срабатывания растут в разы: при ежедневной проверке ошибка первого рода доходит до трети вместо обещанных пяти процентов.
Как провести тест без ложных выводов
Задайте минимальный эффект, ради которого стоит менять сайт. Если правка окупается только при приросте в 20 процентов, тест на 5 процентов вам не нужен, и выборка получится в шестнадцать раз меньше.
Определите срок и число наблюдений до запуска и не останавливайте тест раньше. Досрочная остановка на красивой цифре — главный источник ложных выводов в тестировании.
Проверяйте однородность групп до начала. Если распределение по устройствам или источникам в вариантах различается, разница в конверсии объясняется этим перекосом, а сама правка тут ни при чём.
Ведите тест целыми неделями. Поведение в будни и выходные различается настолько, что тест на десять дней даёт перекос в сторону того типа дней, которых оказалось больше.
Доводите тест до конца даже при плохом промежуточном результате. Ранняя остановка проигрывающего варианта так же искажает статистику, как и ранняя остановка выигрывающего.
Не запускайте несколько тестов на одной аудитории одновременно. Пересекающиеся изменения искажают результаты обоих, и разделить их вклад потом невозможно.
Проверяйте сначала крупные изменения. Новый заголовок и другая структура страницы дают эффект, который виден на доступном трафике; цвет кнопки на большинстве сайтов проверить невозможно в принципе.
Считайте выборку до запуска и записывайте её. Расчёт задним числом под уже полученный результат превращает тест в подгонку.
Посчитать стоимость действия поможет калькулятор CPA, а бюджет на трафик — калькулятор рекламного бюджета.
| Что считается | наблюдений на вариант |
| Надёжность | 95 % |
| Мощность | 80 % |
| Главный фактор | величина эффекта |
| Минимальный срок | две недели |
| Вести | целыми неделями |
| Фишер | 1920-е |
| Нейман и Пирсон | 1930-е |
Как это работает
Калькулятор считает обе задачи: сколько ответов нужно опросу и сколько пользователей на каждый вариант нужно A/B-тесту, чтобы заметить прирост конверсии заданного размера с выбранной значимостью и мощностью; по вашему дневному трафику — сколько дней держать тест. Формулы стандартные: нормальное приближение для доли и z-тест двух долей. Проверено 04.09.2026.
Как пользоваться
- Опрос или оценка доли — одна группа; A/B-тест — сравнение конверсии двух вариантов.
- Опрос: погрешность в процентных пунктах и доверительная вероятность; A/B: базовая конверсия, ожидаемый прирост, значимость и мощность.
- Для опроса — размер генеральной совокупности, если он мал; для теста — посетителей в день на все варианты.
- Нужное число ответов или пользователей на вариант, дни теста, таблица для разных погрешностей и приростов.
Частые вопросы
Как считается выборка для опроса
n = z² × p × (1 − p) ÷ e², где z — квантиль нормального распределения для доверительной вероятности (1,96 для 95 %), p — ожидаемая доля (0,5 даёт максимум и используется по умолчанию), e — допустимая погрешность. При небольшой генеральной совокупности N применяется поправка: n ÷ (1 + (n − 1) ÷ N). Для 95 % и ±5 % получается 385 ответов; при N = 1 000 достаточно 278.
Как считается выборка для A/B-теста
Для сравнения двух долей p₁ и p₂: n на вариант = (z₁₋α/₂ × √(2p̄(1 − p̄)) + z₁₋β × √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ (p₂ − p₁)², где p̄ — средняя конверсия, α — уровень значимости (обычно 5 %, двусторонний), 1 − β — мощность (обычно 80 %). Конверсия 5 % и прирост до 6 % требуют около 8 200 пользователей на вариант.
Что такое мощность и значимость
Значимость α — вероятность увидеть эффект там, где его нет (ложное срабатывание); мощность 1 − β — вероятность заметить эффект, если он есть. Стандарт 5 % и 80 %; строже — 1 % и 90 % — увеличивает выборку примерно вдвое.
Почему нельзя остановить тест раньше
Если смотреть на результат каждый день и останавливать при первом «значимом» отклонении, ложные срабатывания растут в разы. Размер выборки считают заранее и держат тест до набора, минимум одну полную неделю, чтобы захватить недельный цикл.
Относительный или абсолютный прирост
Относительный — в процентах от базовой конверсии: +20 % к 5 % дают 6 %. Абсолютный — в процентных пунктах: +1 п. п. к 5 % тоже 6 %. Калькулятор принимает оба варианта; чем меньше ожидаемый прирост, тем больше выборка — обратно пропорционально квадрату.
Спросите нейросети об инструменте
Похожие инструменты
Цена целевого действия, воронка от показов к заявкам через CTR и конверсию, а также предельный CPA, выше которого реклама уходит в минус.
ОткрытьКалькулятор рекламного бюджетаСчитает бюджет от плана продаж: разворачивает воронку назад до кликов и денег. Проверяет, укладывается ли план в вашу маржу.
ОткрытьКалькулятор CTRКликабельность из показов и кликов: CTR сниппета в выдаче или объявления, с ориентирами по позициям.
ОткрытьКалькулятор NPSИндекс лояльности клиентов по ответам на шкале 0–10: промоутеры, нейтралы, критики и итоговый NPS с трактовкой.
ОткрытьКалькулятор ДРРДоля рекламных расходов в выручке, перевод в ROAS и ROMI, предельный ДРР по марже и план бюджета до цены клика.
ОткрытьКалькулятор A/B-тестаЗначимость эксперимента по конверсиям двух вариантов: p-value, доверительный интервал прироста. Отдельно считает нужный размер выборки до запуска.
ОткрытьЕщё инструменты для рекламы и аналитики
Генератор UTM-меток, минус-слова и кросс-минусовка, расчёты CTR, конверсии, ROMI и юнит-экономики, калькулятор A/B-теста — в разделе 30 инструментов.