Калькулятор размера выборки

Формула

n на вариант = (z₁₋α/₂ · √(2·p̄(1−p̄)) + z₁₋β · √(p₁(1−p₁) + p₂(1−p₂)))² ÷ (p₂ − p₁)²
p₁ — базовая конверсия, p₂ = p₁ × (1 + MDE), p̄ = (p₁ + p₂) ÷ 2
Длительность (дней) = Общая выборка ÷ Посетителей в день

Как читать размер выборки

Размер выборки — это цена уверенности. Чем меньше прирост, который вы хотите обнаружить, и чем ниже базовая конверсия, тем больше нужно посетителей, причём зависимость квадратичная: уменьшение минимального обнаруживаемого эффекта вдвое увеличивает выборку примерно вчетверо. Здесь используется стандартная формула z-теста для двух долей, реализованная в большинстве платформ для экспериментов.

Тест остаётся честным при двух правилах: размер выборки определяется до старта, и тест не останавливают раньше срока только потому, что результат выглядит хорошо. Подглядывание в работающий тест и остановка на первом значимом значении раздувают долю ложноположительных выводов далеко за те 5%, которые вы, как вам кажется, допускаете.

Частые вопросы

Какие доверие и мощность использовать?

95% доверия и 80% мощности — общепринятые значения по умолчанию, на них рассчитано большинство инструментов. Повышение любого из них увеличивает нужную выборку. Если ошибочное решение дёшево и обратимо, 90% доверия оправданны; если оно ведёт к крупному необратимому изменению, оставайтесь на 95% или выше.

Минимальный обнаруживаемый эффект — относительный или абсолютный?

Относительный. MDE 10% при базе 3% означает, что тест рассчитан на обнаружение перехода к 3,3%, а не к 13%. Абсолютный прирост такого размера потребовал бы гораздо меньше посетителей.

Тесту нужно 90 дней. Что делать?

Либо примите больший MDE и проверяйте более крупные изменения, либо перенесите тест на страницу или шаг воронки с большим трафиком, либо возьмите метрику ближе к самому изменению (клики по элементу вместо покупок). Тесты длиннее четырёх-шести недель к тому же начинают страдать от обновления cookie и сезонности.

Подходит ли это для более чем двух вариантов?

Число на вариант остаётся верным для каждого дополнительного варианта, но уровень доверия нужно ужесточить с поправкой на множественные сравнения: при трёх вариантах против контроля берите примерно 98% вместо 95%.