Калькулятор значимости A/B-теста

Формула

p̂ = (конверсии A + конверсии B) ÷ (посетители A + посетители B)
SE = √( p̂(1−p̂) · (1/nA + 1/nB) )
z = (конверсия B − конверсия A) ÷ SE
p-value = 2 · (1 − Φ(|z|))   ·   Доверие = 1 − p-value

Как читать значимость A/B-теста

Это z-тест для двух долей, который применяет большинство инструментов A/B-тестирования. P-value — вероятность увидеть разницу не меньше наблюдаемой, если на самом деле оба варианта конвертируются одинаково. Доверие — просто единица минус эта вероятность. Общепринятый порог — доверие 95% (p < 0,05); выше него результат называют статистически значимым.

Значимость и важность — не одно и то же. Относительный прирост в 0,2% может быть значимым при миллионах посетителей и всё равно не стоить внедрения; прирост в 20% может не дотянуть до значимости из-за нехватки данных и при этом быть настоящим. Читайте доверие вместе с приростом и с тем размером выборки, который вы запланировали до теста.

Частые вопросы

Результат 93% — этого достаточно?

Это ниже привычных 95%, то есть по обычному стандарту разница не показана. Вместо того чтобы опускать планку, проверьте, дошёл ли тест до запланированного размера выборки; если нет — доведите его до этой выборки и прочитайте результат один раз.

Почему калькулятор считает разницу значимой, а моя платформа тестирования — нет?

Методы различаются: где-то используется односторонний тест, где-то байесовские оценки, где-то поправки на последовательное тестирование из-за подглядываний. Здесь — обычный двусторонний z-тест по финальным числам, самый консервативный из простых подходов.

Можно ли применять это к выручке на посетителя?

Нет — этот тест для долей: конвертировался или нет. Выручка на посетителя — непрерывная метрика со скошенным распределением, для неё нужен t-тест или бутстрап. Используйте калькулятор для конверсии, кликов, регистраций и других бинарных исходов.