サンプルサイズ計算ツール

計算式

1パターンあたりの n = (z₁₋α/₂ · √(2·p̄(1−p̄)) + z₁₋β · √(p₁(1−p₁) + p₂(1−p₂)))² ÷ (p₂ − p₁)²
p₁ = ベースラインの率、p₂ = p₁ ×（1 + MDE）、p̄ =（p₁ + p₂）÷ 2
期間（日）= 合計サンプル数 ÷ 1日の訪問数

サンプルサイズの決め方

サンプルサイズは確からしさの値段です。検出したい改善幅が小さいほど、そしてベースラインのコンバージョン率が低いほど、必要な訪問数は増えます。しかもこの関係は二次なので、最小検出効果を半分にすると必要なサンプルはおよそ4倍になります。この計算ツールは、多くの実験プラットフォームが実装しているのと同じ2標本比率のz検定の式を使っています。

テストを誠実に保つルールは二つです。始める前にサンプルサイズを決めること、そして結果が良く見えるからといって途中で止めないこと。走っているテストを覗いて最初に有意になった時点で止めると、自分が受け入れているつもりの5%をはるかに超える割合で偽陽性が出ます。

よくある質問

信頼度と検出力はいくつにすべきですか？

信頼度95%、検出力80%が慣例的な既定値で、多くのツールもこれを前提にしています。どちらを上げても必要サンプルは増えます。判断を誤っても安く元に戻せるなら信頼度90%も許容できますが、大きく恒久的な変更を伴うなら95%以上を保ってください。

最小検出効果は相対値ですか、絶対値ですか？

相対値です。ベースライン3%でMDE 10%なら、13%ではなく3.3%への変化を検出できる設計になります。同じ大きさの絶対値の改善であれば、必要な訪問数ははるかに少なくて済みます。

テストに90日必要と出ました。どうすればよいですか？

MDEを大きくする（より大きな変更をテストする）、トラフィックの多いページやファネルの手前の工程にテストを移す、変更に近い指標を使う（購入ではなく要素のクリック）のいずれかです。4〜6週間を超えるテストは、Cookieの入れ替わりや季節性の影響も受け始めます。

3パターン以上でも使えますか？

1パターンあたりの数字は追加のパターンにもそのまま当てはまりますが、多重比較の補正として信頼度を厳しくすべきです。対照群に対して3パターンなら、95%ではなくおよそ98%を使ってください。