A/Bテスト有意差計算ツール

計算式

p̂ =（Aのコンバージョン数 + Bのコンバージョン数）÷（Aの訪問数 + Bの訪問数）
SE = √( p̂(1−p̂) · (1/nA + 1/nB) )
z =（Bの率 − Aの率）÷ SE
p値 = 2 · (1 − Φ(|z|))   ·   信頼度 = 1 − p値

有意差の読み方

これは多くのA/Bテストツールが使っている2標本比率のz検定です。p値は、二つのパターンが実際には同じ率でコンバージョンしていた場合に、これ以上の差が偶然現れる確率です。信頼度はその1マイナスにすぎません。慣例的なしきい値は信頼度95%（p < 0.05）で、これを超えた結果を統計的に有意と呼びます。

有意であることと重要であることは別です。数百万の訪問があれば相対0.2%の改善でも有意になりますが、実装する価値はないかもしれません。逆に20%の改善でも、データが足りなければ有意になりませんが、それが本物であることはあり得ます。信頼度は、改善率と、テスト前に計画したサンプルサイズと併せて読んでください。

よくある質問

結果が93%でした。これで十分ですか？

95%という慣例を下回っているので、通常の基準では差を示せていません。基準を下げるのではなく、計画したサンプルサイズに到達しているかを確認してください。届いていないなら、そのサンプル数まで走らせて、結果は一度だけ読んでください。

このツールは有意と出るのに、自社のテストツールは有意と出ません。なぜですか？

手法が違います。片側検定を使うもの、ベイズ推定を使うもの、途中確認に対する逐次検定の補正を入れるものがあります。このツールは最終的な数字に対する素直な両側z検定で、簡便な手法の中では最も保守的です。

訪問者1人あたりの売上にも使えますか？

使えません。この検定は率（コンバージョンしたかどうか）が対象です。訪問者1人あたりの売上は分布の歪んだ連続量で、t検定やブートストラップが必要です。コンバージョン、クリック、登録のような二値の結果に使ってください。