A/B Testi Anlamlılık Hesaplama

Formül

p̂ = (A dönüşümleri + B dönüşümleri) ÷ (A ziyaretçileri + B ziyaretçileri)
SE = √( p̂(1−p̂) · (1/nA + 1/nB) )
z = (B oranı − A oranı) ÷ SE
p-değeri = 2 · (1 − Φ(|z|))   ·   Güven = 1 − p-değeri

Anlamlılık nasıl okunur

Bu, çoğu A/B testi aracının kullandığı iki oranlı z-testidir. p-değeri, iki varyant gerçekte aynı oranda dönüşseydi en az bu büyüklükte bir fark görme olasılığıdır. Güven ise bunun biri eksiğidir. Alışılmış eşik %95 güvendir (p < 0,05); bunun üstünde sonuç istatistiksel olarak anlamlı sayılır.

Anlamlılık, önemli olmakla aynı şey değildir. Milyonlarca ziyaretçiyle %0,2'lik göreli bir artış anlamlı çıkabilir ve yine de yayına almaya değmeyebilir; %20'lik bir artış ise yeterli veri olmadan anlamlılığı ıskalayabilir ve yine de gerçek olabilir. Güveni, artışla ve testten önce planladığınız örneklem büyüklüğüyle birlikte okuyun.

Sık sorulan sorular

Sonuç %93 — bu yeterli mi?

%95 konvansiyonunun altında, yani genel kabule göre bir fark gösteremediniz. Çıtayı indirmek yerine testin planladığınız örneklem büyüklüğüne ulaşıp ulaşmadığına bakın; ulaşmadıysa o örnekleme kadar çalıştırın ve sonucu bir kez okuyun.

Hesaplayıcı anlamlı diyor ama test aracım demiyor, neden?

Araçların yöntemi farklıdır: kimi tek yönlü test kullanır, kimi Bayesçi tahmin, kimi ara bakışlar için ardışık test düzeltmesi uygular. Buradaki hesap, nihai sayılar üzerinde düz bir çift yönlü z-testidir; basit yaklaşımlar arasında en muhafazakâr olanıdır.

Bunu ziyaretçi başına gelir için kullanabilir miyim?

Hayır — bu test oranlar içindir (dönüştü ya da dönüşmedi). Ziyaretçi başına gelir, çarpık dağılıma sahip sürekli bir metriktir ve t-testi ya da bootstrap gerektirir. Bu hesaplayıcıyı dönüşüm, tıklama, kayıt gibi ikili sonuçlarda kullanın.