A/B-Test-Signifikanzrechner

Formel

p̂ = (Conversions A + Conversions B) ÷ (Besucher A + Besucher B)
SE = √( p̂(1−p̂) · (1/nA + 1/nB) )
z = (Rate B − Rate A) ÷ SE
p-Wert = 2 · (1 − Φ(|z|))   ·   Konfidenz = 1 − p-Wert

So lesen Sie die Signifikanz

Das ist der Zwei-Anteils-z-Test, den die meisten A/B-Testing-Tools verwenden. Der p-Wert ist die Wahrscheinlichkeit, einen mindestens so großen Unterschied zu sehen, wenn beide Varianten in Wirklichkeit gleich gut konvertieren. Die Konfidenz ist schlicht eins minus dieser Wert. Üblich ist die Schwelle von 95 % Konfidenz (p < 0,05); darüber gilt das Ergebnis als statistisch signifikant.

Signifikanz ist nicht dasselbe wie Bedeutung. Ein relativer Uplift von 0,2 % kann bei Millionen Besuchern signifikant und trotzdem nicht umsetzungswürdig sein; ein Uplift von 20 % kann mit zu wenig Daten die Signifikanz verfehlen und trotzdem real sein. Lesen Sie die Konfidenz zusammen mit dem Uplift und der Stichprobengröße, die Sie vor dem Test geplant hatten.

Häufige Fragen

Das Ergebnis liegt bei 93 % — reicht das?

Es liegt unter der Konvention von 95 %, nach üblichem Maßstab haben Sie also keinen Unterschied gezeigt. Statt die Latte zu senken, prüfen Sie, ob der Test die geplante Stichprobengröße erreicht hat; wenn nicht, lassen Sie ihn bis dorthin laufen und lesen das Ergebnis einmal.

Warum sagt der Rechner signifikant und mein Testing-Tool nicht?

Die Methoden unterscheiden sich: Manche Tools rechnen einseitig, manche bayesianisch, manche korrigieren sequenzielles Testen wegen des Hineinschauens. Hier steht ein einfacher zweiseitiger z-Test auf den Endzahlen — der konservativste der einfachen Ansätze.

Kann ich das für den Umsatz je Besucher verwenden?

Nein — dieser Test gilt für Raten (konvertiert oder nicht). Der Umsatz je Besucher ist eine stetige, schief verteilte Größe und braucht einen t-Test oder ein Bootstrap-Verfahren. Nutzen Sie den Rechner für Conversion, Klickrate, Anmeldungen und ähnliche binäre Ergebnisse.