Stichprobenrechner
Ermitteln Sie, wie viele Besucher jede Variante eines A/B-Tests braucht, um einen bestimmten Uplift bei gewählter Konfidenz und Power zu erkennen.
- Besucher gesamt (2 Varianten)
- 106.422
- Testdauer bei Ihrem Traffic · Tage
- 27
- Getestete Rate der Variante
- 3,3%
Die Ergebnisse aktualisieren sich beim Tippen. Die Werte stehen in der URL — Sie können genau diese Rechnung teilen oder als Lesezeichen speichern.
Formel
n je Variante = (z₁₋α/₂ · √(2·p̄(1−p̄)) + z₁₋β · √(p₁(1−p₁) + p₂(1−p₂)))² ÷ (p₂ − p₁)² p₁ = Ausgangsrate, p₂ = p₁ × (1 + MDE), p̄ = (p₁ + p₂) ÷ 2 Dauer (Tage) = Gesamtstichprobe ÷ tägliche Besucher
So planen Sie die Stichprobengröße
Die Stichprobengröße ist der Preis der Sicherheit. Je kleiner der nachzuweisende Effekt und je niedriger die Ausgangs-Conversion-Rate, desto mehr Besucher brauchen Sie — und der Zusammenhang ist quadratisch: Halbiert man den kleinsten nachweisbaren Effekt, vervierfacht sich die Stichprobe ungefähr. Hier rechnet die übliche Formel des Zwei-Stichproben-z-Tests, die auch die meisten Testing-Plattformen umsetzen.
Zwei Regeln halten Tests ehrlich: Legen Sie die Stichprobengröße vor dem Start fest, und brechen Sie nicht ab, weil das Ergebnis gerade gut aussieht. Wer laufend hineinschaut und beim ersten signifikanten Wert stoppt, treibt die Rate falsch positiver Ergebnisse weit über die 5 %, die er zu akzeptieren glaubt.
Häufige Fragen
- Welche Konfidenz und welche Power soll ich wählen?
- 95 % Konfidenz und 80 % Power sind die üblichen Vorgaben und das, was die meisten Tools unterstellen. Beides zu erhöhen vergrößert die nötige Stichprobe. Ist eine falsche Entscheidung billig und umkehrbar, sind 90 % Konfidenz vertretbar; steht eine große dauerhafte Änderung an, bleiben Sie bei 95 % oder darüber.
- Ist der kleinste nachweisbare Effekt relativ oder absolut?
- Relativ. Ein MDE von 10 % bei einem Ausgangswert von 3 % heißt, dass der Test auf einen Anstieg auf 3,3 % ausgelegt ist, nicht auf 13 %. Absolute Zuwächse dieser Größe bräuchten weit weniger Besucher.
- Mein Test bräuchte 90 Tage. Was nun?
- Entweder Sie akzeptieren einen größeren MDE (testen also größere Änderungen), verlegen den Test auf eine Seite oder Funnelstufe mit mehr Traffic, oder Sie messen näher an der Änderung (Klicks auf das Element statt Käufe). Tests über vier bis sechs Wochen leiden zudem unter Cookie-Verlust und Saisonalität.
- Gilt das auch für mehr als zwei Varianten?
- Die Zahl je Variante gilt für jede weitere Variante ebenso, aber Sie sollten das Konfidenzniveau wegen des multiplen Testens verschärfen — bei drei Varianten gegen die Kontrolle etwa 98 % statt 95 %.