So funktioniert der Rechner
Der Tab für die Stichprobengröße nutzt die Standardformel zum Vergleich zweier Conversion-Rates mit einem zweiseitigen Zwei-Stichproben-z-Test für Anteile:
n pro Variante = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 ist Ihre Ausgangs-Conversion-Rate für genau die Seite und das Ziel, die Sie testen.
- p2 ist die Basisrate multipliziert mit (1 + minimaler erkennbarer Effekt).
- p̄ ist der Mittelwert von p1 und p2.
- zα/2 beträgt 1,96 bei 95 % Konfidenz, und zβ beträgt 0,84 bei 80 % Teststärke.
Bei mehr als einer Variante teilt der Rechner Alpha durch die Anzahl der Vergleiche mit der Kontrolle (eine Bonferroni-Korrektur), wodurch die Gesamtrate falsch positiver Ergebnisse auf dem gewählten Konfidenzniveau bleibt. Unser Leitfaden zur Stichprobengröße für A/B-Tests erklärt die Formel Schritt für Schritt, mit Tabellen für gängige B2B-Conversion-Raten.
Durchgerechnetes Beispiel
Fiktive Zahlen: Eine Seite für Demo-Anfragen konvertiert mit 3 % und hat 2.000 Besucher pro Woche. Sie möchten wissen, ob eine neue Headline die Conversion um mindestens 20 % steigert, also ist p2 = 3,6 %. Der Rechner liefert etwa 13.900 Besucher pro Variante, 27.800 insgesamt – das sind 14 Wochen Traffic. Das ist für viele B2B-Seiten die ehrliche Antwort, und deshalb markiert das Tool jeden Test, der länger als ein Quartal dauert.
Drei Wege, die Dauer zu verkürzen: eine mutigere Änderung testen und den minimal nachweisbaren Effekt auf 30 % oder mehr anheben, ein häufigeres Ereignis messen, etwa Klicks auf die Demoseite, oder den Test auf einer Seite mit mehr Traffic durchführen. Wenn Sie zwischen einem A/B-Test und einem Test mehrerer Elemente gleichzeitig wählen, lesen Sie zuerst A/B-Testing vs. multivariates Testing, denn multivariate Tests brauchen weit mehr Traffic.
Ein Signifikanzergebnis richtig lesen
Der Signifikanz-Tab vergleicht zwei abgeschlossene Varianten. Angenommen, die Kontrollgruppe hatte 5.000 Besucher und 150 Conversions (3,0 %) und die Variante 5.000 Besucher und 190 Conversions (3,8 %). Der relative Uplift beträgt 26,7 %, der p-Wert etwa 0,027, und das 95-%-Konfidenzintervall der Differenz reicht von etwa 0,1 bis 1,5 Prozentpunkten. Das Ergebnis ist signifikant, aber das Intervall ist breit: Der wahre Uplift könnte klein sein. Betrachten Sie den gemessenen Uplift als eher nach oben verzerrte Schätzung, besonders wenn der Test vorzeitig beendet wurde.
Was Sie auf einer B2B-Website mit wenig Traffic zuerst testen sollten, steht im Testing-Abschnitt unseres Leitfadens zur Conversion-Rate-Optimierung. Wenn Sie personalisierte Erlebnisse statt einzelner Seitenänderungen testen, führt Markettailors A/B-Testing Kontrollgruppen pro Besuchersegment.
Häufig gestellte Fragen
Wie viele Besucher brauche ich für einen A/B-Test?
Das hängt von Ihrer Basis-Conversion-Rate und dem kleinsten Uplift ab, den Sie erkennen wollen. Bei einer Basis von 3 % braucht es für einen relativen Uplift von 20 % bei 95 % Konfidenz und 80 % Power etwa 13.900 Besucher pro Variante. Halbieren Sie den zu erkennenden Uplift, vervierfacht sich die Stichprobe ungefähr.
Wie wird die statistische Signifikanz bei einem A/B-Test berechnet?
Dieser Rechner verwendet einen zweiseitigen Zwei-Stichproben-z-Test für Anteile. Er fasst beide Varianten zusammen, um das Rauschen zu schätzen, das ohne echten Unterschied zu erwarten wäre, teilt die beobachtete Differenz der Conversion-Raten durch diesen Standardfehler und rechnet den resultierenden z-Wert in einen p-Wert um. Ein p-Wert unter 0,05 ist bei 95 % Konfidenz signifikant.
Wie lange sollte ein A/B-Test laufen?
Bis die vor dem Start berechnete Stichprobengröße erreicht ist, und mindestens eine volle Woche, damit sowohl Werktags- als auch Wochenendverhalten enthalten sind. Die obige Schätzung der Dauer teilt die Gesamtstichprobe durch Ihren wöchentlichen Traffic auf der getesteten Seite.
Kann ich einen A/B-Test beenden, sobald er signifikant ist?
Nein. Wer die Ergebnisse wiederholt prüft und beim ersten signifikanten Wert stoppt, treibt die Rate falsch-positiver Ergebnisse weit über 5 %. Legen Sie die Stichprobengröße vorab fest und werten Sie das Ergebnis aus, sobald sie erreicht ist, oder nutzen Sie eine Methode für fortlaufendes Monitoring wie einen sequenziellen Test.
Was, wenn meine B2B-Website nicht genug Traffic für A/B-Tests hat?
Testen Sie größere Änderungen, wählen Sie ein Conversion-Event, das häufiger vorkommt (etwa Klicks auf die Demoseite statt gebuchter Demos), testen Sie auf Ihrem Template mit dem meisten Traffic oder akzeptieren Sie einen längeren Test. Würde ein Test länger als ein Quartal dauern, nutzen Sie stattdessen qualitative Forschung und Holdout-Vergleiche.