Stichprobengröße bei A/B-Tests: Formel und Tabellen für B2B-Traffic

Die Formel für die Stichprobengröße von A/B-Tests sagt Ihnen, wie viele Besucher jede Variante braucht, bevor ein Unterschied in der Conversion-Rate etwas bedeutet. Für einen zweiseitigen Standardtest mit 95 % Konfidenz und 80 % Power brauchen Sie ungefähr n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² Besucher pro Variante, wobei p1 Ihre Baseline-Rate und p2 die Rate ist, die Sie nachweisen möchten.

Wenden Sie diese Formel auf echte B2B-Zahlen an, und das Ergebnis ist unbequem. Eine Seite mit 3 % Conversion braucht etwa 14.000 Besucher pro Variante, um einen relativen Uplift von 20 % zuverlässig nachzuweisen. Viele B2B-Seiten sehen in einem Quartal nicht so viele Besucher. Im Folgenden: die Formel Eingabe für Eingabe, berechnete Tabellen für verschiedene Basisraten, wie lange ein Test bei einem bestimmten Traffic dauert und was zu tun ist, wenn die Antwort „acht Monate“ lautet.

Unsere Position: Die meisten B2B-A/B-Tests haben zu wenig Power

Zuerst die Meinung, die die Mathematik stützt. Wir sind der Ansicht, dass die meisten B2B-A/B-Tests lange vor ausreichender Datenlage gestoppt werden und viele der so ermittelten „Gewinner“ Rauschen sind. Das Muster sieht so aus: ein dreiwöchiger Test, eine Variante mit 25 % Vorsprung, ein grünes Abzeichen, eine ausgerollte Änderung und sechs Monate später kein sichtbarer Effekt in der Pipeline.

Tests mit zu geringer Power übersehen echte Effekte und verschwenden damit den Testplatz. Schlimmer noch: Wenn ein solcher Test doch die Signifikanzschwelle überschreitet, wird der gemessene Uplift meist überschätzt, weil es nur die glücklichen Ausreißer über die Hürde schaffen. Statistiker nennen das einen Magnitude-Fehler (Typ M). Das Team rollt eine Änderung aus, die womöglich nichts bewirkt, und verbucht zudem eine aufgeblähte Zahl im CRO-Reporting. Die Stichprobengröße vor dem Start zu berechnen ist der günstigste Schutz.

Die Formel für die Stichprobengröße bei A/B-Tests

Die Standardformel zum Vergleich zweier Conversion-Rates (ein Zwei-Stichproben-z-Test für Anteile) lautet:

n pro Variante = [ z_α/2 × √(2 × p̄ × (1 − p̄)) + z_β × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²

Jede Eingabe hat eine leicht verständliche Bedeutung:

• p1 (Basis-Conversion-Rate): die aktuelle Conversion-Rate der getesteten Seite und des getesteten Ziels. Nutzen Sie die Rate für genau dieses Conversion-Event und genau diese Seite aus den letzten 4 bis 8 Wochen, keinen websiteweiten Durchschnitt.
• p2 (Zielrate): der Ausgangswert multipliziert mit (1 + MDE). Bei einem Ausgangswert von 3 % und einem relativen MDE von 20 % ist p2 = 3,6 %.
• MDE (Minimum Detectable Effect): der kleinste relative Uplift, den Sie erkennen wollen. Das ist eine geschäftliche Entscheidung, keine statistische. Kleinere MDEs brauchen drastisch mehr Traffic, weil die Differenz (p2 − p1) im Nenner quadriert wird. Halbieren Sie den MDE, vervierfacht sich die Stichprobe ungefähr.
• p̄ (gepoolte Rate): der Mittelwert von p1 und p2. Er beschreibt das Rauschen unter der Annahme, dass es keinen echten Unterschied gibt.
• z_α/2 = 1,96: entspricht einer Falsch-Positiv-Rate von 5 % (Alpha 0,05), aufgeteilt auf beide Enden, weil die Variante besser oder schlechter sein könnte.
• z_β = 0,8416: entspricht 80 % Power: Entspricht der tatsächliche Uplift Ihrem MDE, erkennt der Test ihn in 80 % der Fälle. In den übrigen 20 % übersehen Sie einen echten Gewinner.

Viele Rechner nutzen die vereinfachte ungepoolte Version aus dem ersten Absatz. Bei B2B-Conversion-Raten unterscheiden sich beide nur um eine Handvoll Besucher. Unser A/B-Test-Rechner nutzt die obige gepoolte Formel und schätzt außerdem die Testdauer.

Rechenbeispiel, Schritt für Schritt

Beispiel (fiktive Zahlen): Eine Seite für Demo-Anfragen konvertiert mit 3 %. Sie möchten einen relativen Uplift von 20 % nachweisen.

1. Legen Sie die Raten fest: p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. Die absolute Differenz beträgt 0,006.
2. Gepoolte Rate: p̄ = (0,030 + 0,036) / 2 = 0,033.
3. Erster Term: √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. Multipliziert mit 1,96: 0,4951.
4. Zweiter Term: p1(1−p1) = 0,0291 und p2(1−p2) = 0,0347. √(0,0638) = 0,2526. Mal 0,8416: 0,2126.
5. Addieren und quadrieren: (0,4951 + 0,2126)² = 0,7077² = 0,5009.
6. Durch die quadrierte Differenz teilen: 0,5009 / 0,006² = 0,5009 / 0,000036 = 13.914 Besucher pro Variante.

Der Test braucht also insgesamt etwa 27.800 Besucher und allein im Kontrollzweig rund 417 Conversions (13.914 × 3 %), bevor Sie das Ergebnis ablesen. Zur Gegenprobe: Die vereinfachte ungepoolte Formel ergibt 13.911 pro Variante, eine Arcsinus-Näherung (Cohens h) etwa 13.890. Die drei Methoden liegen höchstens 0,2 % auseinander.

Tabelle zur Stichprobengröße für B2B-Conversion-Rates

Die folgende Tabelle wendet die oben genannte gepoolte Formel (Alpha 0,05 zweiseitig, Power 0,8) auf Ausgangsraten von 1 % (etwa Demo-Anfragen im Verhältnis zu allen Besuchern einer stark frequentierten Seite) bis 10 % (etwa eine Micro-Conversion wie ein CTA-Klick) an. Verwenden Sie Ihre eigene Ausgangsrate; diese Zeilen sind nur Orientierungspunkte. Die Werte sind Besucher pro Variante, in Node.js berechnet und aufgerundet.

Der Wechsel von einem MDE von 10 % auf 50 % reduziert die benötigte Stichprobe um etwa das 20-Fache. Eine Verdopplung der Basisrate halbiert sie ungefähr. Traffic können Sie nicht schnell ändern, aber Sie können die Größe der getesteten Änderung und die gemessene Conversion wählen, und auf einer kleinen Website sind das die beiden Hebel, die zählen.

Wie lange dauert der Test?

Die Dauer ergibt sich aus der insgesamt benötigten Besucherzahl (beide Varianten) geteilt durch die monatlichen Besucher, die die getestete Seite tatsächlich erreichen. Die Tabelle zeigt die Monate bei einer 50/50-Aufteilung für drei Traffic-Niveaus.

Unabhängig davon, was die Tabelle sagt: Lassen Sie jeden Test mindestens zwei volle Wochen laufen, damit Verhalten an Wochentagen und Wochenenden sowie etwaige Kampagnenspitzen in beiden Gruppen vertreten sind. Und betrachten Sie alles über drei Monate als Test, den Sie in seiner jetzigen Form wohl nicht durchführen sollten: Seiteninhalte, Kampagnen und Traffic-Mix verändern sich in dieser Zeit, und das Ergebnis beschreibt eine Website, die es nicht mehr gibt.

Bei 5.000 Besuchern im Monat und 3 % Baseline lässt sich ein Uplift von 50 % in etwa einem Monat ablesen, ein Uplift von 10 % braucht fast zwei Jahre. Niemand lässt eine Seite zwei Jahre unverändert, also wird der zweite Test vorzeitig abgebrochen und so interpretiert, als hätte er eine Aussagekraft.

Was die meisten Teams falsch machen

• Den Traffic der gesamten Website in die Laufzeitschätzung einbeziehen. Es zählen nur Besucher, die das getestete Element erreichen. Ein Preisseiten-Test auf einer Website mit 20.000 Besuchern sieht vielleicht nur 2.000 berechtigte Besucher im Monat.
• Den MDE nach dem Test wählen. Haben Sie vor dem Start einen MDE von 30 % festgelegt und der Test zeigt 12 %, haben Sie keinen Gewinner mit 12 %, sondern einen Test ohne eindeutiges Ergebnis.
• Zwischendurch nachsehen und beim ersten grünen Badge abbrechen. Evan Millers Analyse How Not To Run an A/B Test zeigt, dass wiederholtes Testen auf Signifikanz die Rate falsch-positiver Ergebnisse immer erhöht. In seinem Beispiel (50 % Baseline, eine Änderung ohne Wirkung, Abbruch, sobald das Ergebnis 5 % Signifikanz erreicht oder nach 150 Beobachtungen) liegt die Rate falsch-positiver Ergebnisse bei 26,1 % statt der nominellen 5 %.

Wenn die Zahlen Monate ergeben: sieben Optionen

1. Größere Änderungen testen

Der günstigste Weg, die Stichprobengröße zu senken, ist, den MDE ehrlich anzuheben, also Änderungen zu testen, die groß genug sind, um ihn plausibel zu erreichen: ein neues Nutzenversprechen, ein anderes Angebot (Sofortbuchung statt Kontaktformular), eine auf eine Branche zugeschnittene Seite statt einer generischen. Unser Leitfaden zur B2B-Conversion-Rate-Optimierung zeigt, wie Sie Testideen nach erwarteter Effektgröße priorisieren.

2. Auf Seiten mit mehr Traffic testen

Startseite, Top-Blogbeiträge und Landingpages mit hohem Volumen bringen Ihnen mehr Besucher pro Monat (in unseren Hinweisen zur B2B-Landingpage-Optimierung erfahren Sie, welche Seiten tendenziell den meisten Traffic in der Entscheidungsphase tragen). Ein Test auf einem Template, das viele Seiten gemeinsam nutzen (alle Lösungsseiten, alle Blogbeiträge), bündelt deren Traffic in einem Experiment.

3. Micro-Conversions mit Bedacht nutzen

Micro-Conversions wie CTA-Klicks oder begonnene Formulare haben höhere Baselines, daher gilt die 10-%-Zeile der Tabelle statt der 2-%-Zeile. Der Haken: Eine Variante kann die Klicks erhöhen und die qualifizierten Demos senken. Verwenden Sie die Micro-Conversion nur dann als Entscheidungskennzahl, wenn Sie Belege haben, dass sie sich mit dem Macro-Ziel bewegt, und berichten Sie die Macro-Conversion immer als Leitplanke mit.

4. Segmente zusammenfassen, später aufteilen

Separate Tests je Segment teilen Ihren Traffic auf. Führen Sie einen Test über alle Segmente durch und betrachten Sie die Ergebnisse auf Segmentebene nur als Tendenz. Brauchen Sie eine segmentspezifische Antwort, muss der Test allein auf den Traffic dieses Segments ausgelegt sein. Die 90-Tage-Roadmap für Personalisierungstests zeigt, wie Sie Segmenttests so staffeln, dass jeder genug Traffic erhält.

5. Sequenzielles Testen nutzen

Sequenzielle Designs (gruppensequenzielle Tests mit vorab geplanten Zwischenauswertungen oder jederzeit gültige Methoden, die in manche Testing-Tools integriert sind) erlauben es, Ergebnisse während des Tests zu prüfen und bei großem Effekt früh zu stoppen, ohne die Zahl der Falsch-Positiven zu erhöhen. Der Preis ist eine etwas größere maximale Stichprobe, wenn der Test bis zum Ende läuft. Das ist die legitime Form des Zwischendurch-Nachschauens. Wenn ein Test Monate dauern würde, investieren Sie das Budget zuerst in diagnostische CRO-Tools wie Session-Aufzeichnungen und Formularanalysen.

6. Ziehen Sie einen bayesschen Ansatz in Betracht – mit klaren Erwartungen

Bayessches A/B-Testing gibt eine Wahrscheinlichkeit an, dass B besser ist als A, und einen erwarteten Verlust, falls Sie die falsche Variante wählen. Das ist leichter umzusetzen als ein p-Wert und erlaubt explizite Entscheidungen wie „live gehen, wenn die Wahrscheinlichkeit, besser zu sein, über 90 % liegt und der erwartete Verlust unter 0,1 Prozentpunkten“. Bei umkehrbaren Änderungen ist es oft rational, dieses Risiko einzugehen.

Was bayessche Methoden nicht tun, ist Information erzeugen. Mit schwachen Priors braucht es etwa genauso viele Daten, um bei einem Uplift von 20 % sicher zu sein, wie in der frequentistischen Tabelle. Eine „Wahrscheinlichkeit, besser zu sein“ von 90 % bei einer winzigen Stichprobe bleibt fragil, und sie täglich mit einer Abbruchregel zu prüfen, erhöht in der Praxis weiterhin die Fehlerrate. Bayessches Testen ändert, wie Sie Unsicherheit ausdrücken und Entscheidungen treffen. Es verringert die Unsicherheit nicht.

7. Nicht vorzeitig nachsehen, oder Zwischenauswertungen einplanen

Legen Sie die Stichprobengröße vor dem Start fest, halten Sie sie im Test-Briefing fest und entscheiden Sie den Test nicht, bevor Sie sie erreicht haben. Wenn Stakeholder Zwischenstände brauchen, nutzen Sie von Anfang an ein sequenzielles Design statt spontaner Kontrollen. Unsere Vorlage für einen Experimentplan hat für jede dieser Entscheidungen ein Feld.

Eine Checkliste vor dem Launch

1. Ermitteln Sie Baseline-Rate und monatlich relevante Besucher für genau diese Seite und Conversion (letzte 4 bis 8 Wochen).
2. Wählen Sie den MDE anhand der Größe der Änderung und halten Sie ihn schriftlich fest.
3. Berechnen Sie n pro Variante mit der Formel oder der Tabelle oben, dann die Laufzeit.
4. Übersteigt die Laufzeit etwa drei Monate, gestalten Sie den Test neu (größere Änderung, Seite mit mehr Traffic oder Kennzahl mit höherer Basisrate plus Leitplanke).
5. Legen Sie die Abbruchregel fest: feste Stichprobe oder ein sequenzieller Plan mit vorab geplanten Auswertungszeitpunkten.

Für B2B-Teams entstehen die größten Effekte meist dadurch, verschiedenen Besuchern verschiedene Inhalte zu zeigen, statt eine Seite für alle zu polieren, denn eine für ein Segment geschriebene Botschaft ist eine größere Änderung als eine neue Buttonfarbe. Wenn Sie zwischen einem einfachen Split-Test und einem Test mit mehreren Varianten oder Faktoren entscheiden, lesen Sie unseren Vergleich A/B-Testing vs. multivariates Testing, der dieselbe Rechnung zur Stichprobengröße auf A/B/n- und multivariate Designs anwendet.

Wenn Sie bereit sind, segmentspezifische Erlebnisse zu testen, teilt Markettailors A/B-Testing für personalisierte Seiten jedes Segment gegen eine Kontrollgruppe auf und misst das Ergebnis pro Segment, sodass die geplante Stichprobengröße auch die tatsächliche ist.

Häufig gestellte Fragen

Wie lautet die Formel für die Stichprobengröße eines A/B-Tests?

Für zwei Conversion-Rates gilt: n pro Variante = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)², wobei p1 der Ausgangswert, p2 die Zielrate und p̄ ihr Mittelwert ist. Dabei werden 95 % Konfidenz (zweiseitig) und 80 % Teststärke angenommen.

Wie viele Besucher brauche ich für einen A/B-Test bei 2 % Conversion-Rate?

Etwa 21.100 Besucher pro Variante, um einen relativen Uplift von 20 % nachzuweisen, etwa 9.800 für 30 % und etwa 3.800 für 50 %, bei 95 % Konfidenz und 80 % Power. Verdoppeln Sie diese Werte für den gesamten Test-Traffic.

Braucht Bayes'sches A/B-Testing eine kleinere Stichprobe?

Nicht wesentlich, es sei denn, Sie haben eine starke, begründete Vorannahme. Bayessche Tests liefern intuitivere Ergebnisse (Wahrscheinlichkeit, die Kontrolle zu schlagen, erwarteter Verlust) und unterstützen risikobasierte Entscheidungen, aber die Datenmenge, die Sie brauchen, um bei einem bestimmten Uplift sicher zu sein, ähnelt der frequentistischen Berechnung.

Welchen minimalen nachweisbaren Effekt sollte eine B2B-Website ansetzen?

Wählen Sie den MDE anhand Ihres Traffics, nicht anhand von Wunschdenken. Berechnen Sie, was bei dem Traffic Ihrer Seite in sechs bis acht Wochen nachweisbar ist, und testen Sie dann nur Änderungen, die groß genug sind, um diesen Uplift plausibel zu erzeugen. In der Laufzeittabelle oben kann eine Seite mit 5.000 monatlichen Besuchern und einem Ausgangswert von 3 % innerhalb von drei Monaten nur Uplifts von etwa 30 % oder mehr erkennen.

Kann ich einen A/B-Test vorzeitig beenden, wenn er bereits signifikant ist?

Nicht bei einem Standardtest mit fester Stichprobe, da wiederholtes Nachsehen die Zahl falsch positiver Ergebnisse erhöht. Wenn Sie früh abbrechen können wollen, nutzen Sie ein sequenzielles Testdesign mit Zwischenauswertungen, die vor dem Start geplant sind.