A/B-Testing ist ein randomisiertes kontrolliertes Experiment, bei dem Besucher zufällig auf zwei Versionen einer Seite, E-Mail oder Funktion verteilt werden, die Kontrolle (A) und eine Variante (B), und eine vorab festgelegte Kennzahl verglichen wird, um zu sehen, ob der Unterschied größer ist, als der Zufall erklären würde. Es ist der Standardweg, um herauszufinden, ob eine Änderung eine Verbesserung verursacht hat oder nur zeitlich damit zusammenfiel.
Die Methode ist bei Online-Produkten etabliert; der Praxisleitfaden von Kohavi und Kollegen ist nach wie vor eine Standardreferenz (Kohavi et al., „Controlled experiments on the web“, Data Mining and Knowledge Discovery, 2009).
So funktioniert A/B-Testing
- Hypothese und Kennzahl. Nennen Sie die Änderung, die erwartete Wirkung und eine primäre Kennzahl, etwa die Demo-Anfragerate.
- Randomisierung. Jeder Besucher wird zufällig A oder B zugewiesen und bleibt bei erneuten Besuchen dort, sodass sich die Gruppen nur durch die Änderung unterscheiden.
- Stichprobengröße. Legen Sie vorab fest, wie viele Besucher jede Version braucht – basierend auf der Baseline-Rate, dem kleinsten Uplift, den Sie erkennen wollen (Minimum Detectable Effect), dem Signifikanzniveau und der Teststärke.
- Laufen lassen. Lassen Sie den Test diese Stichprobe erreichen, idealerweise über ganze Wochen. Brechen Sie nicht früher ab, nur weil eine Seite vorn zu liegen scheint.
- Auswerten. Vergleichen Sie die Raten. Ein Ergebnis ist auf dem 5-%-Niveau statistisch signifikant, wenn eine so große Differenz in weniger als 5 % der Fälle auftreten würde, falls es in Wahrheit keinen Unterschied gäbe.
Zwei Einstellungen sind wichtig. Das Signifikanzniveau (meist 5 %, oft als 95 % Konfidenz bezeichnet) steuert falsch positive Ergebnisse. Die Teststärke (meist 80 %) ist die Wahrscheinlichkeit, den Effekt zu erkennen, wenn er real ist; ein Test mit zu geringer Teststärke liefert meist „kein Ergebnis“.
Beispiel
Beispiel: Eine Demoseite konvertiert zu 3 %. Sie möchten einen relativen Uplift von 20 % (3,0 % auf 3,6 %) mit einem zweiseitigen Test bei 5 % Signifikanzniveau und 80 % Power nachweisen. Die Standardformel für zwei Anteile lautet:
n pro Variante = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Erster Term: 1,96 x √(2 x 0,033 x 0,967) = 1,96 x 0,2526 = 0,495
- Zweiter Term: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Zähler: (0,495 + 0,213)² = 0,501; Nenner: 0,006² = 0,000036
- n ≈ 13.900 Besucher pro Variante, insgesamt etwa 27.800
Bei 2.000 Besuchern pro Woche auf dieser Seite braucht der Test rund 14 Wochen. Genau das ist die nützliche Erkenntnis: Noch bevor Sie etwas bauen, wissen Sie, dass diese Seite einen Test auf 20 % Uplift nicht in vertretbarer Zeit tragen kann – also testen Sie eine mutigere Änderung, nehmen eine Seite mit mehr Traffic oder setzen um und beobachten. Sie können die Zahl mit unserem A/B-Test-Rechner oder Evan Millers Stichprobenrechner nachvollziehen.
A/B- vs. A/B/n- vs. multivariate Tests
| A/B | A/B/n | Multivariat (MVT) | |
|---|---|---|---|
| Was variiert | Eine Kontrolle vs. eine Variante | Eine Kontrollgruppe vs. mehrere Varianten | Mehrere Elemente gleichzeitig, jede Kombination |
| Benötigter Traffic | Am niedrigsten | Wächst mit jeder Variante | Am höchsten: Traffic verteilt sich auf alle Kombinationen |
| Antworten | Ist B besser als A? | Welche von mehreren Versionen ist die beste? | Welche Kombination von Elementen funktioniert, und beeinflussen sie sich gegenseitig? |
| Passt | Die meisten B2B-Seiten | Headlines oder Angebote mit echtem Traffic | Nur Seiten mit hohem Traffic |
Die Nielsen Norman Group fasst den Zielkonflikt zusammen: Multivariate Tests eignen sich für schrittweise Verfeinerungen auf Seiten mit viel Traffic, während A/B-Tests grundverschiedene Designs vergleichen können (NN/g, „Multivariate vs. A/B Testing“).
Wie B2B-Teams A/B-Testing nutzen
- Länge und Formulierung von Demo- und Kontaktformularen testen.
- Nutzenversprechen und Überschriften auf Landingpages mit viel Traffic vergleichen.
- Personalisierung validieren: segmentspezifische Inhalte vs. generische Seite, mit Holdout.
- Layout der Preisseite und Darstellung der Tarife.
- E-Mail-Betreffzeilen und Nurture-Inhalte, wo das Volumen es erlaubt.
Häufig gestellte Fragen
Wie lange sollte ein A/B-Test laufen?
Bis die vor dem Start berechnete Stichprobengröße erreicht ist, und mindestens eine volle Woche, besser zwei, damit alle Wochentage vertreten sind. Teilen Sie die benötigten Besucher pro Variante durch den wöchentlichen Traffic pro Variante, um die Dauer zu schätzen. Kommen mehrere Monate heraus, ist der Test in dieser Form nicht machbar.
Was ist ein guter minimal erkennbarer Effekt?
Der kleinste Uplift, bei dem sich Handeln angesichts der Kosten der Änderung lohnen würde. B2B-Seiten mit wenig Traffic brauchen meist einen größeren minimal nachweisbaren Effekt, oft 20 % relativ oder mehr, um in vertretbarer Zeit abzuschließen. Kleinere Effekte können real sein, erfordern aber weit mehr Traffic, weil die Stichprobengröße ungefähr mit dem Kehrwert des Quadrats des Effekts wächst.
Kann man mit wenig Traffic A/B-testen?
Ja, aber testen Sie größere Änderungen, nutzen Sie den Funnel-Schritt mit dem meisten Traffic und wählen Sie eine Kennzahl, die häufig eintritt, etwa Klicks auf die Demo-Seite statt abgeschlossener Deals. Ist selbst das zu langsam, setzen Sie die Änderung auf Basis von Recherche um und beobachten den Vorher-nachher-Effekt, im Bewusstsein, dass die Evidenz schwächer ist.
Verwandte Themen
Planen Sie Tests mit der Vorlage für A/B-Testpläne, lesen Sie die ausführliche Anleitung zur Stichprobengröße für A/B-Tests und wählen Sie ein Testdesign mit A/B-Testing vs. multivariates Testen. Den größeren Prozess beschreibt Conversion-Rate-Optimierung.