Der Unterschied zwischen A/B-Tests und multivariaten Tests liegt darin, was jeweils verglichen wird. Ein A/B-Test vergleicht zwei Versionen einer Seite. Ein A/B/n-Test vergleicht drei oder mehr vollständige Versionen. Ein multivariater Test (MVT) ändert mehrere Elemente gleichzeitig, etwa Headline, Hero-Bild und CTA, und testet jede Kombination (manchmal multivariates A/B-Testing genannt), um herauszufinden, welche Elemente und welche Kombination Conversions treiben.
Auf B2B-Websites trifft meist der Traffic die Entscheidung für Sie. Jede zusätzliche Variante oder Kombination teilt Ihre Besucher weiter auf, und die erforderliche Stichprobe wächst schneller, als die Intuition vermuten lässt. Unten finden Sie die vier Testarten, die B2B-Teams tatsächlich durchführen (A/B, A/B/n, multivariat und segmentbezogene Personalisierungstests), was jede an Traffic für ein Rechenbeispiel kostet, eine Entscheidungstabelle und Beispiele für Tests, die zu jeder Art passen.
Die vier Testarten im Überblick
| Testtyp | Was verglichen wird | Frage, die sie beantwortet | Traffic-Kosten |
|---|---|---|---|
| A/B | Kontrolle vs. eine Variante | Ist diese Version besser als das, was wir haben? | Am niedrigsten |
| A/B/n | Kontrolle vs. 2+ vollständige Varianten | Welcher dieser unterschiedlichen Ansätze ist am besten? | Wächst mit jedem Zweig, plus Aufschlag für multiples Testen |
| Multivariat (MVT) | Jede Kombination mehrerer Elemente | Welche Elemente sind wichtig, und beeinflussen sie sich gegenseitig? | Am höchsten, besonders bei Wechselwirkungen |
| Segmentspezifischer Test (Personalisierung) | Personalisierte Experience vs. Holdout innerhalb eines Segments | Funktioniert es, diese Seite auf dieses Segment zuzuschneiden? | Abhängig vom Segment-Traffic und der Größe der Kontrollgruppe |
Die Traffic-Rechnung hinter A/B-Tests vs. multivariaten Tests
Alle folgenden Zahlen beruhen auf der Standardformel für die Stichprobengröße bei zwei Anteilen (gepoolte Varianz) mit 95 % Konfidenz, zweiseitig, und 80 % Teststärke, berechnet in Node.js. Methode und vollständige Tabellen finden Sie in unserem Beitrag zur Stichprobengröße bei A/B-Tests. Mit unserem Rechner für die Stichprobengröße bei A/B-Tests, der für A/B/n-Tests die Bonferroni-Korrektur anwendet, können Sie dieselben Zahlen für Ihre eigene Seite berechnen.
Beispiel (fiktive Zahlen): Eine Demo-Seite konvertiert mit 3 %, und Sie wollen einen relativen Uplift von 20 % (3,0 % auf 3,6 %) nachweisen. Ein einfacher A/B-Test braucht 13.914 Besucher pro Variante, insgesamt also 27.828.
A/B/n: mehr Zweige, strengere Schwellenwerte
Mit drei Herausforderern gegen eine Kontrollgruppe machen Sie drei Vergleiche, und die Wahrscheinlichkeit für mindestens einen falschen Gewinner steigt. Die einfachste Korrektur (Bonferroni) teilt Alpha durch die Anzahl der Vergleiche, sodass jeder Vergleich mit 0,05 / 3 = 0,0167 getestet wird. Das erhöht die Stichprobe pro Variante von 13.914 auf 18.559 und die Gesamtzahl von 27.828 auf 74.236 über vier Varianten, also etwa das 2,7-Fache des Traffics des A/B-Tests.
Multivariat: Kombinationen vervielfachen sich
Testen Sie nun drei Elemente mit je zwei Versionen (Headline A oder B, Bild A oder B, CTA A oder B). Ein vollfaktorielles Design hat 2 × 2 × 2 = 8 Zellen. Wenn Sie jede Kombination mit der Kontrolle vergleichen wollen, wie es die meisten MVT-Reports implizit tun, braucht jede Zelle eine volle Stichprobe: 8 × 13.914 = 111.312 Besucher ohne Korrektur oder 8 × 22.112 = 176.896 Besucher mit Bonferroni-Korrektur für sieben Vergleiche.
Das ist der schlimmste Fall. Ein faktorielles Design ist für Haupteffekte sogar effizient. Um den Effekt der Headline zu schätzen, vergleichen Sie die vier Zellen mit Headline A mit den vier mit Headline B, was Ihren gesamten Traffic nutzt. Interagieren die Elemente nicht, sagen Ihnen 27.828 Besucher etwas über alle drei Elemente gleichzeitig. Dann haben Sie im Grunde drei A/B-Tests parallel durchgeführt. Nützlich, aber nicht der Grund, warum die meisten Teams MVT wählen.
Teams setzen MVT meist ein, um Wechselwirkungen zu finden („diese Headline funktioniert nur mit jenem Bild“) und die beste Einzelkombination. Wechselwirkungen sind teuer. Andrew Gelmans viel zitierte Notiz You need 16 times the sample size to estimate an interaction than to estimate a main effect zeigt, warum: Eine Schätzung der Wechselwirkung hat den doppelten Standardfehler eines Haupteffekts, und ist die Wechselwirkung halb so groß wie der Haupteffekt (seine Annahme), brauchen Sie für dieselbe Power die 16-fache Stichprobe. Auf unser Beispiel angewandt sind das etwa 445.000 Besucher.
Was das in Monaten bedeutet
| Design (3 % Baseline, 20 % MDE) | Besucher gesamt | Monate bei 5.000/Monat | Monate bei 20.000/Monat |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n mit 4 Varianten (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, jede Zelle gegen Kontrolle (unkorrigiert) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, jede Zelle vs. Kontrolle (Bonferroni) | 176,896 | 35.4 | 8.8 |
| MVT-Wechselwirkung, halbe Größe (16x-Regel) | 445,248 | 89.0 | 22.3 |
Auf einer Seite mit 20.000 monatlichen Besuchern dauert ein 2×2×2-MVT, der jede Kombination auswertet, mit Korrektur fast ein Jahr. Bei 5.000 dauert es Jahre. Unsere Sicht: Multivariate Tests sind auf B2B-Websites selten praktikabel, und eine Aussage wie „Wir haben einen MVT durchgeführt, Kombination 6 hat gewonnen“ bei ein paar Tausend Besuchern im Monat verdient einen kritischen Blick auf die Stichprobe, bevor jemand danach handelt.
Was die meisten Teams falsch machen
Der übliche Fehler ist, den Testtyp nach Ehrgeiz statt nach Fragestellung zu wählen. Teams entscheiden sich für MVT, weil sie viele Ideen haben, nicht weil sie wissen müssen, ob die Ideen sich gegenseitig beeinflussen. Sie wählen A/B/n mit fünf Varianten, weil man sich nicht auf eine einigen konnte. Beide Entscheidungen teilen begrenzten Traffic in Scheiben, die zu dünn sind, um sie auszuwerten.
Der zweite ist, Elemente zu testen, wenn es eigentlich um Zielgruppen geht. Auf einer B2B-Website hängt das, was konvertiert, oft mehr davon ab, wer schaut, als davon, welche Headline gezeigt wird. Ein Einkäufer aus der Fertigung und ein SaaS-Gründer wollen unterschiedliche Belege. Wer Headline A gegen B für alle testet, mittelt diese Zielgruppen und kann eine Variante verdecken, die für ein Segment klar gewinnt und für ein anderes verliert. Genau das spricht für segmentspezifische Personalisierungstests.
Entscheidungstabelle: Welcher Test passt
| Situation | Monatliche Besucher der Seite | Geänderte Elemente | Empfohlener Test |
|---|---|---|---|
| Eine klare Hypothese, große Änderung | Beliebig, auch unter 5.000 | Ein Konzept (kann mehrere Elemente betreffen) | A/B |
| Zwei oder drei wirklich unterschiedliche Ansätze | 15,000+ | Konzepte für ganze Seiten | A/B/n mit maximal 3 Varianten |
| Sie müssen wissen, ob Elemente zusammenwirken | 100,000+ | 2 bis 3 Elemente, je 2 Versionen | Multivariat (vollfaktoriell) |
| Unterschiedliche Zielgruppen wollen vermutlich unterschiedliche Dinge | Ausreichend Traffic innerhalb des Segments | Auf das Segment zugeschnittene Inhalte | Segmentspezifischer Test vs. Kontrollgruppe |
| Nicht genug Traffic für eine der genannten Optionen | Unter 2.000 | Beliebig | Qualitative Forschung, danach ein A/B-Test mit einer größeren Änderung |
Die Traffic-Schwellen sind grobe Richtwerte für eine Basisrate von 3 %. Berechnen Sie Ihre eigenen Werte mit der Formel für die Stichprobengröße, bevor Sie sich festlegen.
Beispiele für gute Tests je Typ
A/B-Tests
- Demo-Formular vs. sofortige Kalenderbuchung auf der Demo-Seite.
- Funktionsorientierter Hero vs. ergebnisorientierter Hero auf der Startseite.
- Preisseite mit einer Stufe „Vertrieb kontaktieren“ vs. veröffentlichte Preise für jede Stufe.
Mehrere Elemente in einem Konzept zu bündeln, ist in einem A/B-Test in Ordnung. Sie erfahren, ob das Konzept gewinnt, nicht welches Element dafür verantwortlich war, und das ist meist die Entscheidung, die Sie tatsächlich treffen müssen. Unser Leitfaden zur B2B-Conversion-Rate-Optimierung zeigt, wie Sie diese Ideen priorisieren.
A/B/n-Tests
- Drei Wertversprechen auf einer bezahlten Landingpage mit viel Traffic: Geschwindigkeit, Kosteneinsparung, Risikominderung.
- Drei CTA-Angebote: Demo, ROI-Assessment, Produkttour. In unserem Leitfaden zu datengestützten personalisierten CTAs sehen Sie, wie sich der Angebotstyp je nach Phase ändert.
Beschränken Sie A/B/n-Tests auf drei Zweige (Kontrolle plus zwei), sofern der Traffic nicht ungewöhnlich hoch ist, und gestalten Sie jeden Zweig spürbar anders, damit die Effekte groß genug sind, um sie zu unterscheiden.
Multivariate Tests
- Headline (2 Versionen) × Art des Social Proof (Logos vs. Zitat aus einer Case Study) auf einer Startseite mit sehr hohem Traffic – wenn Sie einen konkreten Grund zur Annahme haben, dass sich beide gegenseitig beeinflussen.
Wenn Sie die erwartete Wechselwirkung nicht benennen können, brauchen Sie wahrscheinlich keinen MVT.
Segmentspezifische Personalisierungstests
- Branchenspezifischer Startseiten-Hero für Besucher von Finanzdienstleistern im Vergleich zum Standard-Hero.
- Enterprise-orientierte Belege (Sicherheit, Skalierung) auf der Preisseite für Unternehmen mit über 1.000 Mitarbeitenden vs. die Standardseite.
- Begrüßung von Zielaccounts und Case Study für ABM-Accounts vs. generische Seite.
So testen Sie Personalisierung gegen einen Holdout
Ein Personalisierungstest ist ein A/B-Test, der nur innerhalb eines Segments läuft. Die Kontrolle ist eine Kontrollgruppe dieses Segments, die die Standardseite sieht. Ohne Kontrollgruppe können Sie die Wirkung der Personalisierung nicht davon trennen, dass das Segment womöglich einfach anders konvertiert.
- Definieren Sie das Segment genau, zum Beispiel „Besucher, die als Unternehmen aus der Finanzdienstleistung mit 200+ Mitarbeitenden identifiziert wurden“. Nur diese Besucher nehmen am Test teil.
- Messen Sie den monatlichen Segment-Traffic auf den getesteten Seiten. Dieser Wert, nicht der gesamte Website-Traffic, bestimmt Ihre Laufzeit.
- Wählen Sie die Holdout-Größe. Eine 50/50-Aufteilung ist am schnellsten auswertbar. Kleinere Holdouts bewahren mehr Besucher vor dem Standarderlebnis, kosten aber Zeit.
- Wählen Sie eine Conversion, die das Segment tatsächlich ausführt, gemessen über den Besuch oder die Besuche des Accounts, und behalten Sie die Pipeline als Guardrail-Kennzahl.
- Legen Sie Stichprobengröße und Dauer vor dem Start fest und werten Sie das Ergebnis nur für dieses Segment aus.
Beispiel (illustrative Zahlen): Ein Segment bringt 3.000 Besucher pro Monat, konvertiert mit 3 %, und Sie möchten einen relativen Uplift von 30 % erkennen. Berechnet mit einer Version der Formel für ungleiche Aufteilung (ungepoolt), bei gleichen 95 % Konfidenz und 80 % Teststärke:
| Holdout-Anteil | Benötigte Besucher insgesamt | Monate bei 3.000/Monat |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
Ein Holdout von 10 % braucht etwa 2,5-mal so lange bis zu einem belastbaren Ergebnis wie eine 50/50-Aufteilung. Unsere Empfehlung: Führen Sie den ersten Test je Segment mit 50/50 durch, um eine klare Antwort zu erhalten, und behalten Sie nach dem Rollout einen kleinen dauerhaften Holdout (10 bis 20 %), um zu verfolgen, ob der Effekt anhält. Die Roadmap für Personalisierungstests zeigt, wie Sie diese Tests über Segmente hinweg staffeln. Beginnen Sie mit dem Segment mit dem meisten Traffic und der deutlichsten Botschaftslücke, denn dort kommt das Ergebnis am schnellsten. Verzichten Sie ganz auf Segmenttests, wo das Segment nur wenige hundert Besucher im Monat bringt; bei diesem Volumen liefert selbst eine 50/50-Aufteilung binnen eines Jahres kein belastbares Ergebnis.
Für diese Holdout-Tests müssen Sie das Segment erkennen, bevor die Seite rendert, und nur dieses Segment aufteilen. Das A/B-Testing von Markettailor macht das pro Segment und nutzt die Segmentierung auf Unternehmensebene, um zu entscheiden, wer in welchen Test kommt. Ein Fintech-Test sieht also nur Fintech-Besucher.
Häufig gestellte Fragen
Was ist der Unterschied zwischen A/B-Tests und multivariaten Tests?
A/B-Tests vergleichen zwei vollständige Versionen einer Seite. Multivariate Tests ändern mehrere Elemente gleichzeitig und testen alle Kombinationen. So zeigen sie, welche Elemente wichtig sind und ob sie sich gegenseitig beeinflussen – brauchen dafür aber weit mehr Traffic.
Was ist A/B/n-Testing?
A/B/n-Tests vergleichen eine Kontrollversion gleichzeitig mit zwei oder mehr vollständigen Varianten. Das ist nützlich, wenn Sie mehrere wirklich unterschiedliche Ansätze haben, doch jede zusätzliche Variante braucht eine eigene Stichprobe und eine strengere Signifikanzschwelle.
Wie viel Traffic braucht man für multivariate Tests?
Für einen 2×2×2-Test auf einer Seite mit 3 % Conversion braucht es, um jede der 8 Kombinationen gegen die Kontrolle auf einen Uplift von 20 % auszuwerten, je nach Korrektur für multiples Testen rund 111.000 bis 177.000 Besucher. Wechselwirkungen zu erkennen kann ein Vielfaches davon erfordern.
Lohnen sich multivariate Tests für B2B-Websites?
Selten. Den meisten B2B-Seiten fehlt der Traffic, um Kombinationen oder Wechselwirkungen innerhalb weniger Monate auszuwerten. A/B-Tests größerer Konzepte und segmentspezifische Personalisierungstests liefern meist schneller klarere Antworten.
Lassen sich A/B- und multivariate Tests kombinieren?
Ja. Ein gängiger Ablauf ist, zuerst Konzepte per A/B-Test zu prüfen und dann, nur auf Seiten mit sehr viel Traffic, einen kleinen faktoriellen Test mit zwei Elementen innerhalb des Gewinnerkonzepts durchzuführen, wenn Sie eine bestimmte Wechselwirkung prüfen wollen.