Eine Vorlage für einen Experimentplan erzwingt die Entscheidungen, die die meisten A/B-Tests überspringen: was genau Sie erwarten, welche einzelne Kennzahl den Gewinner bestimmt, wie viele Besucher Sie brauchen und wann Sie aufhören dürfen. Das vor dem Start aufzuschreiben ist der günstigste Schutz davor, Rauschen als Ergebnis zu deuten. Die Vorlage unten umfasst eine Seite pro Test. Kopieren Sie sie in Ihr Dokumentations-Tool oder laden Sie die Vorlage als CSV herunter, um einen Test-Backlog in einer Tabelle zu führen.
Sie ist für B2B-Traffic-Niveaus ausgelegt, bei denen ein einzelner Test Wochen dauern kann. Wenn Sie noch nie einen Test geplant haben, lesen Sie zuerst unseren Leitfaden zur Conversion-Rate-Optimierung, um zu sehen, was sich bei wenig Traffic zu testen lohnt.
Die Vorlage für den A/B-Testplan
Füllen Sie jede Zeile aus, bevor der Test live geht. Eine leere Zeile ist eine Entscheidung, die Sie am Ende erst nach Sichtung der Daten treffen – genau das soll der Plan verhindern.
| Abschnitt | Feld | Was Sie schreiben sollten |
|---|---|---|
| 1. Kontext | Testname und ID | Kurzer, durchsuchbarer Name, zum Beispiel „DEMO-07 Formular mit fünf Feldern“ |
| Verantwortlich | Eine Person, die den Test startet, überwacht und berichtet | |
| Belege dafür | Die Daten, die Aufzeichnung oder das Kundenzitat, die Sie zu diesem Test gebracht haben | |
| 2. Hypothese | Änderung | Was genau sich zwischen Kontrollgruppe und Variante unterscheidet |
| Erwarteter Effekt | Welche Kennzahl sich bewegt, in welche Richtung | |
| Grund | Warum Sie glauben, dass es eintritt, in einem Satz über das Käuferverhalten | |
| 3. Kennzahlen | Primäre Kennzahl | Die eine Kennzahl, die über das Ergebnis entscheidet, mit ihrer genauen Event-Definition |
| Guardrail-Kennzahlen | Kennzahlen, die sich nicht verschlechtern dürfen (Lead-Qualität, Absprungrate, Seitengeschwindigkeit) | |
| Sekundäre Kennzahlen | Interessant, aber nicht entscheidend (Scrolltiefe, Klicks auf Preise) | |
| 4. Zielgruppe | Seite(n) | Im Test enthaltene URLs |
| Wer einbezogen ist | Alle Besucher oder ein Segment wie bezahlter Traffic oder eine Unternehmensgrößenklasse | |
| Wer ausgeschlossen ist | Bestandskunden, interner Traffic, Bots | |
| Traffic-Aufteilung | Bei zwei Varianten meist 50/50 | |
| 5. Statistik | Basis-Conversion-Rate | Letzte 4 bis 8 Wochen für diese Seite und diese Kennzahl |
| Minimal nachweisbarer Effekt | Kleinster relativer Uplift, der Handeln rechtfertigt | |
| Konfidenz und Power | Meist 95 % und 80 % | |
| Stichprobengröße pro Variante | Aus dem A/B-Test-Rechner | |
| Geplante Dauer | Stichprobengröße geteilt durch wöchentlichen Traffic, auf volle Wochen aufgerundet | |
| 6. Regeln | Abbruchregel | Wann Sie das Ergebnis auswerten (Stichprobe erreicht, nie früher) |
| Abbruchregel | Was Sie zum vorzeitigen Abbruch veranlassen würde (defekte Variante, Einbruch einer Guardrail-Metrik) | |
| Entscheidungsregel | Was Sie umsetzen, wenn das Ergebnis ein Gewinn, ein Verlust oder nicht eindeutig ist | |
| 7. Ergebnisse | Laufzeit | Start- und Enddatum |
| Ergebnis pro Gruppe | Besucher, Conversions, Conversion-Rate | |
| Signifikanz und Intervall | p-Wert und Konfidenzintervall der Differenz | |
| Entscheidung und Erkenntnisse | Was Sie umgesetzt haben und was Sie dabei über Käufer gelernt haben |
So füllen Sie es aus
- Gehen Sie von Evidenz aus, nicht von Ideen. Abschnitt 1 fragt, warum es diesen Test gibt. Gute Quellen: ein Funnel-Schritt mit ungewöhnlichem Abfall, Session-Recordings, Notizen aus Vertriebsgesprächen, ein Befund aus der CRO-Audit-Checkliste. „Der CEO will einen neuen Hero“ ist keine Evidenz.
- Formulieren Sie eine widerlegbare Hypothese. „Wenn wir das Demo-Formular von neun auf fünf Felder kürzen, steigen die Demo-Anfragen pro Besucher, weil Käufer abbrechen, wenn sie nach dem Budget gefragt werden, bevor sie das Produkt gesehen haben.“ Eine Hypothese ohne Begründung lehrt Sie nichts, wenn sie scheitert.
- Wählen Sie eine primäre Kennzahl. Wählen Sie drei, bewegt sich eine davon wahrscheinlich zufällig, und Sie werden versucht sein, das als Erfolg zu verbuchen.
- Dimensionieren Sie den Test, bevor Sie ihn bauen. Geben Sie den Ausgangswert und den minimal nachweisbaren Effekt in den Rechner ein. Wenn der Test länger als ein Quartal braucht, ändern Sie den Plan: Testen Sie eine größere Änderung, nutzen Sie eine häufigere Kennzahl oder wählen Sie eine Seite mit mehr Traffic. Unser Leitfaden zur Stichprobengröße bei A/B-Tests erklärt die Abwägungen.
- Vereinbaren Sie die Entscheidungsregel vorab. Legen Sie fest, was „nicht eindeutig“ für Sie bedeutet. Viele B2B-Teams setzen bei gleichen Ergebnissen die einfachere Variante um – eine gute Regel, wenn sie vor dem Start schriftlich festgehalten ist.
Illustrativer ausgefüllter Plan
Illustrative Zahlen für ein fiktives B2B-Softwareunternehmen.
| Feld | Einstieg |
|---|---|
| Testname | DEMO-07 Demo-Formular mit fünf Feldern |
| Belege | Die Formularanalyse zeigt die meisten Abbrüche beim Feld „Budget“; der Vertrieb bestätigt, dass er es im ersten Gespräch nicht nutzt |
| Hypothese | Das Formular von neun auf fünf Felder zu kürzen, steigert die Demo-Anfragen pro Besucher, weil Käufer ihr Budget nicht nennen, bevor sie das Produkt gesehen haben |
| Primäre Kennzahl | Abgeschickte Demo-Formulare geteilt durch eindeutige Besucher von /demo |
| Leitplanken | Der Anteil der vom Vertrieb als qualifiziert akzeptierten Einsendungen darf um nicht mehr als ein Viertel sinken |
| Zielgruppe | Alle Besucher von /demo, ohne eingeloggte Kunden und interne IPs; 50/50-Aufteilung |
| Ausgangswert | 8 % der /demo-Besucher senden das Formular ab |
| Minimal nachweisbarer Effekt | 20 % relativ (8,0 % auf 9,6 %) |
| Stichprobengröße | Etwa 4.900 Besucher pro Variante bei 95 % Konfidenz und 80 % Power |
| Dauer | /demo erhält etwa 1.500 Besucher pro Woche, insgesamt rund 9.800 Besucher dauern also 7 Wochen |
| Abbruchregel | Ergebnis nach 7 vollen Wochen auswerten oder sobald beide Gruppen 4.900 Besucher überschreiten, je nachdem, was später eintritt |
| Abbruchregel | Abbrechen, wenn das Formular der Variante nicht abgeschickt werden kann oder die Qualifizierungsrate in den ersten zwei Wochen um die Hälfte sinkt |
| Entscheidungsregel | Gewinn: fünf Felder umsetzen. Verlust: neun behalten. Unklar: fünf Felder umsetzen, da es einfacher ist und die Anreicherung die Lücke füllt |
Der Test-Backlog
Der CSV-Download enthält außerdem ein Backlog-Blatt, damit Sie Tests priorisieren können, bevor Sie vollständige Pläne schreiben. Eine Zeile pro Idee:
| ID | Seite | Idee | Belege | Wirkung (1–3) | Konfidenz (1–3) | Aufwand (1–3) | Score | Benötigte Wochen | Status |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Formular mit fünf Feldern | Abbruch pro Feld | 3 | 2 | 3 | 8 | 7 | Geplant |
| HOME-03 | / | Branchenspezifischer Hero-Bereich | ICP-Besucher springen häufiger ab | 3 | 2 | 2 | 7 | 10 | Idee |
Ideen, die hoch bewertet werden, aber mehr als 12 Wochen brauchen, eignen sich besser für einen Holdout-Vergleich oder eine Personalisierungsregel als für einen klassischen A/B-Test. Wann welche Methode passt, zeigt A/B-Tests vs. multivariate Tests.
Häufig gestellte Fragen
Was sollte ein A/B-Testplan enthalten?
Eine begründete Hypothese, eine primäre Kennzahl mit genauer Definition, Guardrail-Kennzahlen, Zielgruppe und Aufteilung, Ausgangsrate, minimal nachweisbarer Effekt, Stichprobengröße, Laufzeit sowie Regeln für Stopp, Abbruch und Entscheidung. Ergänzen Sie einen Ergebnisabschnitt, damit der Plan zur Dokumentation des Tests wird.
Was ist der Unterschied zwischen einem Experimentplan und einem Test-Briefing?
Die Begriffe werden synonym verwendet. Manche Teams nennen die Design- und Textanfrage an einen Designer „Briefing“ und das statistische Setup „Plan“. Diese Vorlage deckt beides ab, wobei die kreative Änderung im Abschnitt zur Hypothese beschrieben wird.
Wie lange sollte ein B2B-A/B-Test laufen?
Bis er die berechnete Stichprobengröße erreicht, und mindestens eine volle Woche. Viele B2B-Seiten brauchen vier bis zwölf Wochen. Ergibt die Rechnung mehr als ein Quartal, ändern Sie lieber den Test, statt ihn vorzeitig abzubrechen.
Sollte ich für jeden kleinen Test einen Plan schreiben?
Ja, auch wenn der Plan für einen Test von Button-Texten nur fünf Zeilen umfassen mag. Abbruchregel und primäre Kennzahl sollten Sie nie weglassen, denn sie bewahren Sie davor, eine zufällige Schwankung zum Sieg zu erklären.