Een template voor een experimentplan dwingt je de beslissingen te nemen die de meeste A/B-tests overslaan: wat je precies verwacht, welke ene metric de winnaar bepaalt, hoeveel bezoekers je nodig hebt en wanneer je mag stoppen. Dat vóór de lancering opschrijven is de goedkoopste bescherming tegen het lezen van ruis als resultaat. Het template hieronder is één pagina per test. Kopieer het naar je documenttool, of download het template als CSV voor een testbacklog in een spreadsheet.
Het is ontworpen voor B2B-verkeersniveaus, waar één test weken kan duren. Heb je nog nooit een test gepland, lees dan eerst onze gids voor conversieoptimalisatie voor wat het testen waard is bij weinig verkeer.
Het template voor een A/B-testplan
Vul elke rij in voordat de test live gaat. Een lege rij is een beslissing die je pas neemt nadat je de data hebt gezien, en dat is precies wat het plan moet voorkomen.
| Sectie | Veld | Wat je schrijft |
|---|---|---|
| 1. Context | Testnaam en ID | Korte, doorzoekbare naam, bijvoorbeeld "DEMO-07 formulier met vijf velden" |
| Eigenaar | Eén persoon die de test lanceert, monitort en erover rapporteert | |
| Onderliggend bewijs | De data, opname of klantuitspraak waardoor je voor deze test koos | |
| 2. Hypothese | Wijziging | Wat er precies verschilt tussen controle en variant |
| Verwacht effect | Welke metric beweegt, en in welke richting | |
| Reden | Waarom je denkt dat het gebeurt, in één zin over kopersgedrag | |
| 3. Metrics | Primaire metric | De ene metric die het resultaat bepaalt, met de exacte eventdefinitie |
| Guardrail-metrics | Metrics die niet slechter mogen worden (leadkwaliteit, bouncepercentage, paginasnelheid) | |
| Secundaire metrics | Interessant maar niet doorslaggevend (scrolldiepte, klikken naar prijzen) | |
| 4. Doelgroep | Pagina('s) | URL's die in de test zijn opgenomen |
| Wie er meedoet | Alle bezoekers, of een segment zoals betaald verkeer of een grootteklasse | |
| Wie wordt uitgesloten | Bestaande klanten, intern verkeer, bots | |
| Verkeersverdeling | Meestal 50/50 bij twee varianten | |
| 5. Statistiek | Basisconversieratio | Afgelopen 4 tot 8 weken voor deze pagina en deze metric |
| Minimaal detecteerbaar effect | Kleinste relatieve stijging waar je op wilt handelen | |
| Betrouwbaarheid en power | Meestal 95% en 80% | |
| Steekproefgrootte per variant | Uit de A/B-testcalculator | |
| Geplande looptijd | Steekproefgrootte gedeeld door wekelijks verkeer, naar boven afgerond op hele weken | |
| 6. Regels | Stopregel | Wanneer je het resultaat afleest (steekproef bereikt, nooit eerder) |
| Stopregel | Waardoor je eerder zou stoppen (kapotte variant, daling van een guardrail-metric) | |
| Beslisregel | Wat je live zet bij winst, verlies of een onbeslist resultaat | |
| 7. Resultaten | Looptijd | Begin- en einddatum |
| Resultaat per arm | Bezoekers, conversies, conversieratio | |
| Significantie en interval | p-waarde en betrouwbaarheidsinterval van het verschil | |
| Beslissen en leren | Wat je hebt gelanceerd en wat je daarvan leerde over kopers |
Zo vul je het in
- Begin bij bewijs, niet bij ideeën. Sectie 1 vraagt waarom deze test bestaat. Goede bronnen: een funnelstap met een ongebruikelijke uitval, sessieopnames, notities van salesgesprekken, een bevinding uit een CRO-auditchecklist. "De CEO wil een nieuwe hero" is geen bewijs.
- Schrijf een falsifieerbare hypothese. "Als we het demoformulier inkorten van negen naar vijf velden, stijgt het aantal demo-inzendingen per bezoeker, omdat kopers afhaken als ze naar hun budget worden gevraagd voordat ze het product hebben gezien." Een hypothese zonder reden leert je niets als hij faalt.
- Kies één primaire metric. Kies je er drie, dan beweegt er waarschijnlijk één door toeval en wil je dat een winst noemen.
- Bepaal de omvang van de test voordat je hem bouwt. Vul de basisconversie en het minimaal detecteerbare effect in de calculator in. Heeft de test meer dan een kwartaal nodig, pas het plan dan aan: test een grotere wijziging, gebruik een metric met een hogere frequentie of kies een pagina met meer verkeer. Onze gids over steekproefgrootte voor A/B-tests legt de afwegingen uit.
- Spreek de beslisregel vooraf af. Bepaal wat "onbeslist" voor jou betekent. Veel B2B-teams zetten bij een vlak resultaat de eenvoudigste variant live, en dat is een prima regel als die vóór de lancering is opgeschreven.
Illustratief ingevuld plan
Illustratieve cijfers voor een fictief B2B-softwarebedrijf.
| Veld | Instap |
|---|---|
| Naam van de test | DEMO-07 demoformulier met vijf velden |
| Bewijs | Formulieranalytics tonen de meeste afhakers bij het veld "Budget"; sales bevestigt dat ze het in het eerste gesprek niet gebruiken |
| Hypothese | Het formulier inkorten van negen naar vijf velden verhoogt het aantal demo-aanvragen per bezoeker, omdat kopers geen budget delen voordat ze het product hebben gezien |
| Primaire metric | Inzendingen van het demoformulier gedeeld door unieke bezoekers van /demo |
| Vangrails | Het aandeel inzendingen dat sales als gekwalificeerd accepteert, mag niet meer dan een kwart dalen |
| Doelgroep | Alle bezoekers van /demo, met uitzondering van ingelogde klanten en interne IP-adressen; verdeling 50/50 |
| Nulmeting | 8% van de bezoekers van /demo verstuurt het formulier |
| Minimaal detecteerbaar effect | 20% relatief (van 8,0% naar 9,6%) |
| Steekproefgrootte | Ongeveer 4.900 bezoekers per variant bij 95% betrouwbaarheid en 80% power |
| Duur | /demo krijgt ongeveer 1.500 bezoekers per week, dus in totaal zo'n 9.800 bezoekers kost 7 weken |
| Stopregel | Lees het resultaat af na 7 volle weken of zodra beide armen 4.900 bezoekers passeren, afhankelijk van wat later is |
| Stopregel | Stop als het formulier van de variant niet verzonden kan worden of als het gekwalificeerde percentage in de eerste twee weken halveert |
| Beslisregel | Winst: vijf velden live zetten. Verlies: negen houden. Onbeslist: vijf velden live zetten, omdat dat eenvoudiger is en verrijking het gat vult |
De testbacklog
De CSV-download bevat ook een backlogblad, zodat je tests kunt rangschikken voordat je volledige plannen schrijft. Eén rij per idee:
| ID | Pagina | Idee | Bewijs | Impact (1-3) | Vertrouwen (1-3) | Gemak (1-3) | Score | Benodigde weken | Status |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Formulier met vijf velden | Uitval per veld | 3 | 2 | 3 | 8 | 7 | Gepland |
| HOME-03 | / | Branchespecifieke hero | ICP-bezoekers bouncen vaker | 3 | 2 | 2 | 7 | 10 | Idee |
Ideeën die hoog scoren maar meer dan 12 weken nodig hebben, zijn betere kandidaten voor een holdoutvergelijking of personalisatieregel dan voor een klassieke A/B-test. Zie A/B-testen vs multivariaat testen voor wanneer elke methode past.
Veelgestelde vragen
Wat hoort er in een A/B-testplan?
Een hypothese met een reden, één primaire metric met een exacte definitie, guardrail-metrics, de doelgroep en verdeling, de basisconversie, het minimaal detecteerbare effect, de steekproefgrootte, de looptijd en de regels voor stoppen, afbreken en beslissen. Voeg een resultatensectie toe, zodat het plan het verslag van de test wordt.
Wat is het verschil tussen een experimentplan en een testbrief?
De termen worden door elkaar gebruikt. Sommige teams gebruiken "brief" voor het verzoek om design en tekst aan een designer, en "plan" voor de statistische opzet. Deze template dekt beide, met de creatieve wijziging beschreven in de sectie over de hypothese.
Hoe lang moet een B2B A/B-test lopen?
Tot hij de steekproefgrootte haalt die je hebt berekend, en minstens één volle week. Veel B2B-pagina's hebben vier tot twaalf weken nodig. Als de berekening langer dan een kwartaal aangeeft, pas dan de test aan in plaats van vroegtijdig te stoppen.
Moet ik voor elke kleine test een plan schrijven?
Ja, al kan het plan voor een test van buttontekst vijf regels lang zijn. De stopregel en de primaire metric zijn de twee onderdelen die je nooit mag overslaan, omdat ze voorkomen dat je een toevallige schommeling als winst bestempelt.