Zo werkt de calculator
Het tabblad steekproefgrootte gebruikt de standaardformule voor het vergelijken van twee conversieratio's met een tweezijdige z-toets voor twee proporties:
n per variant = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 is je basisconversie voor precies de pagina en het doel die je test.
- p2 is de baseline vermenigvuldigd met (1 + minimaal detecteerbaar effect).
- p̄ is het gemiddelde van p1 en p2.
- zα/2 is 1,96 bij 95% betrouwbaarheid, en zβ is 0,84 bij 80% power.
Bij meer dan één variant deelt de calculator alfa door het aantal vergelijkingen met de controle (een Bonferroni-correctie), waardoor de totale kans op een vals-positief op het gekozen betrouwbaarheidsniveau blijft. Onze gids over steekproefgrootte bij A/B-tests loopt de formule stap voor stap door, met tabellen voor gangbare B2B-conversieratio's.
Uitgewerkt voorbeeld
Illustratieve cijfers: een pagina voor demo-aanvragen converteert op 3% en krijgt 2.000 bezoekers per week. Je wilt weten of een nieuwe kop de conversie met minstens 20% verhoogt, dus p2 is 3,6%. De calculator geeft ongeveer 13.900 bezoekers per variant, 27.800 in totaal, wat neerkomt op 14 weken verkeer. Dat is het eerlijke antwoord voor veel B2B-pagina's, en daarom markeert de tool elke test die langer duurt dan een kwartaal.
Drie manieren om de looptijd te verkorten: test een gedurfdere wijziging en verhoog het minimaal detecteerbare effect naar 30% of meer, meet een frequenter event zoals klikken naar de demopagina, of draai de test op een pagina met meer verkeer. Twijfel je tussen een A/B-test en een test van meerdere elementen tegelijk, lees dan eerst A/B-testen vs multivariaat testen, want multivariate tests hebben veel meer verkeer nodig.
Een significantieresultaat lezen
Het tabblad significantie vergelijkt twee afgeronde varianten. Stel dat de controle 5.000 bezoekers en 150 conversies had (3,0%) en de variant 5.000 bezoekers en 190 conversies (3,8%). De relatieve stijging is 26,7%, de p-waarde is ongeveer 0,027 en het 95%-betrouwbaarheidsinterval van het verschil loopt van ongeveer 0,1 tot 1,5 procentpunt. Het resultaat is significant, maar het interval is breed: de werkelijke stijging kan klein zijn. Zie de gemeten stijging als een schatting die eerder te hoog uitvalt, vooral als de test vroegtijdig is gestopt.
Wat je als eerste test op een B2B-site met weinig verkeer, lees je in het testonderdeel van onze gids voor conversieoptimalisatie. Test je gepersonaliseerde ervaringen in plaats van losse paginawijzigingen, dan draait A/B-testen van Markettailor holdouts per bezoekerssegment.
Veelgestelde vragen
Hoeveel bezoekers heb ik nodig voor een A/B-test?
Dat hangt af van je basisconversieratio en de kleinste stijging die je wilt detecteren. Bij een basis van 3% heb je ongeveer 13.900 bezoekers per variant nodig om een relatieve stijging van 20% te detecteren met 95% betrouwbaarheid en 80% power. Halveer je de stijging die je wilt detecteren, dan wordt de steekproef ruwweg vier keer zo groot.
Hoe wordt statistische significantie berekend voor een A/B-test?
Deze calculator gebruikt een tweezijdige z-toets voor twee proporties. Hij voegt beide varianten samen om de ruis te schatten die je zou verwachten als er geen echt verschil was, deelt het waargenomen verschil in conversieratio's door die standaardfout en zet de resulterende z-score om in een p-waarde. Een p-waarde onder 0,05 is significant bij 95% betrouwbaarheid.
Hoe lang moet een A/B-test lopen?
Totdat hij de vóór de lancering berekende steekproefgrootte bereikt, en minstens één volle week, zodat zowel doordeweeks gedrag als weekendgedrag wordt meegenomen. De schatting van de duur hierboven deelt de totale steekproef door je wekelijkse verkeer naar de geteste pagina.
Mag ik een A/B-test stoppen zodra hij significant is?
Nee. Herhaaldelijk resultaten bekijken en stoppen bij de eerste significante meting verhoogt het percentage fout-positieven tot ruim boven 5%. Bepaal de steekproefgrootte vooraf en lees het resultaat af zodra die is bereikt, of gebruik een methode die is ontworpen voor continue monitoring, zoals een sequentiële test.
Wat als mijn B2B-site niet genoeg verkeer heeft voor A/B-tests?
Test grotere wijzigingen, kies een conversie-event dat vaker voorkomt (zoals klikken naar de demopagina in plaats van geboekte demo's), test op je template met het meeste verkeer, of accepteer een langere test. Zou een test langer dan een kwartaal duren, gebruik dan kwalitatief onderzoek en holdout-vergelijkingen.