A/B-testen is een gerandomiseerd gecontroleerd experiment waarbij bezoekers willekeurig worden verdeeld over twee versies van een pagina, e-mail of feature, de controle (A) en een variant (B), en een vooraf bepaalde metric wordt vergeleken om te zien of het verschil groter is dan toeval kan verklaren. Het is de standaardmanier om te leren of een wijziging een verbetering heeft veroorzaakt in plaats van er toevallig mee samen te vallen.
De methode is goed ingeburgerd bij online producten; de praktische gids van Kohavi en collega's is nog altijd een standaardwerk (Kohavi et al., "Controlled experiments on the web", Data Mining and Knowledge Discovery, 2009).
Hoe A/B-testen werkt
- Hypothese en metric. Benoem de wijziging, het verwachte effect en één primaire metric, zoals het percentage demo-aanvragen.
- Randomisatie. Elke bezoeker wordt willekeurig aan A of B toegewezen en blijft daar bij volgende bezoeken, zodat de groepen alleen in de wijziging verschillen.
- Steekproefgrootte. Bepaal vooraf hoeveel bezoekers elke versie nodig heeft, op basis van de basisratio, de kleinste stijging die het detecteren waard is (minimum detectable effect), het significantieniveau en de power.
- Laat lopen. Laat de test die steekproef bereiken, het liefst over hele weken. Stop niet vroegtijdig omdat één kant voor lijkt te liggen.
- Analyseer. Vergelijk de ratio's. Een resultaat is statistisch significant op 5% als een verschil van deze omvang, wanneer er in werkelijkheid geen verschil was, in minder dan 5% van de gevallen zou optreden.
Twee instellingen doen ertoe. Het significantieniveau (meestal 5%, vaak 95% betrouwbaarheid genoemd) bepaalt het aantal vals-positieven. Power (meestal 80%) is de kans dat je het effect detecteert als het echt is; een test met te weinig power levert meestal "geen resultaat" op.
Voorbeeld
Voorbeeld: een demopagina converteert 3%. Je wilt een relatieve lift van 20% detecteren (3,0% naar 3,6%) met een tweezijdige test bij 5% significantie en 80% power. De standaardformule voor twee proporties is:
n per variant = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Eerste term: 1,96 x √(2 x 0,033 x 0,967) = 1,96 x 0,2526 = 0,495
- Tweede term: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Teller: (0,495 + 0,213)² = 0,501; noemer: 0,006² = 0,000036
- n ≈ 13.900 bezoekers per variant, ongeveer 27.800 in totaal
Bij 2.000 bezoekers per week op die pagina heeft de test ongeveer 14 weken nodig. Dat is de nuttige uitkomst: voordat je iets bouwt, weet je dat deze pagina geen test op een stijging van 20% binnen redelijke tijd aankan. Dus test je een gedurfdere wijziging, gebruik je een pagina met meer verkeer, of zet je het live en monitor je. Je kunt het getal narekenen met onze A/B-testcalculator of de steekproefcalculator van Evan Miller.
A/B- vs. A/B/n- vs. multivariate testen
| A/B | A/B/n | Multivariaat (MVT) | |
|---|---|---|---|
| Wat varieert | Eén controle vs één variant | Eén controleversie vs. meerdere varianten | Meerdere elementen tegelijk, elke combinatie |
| Benodigd verkeer | Laagst | Groeit met elke variant | Hoogst: verkeer wordt verdeeld over alle combinaties |
| Antwoorden | Is B beter dan A? | Welke van meerdere versies is het best? | Welke combinatie van elementen werkt, en beïnvloeden ze elkaar? |
| Past bij | De meeste B2B-pagina's | Koppen of aanbiedingen met echt verkeer | Alleen pagina's met veel verkeer |
Nielsen Norman Group vat de afweging samen: multivariate tests passen bij stapsgewijze verfijningen op pagina's met veel verkeer, terwijl A/B-tests radicaal verschillende ontwerpen kunnen vergelijken (NN/g, "Multivariate vs. A/B Testing").
Hoe B2B-teams A/B-testen gebruiken
- Lengte en formulering van demo- en contactformulieren testen.
- Waardeproposities en koppen vergelijken op landingspagina's met veel verkeer.
- Personalisatie valideren: segmentspecifieke content vs. de algemene pagina, met een holdout.
- Layout van de prijspagina en presentatie van de abonnementen.
- Onderwerpregels van e-mails en nurturecontent, waar het volume het toelaat.
Veelgestelde vragen
Hoe lang moet een A/B-test lopen?
Totdat hij de vóór de lancering berekende steekproefgrootte bereikt, en minstens één volle week, liefst twee, zodat alle weekdagen vertegenwoordigd zijn. Deel het benodigde aantal bezoekers per variant door het wekelijkse verkeer per variant om de duur te schatten. Komt daar meerdere maanden uit, dan is de test in deze opzet niet haalbaar.
Wat is een goed minimaal detecteerbaar effect?
De kleinste stijging waar je iets mee zou doen, gezien de kosten van de wijziging. B2B-pagina's met weinig verkeer hebben meestal een groter minimaal detecteerbaar effect nodig, vaak 20% relatief of meer, om binnen redelijke tijd af te ronden. Kleinere effecten kunnen echt zijn, maar vragen veel meer verkeer, omdat de steekproefgrootte ongeveer toeneemt met het omgekeerde kwadraat van het effect.
Kun je A/B-testen met weinig verkeer?
Ja, maar test grotere wijzigingen, gebruik de stap in de funnel met het meeste verkeer, en kies een metric die vaak voorkomt, zoals kliks naar de demopagina in plaats van gesloten deals. Is zelfs dat te traag, voer de wijziging dan door op basis van onderzoek en monitor de situatie ervoor en erna, in de wetenschap dat het bewijs zwakker is.
Gerelateerd
Plan tests met de template voor een A/B-testplan, lees de uitgebreidere uitleg over de steekproefgrootte van een A/B-test en kies een testopzet met A/B-testen vs. multivariate testen. Voor het grotere proces, zie conversieoptimalisatie.