Het verschil tussen A/B-testen en multivariate testen zit in wat ze vergelijken. Een A/B-test vergelijkt twee versies van een pagina. Een A/B/n-test vergelijkt drie of meer complete versies. Een multivariate test (MVT) verandert meerdere elementen tegelijk, zoals kop, hero-afbeelding en CTA, en test elke combinatie (soms multivariate A/B-testing genoemd) om te leren welke elementen en welke combinatie conversies opleveren.
Op B2B-websites maakt het verkeer de keuze meestal voor je. Elke extra variant of combinatie verdeelt je bezoekers verder, en de benodigde steekproef groeit sneller dan je intuïtief zou denken. Hieronder vind je de vier testtypen die B2B-teams echt draaien (A/B, A/B/n, multivariaat en op segmenten gerichte personalisatietests), wat elk type aan verkeer kost in één uitgewerkt voorbeeld, een beslistabel, en voorbeelden van tests die bij elk type passen.
De vier testtypen in één oogopslag
| Type test | Wat het vergelijkt | Vraag die het beantwoordt | Verkeerskosten |
|---|---|---|---|
| A/B | Controleversie vs. één variant | Is deze versie beter dan wat we hebben? | Laagst |
| A/B/n | Controlegroep vs 2+ volledige varianten | Welke van deze verschillende aanpakken is het best? | Groeit met elke variant, plus een correctie voor meervoudige vergelijkingen |
| Multivariaat (MVT) | Elke combinatie van meerdere elementen | Welke elementen doen ertoe, en beïnvloeden ze elkaar? | Hoogst, vooral voor interacties |
| Op een segment gerichte (personalisatie)test | Gepersonaliseerde ervaring vs holdout, binnen één segment | Werkt het om deze pagina op dit segment af te stemmen? | Hangt af van het segmentverkeer en de grootte van de holdout |
De verkeersrekensom achter A/B-testen vs multivariaat testen
Alle onderstaande cijfers gebruiken de standaardformule voor de steekproefgrootte bij twee proporties (gepoolde variantie) met 95% betrouwbaarheid, tweezijdig, en 80% power, berekend in Node.js. De methode en volledige tabellen staan in ons artikel over steekproefgrootte voor A/B-tests. Je kunt dezelfde berekening voor je eigen pagina maken met onze calculator voor de steekproefgrootte van A/B-tests, die de Bonferroni-correctie toepast voor A/B/n-tests.
Voorbeeld (illustratieve cijfers): een demopagina converteert 3%, en je wilt een relatieve stijging van 20% detecteren (3,0% naar 3,6%). Een eenvoudige A/B-test heeft 13.914 bezoekers per variant nodig, of 27.828 in totaal.
A/B/n: meer varianten, strengere drempels
Met drie uitdagers tegen één controle maak je drie vergelijkingen, en de kans op minstens één valse winnaar stijgt. De eenvoudigste correctie (Bonferroni) deelt alfa door het aantal vergelijkingen, dus elke vergelijking wordt getest op 0,05 / 3 = 0,0167. Dat verhoogt de steekproef per variant van 13.914 naar 18.559, en het totaal van 27.828 naar 74.236 over vier varianten, ruwweg 2,7 keer het verkeer van de A/B-test.
Multivariaat: combinaties vermenigvuldigen zich
Test nu drie elementen met elk twee versies (kop A of B, afbeelding A of B, CTA A of B). Een volledig factorieel ontwerp heeft 2 × 2 × 2 = 8 cellen. Wil je elke combinatie vergelijken met de controle, zoals de meeste MVT-rapporten impliciet doen, dan heeft elke cel een volledige steekproef nodig: 8 × 13.914 = 111.312 bezoekers zonder correctie, of 8 × 22.112 = 176.896 bezoekers met een Bonferroni-correctie voor zeven vergelijkingen.
Dat is het slechtste geval. Een factorieel ontwerp is eigenlijk efficiënt voor hoofdeffecten. Om het effect van de kop te schatten, vergelijk je de vier cellen met kop A met de vier met kop B, en daarvoor gebruik je al je verkeer. Als de elementen niet op elkaar inwerken, vertellen 27.828 bezoekers je iets over alle drie de elementen tegelijk. In dat geval heb je in feite drie A/B-tests parallel gedraaid. Nuttig, maar het is niet de reden waarom de meeste teams voor MVT kiezen.
Teams draaien MVT meestal om interacties te vinden ("deze kop werkt alleen met die afbeelding") en de enige beste combinatie. Interacties zijn duur. De veelgeciteerde notitie van Andrew Gelman, You need 16 times the sample size to estimate an interaction than to estimate a main effect, laat zien waarom: een schatting van een interactie heeft twee keer de standaardfout van een hoofdeffect, en als de interactie half zo groot is als het hoofdeffect (zijn uitgangspunt), heb je 16 keer de steekproef nodig voor dezelfde power. Toegepast op ons voorbeeld is dat ongeveer 445.000 bezoekers.
Wat dat in maanden betekent
| Opzet (basis 3%, MDE 20%) | Totaal aantal bezoekers | Maanden bij 5.000 per maand | Maanden bij 20.000/maand |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n met 4 varianten (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, elke cel vs. controle (ongecorrigeerd) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, elke cel vs. controle (Bonferroni) | 176,896 | 35.4 | 8.8 |
| MVT-interactie, halve grootte (16x-regel) | 445,248 | 89.0 | 22.3 |
Op een pagina met 20.000 bezoekers per maand kost een 2×2×2-MVT die elke combinatie afleest, met correctie bijna een jaar. Bij 5.000 kost het jaren. Onze visie: multivariate testen is op B2B-websites zelden praktisch, en een claim als "we draaiden een MVT en combinatie 6 won" bij een paar duizend bezoekers per maand verdient een kritische blik op de steekproef voordat iemand ernaar handelt.
Wat de meeste teams verkeerd doen
De gebruikelijke fout is het testtype kiezen op ambitie in plaats van op de vraag. Teams kiezen MVT omdat ze veel ideeën hebben, niet omdat ze moeten weten of die ideeën op elkaar inwerken. Ze kiezen A/B/n met vijf varianten omdat niemand het eens kon worden over één. Beide keuzes verdelen beperkt verkeer in plakjes die te dun zijn om iets uit af te lezen.
De tweede is elementen testen terwijl de echte vraag over doelgroepen gaat. Op een B2B-site hangt wat converteert vaak meer af van wie er kijkt dan van welke kop er staat. Een inkoper uit de maakindustrie en een SaaS-oprichter willen ander bewijs. Kop A tegen B testen voor iedereen middelt die doelgroepen uit en kan een variant verbergen die sterk wint bij het ene segment en verliest bij het andere. Daarom pleiten we voor personalisatietests die op segmenten zijn gericht.
Beslistabel: welke test je draait
| Situatie | Bezoekers per maand op de pagina | Gewijzigde elementen | Aanbevolen test |
|---|---|---|---|
| Eén duidelijke hypothese, grote wijziging | Elk, ook onder 5.000 | Eén concept (kan meerdere elementen raken) | A/B |
| Twee of drie echt verschillende benaderingen | 15,000+ | Concepten voor de hele pagina | A/B/n met maximaal 3 varianten |
| Je moet weten of elementen op elkaar inwerken | 100,000+ | 2 tot 3 elementen, elk 2 versies | Multivariaat (volledig factorieel) |
| Verschillende doelgroepen willen waarschijnlijk verschillende dingen | Genoeg verkeer binnen het segment | Content afgestemd op het segment | Op een segment gerichte test vs holdout |
| Niet genoeg verkeer voor een van de bovenstaande | Onder 2.000 | Alle | Kwalitatief onderzoek, daarna een A/B-test op een grotere wijziging |
De verkeersdrempels zijn ruwe richtlijnen bij een baseline van 3%. Bereken je eigen drempels met de formule voor steekproefgrootte voordat je je vastlegt.
Voorbeelden van goede tests per type
A/B-tests
- Demoformulier vs direct een afspraak inplannen in een agenda op de demopagina.
- Hero gericht op features tegenover hero gericht op resultaat op de homepage.
- Prijspagina met een tier "neem contact op met sales" vs gepubliceerde prijzen voor elke tier.
Meerdere elementen bundelen in één concept is prima in een A/B-test. Je leert of het concept wint, niet welk element het deed, en dat is meestal de beslissing die je echt moet nemen. Onze gids voor B2B-conversie-optimalisatie behandelt hoe je deze ideeën prioriteert.
A/B/n-tests
- Drie waardeproposities op een betaalde landingspagina met veel verkeer: snelheid, kostenbesparing, risicovermindering.
- Drie CTA-aanbiedingen: demo, ROI-assessment, producttour. Zie onze gids over datagedreven gepersonaliseerde CTA's voor hoe het type aanbod per fase verandert.
Houd A/B/n-tests bij drie varianten (controle plus twee), tenzij het verkeer ongewoon hoog is, en maak elke variant wezenlijk anders, zodat de effecten groot genoeg zijn om van elkaar te onderscheiden.
Multivariate tests
- Kop (2 versies) × type social proof (logo's of een quote uit een case) op een homepage met heel veel verkeer, als je een concrete reden hebt om te verwachten dat die twee elkaar beïnvloeden.
Kun je de interactie die je verwacht niet benoemen, dan heb je waarschijnlijk geen MVT nodig.
Personalisatietests per segment
- Branchespecifieke homepage-hero voor bezoekers van bedrijven in de financiële sector vs. de standaardhero.
- Bewijs gericht op enterprise (beveiliging, schaal) op de prijspagina voor bedrijven met meer dan 1.000 medewerkers vs de standaardpagina.
- Begroeting en case voor doelaccounts bij ABM-accounts vs. de algemene pagina.
Zo test je personalisatie tegen een holdout
Een personalisatietest is een A/B-test die alleen binnen een segment wordt uitgevoerd. De controle is een holdoutgroep uit dat segment die de standaardpagina ziet. Zonder holdout kun je het effect van personalisatie niet scheiden van het feit dat het segment misschien gewoon anders converteert.
- Definieer het segment precies, bijvoorbeeld "bezoekers die zijn geïdentificeerd als bedrijven in financiële dienstverlening met 200+ medewerkers." Alleen die bezoekers komen in de test.
- Meet het segmentverkeer per maand naar de geteste pagina's. Dat, niet het totale siteverkeer, bepaalt de looptijd.
- Kies de grootte van de holdout. Een verdeling van 50/50 is het snelst af te lezen. Kleinere holdouts houden meer bezoekers weg van de standaardervaring, maar kosten tijd.
- Kies een conversie die het segment echt uitvoert, gemeten over het bezoek of de bezoeken van het account, en houd pipeline aan als guardrail-metric.
- Leg de steekproefgrootte en duur vast vóór de lancering, en lees het resultaat alleen voor dat segment.
Voorbeeld (illustratieve getallen): een segment brengt 3.000 bezoekers per maand, converteert voor 3%, en je wilt een relatieve uplift van 30% kunnen detecteren. Berekend met een versie van de formule voor ongelijke verdeling (unpooled), met dezelfde 95% betrouwbaarheid en 80% power:
| Aandeel holdout | Totaal benodigde bezoekers | Maanden bij 3.000/maand |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
Een holdout van 10% duurt ongeveer 2,5 keer zo lang om af te lezen als een verdeling van 50/50. Ons advies: voer de eerste test per segment uit op 50/50 voor een helder antwoord, en houd na de uitrol een kleine permanente holdout aan (10 tot 20%) om te volgen of het effect standhoudt. De testroadmap voor personalisatie laat zien hoe je deze tests over segmenten heen inplant. Begin met het segment met het meeste verkeer en het duidelijkste gat in de boodschap, omdat dat het snelst af te lezen is. Sla segmenttests helemaal over als het segment maar een paar honderd bezoekers per maand oplevert; bij dat volume geeft zelfs een verdeling van 50/50 binnen een jaar geen leesbaar antwoord.
Voor deze holdouttests moet je het segment identificeren voordat de pagina rendert en alleen dat segment splitsen. Het A/B-testen van Markettailor doet dit per segment en gebruikt segmentatie op bedrijfsniveau om te bepalen wie aan elke test deelneemt, zodat een fintechtest alleen fintechbezoekers ziet.
Veelgestelde vragen
Wat is het verschil tussen A/B-testen en multivariaat testen?
A/B-testen vergelijkt twee volledige versies van een pagina. Multivariaat testen verandert meerdere elementen tegelijk en test alle combinaties, zodat je kunt zien welke elementen ertoe doen en of ze elkaar beïnvloeden, ten koste van veel meer verkeer.
Wat is A/B/n-testen?
A/B/n-testen vergelijkt een controleversie tegelijk met twee of meer complete varianten. Het is nuttig als je een paar echt verschillende benaderingen hebt, maar elke extra variant heeft een eigen steekproef en een strengere significantiedrempel nodig.
Hoeveel verkeer heb je nodig voor multivariate testen?
Voor een 2×2×2-test op een pagina die op 3% converteert, heb je om elk van de 8 combinaties tegen de controle af te zetten voor een stijging van 20% ruwweg 111.000 tot 177.000 bezoekers nodig, afhankelijk van de correctie voor meervoudige vergelijkingen. Interacties detecteren kan meerdere keren zoveel vragen.
Is multivariate testen de moeite waard voor B2B-websites?
Zelden. De meeste B2B-pagina's hebben niet het verkeer om binnen een paar maanden combinaties of interacties te lezen. A/B-tests van grotere concepten en personalisatietests per segment leveren meestal sneller duidelijkere antwoorden.
Kun je A/B-testen en multivariate testen combineren?
Ja. Een veelgebruikte volgorde is eerst concepten A/B-testen en daarna, alleen op pagina's met heel veel verkeer, een kleine factoriële test op twee elementen binnen het winnende concept, als je een specifieke wisselwerking wilt controleren.