Forskellen på A/B-test og multivariat test ligger i, hvad de sammenligner. En A/B-test sammenligner to versioner af en side. En A/B/n-test sammenligner tre eller flere komplette versioner. En multivariat test (MVT) ændrer flere elementer på én gang, fx overskrift, hero-billede og CTA, og tester alle kombinationer (nogle gange kaldet multivariat A/B-test) for at lære, hvilke elementer og hvilken kombination der driver konverteringer.
På B2B-websites træffer trafikken som regel valget for dig. Hver ekstra variant eller kombination deler dine besøgende yderligere, og den nødvendige stikprøve vokser hurtigere, end intuitionen siger. Nedenfor er de fire testtyper, B2B-teams faktisk kører (A/B, A/B/n, multivariat og segmentmålrettede personaliseringstests), hvad hver koster i trafik i ét gennemregnet eksempel, en beslutningstabel og eksempler på tests, der passer til hver type.
De fire testtyper i overblik
| Testtype | Hvad den sammenligner | Spørgsmål, den besvarer | Trafikomkostning |
|---|---|---|---|
| A/B | Kontrol vs. én variant | Er denne version bedre end den, vi har? | Lavest |
| A/B/n | Kontrol vs 2+ komplette varianter | Hvilken af disse forskellige tilgange er bedst? | Vokser med hver gruppe plus en straf for multiple sammenligninger |
| Multivariat (MVT) | Alle kombinationer af flere elementer | Hvilke elementer betyder noget, og påvirker de hinanden? | Højest, især for interaktioner |
| Segmentmålrettet test (personalisering) | Personaliseret oplevelse vs. holdout inden for ét segment | Virker det at skræddersy denne side til dette segment? | Afhænger af segmentets trafik og holdout-gruppens størrelse |
Trafikmatematikken bag A/B-test vs multivariat test
Alle tal nedenfor bruger standardformlen for stikprøvestørrelse med to andele (poolet varians) ved 95 % konfidens, tosidet, og 80 % styrke, beregnet i Node.js. Metoden og de fulde tabeller står i vores indlæg om stikprøvestørrelse i A/B-test. Du kan køre de samme tal for din egen side med vores beregner til stikprøvestørrelse i A/B-test, som anvender Bonferroni-korrektionen til A/B/n-tests.
Eksempel (illustrative tal): En demoside konverterer med 3 %, og du vil påvise et relativt løft på 20 % (3,0 % til 3,6 %). En simpel A/B-test kræver 13.914 besøgende pr. variant, eller 27.828 i alt.
A/B/n: flere grupper, strengere tærskler
Med tre udfordrere mod én kontrol laver du tre sammenligninger, og risikoen for mindst én falsk vinder stiger. Den enkleste korrektion (Bonferroni) dividerer alfa med antallet af sammenligninger, så hver sammenligning testes ved 0,05 / 3 = 0,0167. Det hæver stikprøven pr. variant fra 13.914 til 18.559 og den samlede stikprøve fra 27.828 til 74.236 fordelt på fire varianter, cirka 2,7 gange trafikken i A/B-testen.
Multivariat: kombinationerne ganges op
Test nu tre elementer med to versioner hver (overskrift A eller B, billede A eller B, CTA A eller B). Et fuldt faktorielt design har 2 × 2 × 2 = 8 celler. Hvis du vil sammenligne hver kombination med kontrollen, som de fleste MVT-rapporter implicit gør, skal hver celle have en fuld stikprøve: 8 × 13.914 = 111.312 besøgende uden korrektion, eller 8 × 22.112 = 176.896 besøgende med en Bonferroni-korrektion for syv sammenligninger.
Det er det værste tilfælde. Et faktorielt design er faktisk effektivt til hovedeffekter. For at estimere effekten af overskriften sammenligner du de fire celler med overskrift A med de fire med overskrift B, og det bruger al din trafik. Hvis elementerne ikke interagerer, fortæller 27.828 besøgende dig om alle tre elementer på én gang. I så fald har du reelt kørt tre A/B-tests parallelt. Nyttigt, men det er ikke grunden til, at de fleste teams vælger MVT.
Teams kører typisk MVT for at finde interaktioner (»denne overskrift virker kun med det billede«) og den bedste enkeltkombination. Interaktioner er dyre. Andrew Gelmans meget citerede note, You need 16 times the sample size to estimate an interaction than to estimate a main effect, viser hvorfor: et interaktionsestimat har dobbelt så stor standardfejl som en hovedeffekt, og hvis interaktionen er halvt så stor som hovedeffekten (hans angivne antagelse), skal du bruge 16 gange stikprøven for samme styrke. Anvendt på vores eksempel er det omkring 445.000 besøgende.
Hvad det betyder i måneder
| Design (3 % udgangspunkt, 20 % MDE) | Besøgende i alt | Måneder ved 5.000/måned | Måneder ved 20.000/måned |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n med 4 varianter (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, hver celle mod kontrol (ukorrigeret) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, hver celle vs. kontrol (Bonferroni) | 176,896 | 35.4 | 8.8 |
| MVT-interaktion, halv størrelse (16x-reglen) | 445,248 | 89.0 | 22.3 |
På en side med 20.000 besøgende om måneden tager en 2×2×2-MVT, der læser hver kombination, det meste af et år med korrektion. Ved 5.000 tager det år. Vores holdning: multivariat test er sjældent praktisk på B2B-websites, og en påstand som "vi kørte en MVT, og kombination 6 vandt" på et par tusinde besøgende om måneden fortjener et kritisk blik på stikprøven, før nogen handler på den.
Hvad de fleste teams gør forkert
Den typiske fejl er at vælge testtype efter ambition i stedet for efter spørgsmål. Teams vælger MVT, fordi de har mange idéer, ikke fordi de har brug for at vide, om idéerne påvirker hinanden. De vælger A/B/n med fem varianter, fordi ingen kunne blive enige om én. Begge valg deler begrænset trafik op i skiver, der er for tynde til at aflæse.
Den anden er at teste elementer, når det reelle spørgsmål handler om målgrupper. På et B2B-website afhænger det, der konverterer, ofte mere af, hvem der kigger, end af hvilken overskrift der vises. En køber fra produktion og en SaaS-stifter vil have forskellige beviser. At teste overskrift A mod B for alle tager et gennemsnit af målgrupperne og kan skjule en variant, der vinder stort i ét segment og taber i et andet. Det er argumentet for segmentmålrettede personaliseringstests.
Beslutningstabel: hvilken test du skal køre
| Situation | Besøgende på siden om måneden | Ændrede elementer | Anbefalet test |
|---|---|---|---|
| Én klar hypotese, stor ændring | Alle, også under 5.000 | Ét koncept (kan berøre flere elementer) | A/B |
| To eller tre reelt forskellige tilgange | 15,000+ | Koncepter for hele siden | A/B/n med maks. 3 varianter |
| Du skal vide, om elementer påvirker hinanden | 100,000+ | 2 til 3 elementer, 2 versioner af hver | Multivariat (fuldt faktorielt) |
| Forskellige målgrupper vil sandsynligvis have forskellige ting | Nok trafik inden for segmentet | Indhold tilpasset segmentet | Segmentmålrettet test vs. holdout |
| Ikke nok trafik til noget af ovenstående | Under 2.000 | Alle | Kvalitativ research og derefter en A/B-test af en større ændring |
Trafiktærsklerne er grove pejlemærker ved en baseline på 3 %. Beregn dine egne med formlen for stikprøvestørrelse, før du lægger dig fast.
Eksempler på gode tests for hver type
A/B-tests
- Demoformular vs. direkte kalenderbooking på demosiden.
- Funktionsdrevet hero vs. resultatdrevet hero på forsiden.
- Prisside med et "tal med salg"-niveau vs. offentliggjorte priser for alle niveauer.
Det er fint at samle flere elementer i ét koncept i en A/B-test. Du lærer, om konceptet vinder, ikke hvilket element der gjorde udslaget, og det er som regel den beslutning, du reelt skal træffe. Vores guide til konverteringsoptimering i B2B gennemgår, hvordan du prioriterer disse idéer.
A/B/n-tests
- Tre værditilbud på en betalt landingsside med meget trafik: hastighed, besparelser, risikoreduktion.
- Tre CTA-tilbud: demo, ROI-vurdering, produkttur. Se vores guide til datadrevne personaliserede CTA'er for, hvordan tilbudstypen ændrer sig med fasen.
Hold A/B/n-tests på tre grupper (kontrol plus to), medmindre trafikken er usædvanligt høj, og gør hver gruppe mærkbart forskellig, så effekterne er store nok til at kunne adskilles.
Multivariate tests
- Overskrift (2 versioner) × type af social proof (logoer vs. et citat fra en case) på en forside med meget høj trafik, når du har en konkret grund til at forvente, at de to påvirker hinanden.
Hvis du ikke kan navngive den interaktion, du forventer, har du sandsynligvis ikke brug for en MVT.
Segmentmålrettede personaliseringstests
- Branchespecifik hero på forsiden for besøgende fra finansielle virksomheder vs. standard-hero.
- Enterprise-fokuseret dokumentation (sikkerhed, skala) på prissiden for virksomheder med over 1.000 medarbejdere vs. standardsiden.
- Velkomst og case til målkonti for ABM-konti vs. den generiske side.
Sådan tester du personalisering mod en holdout
En personaliseringstest er en A/B-test, der kun køres inden for et segment. Kontrollen er en holdout-gruppe fra det segment, der ser standardsiden. Uden holdout-gruppen kan du ikke skille effekten af personaliseringen fra det faktum, at segmentet måske bare konverterer anderledes.
- Definér segmentet præcist, fx "besøgende identificeret som virksomheder i finanssektoren med 200+ medarbejdere". Kun de besøgende indgår i testen.
- Mål segmenttrafikken til de testede sider pr. måned. Det er den, ikke den samlede websitetrafik, der bestemmer varigheden.
- Vælg holdout-størrelsen. En 50/50-fordeling er hurtigst at aflæse. Mindre holdouts beskytter flere besøgende mod standardoplevelsen, men koster tid.
- Vælg en konvertering, som segmentet faktisk udfører, målt over besøget eller accountens besøg, og behold pipeline som guardrail-metrik.
- Fastlæg stikprøvestørrelse og varighed før lancering, og aflæs kun resultatet for det segment.
Eksempel (illustrative tal): Et segment giver 3.000 besøgende om måneden, konverterer med 3 %, og du vil kunne opdage et relativt løft på 30 %. Beregnet med en version af formlen med ulige fordeling (unpooled), samme 95 % konfidens og 80 % styrke:
| Holdout-andel | Samlet antal nødvendige besøgende | Måneder ved 3.000/måned |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
En holdout-gruppe på 10 % tager ca. 2,5 gange længere at aflæse end en 50/50-fordeling. Vores anbefaling: Kør den første test for hvert segment med 50/50 for at få et klart svar, og behold derefter en lille permanent holdout-gruppe (10 til 20 %) efter udrulningen for at følge, om effekten holder over tid. Testroadmappen for personalisering viser, hvordan du lægger testene i rækkefølge på tværs af segmenter. Start med det segment, der har mest trafik og det tydeligste hul i budskabet, da det aflæses hurtigst. Spring segmenttests helt over, hvor segmentet kun bringer nogle få hundrede besøgende om måneden; ved den volumen giver selv en 50/50-fordeling ikke et læsbart svar inden for et år.
For at køre disse holdout-tests skal segmentet identificeres, før siden renderes, og kun det segment opdeles. Markettailors A/B-test gør det pr. segment og bruger segmentering på virksomhedsniveau til at afgøre, hvem der kommer med i hver test, så en fintech-test kun nogensinde ser fintech-besøgende.
Ofte stillede spørgsmål
Hvad er forskellen på A/B-test og multivariat test?
A/B-test sammenligner to komplette versioner af en side. Multivariat test ændrer flere elementer på én gang og tester alle kombinationer, så den kan vise, hvilke elementer der betyder noget, og om de påvirker hinanden, på bekostning af langt mere trafik.
Hvad er A/B/n-test?
A/B/n-test sammenligner en kontrolversion med to eller flere komplette varianter på samme tid. Det er nyttigt, når du har nogle få reelt forskellige tilgange, men hver ekstra variant kræver sin egen stikprøve og en strengere signifikansgrænse.
Hvor meget trafik skal du have til multivariat test?
For en 2×2×2-test på en side, der konverterer 3 %, kræver det cirka 111.000 til 177.000 besøgende at aflæse hver af de 8 kombinationer mod kontrol for et løft på 20 %, afhængigt af korrektionen for multiple sammenligninger. At opdage interaktioner kan kræve flere gange så mange.
Er multivariat test det værd for B2B-websites?
Sjældent. De fleste B2B-sider har ikke trafik nok til at aflæse kombinationer eller interaktioner inden for et par måneder. A/B-tests af større koncepter og segmentmålrettede personaliseringstests giver som regel klarere svar hurtigere.
Kan man kombinere A/B-test og multivariat test?
Ja. En almindelig rækkefølge er først at A/B-teste koncepter og derefter, kun på sider med meget høj trafik, køre en lille faktoriel test på to elementer i det vindende koncept, hvis du har en bestemt interaktion, du vil tjekke.