Forskjellen på A/B-testing og multivariat testing ligger i hva hver av dem sammenligner. En A/B-test sammenligner to versjoner av en side. En A/B/n-test sammenligner tre eller flere komplette versjoner. En multivariat test (MVT) endrer flere elementer samtidig, for eksempel overskrift, hero-bilde og CTA, og tester alle kombinasjoner (noen ganger kalt multivariat A/B-testing) for å finne ut hvilke elementer og hvilken kombinasjon som driver konverteringer.
På B2B-nettsteder tar trafikken som regel valget for deg. Hver ekstra variant eller kombinasjon deler de besøkende ytterligere, og det nødvendige utvalget vokser raskere enn magefølelsen tilsier. Nedenfor finner du de fire testtypene B2B-team faktisk kjører (A/B, A/B/n, multivariat og segmentrettede personaliseringstester), hva hver av dem koster i trafikk i ett utregnet eksempel, en beslutningstabell og eksempler på tester som passer hver type.
De fire testtypene i korte trekk
| Testtype | Hva den sammenligner | Spørsmålet det besvarer | Trafikkostnad |
|---|---|---|---|
| A/B | Kontroll vs. én variant | Er denne versjonen bedre enn den vi har? | Lavest |
| A/B/n | Kontroll mot 2+ komplette varianter | Hvilken av disse ulike tilnærmingene er best? | Øker med hver gruppe, pluss en straff for multiple sammenligninger |
| Multivariat (MVT) | Alle kombinasjoner av flere elementer | Hvilke elementer betyr noe, og påvirker de hverandre? | Høyest, særlig for samspilleffekter |
| Segmentrettet test (personalisering) | Personalisert opplevelse vs. kontrollgruppe, innenfor ett segment | Fungerer det å tilpasse denne siden til dette segmentet? | Avhenger av trafikken i segmentet og størrelsen på kontrollgruppen |
Trafikkmatematikken bak A/B-testing vs multivariat testing
Alle tallene nedenfor bruker standardformelen for utvalgsstørrelse for to andeler (samlet varians) ved 95 % konfidens, tosidig, og 80 % statistisk styrke, beregnet i Node.js. Metoden og fullstendige tabeller finner du i innlegget vårt om utvalgsstørrelse i A/B-tester. Du kan regne de samme tallene for din egen side med kalkulatoren vår for utvalgsstørrelse i A/B-tester, som bruker Bonferroni-korreksjon for A/B/n-tester.
Eksempel (illustrerende tall): en demoside konverterer 3 %, og du vil påvise en relativ økning på 20 % (fra 3,0 % til 3,6 %). En enkel A/B-test trenger 13 914 besøkende per variant, eller 27 828 totalt.
A/B/n: flere grupper, strengere terskler
Med tre utfordrere mot én kontroll gjør du tre sammenligninger, og sjansen for minst én falsk vinner øker. Den enkleste korreksjonen (Bonferroni) deler alfa på antall sammenligninger, så hver sammenligning testes på 0,05 / 3 = 0,0167. Det øker utvalget per variant fra 13 914 til 18 559, og totalen fra 27 828 til 74 236 fordelt på fire varianter, omtrent 2,7 ganger trafikken i A/B-testen.
Multivariat: kombinasjonene ganges opp
Test nå tre elementer med to versjoner hver (overskrift A eller B, bilde A eller B, CTA A eller B). Et fullt faktorielt design har 2 × 2 × 2 = 8 celler. Hvis du vil sammenligne hver kombinasjon med kontrollgruppen, slik de fleste MVT-rapporter implisitt gjør, trenger hver celle et fullt utvalg: 8 × 13 914 = 111 312 besøkende uten noen korreksjon, eller 8 × 22 112 = 176 896 besøkende med en Bonferroni-korreksjon for sju sammenligninger.
Det er det verste tilfellet. Et faktorielt design er faktisk effektivt for hovedeffekter. For å estimere effekten av overskriften sammenligner du de fire cellene med overskrift A mot de fire med overskrift B, og det bruker all trafikken din. Hvis elementene ikke samspiller, forteller 27 828 besøkende deg om alle tre elementene på en gang. Da har du i praksis kjørt tre A/B-tester parallelt. Nyttig, men det er ikke grunnen til at de fleste team velger MVT.
Team kjører som regel MVT for å finne samspillseffekter («denne overskriften fungerer bare med det bildet») og den beste kombinasjonen. Samspillseffekter er dyre. Andrew Gelmans mye siterte notat, You need 16 times the sample size to estimate an interaction than to estimate a main effect, viser hvorfor: et estimat av en samspillseffekt har dobbelt så stor standardfeil som en hovedeffekt, og hvis samspillet er halvparten så stort som hovedeffekten (hans uttalte antakelse), trenger du 16 ganger utvalget for samme styrke. Anvendt på eksempelet vårt blir det omtrent 445 000 besøkende.
Hva det betyr i måneder
| Design (3 % utgangspunkt, 20 % MDE) | Totalt antall besøkende | Måneder ved 5 000/måned | Måneder ved 20 000/måned |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n med 4 grupper (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, hver celle mot kontroll (ukorrigert) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, hver celle mot kontroll (Bonferroni) | 176,896 | 35.4 | 8.8 |
| MVT-interaksjon, halv størrelse (16x-regelen) | 445,248 | 89.0 | 22.3 |
På en side med 20 000 besøkende i måneden tar en 2×2×2-MVT som leser hver kombinasjon, mesteparten av et år med korreksjon. Med 5 000 tar det flere år. Vårt syn: multivariat testing er sjelden praktisk på B2B-nettsteder, og en påstand som «vi kjørte en MVT og kombinasjon 6 vant» basert på noen tusen besøkende i måneden fortjener en grundig kikk på utvalget før noen handler på den.
Det de fleste team gjør feil
Den vanlige feilen er å velge testtype ut fra ambisjoner i stedet for spørsmålet. Team velger MVT fordi de har mange ideer, ikke fordi de trenger å vite om ideene påvirker hverandre. De velger A/B/n med fem varianter fordi ingen kunne bli enige om én. Begge valgene deler begrenset trafikk i skiver som er for tynne til å tolkes.
Den andre er å teste elementer når det egentlige spørsmålet handler om målgrupper. På et B2B-nettsted avhenger det som konverterer ofte mer av hvem som ser på, enn av hvilken overskrift som vises. En innkjøper i industrien og en SaaS-gründer vil ha ulike bevispunkter. Å teste overskrift A mot B for alle tar gjennomsnittet av disse målgruppene og kan skjule en variant som vinner klart for ett segment og taper for et annet. Det er argumentet for personaliseringstester rettet mot segmenter.
Beslutningstabell: hvilken test du bør kjøre
| Situasjon | Månedlige besøkende på siden | Endrede elementer | Anbefalt test |
|---|---|---|---|
| Én tydelig hypotese, stor endring | Alle, også under 5 000 | Ett konsept (kan berøre flere elementer) | A/B |
| To eller tre genuint forskjellige tilnærminger | 15,000+ | Konsepter for hele siden | A/B/n med maks 3 varianter |
| Må vite om elementer påvirker hverandre | 100,000+ | 2 til 3 elementer, 2 versjoner hver | Multivariat (fullt faktorielt) |
| Ulike målgrupper vil sannsynligvis ha ulike ting | Nok trafikk innenfor segmentet | Innhold tilpasset segmentet | Segmentrettet test vs. kontrollgruppe |
| Ikke nok trafikk til noe av det ovenstående | Under 2 000 | Alle | Kvalitativ research, deretter en A/B-test på en større endring |
Trafikkgrensene er grove tommelfingerregler for en basislinje på 3 %. Regn ut dine egne med formelen for utvalgsstørrelse før du forplikter deg.
Eksempler på gode tester for hver type
A/B-tester
- Demoskjema vs. umiddelbar kalenderbooking på demosiden.
- Funksjonsdrevet hero vs. resultatdrevet hero på forsiden.
- Prisside med et nivå for «snakk med salg» vs. publiserte priser for alle nivåer.
Å samle flere elementer i ett konsept er helt greit i en A/B-test. Du lærer om konseptet vinner, ikke hvilket element som gjorde det, og det er som regel den beslutningen du faktisk trenger å ta. Guiden vår til konverteringsoptimalisering i B2B viser hvordan du prioriterer disse ideene.
A/B/n-tester
- Tre verdiforslag på en betalt landingsside med mye trafikk: hastighet, kostnadsbesparelser, risikoreduksjon.
- Tre CTA-tilbud: demo, ROI-vurdering, produktomvisning. Se guiden vår til datadrevne personaliserte CTA-er for hvordan tilbudstypen endres etter fase.
Hold A/B/n-tester til tre grupper (kontroll pluss to) med mindre trafikken er uvanlig høy, og gjør hver gruppe merkbart forskjellig, slik at effektene er store nok til å skilles fra hverandre.
Multivariate tester
- Overskrift (2 versjoner) × type sosialt bevis (logoer vs. et sitat fra en kundecase) på en forside med svært mye trafikk, når du har en konkret grunn til å forvente at de to påvirker hverandre.
Hvis du ikke kan sette navn på samspillet du forventer, trenger du sannsynligvis ikke en MVT.
Segmentmålrettede personaliseringstester
- Bransjespesifikk hero på forsiden for besøkende fra finansselskaper vs standard-hero.
- Enterprise-fokuserte bevis (sikkerhet, skala) på prissiden for selskaper over 1 000 ansatte vs. standardsiden.
- Hilsen og kundecase for målkontoer til ABM-kontoer mot den generiske siden.
Slik tester du personalisering mot en holdout-gruppe
En personaliseringstest er en A/B-test som bare kjøres innenfor et segment. Kontrollen er en kontrollgruppe fra det segmentet som ser standardsiden. Uten kontrollgruppen kan du ikke skille effekten av personaliseringen fra det faktum at segmentet kanskje bare konverterer annerledes.
- Definer segmentet presist, for eksempel «besøkende identifisert som selskaper innen finanstjenester med 200+ ansatte». Bare disse besøkende inngår i testen.
- Mål segmenttrafikken til de testede sidene per måned. Det er denne, ikke den totale trafikken på nettstedet, som bestemmer varigheten.
- Velg størrelse på kontrollgruppen. En 50/50-fordeling er raskest å lese. Mindre kontrollgrupper skjermer flere besøkende fra standardopplevelsen, men koster tid.
- Velg en konvertering som segmentet faktisk gjennomfører, målt over besøket eller kontoens besøk, og behold pipeline som et sikkerhetsmåltall.
- Fastsett utvalgsstørrelse og varighet før lansering, og les resultatet bare for det segmentet.
Eksempel (illustrerende tall): Et segment gir 3 000 besøkende i måneden, konverterer med 3 %, og du vil oppdage et relativt løft på 30 %. Beregnet med en versjon av formelen for ulik fordeling (unpooled), med samme 95 % konfidens og 80 % styrke:
| Andel i holdout | Totalt antall besøkende som trengs | Måneder ved 3 000/måned |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
En holdout-gruppe på 10 % tar omtrent 2,5 ganger så lang tid å lese av som en 50/50-fordeling. Vår anbefaling: kjør den første testen for hvert segment med 50/50 for å få et klart svar, og behold så en liten permanent holdout-gruppe (10 til 20 %) etter utrullingen for å følge med på om effekten holder seg over tid. Veikartet for testing av personalisering viser hvordan du rekkefølger disse testene på tvers av segmenter. Start med segmentet som har mest trafikk og tydeligst gap i budskapet, siden det gir svar raskest. Dropp segmenttester helt der segmentet bare gir noen hundre besøkende i måneden; med det volumet gir selv en 50/50-fordeling ikke et lesbart svar innen et år.
For å kjøre disse testene med kontrollgruppe må segmentet identifiseres før siden gjengis, og bare det segmentet deles. Markettailors A/B-testing gjør dette per segment og bruker segmentering på bedriftsnivå til å avgjøre hvem som går inn i hver test, slik at en fintech-test bare noen gang ser fintech-besøkende.
Ofte stilte spørsmål
Hva er forskjellen mellom A/B-testing og multivariat testing?
A/B-testing sammenligner to komplette versjoner av en side. Multivariat testing endrer flere elementer samtidig og tester alle kombinasjoner, slik at den kan vise hvilke elementer som betyr noe og om de påvirker hverandre, men krever langt mer trafikk.
Hva er A/B/n-testing?
A/B/n-testing sammenligner en kontrollversjon med to eller flere komplette varianter samtidig. Det er nyttig når du har noen få virkelig forskjellige tilnærminger, men hver ekstra variant trenger sitt eget utvalg og en strengere signifikansgrense.
Hvor mye trafikk trenger du for multivariat testing?
For en 2×2×2-test på en side som konverterer 3 %, krever det omtrent 111 000 til 177 000 besøkende å lese hver av de 8 kombinasjonene mot kontrollen for en økning på 20 %, avhengig av korreksjonen for multiple sammenligninger. Å oppdage interaksjoner kan kreve flere ganger så mye.
Er multivariat testing verdt det for B2B-nettsteder?
Sjelden. De fleste B2B-sider har ikke nok trafikk til å lese kombinasjoner eller samspill i løpet av noen få måneder. A/B-tester av større konsepter og segmentmålrettede personaliseringstester gir vanligvis tydeligere svar raskere.
Kan du kombinere A/B-testing og multivariat testing?
Ja. En vanlig rekkefølge er å A/B-teste konsepter først, og deretter, bare på sider med svært mye trafikk, kjøre en liten faktoriell test på to elementer i det vinnende konseptet hvis du har en bestemt samspillseffekt å sjekke.