Formelen for utvalgsstørrelse i A/B-tester forteller deg hvor mange besøkende hver variant trenger før en forskjell i konverteringsrate betyr noe. For en standard tosidig test med 95 % konfidens og 80 % styrke trenger du omtrent n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² besøkende per variant, der p1 er utgangsraten din og p2 raten du håper å påvise.
Kjør den formelen mot ekte B2B-tall, og resultatet er ubehagelig. En side som konverterer på 3 %, trenger omtrent 14 000 besøkende per variant for å påvise en relativ økning på 20 % med sikkerhet. Mange B2B-sider ser ikke så mange besøkende i løpet av et kvartal. Nedenfor: formelen input for input, ferdig utregnede tabeller for en rekke utgangsrater, hvor lang tid en test tar ved et gitt trafikknivå, og hva du gjør når svaret er «åtte måneder».
Vårt standpunkt: de fleste A/B-tester i B2B har for lav styrke
Først synspunktet som matematikken støtter. Vi mener at de fleste B2B-A/B-tester stoppes lenge før de har nok data, og at mange av «vinnerne» de gir, er støy. Mønsteret ser slik ut: en test på tre uker, en variant som ligger 25 % foran, et grønt merke, en endring som lanseres, og seks måneder senere ingen synlig økning i pipeline.
Tester med for lav styrke går glipp av reelle effekter, og det sløser bort testplassen. Verre er det at når en test med for lav styrke faktisk krysser signifikansgrensen, blir den målte økningen gjerne overvurdert, fordi bare de heldige trekningene kommer over streken. Statistikere kaller dette en størrelsesfeil (type M-feil). Teamet lanserer en endring som kanskje ikke gjør noe, og fører i tillegg et oppblåst tall inn i CRO-rapporteringen. Å regne ut utvalgsstørrelsen før lansering er den billigste beskyttelsen.
Formelen for utvalgsstørrelse i A/B-testing
Standardformelen for å sammenligne to konverteringsrater (en z-test for to andeler) er:
n per variant = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
Hver inndata har en betydning i klartekst:
- p1 (grunnleggende konverteringsrate): den nåværende konverteringsraten for siden og målet du tester. Bruk raten for akkurat den konverteringshendelsen og akkurat den siden, fra de siste 4 til 8 ukene, ikke et gjennomsnitt for hele nettstedet.
- p2 (målrate): utgangspunktet multiplisert med (1 + MDE). Med et utgangspunkt på 3 % og en relativ MDE på 20 % blir p2 = 3,6 %.
- MDE (minimum detectable effect, minste påvisbare effekt): den minste relative økningen du bryr deg om å oppdage. Dette er en forretningsbeslutning, ikke en statistisk. Mindre MDE krever dramatisk mer trafikk, fordi differansen (p2 − p1) er kvadrert i nevneren. Halver MDE, og du får omtrent fire ganger så stort utvalg.
- p̄ (samlet rate): gjennomsnittet av p1 og p2. Den beskriver støyen under antakelsen om at det ikke finnes noen reell forskjell.
- zα/2 = 1,96: tilsvarer en andel falske positiver på 5 % (alfa 0,05), fordelt på begge haler fordi varianten kan være bedre eller dårligere.
- zβ = 0,8416: tilsvarer 80 % styrke, som betyr at hvis den reelle økningen er lik MDE-en din, oppdager testen den 80 % av gangene. De resterende 20 % av gangene går du glipp av en reell vinner.
Mange kalkulatorer bruker den forenklede versjonen uten sammenslått varians som vises i første avsnitt. Ved konverteringsrater som er vanlige i B2B, skiller de to seg med bare en håndfull besøkende. A/B-testkalkulatoren vår bruker den sammenslåtte formelen over og anslår også testvarigheten.
Gjennomregnet eksempel, steg for steg
Eksempel (illustrerende tall): en side for demoforespørsel konverterer 3 %. Du vil påvise en relativ økning på 20 %.
- Sett ratene: p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. Den absolutte forskjellen er 0,006.
- Samlet rate: p̄ = (0,030 + 0,036) / 2 = 0,033.
- Første ledd: √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. Multipliser med 1,96: 0,4951.
- Andre ledd: p1(1−p1) = 0,0291 og p2(1−p2) = 0,0347. √(0,0638) = 0,2526. Gang med 0,8416: 0,2126.
- Legg sammen og kvadrer: (0,4951 + 0,2126)² = 0,7077² = 0,5009.
- Del på den kvadrerte differansen: 0,5009 / 0,006² = 0,5009 / 0,000036 = 13 914 besøkende per variant.
Testen trenger altså omtrent 27 800 besøkende totalt, og rundt 417 konverteringer bare i kontrollgruppen (13 914 × 3 %), før du leser av resultatet. Som kontroll gir den forenklede, ikke-sammenslåtte formelen 13 911 per variant, og en arcsin-tilnærming (Cohens h) gir omtrent 13 890. De tre metodene er enige innenfor 0,2 %.
Tabell over utvalgsstørrelse for B2B-konverteringsrater
Tabellen nedenfor bruker den samlede formelen ovenfor (alfa 0,05 tosidig, styrke 0,8) på grunnrater fra 1 % (for eksempel demoforespørsler som andel av alle besøkende på en side med mye trafikk) til 10 % (for eksempel en mikrokonvertering som et klikk på en CTA). Bruk din egen grunnrate; disse radene er bare referansepunkter. Verdiene er besøkende per variant, beregnet i Node.js og rundet opp.
| Basiskonverteringsrate | 10 % relativ MDE | 20 % relativ MDE | 30 % relativ MDE | 50 % relativ MDE |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
Går du fra 10 % MDE til 50 % MDE, reduseres nødvendig utvalg med rundt 20 ganger. Dobler du basisraten, halveres det omtrent. Trafikken kan du ikke endre raskt, men du kan velge hvor stor endring du tester og hvilken konvertering du måler, og på et lite nettsted er det de to spakene som betyr noe.
Hvor lang tid vil testen ta?
Varigheten er totalt nødvendige besøkende (begge varianter) delt på de månedlige besøkende som faktisk når siden som testes. Tabellen viser måneder for en 50/50-fordeling på tre trafikknivåer.
| Månedlige besøkende på siden | Utgangspunkt | 10 % MDE | 20 % MDE | 30 % MDE | 50 % MDE |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
Uansett hva tabellen sier, kjør hver test i minst to hele uker, slik at atferd på hverdager og i helger og eventuelle kampanjetopper er representert i begge grupper. Og behandle alt over tre måneder som en test du sannsynligvis ikke bør kjøre i nåværende form: sideinnhold, kampanjer og trafikkmiks endrer seg over den tiden, og resultatet beskriver et nettsted som ikke lenger finnes.
Med 5 000 besøkende i måneden og en baseline på 3 % kan en økning på 50 % leses av på omtrent en måned, mens en økning på 10 % tar nesten to år. Ingen lar en side stå uendret i to år, så den andre testen blir stoppet tidlig og tolket som om den betydde noe.
Det de fleste team gjør feil
- Å bruke trafikken for hele nettstedet i varighetsestimatet. Bare besøkende som når elementet som testes, teller. En test på prissiden på et nettsted med 20 000 besøkende ser kanskje bare 2 000 kvalifiserte besøkende i måneden.
- Å velge MDE etter testen. Hvis du satte MDE til 30 % før lansering og testen viser 12 %, har du ikke en vinner på 12 %. Du har en test uten konklusjon.
- Å kikke og stoppe ved det første grønne merket. Evan Millers analyse, How Not To Run an A/B Test, viser at gjentatt signifikanstesting alltid øker andelen falske positive. I eksempelet hans (en baseline på 50 %, en endring som ikke gjør noe, og stopp så snart resultatet når 5 % signifikans eller etter 150 observasjoner) er andelen falske positive 26,1 % i stedet for de nominelle 5 %.
Når tallene sier måneder: sju alternativer
1. Test større endringer
Den billigste måten å redusere utvalgsstørrelsen på er å øke MDE ærlig, det vil si å teste endringer som er store nok til at de realistisk kan gi den: et nytt verdiforslag, et annet tilbud (direkte booking i stedet for et kontaktskjema), en side tilpasset én bransje i stedet for en generisk. Guiden vår til konverteringsoptimalisering for B2B viser hvordan du rangerer testideer etter forventet effektstørrelse.
2. Test på sider med mer trafikk
Forsiden, de mest leste blogginnleggene og landingssider med høyt volum gir deg flere besøkende i måneden (se notatene våre om optimalisering av B2B-landingssider for hvilke sider som pleier å ha mest trafikk i beslutningsfasen). En test på en mal som deles av mange sider (alle løsningssider, alle blogginnlegg), samler trafikken deres i ett eksperiment.
3. Bruk mikrokonverteringer med forsiktighet
Mikrokonverteringer som CTA-klikk eller påbegynte skjemaer har høyere baseline, så 10 %-raden i tabellen gjelder i stedet for 2 %-raden. Haken er at en variant kan øke klikkene og redusere antall kvalifiserte demoer. Bruk mikrokonverteringen som beslutningsmål bare når du har bevis for at den følger makromålet, og rapporter alltid makrokonverteringen ved siden av som en sikkerhetsmåling.
4. Slå sammen segmenter, og del dem opp senere
Separate tester per segment deler opp trafikken din. Kjør én test på tvers av segmenter, og se på resultatene per segment bare som retningsgivende. Trenger du et segmentspesifikt svar, må testen dimensjoneres for trafikken i det segmentet alene. Veikartet for testing av personalisering over 90 dager viser hvordan du rekkefølger segmenttester så hver av dem får nok trafikk.
5. Bruk sekvensiell testing
Sekvensielle design (gruppesekvensielle tester med forhåndsplanlagte mellomkikk, eller alltid-gyldige metoder innebygd i enkelte testverktøy) lar deg sjekke resultatene underveis og stoppe tidlig når effekten er stor, uten å øke antall falske positiver. Ulempen er et litt større maksimalt utvalg hvis testen kjøres til slutt. Dette er den legitime versjonen av å kikke. Ville en test tatt måneder, bruk heller budsjettet på diagnostiske CRO-verktøy som øktopptak og skjemaanalyse først.
6. Vurder en bayesiansk tilnærming, med tydelige forventninger
Bayesiansk A/B-testing rapporterer sannsynligheten for at B slår A, og forventet tap hvis du velger feil. Det er lettere å handle på enn en p-verdi, og det lar deg ta eksplisitte beslutninger som «lanser hvis sannsynligheten for at den er bedre er over 90 % og forventet tap er under 0,1 prosentpoeng». For endringer som kan reverseres, er det ofte rasjonelt å akseptere den risikoen.
Det bayesianske metoder ikke gjør, er å skape informasjon. Med svake priorer er datamengden som trengs for å være trygg på en økning på 20 %, omtrent den samme som i den frekventistiske tabellen. En «sannsynlighet for å slå» på 90 % i et lite utvalg er fortsatt skjør, og å sjekke den daglig med en stoppregel øker fortsatt feilraten i praksis. Bayesiansk testing endrer hvordan du uttrykker usikkerhet og tar beslutninger. Den gjør ikke usikkerheten mindre.
7. Ikke kikk, eller planlegg når du kikker
Fastsett utvalgsstørrelsen før lansering, skriv den i testbriefen, og ikke konkluder før du har nådd den. Trenger interessentene mellomoppdateringer, bruk et sekvensielt design fra starten i stedet for tilfeldige sjekker. Malen vår for eksperimentplan har et felt for hver av disse beslutningene.
En sjekkliste før lansering
- Hent baseline-raten og antall kvalifiserte besøkende per måned for akkurat den siden og konverteringen (siste 4 til 8 uker).
- Velg MDE ut fra hvor stor endringen er, og skriv den ned.
- Regn ut n per variant med formelen eller tabellen ovenfor, og deretter varigheten.
- Går varigheten over rundt tre måneder, bør du endre testen (større endring, side med mer trafikk eller et måltall med høyere basisrate kombinert med et sikkerhetsmål).
- Sett stoppregelen: fast utvalg, eller en sekvensiell plan med forhåndsplanlagte kikk.
For B2B-team kommer de største effektene som regel av å vise ulike besøkende ulikt innhold, snarere enn å finpusse én side for alle, fordi et budskap skrevet for ett segment er en større endring enn en ny knappefarge. Skal du velge mellom en enkel splittest og en test med flere varianter eller faktorer, les sammenligningen vår av A/B-testing vs. multivariat testing, som bruker samme regnestykke for utvalgsstørrelse på A/B/n- og multivariate design.
Når du er klar til å teste segmentspesifikke opplevelser, lar A/B-testing av personaliserte sider i Markettailor deg dele hvert segment mot en kontrollgruppe og følge resultatet per segment, slik at utvalgsstørrelsen du planla, er den du får.
Ofte stilte spørsmål
Hva er formelen for utvalgsstørrelse i A/B-tester?
For to konverteringsrater er n per variant = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)², der p1 er utgangspunktet, p2 målraten og p̄ gjennomsnittet av dem. Dette forutsetter 95 % konfidens (tosidig) og 80 % statistisk styrke.
Hvor mange besøkende trenger jeg for en A/B-test med 2 % konverteringsrate?
Omtrent 21 100 besøkende per variant for å oppdage et relativt løft på 20 %, omtrent 9 800 for et løft på 30 %, og omtrent 3 800 for et løft på 50 %, ved 95 % konfidens og 80 % styrke. Doble disse for den totale testtrafikken.
Krever bayesiansk A/B-testing et mindre utvalg?
Ikke i nevneverdig grad, med mindre du har en sterk, begrunnet prior. Bayesiansk testing gir mer intuitive resultater (sannsynlighet for å slå kontrollen, forventet tap) og støtter risikobaserte beslutninger, men datamengden som trengs for å være sikker på et gitt løft, er omtrent den samme som i den frekventistiske beregningen.
Hvilken minste påviselige effekt bør et B2B-nettsted bruke?
Velg MDE ut fra trafikken din, ikke ut fra ønsketenkning. Regn ut hva som kan påvises i løpet av seks til åtte uker med sidens trafikk, og test bare endringer som er store nok til å kunne gi den økningen. I varighetstabellen ovenfor kan en side med 5 000 besøkende i måneden og et utgangspunkt på 3 % bare lese av økninger på rundt 30 % eller mer innen tre måneder.
Kan jeg stoppe en A/B-test tidlig hvis den allerede er signifikant?
Ikke med en vanlig test med fast utvalg, fordi gjentatte kikk øker antallet falske positiver. Trenger du muligheten til å stoppe tidlig, bruker du et sekvensielt testdesign med mellomanalyser planlagt før lansering.