Formlen for stikprøvestørrelse i A/B-test fortæller dig, hvor mange besøgende hver variant skal have, før en forskel i konverteringsrate betyder noget. For en standard tosidet test ved 95 % konfidens og 80 % power skal du bruge cirka n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² besøgende pr. variant, hvor p1 er din udgangsrate og p2 den rate, du håber at påvise.
Kør formlen med rigtige B2B-tal, og resultatet er ubehageligt. En side, der konverterer med 3 %, kræver cirka 14.000 besøgende pr. variant for pålideligt at påvise et relativt løft på 20 %. Mange B2B-sider får ikke så mange besøgende på et kvartal. Nedenfor: formlen input for input, beregnede tabeller for en række baselinerater, hvor lang tid en test tager ved et givent trafikniveau, og hvad du skal gøre, når svaret er "otte måneder".
Vores holdning: de fleste B2B A/B-tests har for lav styrke
Først den holdning, som matematikken understøtter. Vi mener, at de fleste B2B A/B-tests stoppes længe før, de har data nok, og at mange af de "vindere", de producerer, er støj. Mønstret ser sådan ud: en test på tre uger, en variant, der fører med 25 %, et grønt mærke, en implementeret ændring og seks måneder senere intet synligt løft i pipelinen.
Tests med for lav power overser reelle effekter, hvilket spilder testpladsen. Værre endnu: Når en test med for lav power faktisk krydser signifikansgrænsen, er det målte løft som regel overvurderet, fordi kun de heldige udfald kommer over grænsen. Statistikere kalder det en størrelsesfejl (type M-fejl). Teamet lancerer en ændring, der måske ingenting gør, og bogfører samtidig et oppustet tal i sin CRO-rapportering. At beregne stikprøvestørrelsen før lancering er den billigste beskyttelse.
Formlen for stikprøvestørrelse i A/B-test
Standardformlen til at sammenligne to konverteringsrater (en z-test for to andele) er:
n pr. variant = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
Hvert input har en betydning i klart sprog:
- p1 (baseline-konverteringsrate): den nuværende konverteringsrate for den side og det mål, du tester. Brug raten for præcis den konverteringshændelse og præcis den side fra de seneste 4 til 8 uger, ikke et gennemsnit for hele websitet.
- p2 (målrate): baseline ganget med (1 + MDE). Med en baseline på 3 % og en relativ MDE på 20 % er p2 = 3,6 %.
- MDE (minimum detectable effect): det mindste relative løft, du vil kunne opdage. Det er en forretningsbeslutning, ikke en statistisk. Mindre MDE'er kræver markant mere trafik, fordi forskellen (p2 − p1) er kvadreret i nævneren. Halvér MDE'en, og stikprøven bliver cirka fire gange så stor.
- p̄ (samlet rate): gennemsnittet af p1 og p2. Den beskriver støjen under antagelsen om, at der ikke er nogen reel forskel.
- zα/2 = 1,96: svarer til en falsk positiv-rate på 5 % (alfa 0,05), fordelt på begge haler, fordi varianten kan være bedre eller dårligere.
- zβ = 0,8416: svarer til 80 % power, hvilket betyder, at hvis det sande løft svarer til din MDE, opdager testen det 80 % af gangene. De øvrige 20 % af gangene overser du en reel vinder.
Mange beregnere bruger den forenklede unpooled-version, der er vist i første afsnit. Ved B2B-konverteringsrater adskiller de to sig kun med en håndfuld besøgende. Vores A/B-testberegner bruger den pooled formel ovenfor og estimerer også testens varighed.
Gennemregnet eksempel, trin for trin
Eksempel (illustrative tal): En side til demoanmodninger konverterer med 3 %. Du vil påvise et relativt løft på 20 %.
- Sæt raterne: p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. Den absolutte forskel er 0,006.
- Samlet rate: p̄ = (0,030 + 0,036) / 2 = 0,033.
- Første led: √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. Gang med 1,96: 0,4951.
- Andet led: p1(1−p1) = 0,0291 og p2(1−p2) = 0,0347. √(0,0638) = 0,2526. Gang med 0,8416: 0,2126.
- Læg sammen og kvadrér: (0,4951 + 0,2126)² = 0,7077² = 0,5009.
- Divider med den kvadrerede forskel: 0,5009 / 0,006² = 0,5009 / 0,000036 = 13.914 besøgende pr. variant.
Testen kræver altså omkring 27.800 besøgende i alt og cirka 417 konverteringer alene i kontrolgruppen (13.914 × 3 %), før du aflæser resultatet. Som krydstjek giver den forenklede unpooled formel 13.911 pr. variant, og en arcsin-tilnærmelse (Cohens h) giver omkring 13.890. De tre metoder er enige inden for 0,2 %.
Tabel over stikprøvestørrelser for B2B-konverteringsrater
Tabellen nedenfor anvender den samlede formel ovenfor (alfa 0,05 tosidet, styrke 0,8) på baselinerater fra 1 % (fx demo-anmodninger som andel af alle besøgende på en travl side) til 10 % (fx en mikrokonvertering som et klik på en CTA). Brug din egen baseline; rækkerne er blot referencepunkter. Værdierne er besøgende pr. variant, beregnet i Node.js og rundet op.
| Basiskonverteringsrate | 10 % relativ MDE | 20 % relativ MDE | 30 % relativ MDE | 50 % relativ MDE |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
Går du fra en MDE på 10 % til en MDE på 50 %, reduceres den nødvendige stikprøve cirka 20 gange. En fordobling af basisraten halverer den nogenlunde. Du kan ikke ændre trafikken hurtigt, men du kan vælge størrelsen på den ændring, du tester, og den konvertering, du måler, og på et lille website er det de to håndtag, der betyder noget.
Hvor lang tid tager testen?
Varigheden er det samlede antal krævede besøgende (begge varianter) divideret med de månedlige besøgende, der faktisk når den testede side. Tabellen viser måneder for en 50/50-fordeling ved tre trafikniveauer.
| Besøgende på siden om måneden | Baseline | 10 % MDE | 20 % MDE | 30 % MDE | 50 % MDE |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
Uanset hvad tabellen siger, så kør hver test i mindst to hele uger, så adfærd på hverdage og i weekender samt eventuelle kampagnetoppe er repræsenteret i begge grupper. Og betragt alt over tre måneder som en test, du nok ikke bør køre i sin nuværende form: sideindhold, kampagner og trafikmiks ændrer sig alle i den periode, og resultatet beskriver et website, der ikke længere findes.
Med 5.000 besøgende om måneden og en baseline på 3 % kan et løft på 50 % aflæses på omkring en måned, mens et løft på 10 % tager næsten to år. Ingen lader en side stå uændret i to år, så den anden test bliver stoppet tidligt og læst, som om den betød noget.
Hvad de fleste teams gør forkert
- At bruge trafikken for hele sitet i estimatet af varighed. Kun besøgende, der når det testede element, tæller. En test af prissiden på et site med 20.000 besøgende ser måske kun 2.000 relevante besøgende om måneden.
- At vælge MDE'en efter testen. Hvis du satte MDE'en til 30 % før lancering, og testen viser 12 %, har du ikke en vinder på 12 %. Du har en inkonklusiv test.
- At kigge og stoppe ved det første grønne badge. Evan Millers analyse, How Not To Run an A/B Test, viser, at gentagne signifikanstest altid øger andelen af falske positiver. I hans eksempel (en baseline på 50 %, en ændring uden effekt, stop så snart resultatet rammer 5 % signifikans eller efter 150 observationer) er andelen af falske positiver 26,1 % i stedet for de nominelle 5 %.
Når tallene siger måneder: syv muligheder
1. Test større ændringer
Den billigste måde at reducere stikprøvestørrelsen på er at hæve MDE ærligt, hvilket betyder at teste ændringer, der er store nok til plausibelt at give den: et nyt værdiforslag, et andet tilbud (øjeblikkelig booking i stedet for en kontaktformular), en side tilpasset én branche i stedet for en generisk. Vores guide til B2B-konverteringsoptimering viser, hvordan du rangerer testidéer efter forventet effektstørrelse.
2. Test på sider med mere trafik
Forsiden, de mest læste blogindlæg og landingssider med høj volumen giver dig flere besøgende om måneden (se vores noter om optimering af B2B-landingssider for, hvilke sider der typisk har mest trafik i beslutningsfasen). En test på en skabelon, som mange sider deler (alle løsningssider, alle blogindlæg), samler deres trafik i ét eksperiment.
3. Brug mikrokonverteringer med omtanke
Mikrokonverteringer som CTA-klik eller påbegyndte formularer har højere baselines, så rækken med 10 % i tabellen gælder i stedet for rækken med 2 %. Hagen er, at en variant kan øge antallet af klik og sænke antallet af kvalificerede demoer. Brug kun mikrokonverteringen som beslutningsmåling, når du har belæg for, at den følger makromålet, og rapportér altid makrokonverteringen ved siden af som sikkerhedsnet.
4. Saml segmenter, og opdel senere
At køre separate tests pr. segment deler din trafik. Kør én test på tværs af segmenter, og se kun på resultaterne på segmentniveau som retningsgivende. Hvis du har brug for et segmentspecifikt svar, skal testen dimensioneres til det segments trafik alene. 90-dages testroadmappen for personalisering viser, hvordan du lægger segmenttests i rækkefølge, så hver får nok trafik.
5. Brug sekventiel test
Sekventielle designs (gruppesekventielle tests med forudplanlagte mellemliggende kig eller altid-gyldige metoder indbygget i nogle testværktøjer) lader dig tjekke resultater under testen og stoppe tidligt, når effekten er stor, uden at øge antallet af falske positiver. Prisen er en lidt større maksimal stikprøve, hvis testen kører færdig. Det er den legitime version af at kigge undervejs. Hvis en test vil tage måneder, så brug først budgettet på diagnostiske CRO-værktøjer som sessionsoptagelser og formularanalyse.
6. Overvej en bayesiansk tilgang med klare forventninger
Bayesiansk A/B-test rapporterer en sandsynlighed for, at B slår A, og et forventet tab, hvis du vælger den forkerte. Det er lettere at handle på end en p-værdi, og det lader dig træffe eksplicitte beslutninger som "gå live, hvis sandsynligheden for at være bedre er over 90 %, og det forventede tab er under 0,1 procentpoint." For ændringer, der kan rulles tilbage, er det ofte rationelt at acceptere den risiko.
Det, bayesianske metoder ikke gør, er at skabe information. Med svage priors er den mængde data, der skal til for at være sikker på et løft på 20 %, omtrent den samme som i den frekventistiske tabel. En »sandsynlighed for at slå« på 90 % i en lillebitte stikprøve er stadig skrøbelig, og at tjekke den dagligt med en stopregel øger stadig fejlraten i praksis. Bayesiansk test ændrer, hvordan du udtrykker usikkerhed og træffer beslutninger. Den gør ikke usikkerheden mindre.
7. Kig ikke, eller planlæg dine kig
Fastlæg stikprøvestørrelsen før lancering, skriv den i testbriefen, og afgør ikke testen, før du har nået den. Hvis interessenter har brug for løbende opdateringer, så brug et sekventielt design fra start i stedet for ad hoc-tjek. Vores skabelon til eksperimentplan har et felt til hver af disse beslutninger.
En tjekliste før lancering
- Hent baseline-raten og antallet af relevante besøgende om måneden for præcis den side og konvertering (de seneste 4 til 8 uger).
- Vælg MDE ud fra ændringens størrelse, og skriv den ned.
- Beregn n pr. variant med formlen eller tabellen ovenfor, og derefter varigheden.
- Hvis varigheden overstiger ca. tre måneder, så redesign testen (større ændring, side med mere trafik eller en metrik med højere baseline og en sikkerhedsgrænse).
- Fastlæg stopreglen: fast stikprøve eller en sekventiel plan med planlagte kig.
For B2B-teams kommer de største effektstørrelser som regel fra at vise forskellige besøgende forskelligt indhold i stedet for at polere én side til alle, fordi et budskab skrevet til ét segment er en større ændring end en ny knapfarve. Hvis du skal vælge mellem en simpel split-test og en test med flere varianter eller faktorer, så læs vores sammenligning af A/B-test vs. multivariat test, som anvender den samme matematik for stikprøvestørrelse på A/B/n- og multivariate designs.
Når du er klar til at teste segmentspecifikke oplevelser, lader Markettailors A/B-test til personaliserede sider dig sætte hvert segment op mod en kontrolgruppe og følge resultatet pr. segment, så den stikprøvestørrelse, du planlagde, er den, du får.
Ofte stillede spørgsmål
Hvad er formlen for stikprøvestørrelse i en A/B-test?
For to konverteringsrater er n pr. variant = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)², hvor p1 er baseline, p2 målraten og p̄ deres gennemsnit. Det forudsætter 95 % konfidens (tosidet) og 80 % styrke.
Hvor mange besøgende skal jeg bruge til en A/B-test med en konverteringsrate på 2 %?
Omkring 21.100 besøgende pr. variant for at opdage et relativt løft på 20 %, omkring 9.800 for et løft på 30 % og omkring 3.800 for et løft på 50 %, ved 95 % konfidens og 80 % styrke. Fordobl tallene for den samlede testtrafik.
Kræver Bayesiansk A/B-test en mindre stikprøve?
Ikke nævneværdigt, medmindre du har en stærk, velbegrundet prior. Bayesiansk test giver mere intuitive output (sandsynlighed for at slå kontrollen, forventet tab) og understøtter risikobaserede beslutninger, men den mængde data, der skal til for at være sikker på et givet løft, svarer til den frekventistiske beregning.
Hvilken minimal detekterbar effekt bør et B2B-site bruge?
Vælg MDE ud fra din trafik, ikke ud fra ønsketænkning. Beregn, hvad der kan påvises på seks til otte uger med din sides trafik, og test så kun ændringer, der er store nok til realistisk at give det løft. I varighedstabellen ovenfor kan en side med 5.000 besøgende om måneden og en baseline på 3 % kun aflæse løft på omkring 30 % eller mere inden for tre måneder.
Kan jeg stoppe en A/B-test før tid, hvis den allerede er signifikant?
Ikke med en almindelig test med fast stikprøve, fordi gentagne kig øger antallet af falske positiver. Hvis du vil have mulighed for at stoppe tidligt, så brug et sekventielt testdesign med mellemanalyser, der er planlagt før lancering.