Sådan virker beregneren
Fanen til stikprøvestørrelse bruger standardformlen til at sammenligne to konverteringsrater med en tosidet z-test for to andele:
n pr. variant = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 er din nuværende konverteringsrate for præcis den side og det mål, du tester.
- p2 er baseline ganget med (1 + minimum påviselig effekt).
- p̄ er gennemsnittet af p1 og p2.
- zα/2 er 1,96 ved 95 % konfidens, og zβ er 0,84 ved 80 % styrke.
Med mere end én variant dividerer beregneren alfa med antallet af sammenligninger mod kontrollen (en Bonferroni-korrektion), hvilket holder den samlede falsk positiv-rate på det konfidensniveau, du valgte. Vores guide til stikprøvestørrelse for A/B-test gennemgår formlen trin for trin med tabeller for typiske B2B-konverteringsrater.
Gennemregnet eksempel
Illustrative tal: En side til demoanmodninger konverterer 3 % og får 2.000 besøgende om ugen. Du vil vide, om en ny overskrift løfter konverteringen med mindst 20 %, så p2 er 3,6 %. Beregneren giver omkring 13.900 besøgende pr. variant, 27.800 i alt, hvilket svarer til 14 ugers trafik. Det er det ærlige svar for mange B2B-sider, og det er derfor, værktøjet markerer enhver test, der varer længere end et kvartal.
Tre måder at forkorte varigheden på: Test en dristigere ændring, og hæv den mindste påviselige effekt til 30 % eller mere, mål en hyppigere hændelse som klik til demosiden, eller kør testen på en side med mere trafik. Hvis du skal vælge mellem en A/B-test og en test af flere elementer på én gang, så læs først A/B-test vs. multivariat test, fordi multivariate tests kræver langt mere trafik.
Sådan læser du et signifikansresultat
Fanen for signifikans sammenligner to afsluttede varianter. Antag, at kontrolgruppen havde 5.000 besøgende og 150 konverteringer (3,0 %), og varianten 5.000 besøgende og 190 konverteringer (3,8 %). Det relative løft er 26,7 %, p-værdien er ca. 0,027, og 95 %-konfidensintervallet for forskellen går fra ca. 0,1 til 1,5 procentpoint. Resultatet er signifikant, men intervallet er bredt: Det reelle løft kan være lille. Betragt det målte løft som et estimat, der snarere ligger i den høje ende, især når testen blev stoppet tidligt.
For hvad du skal teste først på et B2B-website med lidt trafik, se testafsnittet i vores guide til konverteringsoptimering. Hvis du tester personaliserede oplevelser frem for enkelte sideændringer, kører Markettailors A/B-test holdouts pr. besøgssegment.
Ofte stillede spørgsmål
Hvor mange besøgende skal jeg bruge til en A/B-test?
Det afhænger af din baseline-konverteringsrate og det mindste løft, du vil kunne opdage. Med en baseline på 3 % kræver det omkring 13.900 besøgende pr. variant at opdage et relativt løft på 20 % med 95 % konfidens og 80 % power. Halverer du det løft, du vil opdage, bliver stikprøven cirka fire gange så stor.
Hvordan beregnes statistisk signifikans for en A/B-test?
Denne beregner bruger en tosidet z-test for to andele. Den samler begge varianter for at estimere den støj, du ville forvente, hvis der ikke var nogen reel forskel, dividerer den observerede forskel i konverteringsrater med standardfejlen og omregner den resulterende z-score til en p-værdi. En p-værdi under 0,05 er signifikant ved 95 % konfidens.
Hvor længe skal en A/B-test køre?
Indtil den når den stikprøvestørrelse, der blev beregnet før lancering, og i mindst én hel uge, så både hverdags- og weekendadfærd er med. Estimatet af varigheden ovenfor dividerer den samlede stikprøve med din ugentlige trafik til den testede side.
Kan jeg stoppe en A/B-test, så snart den er signifikant?
Nej. At tjekke resultaterne igen og igen og stoppe ved den første signifikante aflæsning øger andelen af falske positiver langt over 5 %. Fastlæg stikprøvestørrelsen på forhånd, og aflæs resultatet, når den er nået, eller brug en metode designet til løbende overvågning, f.eks. en sekventiel test.
Hvad hvis mit B2B-site ikke har trafik nok til A/B-test?
Test større ændringer, vælg en konverteringshændelse, der sker oftere (fx klik til demosiden frem for bookede demoer), test på din skabelon med mest trafik, eller acceptér en længere test. Hvis en test vil tage mere end et kvartal, så brug kvalitativ research og holdout-sammenligninger i stedet.