Slik fungerer kalkulatoren
Fanen for utvalgsstørrelse bruker standardformelen for å sammenligne to konverteringsrater med en tosidig z-test for to andeler:
n per variant = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 er grunnkonverteringsraten din for akkurat den siden og det målet du tester.
- p2 er basislinjen multiplisert med (1 + minste påvisbare effekt).
- p̄ er gjennomsnittet av p1 og p2.
- zα/2 er 1,96 ved 95 % konfidens, og zβ er 0,84 ved 80 % styrke.
Med mer enn én variant deler kalkulatoren alfa på antall sammenligninger mot kontrollen (en Bonferroni-korreksjon), noe som holder den samlede andelen falske positiver på konfidensnivået du valgte. Guiden vår til utvalgsstørrelse i A/B-tester går gjennom formelen steg for steg med tabeller for vanlige konverteringsrater i B2B.
Gjennomregnet eksempel
Illustrerende tall: en side for demoforespørsler konverterer 3 % og får 2 000 besøkende i uken. Du vil vite om en ny overskrift øker konverteringen med minst 20 %, så p2 er 3,6 %. Kalkulatoren gir omtrent 13 900 besøkende per variant, 27 800 totalt, noe som tilsvarer 14 uker med trafikk. Det er det ærlige svaret for mange B2B-sider, og det er derfor verktøyet flagger alle tester som varer lenger enn et kvartal.
Tre måter å korte ned varigheten på: test en dristigere endring og hev minste påvisbare effekt til 30 % eller mer, mål en hyppigere hendelse som klikk til demosiden, eller kjør testen på en side med mer trafikk. Skal du velge mellom en A/B-test og en test av flere elementer samtidig, les A/B-testing vs. multivariat testing først, fordi multivariate tester krever langt mer trafikk.
Slik leser du et signifikansresultat
Signifikansfanen sammenligner to ferdige varianter. Anta at kontrollen hadde 5 000 besøkende og 150 konverteringer (3,0 %) og varianten 5 000 besøkende og 190 konverteringer (3,8 %). Den relative økningen er 26,7 %, p-verdien er omtrent 0,027, og 95 %-konfidensintervallet for differansen går fra omtrent 0,1 til 1,5 prosentpoeng. Resultatet er signifikant, men intervallet er bredt: den reelle økningen kan være liten. Se på den målte økningen som et estimat som heller oppover, særlig når testen ble stoppet tidlig.
For hva du bør teste først på et B2B-nettsted med lite trafikk, se testavsnittet i vår guide til konverteringsoptimalisering. Hvis du tester personaliserte opplevelser i stedet for enkeltendringer på sider, kjører Markettailors A/B-testing kontrollgrupper per besøkssegment.
Ofte stilte spørsmål
Hvor mange besøkende trenger jeg for en A/B-test?
Det avhenger av den grunnleggende konverteringsraten din og den minste økningen du vil kunne oppdage. Med en grunnrate på 3 % krever det omtrent 13 900 besøkende per variant å oppdage en relativ økning på 20 % med 95 % konfidens og 80 % styrke. Halverer du økningen du vil oppdage, blir utvalget omtrent fire ganger så stort.
Hvordan beregnes statistisk signifikans for en A/B-test?
Denne kalkulatoren bruker en tosidig z-test for to andeler. Den slår sammen begge gruppene for å estimere støyen du ville forventet hvis det ikke fantes noen reell forskjell, deler den observerte forskjellen i konverteringsrate på den standardfeilen, og gjør z-verdien om til en p-verdi. En p-verdi under 0,05 er signifikant med 95 % konfidens.
Hvor lenge bør en A/B-test kjøre?
Til den når utvalgsstørrelsen som ble beregnet før lansering, og i minst én hel uke, slik at både ukedags- og helgeatferd er med. Varighetsanslaget ovenfor deler det totale utvalget på den ukentlige trafikken til siden som testes.
Kan jeg stoppe en A/B-test så snart den er signifikant?
Nei. Å sjekke resultatene gang på gang og stoppe ved første signifikante avlesning øker andelen falske positive langt over 5 %. Bestem utvalgsstørrelsen på forhånd og les av resultatet når den er nådd, eller bruk en metode laget for løpende overvåking, som en sekvensiell test.
Hva om B2B-nettstedet mitt ikke har nok trafikk til A/B-testing?
Test større endringer, velg en konverteringshendelse som skjer oftere (for eksempel klikk til demosiden i stedet for bookede demoer), test på malen med mest trafikk, eller godta en lengre test. Ville en test tatt mer enn et kvartal, bruker du heller kvalitativ research og sammenligninger med kontrollgrupper.