Så fungerar kalkylatorn
Fliken för urvalsstorlek använder standardformeln för att jämföra två konverteringsgrader med ett tvåsidigt z-test för två proportioner:
n per variant = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 är din baslinje för konverteringsgrad för exakt den sida och det mål du testar.
- p2 är baslinjen multiplicerad med (1 + minsta detekterbara effekt).
- p̄ är medelvärdet av p1 och p2.
- zα/2 är 1,96 vid 95 % konfidens, och zβ är 0,84 vid 80 % styrka.
Med fler än en variant delar kalkylatorn alfa med antalet jämförelser mot kontrollen (en Bonferroni-korrigering), vilket håller den totala andelen falska positiva på den konfidensnivå du valde. Vår guide till urvalsstorlek för A/B-test går igenom formeln steg för steg med tabeller för vanliga konverteringsgrader inom B2B.
Räkneexempel
Illustrativa siffror: en sida för demoförfrågningar konverterar på 3 % och får 2 000 besökare per vecka. Du vill veta om en ny rubrik höjer konverteringen med minst 20 %, så p2 är 3,6 %. Kalkylatorn ger cirka 13 900 besökare per variant, 27 800 totalt, vilket motsvarar 14 veckors trafik. Det är det ärliga svaret för många B2B-sidor, och det är därför verktyget flaggar alla tester som är längre än ett kvartal.
Tre sätt att korta testtiden: testa en djärvare ändring och höj den minsta detekterbara effekten till 30 % eller mer, mät en vanligare händelse som klick till demosidan, eller kör testet på en sida med mer trafik. Om du väljer mellan ett A/B-test och ett test av flera element samtidigt, läs först A/B-testning vs multivariat testning, eftersom multivariata tester kräver betydligt mer trafik.
Så läser du ett signifikansresultat
Fliken för signifikans jämför två avslutade varianter. Anta att kontrollgruppen hade 5 000 besökare och 150 konverteringar (3,0 %) och varianten 5 000 besökare och 190 konverteringar (3,8 %). Den relativa ökningen är 26,7 %, p-värdet är ungefär 0,027 och 95-procentigt konfidensintervall för skillnaden sträcker sig från ungefär 0,1 till 1,5 procentenheter. Resultatet är signifikant, men intervallet är brett: den verkliga ökningen kan vara liten. Se den uppmätta ökningen som en skattning som snarare ligger i överkant, särskilt när testet avbröts i förtid.
För vad du ska testa först på en B2B-webbplats med lite trafik, se testavsnittet i vår guide till konverteringsoptimering. Om du testar personaliserade upplevelser snarare än enskilda sidändringar kör Markettailors A/B-testning kontrollgrupper per besökarsegment.
Vanliga frågor
Hur många besökare behöver jag för ett A/B-test?
Det beror på din grundläggande konverteringsgrad och den minsta förbättring du vill kunna upptäcka. Vid en baslinje på 3 % krävs ungefär 13 900 besökare per variant för att upptäcka en relativ förbättring på 20 % med 95 % konfidens och 80 % styrka. Halverar du förbättringen du vill upptäcka blir urvalet ungefär fyra gånger så stort.
Hur beräknas statistisk signifikans för ett A/B-test?
Den här kalkylatorn använder ett tvåsidigt z-test för två andelar. Den slår ihop båda grenarna för att skatta det brus du skulle förvänta dig om det inte fanns någon verklig skillnad, dividerar den observerade skillnaden i konverteringsgrad med det standardfelet och omvandlar det resulterande z-värdet till ett p-värde. Ett p-värde under 0,05 är signifikant på 95 % konfidensnivå.
Hur länge ska ett A/B-test pågå?
Tills det når den urvalsstorlek som beräknats före lansering, och i minst en hel vecka så att beteendet både på vardagar och helger kommer med. Uppskattningen av längden ovan delar det totala urvalet med din veckotrafik till den testade sidan.
Kan jag avbryta ett A/B-test så fort det är signifikant?
Nej. Att kontrollera resultaten upprepade gånger och avbryta vid första signifikanta avläsning blåser upp andelen falskt positiva långt över 5 %. Bestäm urvalsstorleken i förväg och läs av resultatet när den har uppnåtts, eller använd en metod som är utformad för kontinuerlig bevakning, till exempel ett sekventiellt test.
Vad gör jag om min B2B-webbplats inte har tillräckligt med trafik för A/B-tester?
Testa större ändringar, välj en konverteringshändelse som inträffar oftare (som klick till demosidan i stället för bokade demos), testa på din mall med mest trafik eller acceptera ett längre test. Om ett test skulle ta mer än ett kvartal, använd kvalitativ research och holdout-jämförelser i stället.