Jak kalkulačka funguje
Záložka velikosti vzorku používá standardní vzorec pro porovnání dvou konverzních poměrů oboustranným z-testem dvou podílů:
n na variantu = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 je váš výchozí konverzní poměr pro přesně tu stránku a cíl, které testujete.
- p2 je výchozí hodnota vynásobená (1 + minimální detekovatelný efekt).
- p̄ je průměr p1 a p2.
- zα/2 je 1,96 při 95% spolehlivosti a zβ je 0,84 při 80% síle testu.
S více než jednou variantou kalkulačka dělí alfu počtem srovnání s kontrolní variantou (Bonferroniho korekce), čímž udržuje celkovou míru falešně pozitivních výsledků na zvolené hladině spolehlivosti. Náš průvodce velikostí vzorku A/B testu prochází vzorec krok za krokem s tabulkami pro běžné B2B konverzní poměry.
Modelový příklad
Ilustrativní čísla: stránka s žádostí o demo konvertuje na 3 % a má 2 000 návštěvníků týdně. Chcete zjistit, zda nový titulek zvýší konverzi alespoň o 20 %, takže p2 je 3,6 %. Kalkulačka vrátí zhruba 13 900 návštěvníků na variantu, celkem 27 800, což je 14 týdnů návštěvnosti. U mnoha B2B stránek je to poctivá odpověď, a proto nástroj upozorní na každý test delší než čtvrtletí.
Tři způsoby, jak zkrátit dobu trvání: otestujte odvážnější změnu a zvyšte minimální zjistitelný efekt na 30 % nebo víc, měřte častější událost, například prokliky na stránku s demem, nebo spusťte test na stránce s vyšší návštěvností. Pokud se rozhodujete mezi A/B testem a testem několika prvků najednou, přečtěte si nejdřív A/B testování vs. multivariantní testování, protože multivariantní testy potřebují mnohem víc návštěvnosti.
Jak číst výsledek signifikance
Záložka významnosti porovnává dvě dokončené větve. Předpokládejme, že kontrola měla 5 000 návštěvníků a 150 konverzí (3,0 %) a varianta 5 000 návštěvníků a 190 konverzí (3,8 %). Relativní nárůst je 26,7 %, p-hodnota asi 0,027 a 95% interval spolehlivosti rozdílu sahá zhruba od 0,1 do 1,5 procentního bodu. Výsledek je významný, ale interval je široký: skutečný nárůst může být malý. Naměřený nárůst berte jako odhad spíše při horní hranici, zvlášť když byl test ukončen předčasně.
Co testovat nejdříve na B2B webu s nízkou návštěvností, najdete v části o testování v našem průvodci optimalizací konverzního poměru. Pokud netestujete jednotlivé změny stránky, ale personalizované zážitky, A/B testování v Markettailoru spouští kontrolní skupiny pro každý segment návštěvníků.
Časté dotazy
Kolik návštěvníků potřebuji pro A/B test?
Záleží na výchozím konverzním poměru a na nejmenším zlepšení, které chcete zachytit. Při výchozích 3 % je k odhalení relativního nárůstu o 20 % při 95% spolehlivosti a 80% síle testu potřeba zhruba 13 900 návštěvníků na variantu. Pokud chcete zachytit poloviční nárůst, vzorek se zhruba zčtyřnásobí.
Jak se počítá statistická signifikance A/B testu?
Tato kalkulačka používá oboustranný z-test pro dva podíly. Sdruží obě větve, aby odhadla šum, který byste očekávali, kdyby žádný skutečný rozdíl neexistoval, vydělí pozorovaný rozdíl konverzních poměrů touto směrodatnou chybou a výsledné z-skóre převede na p-hodnotu. P-hodnota pod 0,05 je významná na hladině spolehlivosti 95 %.
Jak dlouho by měl A/B test běžet?
Dokud nedosáhne velikosti vzorku vypočtené před spuštěním, a alespoň celý týden, aby bylo zahrnuto chování ve všední dny i o víkendu. Výše uvedený odhad délky dělí celkový vzorek vaší týdenní návštěvností testované stránky.
Mohu A/B test zastavit, jakmile je statisticky významný?
Ne. Opakované kontrolování výsledků a ukončení při prvním významném odečtu zvyšuje míru falešně pozitivních výsledků vysoko nad 5 %. Velikost vzorku určete předem a výsledek vyhodnoťte, až jí dosáhnete, nebo použijte metodu určenou pro průběžné sledování, například sekvenční test.
Co když můj B2B web nemá dost návštěvnosti na A/B testování?
Testujte větší změny, zvolte konverzní událost, která nastává častěji (například prokliky na stránku s demem místo rezervovaných dem), testujte na šabloně s nejvyšší návštěvností, nebo přijměte delší test. Pokud by test trval déle než čtvrtletí, použijte místo toho kvalitativní výzkum a srovnání s kontrolní skupinou.