Vzorec pro velikost vzorku A/B testu vám řekne, kolik návštěvníků každá varianta potřebuje, než rozdíl v konverzním poměru začne něco znamenat. Pro standardní oboustranný test při 95% spolehlivosti a 80% síle potřebujete zhruba n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² návštěvníků na variantu, kde p1 je váš výchozí poměr a p2 poměr, který chcete odhalit.
Dosaďte do vzorce skutečná B2B čísla a výsledek je nepříjemný. Stránka s konverzí 3 % potřebuje ke spolehlivému odhalení relativního nárůstu o 20 % zhruba 14 000 návštěvníků na variantu. Spousta B2B stránek tolik návštěvníků za čtvrtletí nemá. Níže: vzorec vstup po vstupu, vypočtené tabulky pro řadu výchozích měr, jak dlouho test při dané návštěvnosti trvá a co dělat, když odpověď zní „osm měsíců“.
Náš postoj: většina B2B A/B testů má nedostatečnou sílu
Nejprve názor, který podporuje matematika. Podle nás je většina B2B A/B testů ukončena dávno předtím, než má dost dat, a mnoho „vítězů“, které přinesou, je jen šum. Vzorec vypadá takto: třítýdenní test, varianta vede o 25 %, zelený odznak, nasazená změna a o šest měsíců později žádný viditelný nárůst v pipeline.
Testy s nedostatečnou silou přehlédnou skutečné efekty, čímž promarní testovací slot. Horší je, že když takový test hranici významnosti přece jen překročí, naměřený nárůst bývá nadhodnocený, protože přes laťku se dostanou jen šťastné výběry. Statistici tomu říkají chyba velikosti (typ M). Tým nasadí změnu, která možná nic nedělá, a navíc si do CRO reportingu zapíše nafouknuté číslo. Spočítat velikost vzorku před spuštěním je nejlevnější ochrana.
Vzorec pro velikost vzorku A/B testu
Standardní vzorec pro porovnání dvou konverzních poměrů (z-test pro dvě proporce) je:
n na variantu = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
Každý vstup má srozumitelný význam:
- p1 (výchozí konverzní poměr): současný konverzní poměr testované stránky a cíle. Použijte poměr pro přesnou konverzní událost a přesnou stránku za posledních 4 až 8 týdnů, ne průměr celého webu.
- p2 (cílový poměr): výchozí poměr vynásobený (1 + MDE). Při výchozích 3 % a relativním MDE 20 % je p2 = 3,6 %.
- MDE (minimální detekovatelný efekt): nejmenší relativní nárůst, který chcete zachytit. Je to obchodní rozhodnutí, ne statistické. Menší MDE vyžaduje dramaticky víc návštěvnosti, protože rozdíl (p2 − p1) je ve jmenovateli umocněn na druhou. Snížíte-li MDE na polovinu, vzorek se zhruba zčtyřnásobí.
- p̄ (sdružený poměr): průměr p1 a p2. Popisuje šum za předpokladu, že žádný skutečný rozdíl neexistuje.
- zα/2 = 1,96: odpovídá 5% míře falešně pozitivních výsledků (alfa 0,05), rozdělené do obou konců, protože varianta může být lepší i horší.
- zβ = 0,8416: odpovídá 80% síle testu, což znamená, že pokud se skutečný nárůst rovná vašemu MDE, test ho odhalí v 80 % případů. Ve zbývajících 20 % skutečného vítěze přehlédnete.
Mnoho kalkulaček používá zjednodušenou nesdruženou (unpooled) verzi uvedenou v prvním odstavci. Při B2B konverzních poměrech se obě liší jen o hrstku návštěvníků. Naše kalkulačka A/B testů používá výše uvedený sdružený vzorec a odhaduje i délku testu.
Řešený příklad krok za krokem
Příklad (ilustrativní čísla): stránka pro žádost o demo konvertuje na 3 %. Chcete odhalit 20% relativní nárůst.
- Nastavte poměry: p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. Absolutní rozdíl je 0,006.
- Společná míra: p̄ = (0,030 + 0,036) / 2 = 0,033.
- První člen: √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. Vynásobte 1,96: 0,4951.
- Druhý člen: p1(1−p1) = 0,0291 a p2(1−p2) = 0,0347. √(0,0638) = 0,2526. Vynásobte 0,8416: 0,2126.
- Sečtěte a umocněte: (0,4951 + 0,2126)² = 0,7077² = 0,5009.
- Vydělte druhou mocninou rozdílu: 0,5009 / 0,006² = 0,5009 / 0,000036 = 13 914 návštěvníků na variantu.
Test tedy potřebuje celkem asi 27 800 návštěvníků a zhruba 417 konverzí jen v kontrolní větvi (13 914 × 3 %), než si přečtete výsledek. Pro kontrolu: zjednodušený vzorec bez sdruženého rozptylu dává 13 911 na variantu a aproximace arkussinem (Cohenovo h) asi 13 890. Všechny tři metody se shodují v rozmezí 0,2 %.
Tabulka velikosti vzorku pro konverzní poměry v B2B
Tabulka níže používá výše uvedený vzorec se sdruženým rozptylem (alfa 0,05 oboustranně, síla testu 0,8) pro výchozí míry od 1 % (například žádosti o demo jako podíl všech návštěvníků frekventované stránky) do 10 % (například mikrokonverze jako kliknutí na CTA). Použijte vlastní výchozí hodnotu; tyto řádky slouží jen jako orientační body. Hodnoty představují počet návštěvníků na variantu, spočítané v Node.js a zaokrouhlené nahoru.
| Výchozí konverzní poměr | Relativní MDE 10 % | Relativní MDE 20 % | 30% relativní MDE | Relativní MDE 50 % |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
Přechod z MDE 10 % na MDE 50 % sníží potřebný vzorek zhruba dvacetkrát. Zdvojnásobení výchozí míry ho sníží přibližně na polovinu. Návštěvnost rychle nezměníte, ale můžete zvolit velikost testované změny a konverzi, kterou měříte, a na malém webu jsou to dvě páky, na kterých záleží.
Jak dlouho bude test trvat?
Doba trvání je celkový potřebný počet návštěvníků (obou variant) dělený počtem návštěvníků za měsíc, kteří se na testovanou stránku skutečně dostanou. Tabulka ukazuje měsíce pro rozdělení 50/50 při třech úrovních návštěvnosti.
| Měsíční počet návštěvníků stránky | Výchozí stav | MDE 10 % | MDE 20 % | MDE 30 % | MDE 50 % |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
Ať tabulka říká cokoli, každý test nechte běžet alespoň dva celé týdny, aby bylo v obou větvích zastoupeno chování ve všední dny i o víkendu a případné výkyvy z kampaní. A cokoli nad tři měsíce berte jako test, který byste v současné podobě spíš spouštět neměli: obsah stránek, kampaně i skladba návštěvnosti se za tu dobu posunou a výsledek popisuje web, který už neexistuje.
Při 5 000 návštěvnících měsíčně a výchozí konverzi 3 % je nárůst o 50 % čitelný zhruba za měsíc, nárůst o 10 % trvá téměř dva roky. Nikdo nenechá stránku dva roky beze změny, takže druhý test bude ukončen předčasně a vyhodnocen, jako by něco znamenal.
V čem většina týmů chybuje
- Použití návštěvnosti celého webu v odhadu délky testu. Počítají se jen návštěvníci, kteří se dostanou k testovanému prvku. Test ceníku na webu s 20 000 návštěvníky může mít jen 2 000 způsobilých návštěvníků měsíčně.
- Volba MDE až po testu. Pokud jste před spuštěním nastavili MDE na 30 % a test ukáže 12 %, nemáte vítěze s 12 %. Máte neprůkazný test.
- Průběžné nahlížení a ukončení testu při prvním zeleném odznaku. Analýza Evana Millera How Not To Run an A/B Test ukazuje, že opakované testování významnosti vždy zvyšuje míru falešně pozitivních výsledků. V jeho příkladu (výchozí hodnota 50 %, změna bez účinku, ukončení, jakmile výsledek dosáhne 5% významnosti, nebo po 150 pozorováních) je míra falešně pozitivních výsledků 26,1 % místo nominálních 5 %.
Když čísla říkají měsíce: sedm možností
1. Testujte větší změny
Nejlevnější způsob, jak snížit velikost vzorku, je poctivě zvýšit MDE, tedy testovat změny dost velké na to, aby ho věrohodně mohly přinést: novou hodnotovou nabídku, jinou nabídku (okamžitá rezervace místo kontaktního formuláře), stránku na míru jednomu odvětví místo obecné. Náš průvodce optimalizací konverzního poměru v B2B popisuje, jak řadit nápady na testy podle očekávané velikosti efektu.
2. Testujte na stránkách s vyšší návštěvností
Domovská stránka, nejčtenější články na blogu a landing pages s vysokým objemem vám dají víc návštěvníků měsíčně (které stránky obvykle nesou nejvíc návštěvnosti ve fázi rozhodování, popisují naše poznámky k optimalizaci B2B landing pages). Test na šabloně sdílené mnoha stránkami (všechny stránky řešení, všechny články na blogu) spojí jejich návštěvnost do jednoho experimentu.
3. Mikrokonverze používejte opatrně
Mikrokonverze, jako jsou kliknutí na CTA nebo zahájení formuláře, mají vyšší výchozí hodnoty, takže platí řádek tabulky pro 10 %, ne pro 2 %. Háček: varianta může zvýšit kliknutí a snížit počet kvalifikovaných dem. Mikrokonverzi používejte jako rozhodovací metriku jen tehdy, když máte důkaz, že se pohybuje spolu s makrocílem, a makrokonverzi vždy reportujte vedle ní jako pojistku.
4. Segmenty sdružte a rozdělte je až později
Samostatné testy pro každý segment rozdělují vaši návštěvnost. Spusťte jeden test napříč segmenty a výsledky na úrovni segmentů berte jen jako orientační. Pokud potřebujete odpověď pro konkrétní segment, musí být test dimenzovaný jen na návštěvnost tohoto segmentu. 90denní roadmapa testování personalizace ukazuje, jak testy segmentů seřadit, aby každý dostal dost návštěvnosti.
5. Použijte sekvenční testování
Sekvenční designy (skupinové sekvenční testy s předem naplánovanými průběžnými kontrolami nebo vždy platné metody zabudované v některých testovacích nástrojích) vám umožní kontrolovat výsledky během testu a ukončit ho dříve, když je efekt velký, aniž by se zvýšil počet falešně pozitivních výsledků. Daní je o něco větší maximální vzorek, pokud test doběhne do konce. Je to legitimní verze nakukování. Pokud by test trval měsíce, utraťte rozpočet nejprve za diagnostické nástroje CRO, jako jsou nahrávky relací a analytika formulářů.
6. Zvažte bayesovský přístup s jasnými očekáváními
Bayesovské A/B testování uvádí pravděpodobnost, že B překoná A, a očekávanou ztrátu, pokud zvolíte špatně. Podle toho se jedná snáz než podle p-hodnoty a umožňuje to explicitní rozhodnutí jako „nasadit, pokud je pravděpodobnost, že je varianta lepší, nad 90 % a očekávaná ztráta pod 0,1 procentního bodu“. U vratných změn je přijetí takového rizika často racionální.
Co bayesovské metody nedělají, je vytváření informací. Se slabými apriorními rozděleními je objem dat potřebný k jistotě o 20% nárůstu zhruba stejný jako ve frekventistické tabulce. 90% „pravděpodobnost překonání“ na malém vzorku je stále křehká a denní kontrola s pravidlem zastavení v praxi stále zvyšuje chybovost. Bayesovské testování mění to, jak vyjadřujete nejistotu a rozhodujete se. Nejistotu nezmenšuje.
7. Nenakukujte, nebo nakukování naplánujte
Velikost vzorku stanovte před spuštěním, zapište ji do zadání testu a test nevyhodnocujte, dokud jí nedosáhnete. Pokud zainteresovaní potřebují průběžné informace, použijte od začátku sekvenční design místo nahodilých kontrol. Naše šablona plánu experimentu má pole pro každé z těchto rozhodnutí.
Checklist před spuštěním
- Zjistěte výchozí poměr a měsíční počet způsobilých návštěvníků pro konkrétní stránku a konverzi (posledních 4 až 8 týdnů).
- MDE zvolte podle velikosti změny a zapište si ho.
- Spočítejte n na variantu pomocí vzorce nebo tabulky výše a pak délku.
- Pokud délka přesáhne zhruba tři měsíce, test přepracujte (větší změna, stránka s vyšší návštěvností nebo metrika s vyšší výchozí hodnotou a pojistkou).
- Nastavte pravidlo ukončení: pevný vzorek, nebo sekvenční plán s předem naplánovanými kontrolami.
U B2B týmů obvykle největší velikost efektu přináší zobrazování různého obsahu různým návštěvníkům, nikoli ladění jedné stránky pro všechny, protože sdělení napsané pro jeden segment je větší změna než nová barva tlačítka. Pokud se rozhodujete mezi jednoduchým split testem a testem s několika variantami nebo faktory, přečtěte si naše srovnání A/B testování vs. multivariantní testování, které stejné výpočty velikosti vzorku aplikuje na A/B/n a multivariantní designy.
Až budete připraveni testovat zážitky pro konkrétní segmenty, A/B testování personalizovaných stránek v Markettailoru vám umožní rozdělit každý segment proti kontrolní skupině a sledovat výsledek pro každý segment, takže velikost vzorku, kterou jste naplánovali, je ta, kterou skutečně získáte.
Časté dotazy
Jaký je vzorec pro velikost vzorku A/B testu?
Pro dva konverzní poměry platí: n na variantu = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)², kde p1 je výchozí poměr, p2 cílový poměr a p̄ jejich průměr. Předpokládá se 95% spolehlivost (oboustranně) a 80% síla testu.
Kolik návštěvníků potřebuji pro A/B test s konverzním poměrem 2 %?
Zhruba 21 100 návštěvníků na variantu k detekci relativního nárůstu o 20 %, zhruba 9 800 pro nárůst o 30 % a zhruba 3 800 pro nárůst o 50 %, při spolehlivosti 95 % a síle testu 80 %. Pro celkovou návštěvnost testu tato čísla zdvojnásobte.
Potřebuje bayesovské A/B testování menší vzorek?
Ne výrazně, pokud nemáte silný a odůvodněný prior. Bayesovské testování dává intuitivnější výstupy (pravděpodobnost, že varianta porazí kontrolu, očekávaná ztráta) a podporuje rozhodování podle rizika, ale množství dat potřebné k jistotě o daném nárůstu je podobné jako u frekventistického výpočtu.
Jaký minimální detekovatelný efekt by měl B2B web použít?
MDE zvolte podle svého provozu, ne podle zbožných přání. Spočítejte, co je při návštěvnosti vaší stránky detekovatelné za šest až osm týdnů, a testujte jen změny dost velké na to, aby takový nárůst věrohodně přinesly. V tabulce délky testu výše dokáže stránka s 5 000 návštěvníky měsíčně a výchozí konverzí 3 % zachytit během tří měsíců jen nárůsty zhruba 30 % a vyšší.
Můžu A/B test ukončit dřív, pokud už je významný?
U standardního testu s pevnou velikostí vzorku ne, protože opakované kontroly zvyšují počet falešně pozitivních výsledků. Pokud potřebujete možnost skončit dřív, použijte sekvenční testování s průběžnými analýzami naplánovanými před spuštěním.