A/B testování je randomizovaný kontrolovaný experiment, při kterém se návštěvníci náhodně rozdělí mezi dvě verze stránky, e-mailu nebo funkce, kontrolní (A) a variantu (B), a porovnává se předem definovaná metrika, aby se zjistilo, zda je rozdíl mezi nimi větší, než by vysvětlila náhoda. Je to standardní způsob, jak zjistit, zda změna zlepšení způsobila, a ne s ním jen časově souvisela.
Metoda je v online produktech dobře zavedená; praktický průvodce od Kohaviho a kolegů zůstává standardní referencí (Kohavi et al., „Controlled experiments on the web“, Data Mining and Knowledge Discovery, 2009).
Jak funguje A/B testování
- Hypotéza a metrika. Uveďte změnu, očekávaný účinek a jednu primární metriku, například míru žádostí o demo.
- Randomizace. Každý návštěvník je náhodně přiřazen k A nebo B a při dalších návštěvách v této skupině zůstává, takže se skupiny liší jen testovanou změnou.
- Velikost vzorku. Předem rozhodněte, kolik návštěvníků každá verze potřebuje, podle výchozího poměru, nejmenšího nárůstu, který má smysl zachytit (minimální detekovatelný efekt), hladiny významnosti a síly testu.
- Spusťte. Nechte test dosáhnout tohoto vzorku, ideálně za celé týdny. Nezastavujte ho předčasně jen proto, že jedna strana vypadá, že vede.
- Analyzujte. Porovnejte míry. Výsledek je statisticky významný na hladině 5 %, pokud by se takto velký rozdíl při skutečně nulovém rozdílu objevil méně než v 5 % případů.
Důležitá jsou dvě nastavení. Hladina významnosti (obvykle 5 %, často označovaná jako 95% spolehlivost) řídí falešně pozitivní výsledky. Síla testu (obvykle 80 %) je šance, že efekt odhalíte, pokud je skutečný; test s nedostatečnou silou většinou skončí „bez výsledku“.
Příklad
Příklad: stránka s demem konvertuje na 3 %. Chcete odhalit relativní nárůst o 20 % (z 3,0 % na 3,6 %) oboustranným testem na hladině významnosti 5 % a s 80% silou testu. Standardní vzorec pro dva podíly je:
n na variantu = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- První člen: 1,96 × √(2 × 0,033 × 0,967) = 1,96 × 0,2526 = 0,495
- Druhý člen: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Čitatel: (0,495 + 0,213)² = 0,501; jmenovatel: 0,006² = 0,000036
- n ≈ 13 900 návštěvníků na variantu, celkem asi 27 800
Při 2 000 návštěvnících týdně na této stránce potřebuje test zhruba 14 týdnů. To je ten užitečný výstup: ještě než cokoli postavíte, víte, že tato stránka v rozumném čase neunese test na 20% nárůst, takže otestujete odvážnější změnu, použijete stránku s vyšší návštěvností, nebo změnu nasadíte a budete ji sledovat. Číslo si můžete ověřit v naší kalkulačce A/B testů nebo v kalkulačce velikosti vzorku od Evana Millera.
A/B vs A/B/n vs multivariační testování
| A/B | A/B/n | Multivariantní (MVT) | |
|---|---|---|---|
| Co se liší | Jedna kontrolní varianta vs jedna testovací | Jedna kontrolní verze vs. několik variant | Více prvků najednou, všechny kombinace |
| Potřebná návštěvnost | Nejnižší | Roste s každou variantou | Nejvyšší: návštěvnost se dělí mezi všechny kombinace |
| Odpovídá na | Je B lepší než A? | Která z několika verzí je nejlepší? | Která kombinace prvků funguje a ovlivňují se vzájemně? |
| Hodí se | Většina B2B stránek | Nadpisy nebo nabídky se skutečnou návštěvností | Jen stránky s vysokou návštěvností |
Nielsen Norman Group kompromis shrnuje takto: multivariační testy se hodí pro postupné vylepšování stránek s vysokou návštěvností, zatímco A/B testy mohou porovnat radikálně odlišné designy (NN/g, „Multivariate vs. A/B Testing“).
Jak B2B týmy využívají A/B testování
- Testování délky a znění formulářů pro demo a kontakt.
- Porovnávání hodnotových nabídek a nadpisů na landing pages s vysokou návštěvností.
- Ověření personalizace: obsah pro segment vs. obecná stránka, s holdout skupinou.
- Rozvržení ceníkové stránky a prezentace tarifů.
- Předměty e-mailů a obsah nurturingu, kde to objem dovolí.
Časté dotazy
Jak dlouho by měl A/B test běžet?
Dokud nedosáhne velikosti vzorku vypočtené před spuštěním, a alespoň celý týden, ideálně dva, aby byly zastoupeny všechny dny v týdnu. Délku odhadnete tak, že potřebný počet návštěvníků na variantu vydělíte týdenní návštěvností na variantu. Pokud vám vyjde několik měsíců, test v navržené podobě není proveditelný.
Jaký je dobrý minimální detekovatelný efekt?
Nejmenší nárůst, na který by se vzhledem k nákladům na změnu vyplatilo reagovat. B2B stránky s nízkou návštěvností obvykle potřebují větší minimální detekovatelný efekt, často 20 % relativně nebo víc, aby test skončil v rozumném čase. Menší efekty mohou být skutečné, ale potřebují mnohem víc návštěvnosti, protože velikost vzorku roste zhruba s převrácenou hodnotou druhé mocniny efektu.
Dá se A/B testovat při nízké návštěvnosti?
Ano, ale testujte větší změny, použijte krok trychtýře s nejvyšší návštěvností a zvolte metriku, která nastává často, například kliknutí na stránku dema místo uzavřených obchodů. Když je i to příliš pomalé, proveďte změnu na základě výzkumu a sledujte stav před a po, s vědomím, že důkazy jsou slabší.
Související
Testy plánujte pomocí šablony plánu A/B testu, podrobný výklad najdete v článku o velikosti vzorku pro A/B test a design testu si vyberte podle článku A/B testování vs. multivariantní testování. Širší proces popisuje optimalizace konverzního poměru.