Šablona plánu experimentu vynutí rozhodnutí, která většina A/B testů vynechá: co přesně očekáváte, že se stane, která jediná metrika určí vítěze, kolik návštěvníků potřebujete a kdy smíte test ukončit. Zapsat si to před spuštěním je nejlevnější ochrana před tím, abyste šum vykládali jako výsledek. Šablona níže je jedna stránka na test. Zkopírujte si ji do svého nástroje na dokumenty, nebo si stáhněte šablonu jako CSV pro backlog testů v tabulce.
Je navržený pro úrovně návštěvnosti v B2B, kde může jeden test trvat týdny. Pokud jste test ještě neplánovali, přečtěte si nejdřív náš průvodce optimalizací konverzního poměru, co stojí za testování při nízké návštěvnosti.
Šablona plánu A/B testu
Vyplňte každý řádek, než test spustíte. Prázdný řádek je rozhodnutí, které nakonec uděláte až po zhlédnutí dat, a přesně tomu má plán zabránit.
| Sekce | Pole | Co napsat |
|---|---|---|
| 1. Kontext | Název a ID testu | Krátký, vyhledatelný název, například „DEMO-07 formulář s pěti poli“ |
| Vlastník | Jeden člověk, který test spouští, sleduje a reportuje | |
| Důkazy, na kterých stojí | Data, nahrávka nebo citát zákazníka, kvůli kterým jste si vybrali tento test | |
| 2. Hypotéza | Změna | Čím přesně se liší kontrolní verze a varianta |
| Očekávaný efekt | Která metrika se pohne a jakým směrem | |
| Důvod | Proč si myslíte, že se to stane, v jedné větě o chování kupujících | |
| 3. Metriky | Primární metrika | Jediná metrika, která rozhoduje o výsledku, s přesnou definicí události |
| Ochranné metriky | Metriky, které se nesmí zhoršit (kvalita leadů, míra okamžitého opuštění, rychlost stránky) | |
| Vedlejší metriky | Zajímavé, ale ne rozhodující (hloubka scrollování, kliknutí na ceník) | |
| 4. Publikum | Stránka/stránky | URL zahrnuté v testu |
| Koho zahrnuje | Všichni návštěvníci, nebo segment, například placená návštěvnost nebo velikostní pásmo firem | |
| Kdo je vyloučen | Stávající zákazníci, interní provoz, boti | |
| Rozdělení návštěvnosti | U dvou větví obvykle 50/50 | |
| 5. Statistika | Výchozí konverzní poměr | Posledních 4 až 8 týdnů pro tuto stránku a tuto metriku |
| Minimální detekovatelný efekt | Nejmenší relativní nárůst, na který se vyplatí reagovat | |
| Spolehlivost a síla testu | Obvykle 95 % a 80 % | |
| Velikost vzorku na variantu | Z kalkulačky A/B testů | |
| Plánovaná doba trvání | Velikost vzorku vydělená týdenní návštěvností, zaokrouhleno nahoru na celé týdny | |
| 6. Pravidla | Pravidlo ukončení | Kdy budete výsledek vyhodnocovat (po dosažení vzorku, nikdy dříve) |
| Pravidlo pro ukončení | Co by vás přimělo skončit dříve (rozbitá varianta, pokles ochranné metriky) | |
| Rozhodovací pravidlo | Co nasadíte, pokud bude výsledek vítězný, prohraný nebo neprůkazný | |
| 7. Výsledky | Období běhu | Datum začátku a konce |
| Výsledek za každou větev | Návštěvníci, konverze, konverzní poměr | |
| Signifikance a interval | p-hodnota a interval spolehlivosti rozdílu | |
| Rozhodování a učení | Co jste spustili a co vás to naučilo o kupujících |
Jak to vyplnit
- Vycházejte z důkazů, ne z nápadů. Sekce 1 se ptá, proč tento test existuje. Dobré zdroje: krok trychtýře s neobvyklým propadem, záznamy relací, poznámky z obchodních hovorů, zjištění z checklistu CRO auditu. „Generální ředitel chce novou hero sekci“ není důkaz.
- Napište vyvratitelnou hypotézu. „Pokud zkrátíme demo formulář z devíti polí na pět, počet odeslaných žádostí o demo na návštěvníka vzroste, protože kupující odcházejí, když se jich ptáme na rozpočet dřív, než produkt viděli.“ Hypotéza bez zdůvodnění vás nic nenaučí, když selže.
- Zvolte jednu hlavní metriku. Pokud zvolíte tři, jedna se nejspíš pohne náhodou a vy ji budete chtít prohlásit za výhru.
- Velikost testu určete dřív, než ho postavíte. Zadejte výchozí poměr a minimální detekovatelný efekt do kalkulačky. Pokud test potřebuje víc než kvartál, změňte plán: testujte větší změnu, použijte častější metriku nebo zvolte stránku s vyšší návštěvností. Kompromisy vysvětluje náš průvodce velikostí vzorku pro A/B test.
- Rozhodovací pravidlo si dohodněte předem. Rozhodněte, co pro vás znamená „neprůkazné“. Mnoho B2B týmů při plochých výsledcích nasadí jednodušší variantu, což je dobré pravidlo, pokud je sepsané před spuštěním.
Ilustrativní vyplněný plán
Ilustrativní čísla pro smyšlenou firmu prodávající B2B software.
| Pole | Vstup |
|---|---|
| Název testu | DEMO-07 pětipolový formulář pro demo |
| Důkazy | Analytika formuláře ukazuje nejvíce opuštění u pole „Rozpočet“; obchod potvrzuje, že ho při prvním hovoru nepoužívá |
| Hypotéza | Zkrácení formuláře z devíti na pět polí zvýší počet žádostí o demo na návštěvníka, protože kupující nechtějí sdílet rozpočet dřív, než produkt uvidí |
| Primární metrika | Odeslané formuláře pro demo dělené počtem unikátních návštěvníků /demo |
| Pojistky | Podíl odeslaných formulářů, které obchod přijme jako kvalifikované, nesmí klesnout o víc než čtvrtinu |
| Publikum | Všichni návštěvníci /demo kromě přihlášených zákazníků a interních IP; rozdělení 50/50 |
| Výchozí stav | 8 % návštěvníků /demo odešle formulář |
| Minimální detekovatelný efekt | Relativně 20 % (z 8,0 % na 9,6 %) |
| Velikost vzorku | Asi 4 900 návštěvníků na variantu při 95% spolehlivosti a 80% síle testu |
| Doba trvání | /demo má zhruba 1 500 návštěvníků týdně, takže celkem asi 9 800 návštěvníků trvá 7 týdnů |
| Pravidlo ukončení | Výsledek vyhodnoťte po 7 celých týdnech, nebo jakmile obě větve překročí 4 900 návštěvníků, podle toho, co nastane později |
| Pravidlo pro ukončení | Zastavte, pokud formulář ve variantě nejde odeslat nebo míra kvalifikace během prvních dvou týdnů klesne na polovinu |
| Rozhodovací pravidlo | Výhra: nasadit pět polí. Prohra: ponechat devět. Neprůkazné: nasadit pět polí, protože je to jednodušší a mezeru doplní obohacení |
Zásobník testů
Stažené CSV obsahuje také list s backlogem, abyste mohli testy seřadit dřív, než napíšete úplné plány. Jeden řádek na nápad:
| ID | Stránka | Nápad | Důkazy | Dopad (1–3) | Jistota (1–3) | Snadnost (1–3) | Skóre | Potřebné týdny | Stav |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Formulář s pěti poli | Odpad u polí | 3 | 2 | 3 | 8 | 7 | Plánováno |
| HOME-03 | / | Oborová hero sekce | Návštěvníci z ICP odcházejí častěji | 3 | 2 | 2 | 7 | 10 | Nápad |
Nápady s vysokým skóre, které ale potřebují víc než 12 týdnů, jsou lepšími kandidáty na srovnání s kontrolní skupinou nebo na personalizační pravidlo než na klasický A/B test. Kdy se hodí která metoda, popisuje článek A/B testování vs multivariantní testování.
Časté dotazy
Co by měl obsahovat plán A/B testu?
Hypotéza se zdůvodněním, jedna primární metrika s přesnou definicí, ochranné metriky, publikum a rozdělení, výchozí poměr, minimální detekovatelný efekt, velikost vzorku, délka a pravidla pro zastavení, zrušení a rozhodnutí. Přidejte část s výsledky, aby se z plánu stal záznam testu.
Jaký je rozdíl mezi plánem experimentu a zadáním testu?
Pojmy se používají zaměnitelně. Některé týmy označují jako „brief“ zadání designu a textu pro designéra a jako „plán“ statistické nastavení. Tato šablona pokrývá obojí, přičemž kreativní změna je popsána v sekci hypotézy.
Jak dlouho by měl B2B A/B test běžet?
Dokud nedosáhne velikosti vzorku, kterou jste spočítali, a alespoň jeden celý týden. Mnoho B2B stránek potřebuje čtyři až dvanáct týdnů. Pokud výpočet vychází na déle než čtvrtletí, změňte test, místo abyste ho ukončili předčasně.
Mám psát plán pro každý malý test?
Ano, i když u testu textu tlačítka může mít plán pět řádků. Pravidlo pro ukončení a primární metrika jsou dvě části, které byste nikdy neměli vynechat, protože vás chrání před tím, abyste náhodný výkyv prohlásili za výhru.