Rozdíl mezi A/B testováním a multivariantním testováním spočívá v tom, co každý z nich porovnává. A/B test porovnává dvě verze stránky. A/B/n test porovnává tři a více kompletních verzí. Multivariantní test (MVT) mění několik prvků najednou, například nadpis, hero obrázek a CTA, a testuje každou kombinaci (někdy se mu říká multivariantní A/B testování), aby zjistil, které prvky a která kombinace vedou ke konverzím.
Na B2B webech obvykle rozhodne návštěvnost za vás. Každá další varianta nebo kombinace vaše návštěvníky dál rozdělí a potřebný vzorek roste rychleji, než by intuice napovídala. Níže jsou čtyři typy testů, které B2B týmy skutečně spouštějí (A/B, A/B/n, multivariační a personalizační testy cílené na segmenty), kolik každý stojí návštěvnosti na jednom propočteném příkladu, rozhodovací tabulka a příklady testů, které se ke každému typu hodí.
Čtyři typy testů v přehledu
| Typ testu | Co porovnává | Otázka, na kterou odpovídá | Cena návštěvnosti |
|---|---|---|---|
| A/B | Kontrolní verze vs. jedna varianta | Je tato verze lepší než ta, kterou máme? | Nejnižší |
| A/B/n | Kontrolní verze vs 2+ kompletní varianty | Který z těchto odlišných přístupů je nejlepší? | Roste s každou větví, plus penalizace za vícenásobná srovnání |
| Multivariantní (MVT) | Každá kombinace několika prvků | Na kterých prvcích záleží a ovlivňují se navzájem? | Nejvyšší, zejména u interakcí |
| Test cílený na segment (personalizace) | Personalizovaný zážitek vs. kontrolní skupina v rámci jednoho segmentu | Funguje přizpůsobení této stránky tomuto segmentu? | Závisí na provozu segmentu a velikosti kontrolní skupiny |
Matematika návštěvnosti za A/B a multivariantním testováním
Všechna čísla níže používají standardní vzorec velikosti vzorku pro dvě proporce (sdružený rozptyl) při 95% spolehlivosti, oboustranně, a 80% síle testu, spočítáno v Node.js. Metodu a úplné tabulky najdete v našem článku o velikosti vzorku pro A/B test. Stejná čísla si pro vlastní stránku můžete spočítat v naší kalkulačce velikosti vzorku pro A/B test, která u A/B/n testů používá Bonferroniho korekci.
Příklad (ilustrativní čísla): stránka dema konvertuje na 3 % a vy chcete odhalit 20% relativní nárůst (z 3,0 % na 3,6 %). Jednoduchý A/B test potřebuje 13 914 návštěvníků na variantu, celkem tedy 27 828.
A/B/n: více větví, přísnější prahy
Se třemi vyzyvateli proti jedné kontrolní variantě provádíte tři srovnání a šance na alespoň jednoho falešného vítěze roste. Nejjednodušší korekce (Bonferroni) dělí alfu počtem srovnání, takže každé srovnání se testuje na hladině 0,05 / 3 = 0,0167. Tím vzroste vzorek na větev z 13 914 na 18 559 a celkový vzorek z 27 828 na 74 236 napříč čtyřmi větvemi, což je zhruba 2,7násobek návštěvnosti A/B testu.
Multivariantní test: kombinace se násobí
Teď otestujte tři prvky, každý ve dvou verzích (nadpis A nebo B, obrázek A nebo B, CTA A nebo B). Úplný faktoriální design má 2 × 2 × 2 = 8 buněk. Pokud chcete každou kombinaci porovnat s kontrolní verzí, jak to většina MVT reportů implicitně dělá, každá buňka potřebuje plný vzorek: 8 × 13 914 = 111 312 návštěvníků bez jakékoli korekce, nebo 8 × 22 112 = 176 896 návštěvníků s Bonferroniho korekcí pro sedm srovnání.
To je nejhorší případ. Faktoriální design je ve skutečnosti efektivní pro hlavní efekty. Pro odhad efektu nadpisu porovnáte čtyři buňky s nadpisem A se čtyřmi s nadpisem B, což využije veškerou návštěvnost. Pokud se prvky vzájemně neovlivňují, 27 828 návštěvníků vám řekne o všech třech prvcích najednou. V tom případě jste fakticky spustili tři A/B testy souběžně. Užitečné, ale to není důvod, proč většina týmů volí MVT.
Týmy obvykle spouštějí MVT, aby našly interakce („tento nadpis funguje jen s tímto obrázkem“) a jedinou nejlepší kombinaci. Interakce jsou drahé. Často citovaná poznámka Andrewa Gelmana You need 16 times the sample size to estimate an interaction than to estimate a main effect ukazuje proč: odhad interakce má dvojnásobnou směrodatnou chybu oproti hlavnímu efektu, a pokud je interakce poloviční oproti hlavnímu efektu (jeho výchozí předpoklad), potřebujete pro stejnou sílu testu 16krát větší vzorek. V našem příkladu to je zhruba 445 000 návštěvníků.
Co to znamená v měsících
| Návrh (výchozí 3 %, MDE 20 %) | Návštěvníci celkem | Měsíce při 5 000/měsíc | Měsíce při 20 000/měsíc |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n se 4 větvemi (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, každá buňka vs. kontrola (bez korekce) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, každá buňka vs. kontrolní verze (Bonferroni) | 176,896 | 35.4 | 8.8 |
| Interakce v MVT, poloviční velikost (pravidlo 16×) | 445,248 | 89.0 | 22.3 |
Na stránce s 20 000 návštěvníky měsíčně trvá MVT 2×2×2, který vyhodnocuje každou kombinaci, s korekcí většinu roku. Při 5 000 trvá roky. Náš názor: multivariační testování je na B2B webech prakticky použitelné jen zřídka a tvrzení jako „spustili jsme MVT a vyhrála kombinace 6“ při několika tisících návštěvníků měsíčně si zaslouží důkladnou kontrolu vzorku, než podle něj kdokoli začne jednat.
V čem většina týmů chybuje
Obvyklou chybou je vybírat typ testu podle ambicí, ne podle otázky. Týmy volí MVT, protože mají hodně nápadů, ne proto, že by potřebovaly vědět, zda se nápady vzájemně ovlivňují. Volí A/B/n s pěti variantami, protože se nikdo nedokázal shodnout na jedné. Obě volby rozdělí omezenou návštěvnost na příliš tenké plátky, ze kterých nic nevyčtete.
Druhou je testování prvků, když se skutečná otázka týká publik. Na B2B webu často víc než to, jaký nadpis se zobrazí, rozhoduje, kdo se dívá. Nákupčí z výroby a zakladatel SaaS firmy chtějí jiné důkazy. Testování nadpisu A vs. B pro všechny tato publika zprůměruje a může skrýt variantu, která v jednom segmentu výrazně vyhrává a v jiném prohrává. To je argument pro personalizační testy cílené na segmenty.
Rozhodovací tabulka: který test spustit
| Situace | Měsíční počet návštěvníků stránky | Změněné prvky | Doporučený test |
|---|---|---|---|
| Jedna jasná hypotéza, velká změna | Jakákoli, včetně pod 5 000 | Jeden koncept (může se dotknout více prvků) | A/B |
| Dva nebo tři skutečně odlišné přístupy | 15,000+ | Koncepty celé stránky | A/B/n s nejvýše 3 větvemi |
| Potřeba vědět, zda se prvky ovlivňují | 100,000+ | 2 až 3 prvky, každý ve 2 verzích | Multivariantní (plný faktoriální) |
| Různá publika pravděpodobně chtějí různé věci | Dostatek návštěvnosti v rámci segmentu | Obsah přizpůsobený segmentu | Test cílený na segment vs. kontrolní skupina |
| Nedostatek návštěvnosti pro cokoli z výše uvedeného | Pod 2 000 | Jakýkoli | Kvalitativní výzkum, pak A/B test větší změny |
Prahové hodnoty návštěvnosti jsou orientační pro výchozí konverzní poměr 3 %. Než se do testu pustíte, spočítejte si vlastní pomocí vzorce pro velikost vzorku.
Příklady dobrých testů pro každý typ
A/B testy
- Formulář pro demo vs okamžitá rezervace v kalendáři na stránce dema.
- Hlavní sekce domovské stránky zaměřená na funkce vs. na výsledky.
- Ceníková stránka s úrovní „promluvte si s obchodem“ vs. zveřejněné ceny u všech úrovní.
Spojit několik prvků do jednoho konceptu je v A/B testu v pořádku. Zjistíte, zda koncept vyhrává, ne který prvek to způsobil, a to je obvykle rozhodnutí, které skutečně potřebujete udělat. Jak tyto nápady prioritizovat, popisuje náš průvodce optimalizací konverzního poměru v B2B.
A/B/n testy
- Tři hodnotové nabídky na placené landing page s vysokou návštěvností: rychlost, úspora nákladů, snížení rizika.
- Tři nabídky CTA: demo, posouzení ROI, prohlídka produktu. Jak se typ nabídky mění podle fáze, popisuje náš průvodce personalizovanými CTA založenými na datech.
A/B/n testy omezte na tři větve (kontrolní plus dvě), pokud nemáte neobvykle vysokou návštěvnost, a každou větev udělejte výrazně odlišnou, aby byly efekty dost velké na rozlišení.
Multivariační testy
- Nadpis (2 verze) × typ sociálního důkazu (loga vs. citace z případové studie) na homepage s velmi vysokou návštěvností, pokud máte konkrétní důvod očekávat, že se tyto prvky vzájemně ovlivní.
Pokud nedokážete pojmenovat interakci, kterou očekáváte, multivariantní test pravděpodobně nepotřebujete.
Testy personalizace cílené na segmenty
- Odvětvová hero sekce domovské stránky pro návštěvníky z finančních služeb vs výchozí hero sekce.
- Důkazy zaměřené na enterprise (bezpečnost, škálovatelnost) na ceníku pro firmy nad 1 000 zaměstnanců vs standardní stránka.
- Pozdrav pro cílový účet a případová studie pro ABM účty vs. obecná stránka.
Jak testovat personalizaci proti holdoutu
Personalizační test je A/B test spuštěný jen uvnitř segmentu. Kontrolou je kontrolní skupina z tohoto segmentu, která vidí výchozí stránku. Bez ní nedokážete oddělit efekt personalizace od toho, že segment může prostě konvertovat jinak.
- Segment přesně definujte, například „návštěvníci identifikovaní jako firmy z finančních služeb s 200+ zaměstnanci“. Do testu vstupují jen tito návštěvníci.
- Změřte měsíční návštěvnost segmentu na testovaných stránkách. Délku testu určuje toto číslo, ne celková návštěvnost webu.
- Zvolte velikost kontrolní skupiny. Rozdělení 50/50 se vyhodnotí nejrychleji. Menší kontrolní skupiny ušetří výchozímu zážitku více návštěvníků, ale stojí čas.
- Zvolte konverzi, kterou segment skutečně provádí, měřenou přes návštěvu nebo návštěvy účtu, a pipeline si ponechte jako ochrannou metriku.
- Velikost vzorku a dobu trvání stanovte před spuštěním a výsledek čtěte jen pro daný segment.
Příklad (ilustrativní čísla): segment přivádí 3 000 návštěvníků měsíčně, konvertuje ve 3 % a chcete odhalit relativní nárůst o 30 %. Výpočet pomocí varianty vzorce s nerovnoměrným rozdělením (unpooled), při stejné 95% spolehlivosti a 80% síle testu:
| Podíl holdoutu | Celkový potřebný počet návštěvníků | Měsíce při 3 000/měsíc |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
Vyhodnocení s 10% holdout skupinou trvá zhruba 2,5krát déle než u rozdělení 50/50. Naše doporučení: první test pro každý segment spusťte v poměru 50/50, abyste dostali čistou odpověď, a po zavedení si ponechte malou trvalou holdout skupinu (10 až 20 %), abyste sledovali, zda efekt v čase vydrží. Roadmapa testování personalizace ukazuje, jak tyto testy mezi segmenty seřadit. Začněte segmentem s největší návštěvností a nejzřetelnější mezerou ve sdělení, protože se vyhodnotí nejrychleji. Testy segmentů úplně vynechte tam, kde segment přivede jen pár stovek návštěvníků měsíčně; při takovém objemu ani rozdělení 50/50 nedá do roka čitelnou odpověď.
Spouštění těchto testů s kontrolní skupinou vyžaduje identifikovat segment před vykreslením stránky a rozdělit jen tento segment. A/B testování v Markettailoru to dělá pro každý segment zvlášť a pomocí segmentace na úrovni firem rozhoduje, kdo do kterého testu vstoupí, takže test pro fintech vždy uvidí jen návštěvníci z fintechu.
Časté dotazy
Jaký je rozdíl mezi A/B testováním a multivariantním testováním?
A/B testování porovnává dvě kompletní verze stránky. Multivariantní testování mění několik prvků najednou a testuje všechny kombinace, takže může ukázat, které prvky jsou důležité a zda se navzájem ovlivňují, ovšem za cenu mnohem vyšší návštěvnosti.
Co je A/B/n testování?
A/B/n testování porovnává kontrolu se dvěma nebo více kompletními variantami současně. Hodí se, když máte několik skutečně odlišných přístupů, ale každá další větev potřebuje vlastní vzorek a přísnější práh významnosti.
Kolik návštěvnosti potřebujete pro multivariační testování?
U testu 2×2×2 na stránce s konverzí 3 % vyžaduje vyhodnocení každé z 8 kombinací proti kontrolní verzi pro nárůst o 20 % zhruba 111 000 až 177 000 návštěvníků, podle použité korekce pro vícenásobné srovnání. Odhalení interakcí může vyžadovat několikanásobně víc.
Vyplatí se multivariantní testování pro B2B weby?
Zřídka. Většina B2B stránek nemá návštěvnost na to, aby během několika měsíců vyhodnotila kombinace nebo interakce. A/B testy větších konceptů a testy personalizace cílené na segmenty obvykle přinesou jasnější odpovědi rychleji.
Lze kombinovat A/B a multivariační testování?
Ano. Běžný postup je nejdřív A/B testovat koncepty a pak, jen na stránkách s velmi vysokou návštěvností, spustit malý faktoriální test dvou prvků v rámci vítězného konceptu, pokud potřebujete ověřit konkrétní interakci.