Az A/B teszt és a többváltozós teszt közötti különbség abban rejlik, hogy mit hasonlítanak össze. Az A/B teszt egy oldal két változatát veti össze. Az A/B/n teszt három vagy több teljes változatot. A többváltozós teszt (MVT) egyszerre több elemet változtat meg – például a főcímet, a hero képet és a CTA-t –, és minden kombinációt tesztel (ezt néha többváltozós A/B tesztnek is hívják), hogy kiderüljön, mely elemek és melyik kombináció hozza a konverziókat.
B2B weboldalakon általában a forgalom dönt helyetted. Minden további változat vagy kombináció tovább osztja a látogatóidat, a szükséges minta pedig gyorsabban nő, mint ahogy az intuíció sugallja. Alább a négy teszttípus, amelyet a B2B csapatok ténylegesen futtatnak (A/B, A/B/n, többváltozós és szegmensre célzott személyre szabási tesztek), hogy mindegyik mennyi forgalomba kerül egy kidolgozott példán, egy döntési táblázat, és példák az egyes típusokhoz illő tesztekre.
A négy teszttípus áttekintése
| Teszttípus | Mit hasonlít össze | A kérdés, amire választ ad | Forgalmi költség |
|---|---|---|---|
| A/B | Kontroll vs. egy variáns | Jobb ez a változat annál, ami most van? | Legalacsonyabb |
| A/B/n | Kontroll vs 2+ teljes változat | Melyik a legjobb ezek közül a különböző megközelítések közül? | Minden ággal nő, plusz büntetés a többszörös összehasonlításért |
| Többváltozós (MVT) | Több elem összes kombinációja | Mely elemek számítanak, és hatnak-e egymásra? | A legmagasabb, különösen interakciók esetén |
| Szegmenscélzott (személyre szabási) teszt | Személyre szabott élmény vs. kontrollcsoport egy szegmensen belül | Működik-e ennek az oldalnak az erre a szegmensre szabása? | A szegmens forgalmától és a kontrollcsoport méretétől függ |
Az A/B tesztelés és a többváltozós tesztelés mögötti forgalmi számítás
Az alábbi számok mind a szokásos kétarányos mintaméret-képlettel (összevont varianciával) készültek 95%-os megbízhatóság, kétoldali próba és 80%-os statisztikai erő mellett, Node.js-ben számolva. A módszer és a teljes táblázatok az A/B teszt mintaméretről szóló cikkünkben találhatók. Ugyanezeket a számokat a saját oldaladra is lefuttathatod az A/B teszt mintaméret-kalkulátorunkkal, amely A/B/n teszteknél Bonferroni-korrekciót alkalmaz.
Példa (szemléltető számokkal): egy demóoldal 3%-on konvertál, és egy 20%-os relatív növekedést szeretnél kimutatni (3,0%-ról 3,6%-ra). Egy egyszerű A/B teszthez változatonként 13 914, összesen 27 828 látogató kell.
A/B/n: több ág, szigorúbb küszöbök
Három kihívóval egy kontroll ellen három összehasonlítást végzel, és nő az esélye, hogy legalább egy hamis győztes lesz. A legegyszerűbb korrekció (Bonferroni) az alfát elosztja az összehasonlítások számával, így minden összehasonlítást 0,05 / 3 = 0,0167 szinten tesztelsz. Ez az ágankénti mintát 13 914-ről 18 559-re, a négy ág teljes mintáját pedig 27 828-ról 74 236-ra emeli, ami nagyjából az A/B teszt forgalmának 2,7-szerese.
Többváltozós teszt: a kombinációk megsokszorozódnak
Most tesztelj három elemet, mindegyiket két változatban (A vagy B főcím, A vagy B kép, A vagy B CTA). A teljes faktoriális elrendezés 2 × 2 × 2 = 8 cellát jelent. Ha minden kombinációt a kontrollhoz akarsz hasonlítani, ahogy a legtöbb MVT-riport hallgatólagosan teszi, minden cellának teljes minta kell: korrekció nélkül 8 × 13 914 = 111 312 látogató, hét összehasonlításra vonatkozó Bonferroni-korrekcióval 8 × 22 112 = 176 896 látogató.
Ez a legrosszabb eset. A faktoriális elrendezés valójában hatékony a főhatások becslésére. A főcím hatásának becsléséhez az A főcímes négy cellát hasonlítod össze a B főcímes néggyel, ami a teljes forgalmadat felhasználja. Ha az elemek nem hatnak kölcsön, 27 828 látogató mindhárom elemről egyszerre ad információt. Ebben az esetben gyakorlatilag három A/B tesztet futtattál párhuzamosan. Hasznos, de a legtöbb csapat nem ezért választja az MVT-t.
A csapatok általában azért futtatnak többváltozós tesztet (MVT), hogy kölcsönhatásokat („ez a főcím csak azzal a képpel működik”) és a legjobb kombinációt találják meg. A kölcsönhatások drágák. Andrew Gelman sokat idézett jegyzete, a You need 16 times the sample size to estimate an interaction than to estimate a main effect, megmutatja, miért: a kölcsönhatás becslésének standard hibája kétszerese a főhatásénak, és ha a kölcsönhatás fele akkora, mint a főhatás (ez az általa kimondott feltételezés), ugyanakkora erőhöz 16-szoros minta kell. A példánkra alkalmazva ez körülbelül 445 000 látogató.
Mit jelent ez hónapokban
| Tervezés (3% kiindulás, 20% MDE) | Összes látogató | Hónapok havi 5000 látogatónál | Hónapok havi 20 000 mellett |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n 4 ággal (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, minden cella a kontrollhoz képest (korrekció nélkül) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, minden cella vs. kontroll (Bonferroni) | 176,896 | 35.4 | 8.8 |
| MVT-interakció, fele akkora (16x-os szabály) | 445,248 | 89.0 | 22.3 |
Egy havi 20 000 látogatós oldalon egy minden kombinációt kiértékelő 2×2×2-es MVT korrekcióval majdnem egy évig tart. 5000 látogatónál évekig. A mi véleményünk: a többváltozós tesztelés B2B weboldalakon ritkán praktikus, és egy olyan állítás, hogy „lefuttattunk egy MVT-t, és a 6-os kombináció nyert” havi néhány ezer látogató mellett, alapos mintavizsgálatot érdemel, mielőtt bárki cselekedne alapján.
Amit a legtöbb csapat elhibáz
A szokásos hiba, hogy a teszttípust ambíció, nem pedig a kérdés alapján választják. A csapatok azért választanak MVT-t, mert sok ötletük van, nem azért, mert tudniuk kell, hogy az ötletek kölcsönhatnak-e. Öt variánssal futó A/B/n tesztet azért választanak, mert senki sem tudott megegyezni egyben. Mindkét döntés túl vékony szeletekre osztja a korlátozott forgalmat ahhoz, hogy az eredmény értelmezhető legyen.
A második, amikor elemeket tesztelnek, miközben a valódi kérdés a közönségekről szól. Egy B2B oldalon az, hogy mi konvertál, gyakran inkább azon múlik, ki nézi, mint azon, melyik címsor jelenik meg. Egy gyártóipari vevő és egy SaaS-alapító más bizonyítékokat akar. Ha mindenkinek az A és a B címsort teszteled, átlagolod ezeket a közönségeket, és elrejthetsz egy olyan változatot, amely az egyik szegmensben erősen nyer, a másikban pedig veszít. Ez szól a szegmenscélzott személyre szabási tesztek mellett.
Döntési táblázat: melyik tesztet futtasd
| Helyzet | Az oldal havi látogatói | Módosított elemek | Javasolt teszt |
|---|---|---|---|
| Egy egyértelmű hipotézis, nagy változtatás | Bármekkora, 5000 alatt is | Egy koncepció (több elemet is érinthet) | A/B |
| Két-három valóban különböző megközelítés | 15,000+ | Teljes oldalas koncepciók | A/B/n legfeljebb 3 ággal |
| Tudni kell, hogy az elemek hatnak-e egymásra | 100,000+ | 2–3 elem, mindegyikből 2 változat | Többváltozós (teljes faktoriális) |
| A különböző közönségek valószínűleg mást akarnak | Elég forgalom a szegmensen belül | A szegmensre szabott tartalom | Szegmenscélzott teszt vs. kontrollcsoport |
| Nincs elég forgalom a fentiek egyikéhez sem | 2000 alatt | Bármelyik | Kvalitatív kutatás, majd A/B teszt egy nagyobb változtatáson |
A forgalmi küszöbértékek durva iránymutatások 3%-os alapértékhez. Mielőtt elköteleződsz, számold ki a sajátodat a mintanagyság-képlettel.
Jó tesztpéldák típusonként
A/B tesztek
- Demóűrlap vs. azonnali naptárfoglalás a demóoldalon.
- Funkcióközpontú vs. eredményközpontú hero a kezdőlapon.
- Árazási oldal „beszélj az értékesítéssel” szinttel vs. minden szinthez publikált árak.
Egy A/B tesztben teljesen rendben van több elemet egyetlen koncepcióba csomagolni. Azt tudod meg, hogy a koncepció nyer-e, nem azt, hogy melyik elem tette, és általában épp ezt a döntést kell meghoznod. A B2B konverzióoptimalizálási útmutatónk bemutatja, hogyan priorizáld ezeket az ötleteket.
A/B/n tesztek
- Három értékajánlat egy nagy forgalmú fizetett landing page-en: gyorsaság, költségmegtakarítás, kockázatcsökkentés.
- Három CTA-ajánlat: demó, ROI-felmérés, terméktúra. Az adatvezérelt, személyre szabott CTA-król szóló útmutatónk bemutatja, hogyan változik az ajánlattípus szakaszonként.
Az A/B/n teszteknél maradj három ágnál (kontroll plusz kettő), hacsak nem szokatlanul magas a forgalom, és minden ág érdemben különbözzön, hogy a hatások elég nagyok legyenek a szétválasztáshoz.
Többváltozós tesztek
- Főcím (2 változat) × társadalmi bizonyíték típusa (logók vagy esettanulmány-idézet) egy nagyon nagy forgalmú kezdőlapon, ha konkrét okod van feltételezni, hogy a kettő hatással van egymásra.
Ha nem tudod megnevezni a várt kölcsönhatást, valószínűleg nincs szükséged többváltozós tesztre.
Szegmensre célzott perszonalizációs tesztek
- Iparágspecifikus kezdőlapi hero pénzügyi szolgáltató cégek látogatóinak vs az alapértelmezett hero.
- Nagyvállalati fókuszú bizonyíték (biztonság, méretezhetőség) az árazási oldalon az 1000 alkalmazott feletti cégeknek vs. a standard oldal.
- Célaccount-üdvözlés és esettanulmány az ABM-accountoknak vs. általános oldal.
Hogyan teszteld a személyre szabást kontrollcsoporttal szemben
A személyre szabási teszt egy csak egy szegmensen belül futtatott A/B teszt. A kontroll a szegmens egy visszatartott csoportja, amely az alapértelmezett oldalt látja. Kontrollcsoport nélkül nem tudod elválasztani a személyre szabás hatását attól, hogy a szegmens egyszerűen másképp konvertálhat.
- Pontosan definiáld a szegmenst, például „200+ alkalmazottas pénzügyi szolgáltató cégként azonosított látogatók”. Csak ezek a látogatók kerülnek a tesztbe.
- Mérd a tesztelt oldalak havi szegmensforgalmát. Ez határozza meg az időtartamot, nem a teljes oldalforgalom.
- Válaszd meg a kontrollcsoport méretét. Az 50/50-es felosztás értékelhető a leggyorsabban. A kisebb kontrollcsoportok több látogatót kímélnek meg az alapértelmezett élménytől, de időbe kerülnek.
- Olyan konverziót válassz, amelyet a szegmens ténylegesen végrehajt, a látogatásra vagy a fiók látogatásaira mérve, a pipeline-t pedig tartsd meg védőmutatóként.
- A mintaméretet és az időtartamot az indulás előtt rögzítsd, és az eredményt csak arra a szegmensre értékeld.
Példa (szemléltető számokkal): egy szegmens havi 3000 látogatót hoz, 3%-on konvertál, és 30%-os relatív javulást szeretnél kimutatni. A képlet egyenlőtlen elosztású (nem összevont) változatával számolva, ugyanúgy 95%-os konfidenciával és 80%-os erővel:
| A kontrollcsoport aránya | Összesen szükséges látogatók | Hónapok havi 3000 mellett |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
Egy 10%-os holdout csoporttal nagyjából 2,5-ször tovább tart kiértékelni a tesztet, mint egy 50/50-es felosztással. Javaslatunk: minden szegmensnél az első tesztet 50/50 arányban futtasd, hogy tiszta választ kapj, majd a bevezetés után tarts meg egy kis állandó holdout csoportot (10–20%), hogy kövesd, tartós-e a hatás. A personalizációs tesztelési roadmap megmutatja, hogyan ütemezd ezeket a teszteket a szegmenseken át. Azzal a szegmenssel kezdd, amelynek a legnagyobb a forgalma és a legegyértelműbb az üzenetbeli hiánya, mert ott a leggyorsabb az eredmény. Teljesen hagyd ki a szegmensteszteket ott, ahol a szegmens havonta csak néhány száz látogatót hoz; ekkora volumennél még egy 50/50-es felosztás sem ad egy éven belül értékelhető választ.
Az ilyen kontrollcsoportos tesztekhez a szegmenst az oldal megjelenítése előtt kell azonosítani, és csak azt a szegmenst kell megosztani. A Markettailor A/B tesztelése ezt szegmensenként teszi, cégszintű szegmentálással döntve el, ki kerül az egyes tesztekbe, így egy fintech tesztben mindig csak fintech látogatók vesznek részt.
Gyakran ismételt kérdések
Mi a különbség az A/B tesztelés és a többváltozós tesztelés között?
Az A/B tesztelés egy oldal két teljes változatát hasonlítja össze. A többváltozós tesztelés egyszerre több elemet módosít, és az összes kombinációt teszteli, így megmutathatja, mely elemek számítanak és hatnak-e egymásra, de ennek ára a jóval nagyobb forgalom.
Mi az A/B/n tesztelés?
Az A/B/n teszt egyszerre hasonlít össze egy kontrollt két vagy több teljes változattal. Akkor hasznos, ha van néhány valóban eltérő megközelítésed, de minden további ágnak saját minta és szigorúbb szignifikanciaküszöb kell.
Mekkora forgalom kell a multivariáns teszteléshez?
Egy 3%-on konvertáló oldalon futó 2×2×2-es tesztnél ahhoz, hogy a 8 kombináció mindegyikét a kontrollhoz mérve 20%-os javulásra értékeld ki, nagyjából 111 000–177 000 látogató kell, a többszörös összehasonlításra alkalmazott korrekciótól függően. Az interakciók kimutatása ennek többszörösét is igényelheti.
Megéri a többváltozós tesztelés B2B weboldalakon?
Ritkán. A legtöbb B2B oldalnak nincs annyi forgalma, hogy néhány hónap alatt kombinációkat vagy kölcsönhatásokat lehessen kiolvasni. Nagyobb koncepciók A/B tesztjei és a szegmensre célzott perszonalizációs tesztek általában gyorsabban adnak egyértelműbb választ.
Kombinálható az A/B és a többváltozós tesztelés?
Igen. Gyakori sorrend, hogy először koncepciókat tesztelsz A/B teszttel, majd csak a nagyon nagy forgalmú oldalakon futtatsz egy kis faktoriális tesztet a nyertes koncepció két elemén, ha van konkrét kölcsönhatás, amelyet ellenőrizni szeretnél.