Az A/B tesztelés randomizált kontrollált kísérlet, amelyben a látogatókat véletlenszerűen osztják el egy oldal, e-mail vagy funkció két változata, a kontroll (A) és egy változat (B) között, és egy előre meghatározott mutatót hasonlítanak össze, hogy kiderüljön, nagyobb-e a különbség, mint amit a véletlen megmagyarázna. Ez a bevett módja annak, hogy megtudd, egy változtatás okozta-e a javulást, vagy csak egybeesett vele.
A módszer az online termékeknél jól bevált; Kohavi és munkatársai gyakorlati útmutatója máig standard hivatkozás (Kohavi és mtsai, „Controlled experiments on the web”, Data Mining and Knowledge Discovery, 2009).
Hogyan működik az A/B tesztelés
- Hipotézis és mutató. Fogalmazd meg a változtatást, a várt hatást és egyetlen elsődleges mutatót, például a demókérési arányt.
- Véletlenszerű besorolás. Minden látogatót véletlenszerűen az A vagy a B csoportba sorolnak, és visszatéréskor is ott marad, így a csoportok csak a változtatásban különböznek.
- Mintanagyság. Előre döntsd el, hány látogató kell az egyes változatokhoz a kiinduló arány, a még érdemes kimutatni kívánt legkisebb javulás (minimálisan kimutatható hatás), a szignifikanciaszint és a statisztikai erő alapján.
- Futtatás. Hagyd, hogy a teszt elérje a mintát, ideális esetben teljes heteken át. Ne állítsd le korán csak azért, mert az egyik oldal vezetni látszik.
- Elemezz. Hasonlítsd össze az arányokat. Egy eredmény 5%-os szinten statisztikailag szignifikáns, ha – feltéve, hogy valójában nincs különbség – ekkora eltérés az esetek kevesebb mint 5%-ában fordulna elő.
Két beállítás számít. A szignifikanciaszint (általában 5%, gyakran 95%-os megbízhatóságnak nevezik) szabályozza az álpozitívokat. Az erő (általában 80%) annak esélye, hogy kimutatod a hatást, ha az valós; egy alulméretezett teszt többnyire „nincs eredmény”-t hoz.
Példa
Példa: egy demóoldal 3%-on konvertál. 20%-os relatív növekedést (3,0%-ról 3,6%-ra) szeretnél kimutatni kétoldali teszttel, 5%-os szignifikanciaszinten és 80%-os erővel. A szokásos kétarányos képlet:
n variánsonként = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Első tag: 1,96 × √(2 × 0,033 × 0,967) = 1,96 × 0,2526 = 0,495
- Második tag: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Számláló: (0,495 + 0,213)² = 0,501; nevező: 0,006² = 0,000036
- n ≈ 13 900 látogató változatonként, összesen körülbelül 27 800
Ha az oldal heti 2000 látogatót kap, a tesztnek nagyjából 14 hét kell. Ez a hasznos eredmény: még mielőtt bármit megépítenél, tudod, hogy ez az oldal észszerű idő alatt nem bír el egy 20%-os növekedést célzó tesztet, így merészebb változtatást tesztelsz, nagyobb forgalmú oldalt használsz, vagy élesítesz és figyelsz. A számot reprodukálhatod az A/B teszt kalkulátorunkkal vagy Evan Miller mintaméret-kalkulátorával.
A/B vs A/B/n vs többváltozós tesztelés
| A/B | A/B/n | Többváltozós (MVT) | |
|---|---|---|---|
| Ami változik | Egy kontroll vs. egy változat | Egy kontroll vs. több variáns | Egyszerre több elem, minden kombináció |
| Szükséges forgalom | Legalacsonyabb | Minden változattal nő | A legmagasabb: a forgalom minden kombináció között megoszlik |
| Válaszok | Jobb a B, mint az A? | Melyik a legjobb a több változat közül? | Elemek melyik kombinációja működik, és hatnak-e egymásra? |
| Illeszkedik | A legtöbb B2B oldal | Címsorok vagy ajánlatok valódi forgalommal | Csak nagy forgalmú oldalak |
A Nielsen Norman Group így foglalja össze a kompromisszumot: a többváltozós tesztek nagy forgalmú oldalak fokozatos finomítására valók, míg az A/B tesztekkel gyökeresen eltérő designokat is összehasonlíthatsz (NN/g, "Multivariate vs. A/B Testing").
Hogyan használják a B2B csapatok az A/B tesztelést
- A demó- és kapcsolatfelvételi űrlap hosszának és szövegezésének tesztelése.
- Értékajánlatok és főcímek összehasonlítása nagy forgalmú landing page-eken.
- A personalizáció validálása: szegmensspecifikus tartalom vs. általános oldal, holdout csoporttal.
- Az árazási oldal elrendezése és a csomagok bemutatása.
- E-mail-tárgysorok és nurturing-tartalom, ahol a volumen engedi.
Gyakran ismételt kérdések
Meddig fusson egy A/B teszt?
Amíg el nem éri az indulás előtt kiszámolt mintaméretet, és legalább egy teljes hétig, de inkább kettőig, hogy a hét minden napja szerepeljen. Az időtartam becsléséhez oszd el a variánsonként szükséges látogatószámot a variánsonkénti heti forgalommal. Ha az eredmény több hónap, a teszt ebben a formában nem kivitelezhető.
Mi számít jó minimálisan kimutatható hatásnak?
A legkisebb növekedés, amely miatt a változtatás költségét figyelembe véve érdemes lépni. Az alacsony forgalmú B2B oldalaknak általában nagyobb minimálisan kimutatható hatás kell, gyakran legalább 20% relatív, hogy észszerű idő alatt lefussanak. A kisebb hatások is lehetnek valósak, de sokkal több forgalom kell hozzájuk, mert a mintaméret nagyjából a hatás négyzetének reciprokával nő.
Lehet A/B tesztelni alacsony forgalom mellett?
Igen, de nagyobb változtatásokat tesztelj, a tölcsér legnagyobb forgalmú lépését használd, és olyan mutatót válassz, amely gyakran előfordul, például a demóoldalra irányuló kattintásokat a lezárt üzletek helyett. Ha még ez is túl lassú, kutatás alapján hajtsd végre a változtatást, és kövesd az előtte–utána állapotot, elfogadva, hogy a bizonyíték gyengébb.
Kapcsolódó
Tervezd meg a teszteket az A/B tesztterv sablonnal, olvasd el az A/B teszt mintaméretről szóló részletesebb útmutatót, és válassz tesztelrendezést az A/B tesztelés vs. többváltozós tesztelés segítségével. A tágabb folyamatról lásd: konverzióoptimalizálás.