Az A/B teszt mintaméret-képlete megmondja, hány látogató kell változatonként ahhoz, hogy a konverziós ráta különbsége bármit jelentsen. Egy szokásos kétoldali tesztnél 95%-os megbízhatóság és 80%-os statisztikai erő mellett változatonként nagyjából n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² látogató kell, ahol p1 a kiindulási ráta, p2 pedig a kimutatni kívánt ráta.
Ha ezt a képletet valós B2B számokra alkalmazod, az eredmény kellemetlen. Egy 3%-on konvertáló oldalnak variánsonként nagyjából 14 000 látogató kell ahhoz, hogy megbízhatóan kimutasson egy 20%-os relatív növekedést. Rengeteg B2B oldal egy negyedév alatt sem kap ennyi látogatót. Alább: a képlet bemenetenként, kiszámolt táblázatok különböző kiindulási arányokra, mennyi ideig tart egy teszt adott forgalmi szinten, és mit tegyél, ha a válasz „nyolc hónap”.
Az álláspontunk: a legtöbb B2B A/B teszt alulméretezett
Először a vélemény, amelyet a matematika alátámaszt. Úgy látjuk, hogy a legtöbb B2B A/B tesztet jóval azelőtt leállítják, hogy elég adat gyűlne össze, és az általuk produkált „nyertesek” közül sok csak zaj. A minta így néz ki: háromhetes teszt, 25%-kal vezető variáns, zöld jelvény, bevezetett változtatás – és hat hónappal később semmilyen látható növekedés a pipeline-ban.
Az alulméretezett tesztek nem veszik észre a valós hatásokat, így elpazarolják a tesztelési helyet. Ennél is rosszabb, hogy ha egy alulméretezett teszt mégis átlépi a szignifikanciahatárt, a mért növekedés jellemzően túlbecsült, mert csak a szerencsés húzások jutnak át a lécen. A statisztikusok ezt nagyságrendi (M típusú) hibának hívják. A csapat élesít egy változtatást, amely lehet, hogy semmit sem csinál, és ráadásul egy felfújt számot könyvel el a CRO-riportjában. A mintaméret indulás előtti kiszámítása a legolcsóbb védekezés.
Az A/B teszt mintaméret-képlete
Két konverziós ráta összehasonlításának szokásos képlete (kétarányos z-próba):
n változatonként = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
Minden bemenetnek egyszerű jelentése van:
- p1 (alap konverziós ráta): a tesztelt oldal és cél jelenlegi konverziós rátája. Pontosan arra a konverziós eseményre és pontosan arra az oldalra vonatkozó rátát használj az elmúlt 4–8 hétből, ne oldalszintű átlagot.
- p2 (célráta): a kiindulási érték szorozva (1 + MDE)-vel. 3%-os kiindulási értékkel és 20%-os relatív MDE-vel p2 = 3,6%.
- MDE (minimálisan kimutatható hatás): a legkisebb relatív javulás, amelyet ki szeretnél mutatni. Ez üzleti döntés, nem statisztikai. A kisebb MDE drasztikusan több forgalmat igényel, mert a különbség (p2 − p1) a nevezőben négyzeten szerepel. Ha megfelezed az MDE-t, nagyjából négyszeresére nő a minta.
- p̄ (összevont ráta): p1 és p2 átlaga. A zajt írja le azzal a feltevéssel, hogy nincs valódi különbség.
- zα/2 = 1,96: 5%-os álpozitív aránynak felel meg (alfa 0,05), mindkét szélre elosztva, mert a változat jobb és rosszabb is lehet.
- zβ = 0,8416: 80%-os statisztikai erőnek felel meg, vagyis ha a valódi javulás egyenlő az MDE-vel, a teszt az esetek 80%-ában kimutatja. A maradék 20%-ban elszalasztasz egy valódi győztest.
Sok kalkulátor az első bekezdésben bemutatott egyszerűsített, nem összevont változatot használja. B2B konverziós arányoknál a kettő között csak néhány látogatónyi a különbség. Az A/B teszt kalkulátorunk a fenti összevont képletet használja, és a teszt időtartamát is megbecsüli.
Kidolgozott példa lépésről lépésre
Példa (szemléltető számokkal): egy demókérő oldal 3%-on konvertál. Egy 20%-os relatív növekedést szeretnél kimutatni.
- Add meg a rátákat: p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. Az abszolút különbség 0,006.
- Összevont arány: p̄ = (0,030 + 0,036) / 2 = 0,033.
- Első tag: √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. Szorozd meg 1,96-tal: 0,4951.
- Második tag: p1(1−p1) = 0,0291 és p2(1−p2) = 0,0347. √(0,0638) = 0,2526. Szorozd meg 0,8416-tal: 0,2126.
- Add össze és emeld négyzetre: (0,4951 + 0,2126)² = 0,7077² = 0,5009.
- Oszd el a különbség négyzetével: 0,5009 / 0,006² = 0,5009 / 0,000036 = 13 914 látogató változatonként.
A teszthez tehát összesen körülbelül 27 800 látogató kell, és csak a kontrollágban nagyjából 417 konverzió (13 914 × 3%), mielőtt kiértékeled az eredményt. Ellenőrzésképpen az egyszerűsített, nem összevont képlet variánsonként 13 911-et ad, az arkuszszinuszos (Cohen-féle h) közelítés pedig körülbelül 13 890-et. A három módszer 0,2%-on belül egyezik.
Mintaméret-táblázat B2B konverziós rátákhoz
Az alábbi táblázat a fenti összevont képletet alkalmazza (alfa 0,05 kétoldali, erő 0,8) 1%-os (például egy forgalmas oldal összes látogatójához viszonyított demókérések) és 10%-os (például egy mikrokonverzió, mint egy CTA-kattintás) kiinduló arány között. A saját kiinduló arányodat használd; ezek a sorok csak viszonyítási pontok. Az értékek változatonkénti látogatószámok, Node.js-ben számolva és felfelé kerekítve.
| Kiinduló konverziós arány | 10%-os relatív MDE | 20%-os relatív MDE | 30%-os relatív MDE | 50%-os relatív MDE |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
Ha 10%-os MDE-ről 50%-os MDE-re váltasz, a szükséges minta nagyjából hússzorosára csökken. Az alapkonverzió megduplázása körülbelül felére csökkenti. A forgalmat nem tudod gyorsan megváltoztatni, de azt igen, hogy mekkora változást tesztelsz, és melyik konverziót méred, és egy kis oldalon ez a két kar számít.
Meddig tart majd a teszt?
Az időtartam a szükséges összes látogató (mindkét variáns) osztva azokkal a havi látogatókkal, akik ténylegesen elérik a tesztelt oldalt. A táblázat hónapokban mutatja 50/50-es megosztásnál, három forgalmi szinten.
| Az oldal havi látogatói | Kiindulási érték | 10%-os MDE | 20%-os MDE | 30% MDE | 50%-os MDE |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
Bármit is mond a táblázat, minden tesztet legalább két teljes hétig futtass, hogy a hétköznapi és hétvégi viselkedés, valamint az esetleges kampánycsúcsok mindkét ágban megjelenjenek. A három hónapnál hosszabb teszteket pedig kezeld úgy, mint amelyeket jelenlegi formájukban valószínűleg nem kellene futtatnod: ennyi idő alatt az oldaltartalom, a kampányok és a forgalmi összetétel is elsodródik, és az eredmény egy már nem létező oldalt ír le.
Havi 5000 látogató és 3%-os kiinduló ráta mellett egy 50%-os javulás körülbelül egy hónap alatt kiolvasható, egy 10%-os viszont majdnem két évig tart. Senki nem hagy egy oldalt két évig változatlanul, így a második tesztet korán le fogják állítani, és úgy értelmezik, mintha jelentene valamit.
Amit a legtöbb csapat elhibáz
- A teljes oldalforgalom használata az időtartam becslésénél. Csak a tesztelt elemig eljutó látogatók számítanak. Egy 20 000 látogatós oldalon egy árazásioldal-teszt havonta talán csak 2000 megfelelő látogatót lát.
- Az MDE kiválasztása a teszt után. Ha az indulás előtt 30%-os MDE-t állítottál be, és a teszt 12%-ot mutat, nem 12%-os győztesed van, hanem egy eredménytelen teszted.
- Kukucskálás és leállítás az első zöld jelzésnél. Evan Miller elemzése, a How Not To Run an A/B Test megmutatja, hogy az ismételt szignifikanciavizsgálat mindig növeli az álpozitív eredmények arányát. Az ő példájában (50%-os kiinduló érték, egy semmit sem változtató módosítás, leállítás, amint az eredmény eléri az 5%-os szignifikanciát, vagy 150 megfigyelés után) az álpozitív arány 26,1% a névleges 5% helyett.
Ha a számok szerint hónapokig tartana: hét lehetőség
1. Tesztelj nagyobb változtatásokat
A mintanagyság csökkentésének legolcsóbb módja, ha őszintén megemeled az MDE-t, vagyis olyan nagy változtatásokat tesztelsz, amelyek reálisan elő is idézhetik: új értékajánlatot, eltérő ajánlatot (azonnali időpontfoglalás kapcsolatfelvételi űrlap helyett), egy iparágra szabott oldalt egy általános helyett. A B2B konverzióoptimalizálási útmutatónk bemutatja, hogyan rangsorold a tesztötleteket a várható hatásméret szerint.
2. Tesztelj nagyobb forgalmú oldalakon
A kezdőlap, a legnépszerűbb blogbejegyzések és a nagy forgalmú landing page-ek több havi látogatót adnak (arról, mely oldalak hordozzák általában a legtöbb döntési szakaszú forgalmat, lásd a B2B landing page optimalizálásról szóló jegyzeteinket). Egy sok oldal által közösen használt sablonon (minden megoldásoldal, minden blogbejegyzés) futtatott teszt egyetlen kísérletbe vonja össze a forgalmukat.
3. Óvatosan használd a mikrokonverziókat
A mikrokonverziók, például a CTA-kattintások vagy az űrlapkitöltés megkezdése, magasabb kiinduló értékkel rendelkeznek, így a táblázat 10%-os sora érvényes a 2%-os helyett. A bökkenő: egy változat növelheti a kattintásokat, miközben csökkenti a minősített demókat. A mikrokonverziót csak akkor használd döntési mutatóként, ha bizonyítékod van arra, hogy együtt mozog a makrocéllal, és mindig riportáld mellette a makrokonverziót is védőkorlátként.
4. Vond össze a szegmenseket, később bontsd szét
Ha szegmensenként külön teszteket futtatsz, megosztod a forgalmadat. Futtass egy tesztet a szegmenseken át, és a szegmensszintű eredményeket csak irányadónak tekintsd. Ha szegmensspecifikus válasz kell, a tesztet csak az adott szegmens forgalmára kell méretezni. A 90 napos personalizációs tesztelési roadmap megmutatja, hogyan ütemezd a szegmensteszteket, hogy mindegyik elég forgalmat kapjon.
5. Használj szekvenciális tesztelést
A szekvenciális tervezés (előre megtervezett közbenső ellenőrzésekkel futó csoportszekvenciális tesztek vagy egyes tesztelőeszközökbe épített, mindig érvényes módszerek) lehetővé teszi, hogy a teszt közben ellenőrizd az eredményeket, és nagy hatás esetén korán leállj, anélkül hogy a téves pozitív eredmények aránya megnőne. Az ár ezért egy kicsit nagyobb maximális minta, ha a teszt végigfut. Ez a kukucskálás legitim változata. Ha egy teszt hónapokig tartana, a költségkeretet előbb diagnosztikai CRO-eszközökre fordítsd, például munkamenet-felvételekre és űrlapanalitikára.
6. Fontold meg a bayesi megközelítést, világos elvárásokkal
A bayesi A/B tesztelés azt a valószínűséget adja meg, hogy a B jobb az A-nál, és a várható veszteséget, ha rosszat választasz. Ez alapján könnyebb cselekedni, mint egy p-érték alapján, és lehetővé teszi az olyan explicit döntéseket, mint „élesítjük, ha a jobb teljesítmény valószínűsége 90% felett van, és a várható veszteség 0,1 százalékpont alatt”. Visszafordítható változtatásoknál ennek a kockázatnak a vállalása gyakran racionális.
Amit a bayesi módszerek nem tesznek: nem teremtenek információt. Gyenge priorokkal ugyanannyi adat kell egy 20%-os javulás magabiztos kimutatásához, mint a frekventista táblázatban. Egy apró mintán mért 90%-os „probability to beat” továbbra is törékeny, és ha naponta ellenőrzöd egy leállítási szabállyal, a gyakorlatban így is nő a hibaarány. A bayesi tesztelés azt változtatja meg, hogyan fejezed ki a bizonytalanságot és hogyan döntesz. A bizonytalanságot nem csökkenti.
7. Ne kukucskálj, vagy tervezd meg a köztes ellenőrzéseket
Rögzítsd a mintaméretet indulás előtt, írd bele a tesztbriefbe, és ne hirdess eredményt, amíg el nem éred. Ha az érintetteknek közbenső frissítések kellenek, eleve szekvenciális tervezést használj, ne ad hoc ellenőrzéseket. A kísérleti terv sablonunkban mindegyik döntéshez van mező.
Indulás előtti ellenőrzőlista
- Kérd le a pontos oldal és konverzió kiinduló arányát és havi releváns látogatószámát (az elmúlt 4–8 hétre).
- Az MDE-t a változtatás mérete alapján válaszd meg, és írd le.
- Számold ki az n-t változatonként a képlettel vagy a fenti táblázattal, majd az időtartamot.
- Ha az időtartam meghaladja a nagyjából három hónapot, tervezd újra a tesztet (nagyobb változtatás, nagyobb forgalmú oldal, vagy magasabb alapértékű mutató védőkorláttal).
- Határozd meg a leállítási szabályt: rögzített minta, vagy szekvenciális terv előre tervezett kiértékelési pontokkal.
B2B csapatoknál a legnagyobb hatásméretek általában abból adódnak, hogy különböző látogatóknak különböző tartalmat mutatsz, nem abból, hogy egyetlen oldalt csiszolsz mindenkinek, mert egy szegmensnek írt üzenet nagyobb változás, mint egy új gombszín. Ha egy egyszerű megosztott teszt és egy több variánsos vagy több tényezős teszt között választasz, olvasd el az A/B tesztelés vs. többváltozós tesztelés összehasonlításunkat, amely ugyanazt a mintaméret-számítást alkalmazza az A/B/n és a többváltozós tervekre.
Ha készen állsz arra, hogy szegmensspecifikus élményeken futtass teszteket, a Markettailor A/B tesztelés személyre szabott oldalakhoz funkciója lehetővé teszi, hogy minden szegmenst kontrollcsoporttal szemben ossz fel, és szegmensenként kövesd az eredményt, így a tervezett mintaméret lesz a tényleges mintaméret.
Gyakran ismételt kérdések
Mi az A/B teszt mintaméretének képlete?
Két konverziós rátára az n változatonként = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)², ahol p1 a kiindulási érték, p2 a célráta, p̄ pedig ezek átlaga. Ez 95%-os (kétoldali) megbízhatóságot és 80%-os statisztikai erőt feltételez.
Hány látogató kell egy A/B teszthez 2%-os konverziós aránynál?
Változatonként körülbelül 21 100 látogató egy 20%-os relatív javulás kimutatásához, körülbelül 9800 egy 30%-oshoz és körülbelül 3800 egy 50%-oshoz, 95%-os megbízhatóság és 80%-os erő mellett. A teljes tesztforgalomhoz ezeket duplázd meg.
Kisebb mintanagyság kell a bayesi A/B teszteléshez?
Érdemben nem, hacsak nincs erős, megalapozott előzetes feltevésed. A bayesi tesztelés intuitívabb kimeneteket ad (a kontroll legyőzésének valószínűsége, várható veszteség), és támogatja a kockázatalapú döntéseket, de egy adott javulásban való bizonyossághoz szükséges adatmennyiség hasonló a frekventista számításéhoz.
Mekkora minimálisan kimutatható hatással számoljon egy B2B oldal?
Az MDE-t a forgalmad alapján válaszd, ne vágyálmok alapján. Számold ki, mi mutatható ki hat-nyolc hét alatt az oldalad forgalmával, és csak olyan változtatásokat tesztelj, amelyek elég nagyok ahhoz, hogy reálisan elérjék ezt a javulást. A fenti időtartam-táblázatban egy havi 5000 látogatós, 3%-os kiindulási értékű oldal három hónapon belül csak körülbelül 30%-os vagy nagyobb javulást tud kimutatni.
Leállíthatok egy A/B tesztet korán, ha már szignifikáns?
Egy szokásos, rögzített mintás teszttel nem, mert az ismételt ellenőrzés megnöveli a téves pozitív eredményeket. Ha szükséged van a korai leállítás lehetőségére, használj szekvenciális tesztelési elrendezést, az indulás előtt megtervezett köztes elemzésekkel.