Hogyan működik a kalkulátor
A mintanagyság fül két konverziós arány összehasonlításának szokásos képletét használja, kétoldalú, kétmintás arányok z-próbájával:
n változatonként = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- A p1 a kiinduló konverziós arányod a pontosan tesztelt oldalra és célra.
- p2 az alapérték szorozva (1 + minimális kimutatható hatás)-sal.
- p̄ a p1 és p2 átlaga.
- A zα/2 értéke 95%-os megbízhatóságnál 1,96, a zβ értéke pedig 80%-os erőnél 0,84.
Egynél több változat esetén a kalkulátor az alfát elosztja a kontrollal végzett összehasonlítások számával (Bonferroni-korrekció), ami a teljes álpozitív arányt a választott megbízhatósági szinten tartja. Az A/B teszt mintaméretről szóló útmutatónk lépésről lépésre végigvezet a képleten, táblázatokkal a gyakori B2B konverziós arányokhoz.
Kidolgozott példa
Szemléltető számok: egy demókérő oldal 3%-on konvertál, és heti 2000 látogatót kap. Azt szeretnéd megtudni, hogy egy új címsor legalább 20%-kal javítja-e a konverziót, így p2 3,6%. A kalkulátor variánsonként körülbelül 13 900, összesen 27 800 látogatót ad, ami 14 hétnyi forgalom. Sok B2B oldalnál ez az őszinte válasz, és ezért jelöli meg az eszköz a negyedévnél hosszabb teszteket.
Három módja van az időtartam csökkentésének: tesztelj merészebb változtatást, és emeld a minimálisan kimutatható hatást 30%-ra vagy afölé, mérj gyakoribb eseményt, például a demóoldalra kattintásokat, vagy futtasd a tesztet egy nagyobb forgalmú oldalon. Ha egy A/B teszt és egy több elemet egyszerre vizsgáló teszt között választasz, előbb olvasd el az A/B tesztelés vs. többváltozós tesztelés cikket, mert a többváltozós tesztekhez sokkal több forgalom kell.
Egy szignifikanciaeredmény értelmezése
A szignifikancia fül két befejezett ágat hasonlít össze. Tegyük fel, hogy a kontrollnak 5000 látogatója és 150 konverziója volt (3,0%), a változatnak 5000 látogatója és 190 konverziója (3,8%). A relatív növekedés 26,7%, a p-érték kb. 0,027, a különbség 95%-os konfidenciaintervalluma pedig kb. 0,1 és 1,5 százalékpont között van. Az eredmény szignifikáns, de az intervallum széles: a valódi növekedés kicsi is lehet. A mért növekedést inkább felső becslésként kezeld, különösen, ha a tesztet idő előtt leállították.
Arról, hogy mit tesztelj először egy alacsony forgalmú B2B oldalon, a konverzióoptimalizálási útmutatónk tesztelésről szóló része szól. Ha nem egyedi oldalmódosításokat, hanem személyre szabott élményeket tesztelsz, a Markettailor A/B tesztelés funkciója látogatói szegmensenként futtat kontrollcsoportot.
Gyakran ismételt kérdések
Hány látogató kell egy A/B teszthez?
Ez az alap konverziós rátától és a legkisebb kimutatandó javulástól függ. 3%-os alapértéknél egy 20%-os relatív javulás kimutatásához 95%-os megbízhatóság és 80%-os statisztikai erő mellett variánsonként körülbelül 13 900 látogató kell. Ha a kimutatandó javulást megfelezed, a minta nagyjából négyszeresére nő.
Hogyan számolják ki egy A/B teszt statisztikai szignifikanciáját?
Ez a kalkulátor kétoldali kétmintás arányos z-próbát használ. Mindkét ágat összevonja, hogy megbecsülje a várható zajt arra az esetre, ha nem lenne valódi különbség, a konverziós arányok megfigyelt különbségét elosztja ezzel a standard hibával, majd az így kapott z-értéket p-értékké alakítja. A 0,05 alatti p-érték 95%-os megbízhatósági szinten szignifikáns.
Meddig fusson egy A/B teszt?
Amíg el nem éri az indulás előtt kiszámolt mintaméretet, és legalább egy teljes hétig, hogy a hétköznapi és a hétvégi viselkedés is benne legyen. A fenti időtartam-becslés a teljes mintát osztja el a tesztelt oldal heti forgalmával.
Leállíthatom az A/B tesztet, amint szignifikáns?
Nem. Ha folyamatosan nézed az eredményeket, és az első szignifikáns értéknél leállsz, a hamis pozitív arány jóval 5% fölé nő. Előre döntsd el a mintaméretet, és akkor olvasd le az eredményt, amikor elérted, vagy használj folyamatos figyelésre tervezett módszert, például szekvenciális tesztet.
Mi van, ha a B2B oldalamnak nincs elég forgalma az A/B teszteléshez?
Tesztelj nagyobb változtatásokat, válassz gyakrabban bekövetkező konverziós eseményt (például a demóoldalra kattintásokat a lefoglalt demók helyett), a legnagyobb forgalmú sablonodon tesztelj, vagy fogadd el a hosszabb tesztet. Ha egy teszt egy negyedévnél tovább tartana, használj helyette kvalitatív kutatást és kontrollcsoportos összehasonlításokat.