Egy kísérleti terv sablon kikényszeríti azokat a döntéseket, amelyeket a legtöbb A/B teszt kihagy: pontosan mire számítasz, melyik egyetlen mutató dönti el a győztest, hány látogató kell, és mikor állíthatod le. Ha ezeket indulás előtt leírod, az a legolcsóbb védelem az ellen, hogy a zajt eredménynek olvasd. Az alábbi sablon tesztenként egy oldal. Másold be a dokumentációs eszközödbe, vagy töltsd le CSV-ként egy táblázatban vezetett tesztlistához.
B2B forgalmi szintekhez készült, ahol egyetlen teszt hetekig tarthat. Ha még nem terveztél tesztet, előbb olvasd el a konverzióoptimalizálási útmutatónkat arról, mit érdemes alacsony forgalom mellett tesztelni.
Az A/B tesztterv sablon
A teszt élesítése előtt töltsd ki az összes sort. Egy üres sor olyan döntés, amelyet az adatok láttán fogsz meghozni – pontosan ezt hivatott megakadályozni a terv.
| Szekció | Mező | Mit írj |
|---|---|---|
| 1. Kontextus | Teszt neve és azonosítója | Rövid, kereshető név, például „DEMO-07 öt mezős űrlap” |
| Felelős | Egy személy, aki elindítja, monitorozza és riportolja a tesztet | |
| A mögötte álló bizonyíték | Az adat, felvétel vagy ügyfélidézet, ami miatt ezt a tesztet választottad | |
| 2. Hipotézis | Változás | Pontosan mi a különbség a kontroll és a variáns között |
| Várható hatás | Melyik mutató mozdul el, és milyen irányba | |
| Ok | Miért gondolod, hogy bekövetkezik, egy mondatban a vásárlói viselkedésről | |
| 3. Mutatók | Elsődleges mutató | Az az egy mutató, amely eldönti az eredményt, pontos eseménydefinícióval |
| Védőkorlát-mutatók | Mutatók, amelyek nem romolhatnak (leadminőség, visszafordulási arány, oldalsebesség) | |
| Másodlagos mutatók | Érdekes, de nem döntő (görgetési mélység, kattintások az árazásra) | |
| 4. Közönség | Oldal(ak) | A tesztbe bevont URL-ek |
| Kik tartoznak bele | Minden látogató, vagy egy szegmens, például a fizetett forgalom vagy egy cégméret-sáv | |
| Ki van kizárva | Meglévő ügyfelek, belső forgalom, botok | |
| Forgalommegosztás | Két ágnál általában 50/50 | |
| 5. Statisztika | Kiinduló konverziós arány | Az elmúlt 4–8 hét erre az oldalra és erre a mutatóra |
| Minimális kimutatható hatás | A legkisebb relatív javulás, amely alapján érdemes lépni | |
| Megbízhatóság és erő | Általában 95% és 80% | |
| Mintanagyság változatonként | Az A/B teszt kalkulátorból | |
| Tervezett időtartam | Mintaméret osztva a heti forgalommal, egész hetekre felfelé kerekítve | |
| 6. Szabályok | Leállítási szabály | Mikor olvasod le az eredményt (amikor a minta megvan, soha nem korábban) |
| Leállítási szabály | Mi miatt állnád le idő előtt (hibás változat, védőmutató romlása) | |
| Döntési szabály | Mit élesítesz, ha az eredmény nyerő, vesztes vagy nem egyértelmű | |
| 7. Eredmények | Futási időszak | Kezdő és záró dátum |
| Eredmény áganként | Látogatók, konverziók, konverziós arány | |
| Szignifikancia és intervallum | A különbség p-értéke és konfidenciaintervalluma | |
| Döntés és tanulás | Mit vezettél be, és mit tanultál belőle a vevőkről |
Hogyan töltsd ki
- Bizonyítékból indulj, ne ötletekből. Az 1. szakasz azt kérdezi, miért létezik ez a teszt. Jó források: egy szokatlan lemorzsolódást mutató tölcsérlépés, munkamenet-felvételek, értékesítési hívásjegyzetek, egy CRO audit ellenőrzőlista megállapítása. Az, hogy „a vezérigazgató új hero-t szeretne”, nem bizonyíték.
- Írj cáfolható hipotézist. „Ha a demóűrlapot kilenc mezőről ötre rövidítjük, nő a látogatónkénti demóbeküldések száma, mert a vásárlók kiszállnak, ha a költségkeretükről kérdezzük őket, mielőtt látták volna a terméket.” Egy indoklás nélküli hipotézis semmit nem tanít, ha elbukik.
- Válassz egy elsődleges mutatót. Ha hármat választasz, valószínűleg az egyik véletlenül elmozdul, és győzelemnek akarod majd nevezni.
- Méretezd a tesztet, mielőtt megépítenéd. Írd be a kiindulási értéket és a minimális kimutatható hatást a kalkulátorba. Ha a tesztnek egy negyedévnél többre van szüksége, változtass a terven: tesztelj nagyobb változtatást, használj gyakoribb mutatót, vagy válassz nagyobb forgalmú oldalt. Az A/B teszt mintaméret útmutatónk elmagyarázza a kompromisszumokat.
- Előre egyezzetek meg a döntési szabályban. Döntsd el, mit jelent számodra a „nem egyértelmű”. Sok B2B csapat lapos eredménynél az egyszerűbb változatot élesíti, ami jó szabály, ha indulás előtt leírták.
Kitöltött példaterv
Szemléltető számok egy kitalált B2B szoftvercégre.
| Mező | Belépés |
|---|---|
| Teszt neve | DEMO-07 ötmezős demóűrlap |
| Bizonyíték | Az űrlapanalitika szerint a legtöbben a „Költségkeret” mezőnél hagyják abba; az értékesítés megerősíti, hogy az első hívásnál nem használják |
| Hipotézis | Ha az űrlapot kilencről öt mezőre csökkentjük, nő a látogatónkénti demóbeküldés, mert a vásárlók nem árulják el a költségkeretüket, mielőtt látnák a terméket |
| Elsődleges mutató | Demóűrlap-beküldések osztva a /demo egyedi látogatóival |
| Védőkorlátok | Az értékesítés által minősítettként elfogadott beküldések aránya legfeljebb negyedével csökkenhet |
| Közönség | A /demo oldal összes látogatója, a bejelentkezett ügyfelek és a belső IP-címek kivételével; 50/50 arányú felosztás |
| Kiindulási érték | A /demo látogatók 8%-a küld be űrlapot |
| Minimális kimutatható hatás | 20% relatív (8,0%-ról 9,6%-ra) |
| Mintaméret | Kb. 4900 látogató változatonként 95%-os megbízhatóság és 80%-os statisztikai erő mellett |
| Időtartam | A /demo hetente körülbelül 1500 látogatót kap, így az összesen körülbelül 9800 látogató 7 hét alatt jön össze |
| Leállítási szabály | Az eredményt 7 teljes hét után vagy akkor olvasd le, amikor mindkét ág átlépi a 4900 látogatót, amelyik később következik be |
| Leállítási szabály | Állítsd le, ha a változat űrlapját nem lehet elküldeni, vagy a minősített arány az első két hétben a felére esik |
| Döntési szabály | Nyerés: öt mező élesítése. Vesztés: maradjon kilenc. Nem meggyőző: öt mező élesítése, mert egyszerűbb, és a gazdagítás pótolja a hiányt |
A tesztek várólistája
A CSV-letöltés egy tesztlista munkalapot is tartalmaz, így rangsorolhatod a teszteket, mielőtt teljes terveket írnál. Ötletenként egy sor:
| Azonosító | Oldal | Ötlet | Bizonyíték | Hatás (1–3) | Bizonyosság (1–3) | Egyszerűség (1–3) | Pontszám | Szükséges hetek | Státusz |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Ötmezős űrlap | Mezőnkénti lemorzsolódás | 3 | 2 | 3 | 8 | 7 | Tervezett |
| HOME-03 | / | Iparágspecifikus hero | Az ICP-látogatók gyakrabban fordulnak vissza | 3 | 2 | 2 | 7 | 10 | Ötlet |
Azok az ötletek, amelyek magas pontszámot kapnak, de 12 hétnél többet igényelnek, inkább kontrollcsoportos összehasonlításra vagy perszonalizációs szabályra alkalmasak, mint klasszikus A/B tesztre. Hogy mikor melyik módszer illik, lásd: A/B tesztelés vs többváltozós tesztelés.
Gyakran ismételt kérdések
Mit tartalmazzon egy A/B tesztterv?
Egy indokolt hipotézis, egy pontosan definiált elsődleges mutató, védőmutatók, a közönség és a felosztás, a kiindulási ráta, a minimális kimutatható hatás, a mintaméret, az időtartam, valamint a leállítási, megszakítási és döntési szabályok. Adj hozzá egy eredményszekciót, hogy a terv a teszt nyilvántartásává váljon.
Mi a különbség a kísérleti terv és a tesztbrief között?
A kifejezéseket felcserélhetően használják. Egyes csapatok a „brief” szót a tervezőnek küldött design- és szövegkérésre, a „terv” szót pedig a statisztikai beállításra használják. Ez a sablon mindkettőt lefedi, a kreatív változtatást a hipotézis szekcióban leírva.
Mennyi ideig fusson egy B2B A/B teszt?
Amíg el nem éri a kiszámított mintaméretet, és legalább egy teljes hétig. Sok B2B oldalnak négy-tizenkét hét kell. Ha a számítás szerint egy negyedévnél tovább tartana, változtass a teszten, ahelyett hogy idő előtt leállítanád.
Minden kis teszthez tervet kell írnom?
Igen, bár egy gombszöveg-teszt terve lehet öt sor is. A leállítási szabályt és az elsődleges mutatót soha ne hagyd ki, mert ezek akadályozzák meg, hogy egy véletlen ingadozást győzelemnek könyvelj el.