Eksperimendi plaani mall sunnib tegema otsuseid, mille enamik A/B-teste vahele jätab: mida täpselt te ootate, milline üksik mõõdik otsustab võitja, mitut külastajat te vajate ja millal tohite lõpetada. Nende kirjapanek enne käivitamist on kõige odavam kaitse müra tulemuseks pidamise vastu. Allolev mall on üks lehekülg testi kohta. Kopeerige see oma dokumenditööriista või laadige mall alla CSV-na, et pidada testide järjekorda arvutustabelis.
See on loodud B2B liiklusmahtude jaoks, kus üks test võib kesta nädalaid. Kui te pole varem testi planeerinud, lugege kõigepealt meie konversioonimäära optimeerimise juhendit, et teada, mida väikese liikluse juures tasub testida.
A/B-testi plaani mall
Täitke iga rida enne testi käivitamist. Tühi rida on otsus, mille teete lõpuks pärast andmete nägemist, ja just seda plaan peaks ära hoidma.
| Jaotis | Väli | Mida kirjutada |
|---|---|---|
| 1. Kontekst | Testi nimi ja ID | Lühike, otsitav nimi, näiteks „DEMO-07 viie väljaga vorm“ |
| Omanik | Üks inimene, kes käivitab testi, jälgib seda ja raporteerib | |
| Seda toetavad tõendid | Andmed, salvestus või kliendi tsitaat, mille tõttu te selle testi valisite | |
| 2. Hüpotees | Muudatus | Mis täpselt kontroll- ja testvariandi vahel erineb |
| Oodatav mõju | Milline mõõdik liigub ja mis suunas | |
| Põhjus | Miks te arvate, et see juhtub, ühe lausega ostja käitumise kohta | |
| 3. Mõõdikud | Peamõõdik | Üks mõõdik, mis otsustab tulemuse, koos täpse sündmuse definitsiooniga |
| Kaitsemõõdikud | Mõõdikud, mis ei tohi halveneda (müügivihjete kvaliteet, põrkemäär, lehe kiirus) | |
| Teisesed mõõdikud | Huvitav, kuid mitte otsustav (kerimissügavus, klõpsud hinnalehele) | |
| 4. Sihtrühm | Leht (lehed) | Testi kaasatud URL-id |
| Kes on kaasatud | Kõik külastajad või segment, näiteks tasuline liiklus või ettevõtte suuruse vahemik | |
| Kes on välja jäetud | Olemasolevad kliendid, sisemine liiklus, robotid | |
| Liikluse jaotus | Kahe haru puhul tavaliselt 50/50 | |
| 5. Statistika | Baaskonversioonimäär | Viimased 4–8 nädalat selle lehe ja selle mõõdiku kohta |
| Minimaalne tuvastatav efekt | Väikseim suhteline kasv, mille põhjal tasub tegutseda | |
| Usaldusnivoo ja võimsus | Tavaliselt 95% ja 80% | |
| Valimi suurus variandi kohta | A/B-testi kalkulaatorist | |
| Kavandatud kestus | Valimi suurus jagatud nädala liiklusega, ümardatud üles täisnädalateni | |
| 6. Reeglid | Peatamisreegel | Millal tulemust loete (valim saavutatud, mitte kunagi varem) |
| Lõpetamise reegel | Mis paneks teid varem lõpetama (katkine variant, kaitsemõõdiku langus) | |
| Otsustusreegel | Mida te kasutusele võtate, kui tulemus on võit, kaotus või ebaselge | |
| 7. Tulemused | Toimumise kuupäevad | Algus- ja lõppkuupäev |
| Tulemus haru kohta | Külastajad, konversioonid, konversioonimäär | |
| Olulisus ja vahemik | Erinevuse p-väärtus ja usaldusvahemik | |
| Otsustamine ja õppimine | Mida te avaldasite ja mida see teile ostjate kohta õpetas |
Kuidas seda täita
- Alustage tõenditest, mitte ideedest. 1. jaotis küsib, miks see test olemas on. Head allikad: ebatavalise langusega lehtri samm, seansisalvestised, müügikõnede märkmed, CRO auditi kontrollnimekirja leid. „Tegevjuht tahab uut päist“ ei ole tõend.
- Kirjutage ümberlükatav hüpotees. „Kui lühendame demovormi üheksalt väljalt viiele, suureneb demotellimuste arv külastaja kohta, sest ostjad loobuvad, kui neilt küsitakse eelarvet enne, kui nad on toodet näinud.“ Põhjenduseta hüpotees ei õpeta teile midagi, kui see ebaõnnestub.
- Valige üks peamine mõõdik. Kui valite kolm, liigub üks neist tõenäoliselt juhuslikult ja teil tekib kiusatus seda võiduks nimetada.
- Määrake testi suurus enne selle loomist. Sisestage kalkulaatorisse lähtetase ja minimaalne tuvastatav efekt. Kui test vajab rohkem kui kvartalit, muutke plaani: testige suuremat muudatust, kasutage sagedasemat mõõdikut või valige suurema liiklusega leht. Meie juhend A/B-testi valimi suurusest selgitab kompromisse.
- Leppige otsustusreegel ette kokku. Otsustage, mida „ebaselge“ teie jaoks tähendab. Paljud B2B meeskonnad võtavad tulemuste puudumisel kasutusele lihtsama variandi, mis on hea reegel, kui see on enne käivitamist kirja pandud.
Illustratiivne täidetud plaan
Illustratiivsed numbrid väljamõeldud B2B tarkvaraettevõtte kohta.
| Väli | Sisenemine |
|---|---|
| Testi nimi | DEMO-07 viie väljaga demovorm |
| Tõendid | Vormianalüütika näitab, et enamik loobumisi toimub välja „Eelarve“ juures; müük kinnitab, et nad ei kasuta seda esimesel kõnel |
| Hüpotees | Vormi lühendamine üheksalt väljalt viiele tõstab demotellimusi külastaja kohta, sest ostjad ei jaga eelarvet enne toote nägemist |
| Peamõõdik | Demovormi saatmised jagatud /demo unikaalsete külastajatega |
| Kaitsepiirded | Müügi poolt kvalifitseerituks tunnistatud saatmiste osakaal ei tohi langeda rohkem kui veerandi võrra |
| Sihtrühm | Kõik /demo külastajad, välja arvatud sisselogitud kliendid ja sisemised IP-d; jaotus 50/50 |
| Lähtetase | 8% /demo külastajatest saadab vormi |
| Minimaalne tuvastatav efekt | 20% suhteline (8,0%-lt 9,6%-le) |
| Valimi suurus | Umbes 4900 külastajat variandi kohta 95% usaldusnivoo ja 80% võimsuse juures |
| Kestus | /demo saab nädalas umbes 1500 külastajat, nii et kokku umbes 9800 külastajat võtab 7 nädalat |
| Peatamisreegel | Lugege tulemust 7 täisnädala järel või kui mõlemas harus on üle 4900 külastaja, olenevalt sellest, kumb on hiljem |
| Lõpetamise reegel | Peatage, kui variandi vormi ei saa esitada või kvalifitseeritud määr langeb esimese kahe nädala jooksul poole võrra |
| Otsustusreegel | Võit: avaldage viis välja. Kaotus: jätke üheksa. Ebaselge: avaldage viis välja, kuna see on lihtsam ja rikastamine täidab lünga |
Testide järjekord
CSV-allalaadimine sisaldab ka järjekorralehte, et saaksite teste enne täielike plaanide kirjutamist järjestada. Üks rida idee kohta:
| ID | Leht | Idee | Tõendid | Mõju (1–3) | Usaldusväärsus (1–3) | Lihtsus (1–3) | Skoor | Vajalikud nädalad | Olek |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Viieväljaline vorm | Väljadel loobumine | 3 | 2 | 3 | 8 | 7 | Planeeritud |
| HOME-03 | / | Valdkonnaspetsiifiline päis | ICP külastajate põrkemäär on kõrgem | 3 | 2 | 2 | 7 | 10 | Idee |
Ideed, mis saavad kõrge hinde, kuid vajavad üle 12 nädala, sobivad paremini kontrollrühma võrdluseks või personaliseerimisreegliks kui klassikaliseks A/B-testiks. Vaadake A/B-testimine vs mitmemõõtmeline testimine, et teada, millal kumb meetod sobib.
Korduma kippuvad küsimused
Mida peaks A/B-testi plaan sisaldama?
Põhjendusega hüpotees, üks peamõõdik täpse definitsiooniga, kaitsemõõdikud, vaatajaskond ja jaotus, lähtetase, minimaalne tuvastatav efekt, valimi suurus, kestus ning peatamise, lõpetamise ja otsustamise reeglid. Lisage tulemuste jaotis, et plaanist saaks testi dokumentatsioon.
Mis vahe on eksperimendiplaanil ja testi lähteülesandel?
Termineid kasutatakse vaheldumisi. Mõned meeskonnad kasutavad sõna „lähteülesanne“ disaineriga saadetava disaini- ja tekstitaotluse kohta ning sõna „plaan“ statistilise seadistuse kohta. See mall katab mõlemad, loovmuudatus on kirjeldatud hüpoteesi jaotises.
Kui kaua peaks B2B A/B-test kestma?
Kuni see jõuab teie arvutatud valimi suuruseni, ja vähemalt ühe täisnädala. Paljud B2B lehed vajavad 4–12 nädalat. Kui arvutus näitab rohkem kui kvartalit, muutke testi, mitte ärge lõpetage seda enneaegselt.
Kas peaksin iga väikese testi jaoks plaani kirjutama?
Jah, kuigi nuputeksti testi puhul võib plaan olla viis rida. Peatamisreegel ja peamine mõõdik on kaks osa, mida ei tohiks kunagi vahele jätta, sest just need hoiavad teid juhuslikku kõikumist võiduks kuulutamast.