A/B-testimine on randomiseeritud kontrollitud eksperiment, kus külastajad jagatakse juhuslikult lehe, e-kirja või funktsiooni kahe versiooni vahel, kontroll (A) ja variant (B), ning eelnevalt määratud mõõdikut võrreldakse, et näha, kas nendevaheline erinevus on suurem, kui juhus seletaks. See on standardne viis teada saada, kas muudatus põhjustas paranemise, mitte ei langenud sellega lihtsalt kokku.
Meetod on veebitoodetes hästi juurdunud; Kohavi ja kolleegide praktiline juhend on endiselt standardviide (Kohavi et al., „Controlled experiments on the web“, Data Mining and Knowledge Discovery, 2009).
Kuidas A/B-testimine töötab
- Hüpotees ja mõõdik. Kirjeldage muudatust, oodatavat mõju ja üht peamist mõõdikut, näiteks demotellimuste määra.
- Randomiseerimine. Iga külastaja määratakse juhuslikult gruppi A või B ja jääb sinna ka korduvkülastustel, nii et grupid erinevad ainult muudatuse poolest.
- Valimi suurus. Otsustage eelnevalt, mitu külastajat iga versioon vajab, lähtudes baasmäärast, väikseimast tuvastamist väärivast tõusust (minimaalne tuvastatav efekt), olulisuse nivoost ja võimsusest.
- Käivitage. Laske testil selle valimini jõuda, ideaalis tervete nädalate kaupa. Ärge lõpetage varem, sest üks pool tundub ees olevat.
- Analüüsige. Võrrelge määrasid. Tulemus on 5% tasemel statistiliselt oluline, kui sellise suurusega vahe ilmneks tegeliku erinevuse puudumisel vähem kui 5% juhtudest.
Olulised on kaks seadet. Olulisuse nivoo (tavaliselt 5%, sageli nimetatud 95% usaldusnivooks) kontrollib valepositiivseid. Võimsus (tavaliselt 80%) on tõenäosus efekti tuvastada, kui see on päris; ebapiisava võimsusega test annab enamasti „tulemust pole“.
Näide
Näide: demoleht konverteerub 3%. Soovite tuvastada 20% suhtelist tõusu (3,0%-lt 3,6%-le) kahepoolse testiga 5% olulisuse nivool ja 80% võimsusega. Standardne kahe proportsiooni valem on:
n variandi kohta = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Esimene liige: 1,96 × √(2 × 0,033 × 0,967) = 1,96 × 0,2526 = 0,495
- Teine liige: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Lugeja: (0,495 + 0,213)² = 0,501; nimetaja: 0,006² = 0,000036
- n ≈ 13 900 külastajat variandi kohta, kokku umbes 27 800
Kui sellele lehele tuleb 2000 külastajat nädalas, vajab test umbes 14 nädalat. See on kasulik tulemus: enne millegi ehitamist teate, et see leht ei võimalda mõistliku ajaga testida 20% tõusu, seega testite julgemat muudatust, kasutate suurema liiklusega lehte või võtate muudatuse kasutusele ja jälgite. Arvu saate korrata meie A/B-testi kalkulaatoriga või Evan Milleri valimi suuruse kalkulaatoriga.
A/B vs A/B/n vs mitmemõõtmeline testimine
| A/B | A/B/n | Mitmemõõtmeline (MVT) | |
|---|---|---|---|
| Mis varieerub | Üks kontroll vs üks variant | Üks kontrollversioon vs mitu varianti | Mitu elementi korraga, iga kombinatsioon |
| Vajalik liiklus | Madalaim | Kasvab iga variandiga | Kõrgeim: liiklus jaguneb kõigi kombinatsioonide vahel |
| Vastused | Kas B on parem kui A? | Milline mitmest versioonist on parim? | Milline elementide kombinatsioon toimib ja kas need mõjutavad üksteist? |
| Sobib | Enamik B2B lehti | Päris liiklusega pealkirjad või pakkumised | Ainult suure liiklusega lehed |
Nielsen Norman Group võtab kompromissi kokku: mitmemõõtmelised testid sobivad suure liiklusega lehtede järkjärguliseks lihvimiseks, samas kui A/B-testid saavad võrrelda radikaalselt erinevaid kujundusi (NN/g, „Multivariate vs. A/B Testing“).
Kuidas B2B meeskonnad A/B-testimist kasutavad
- Demo- ja kontaktivormi pikkuse ja sõnastuse testimine.
- Väärtuspakkumiste ja pealkirjade võrdlemine suure liiklusega maandumislehtedel.
- Personaliseerimise valideerimine: segmendipõhine sisu vs üldine leht, koos kontrollrühmaga.
- Hinnalehe paigutus ja pakettide esitlus.
- E-kirjade teemaread ja järelhoolduse sisu, kus maht seda lubab.
Korduma kippuvad küsimused
Kui kaua peaks A/B-test kestma?
Kuni see jõuab enne käivitamist arvutatud valimi suuruseni, ja vähemalt üks terve nädal, eelistatavalt kaks, et kõik nädalapäevad oleksid esindatud. Kestuse hindamiseks jagage vajalik külastajate arv variandi kohta iganädalase liiklusega variandi kohta. Kui vastus on mitu kuud, pole test sellisel kujul teostatav.
Milline on hea minimaalne tuvastatav efekt?
Väikseim tõus, mille põhjal tasuks muudatuse kulu arvestades tegutseda. Väikese liiklusega B2B lehed vajavad mõistliku ajaga lõpetamiseks tavaliselt suuremat minimaalset tuvastatavat mõju, sageli 20% suhteliselt või rohkem. Väiksemad mõjud võivad olla tõelised, kuid vajavad palju rohkem liiklust, sest valimi suurus kasvab ligikaudu mõju ruudu pöördväärtusega.
Kas väikese liiklusega saab A/B-testida?
Jah, kuid testige suuremaid muudatusi, kasutage lehtri suurima liiklusega sammu ja valige mõõdik, mis esineb sageli, näiteks klikid demolehele, mitte suletud tehingud. Kui ka see on liiga aeglane, tehke muudatus uuringu põhjal ja jälgige olukorda enne ja pärast, leppides sellega, et tõendid on nõrgemad.
Seotud
Planeerige teste A/B-testi plaani malliga, lugege põhjalikumat käsitlust A/B-testi valimi suurusest ja valige testi ülesehitus artikli A/B-testimine vs mitmemuutujaline testimine abil. Laiema protsessi kohta vaadake konversioonimäära optimeerimist.