A/B-testaus on satunnaistettu kontrolloitu koe, jossa kävijät jaetaan satunnaisesti sivun, sähköpostin tai ominaisuuden kahden version, kontrollin (A) ja muunnelman (B), välillä, ja ennalta määriteltyä mittaria verrataan sen selvittämiseksi, onko niiden ero suurempi kuin sattuma selittäisi. Se on vakiintunut tapa selvittää, aiheuttiko muutos parannuksen vai osuiko se vain samaan aikaan sen kanssa.
Menetelmä on vakiintunut verkkotuotteissa; Kohavin ja kollegoiden käytännön opas on edelleen vakioviite (Kohavi ym., "Controlled experiments on the web", Data Mining and Knowledge Discovery, 2009).
Miten A/B-testaus toimii
- Hypoteesi ja mittari. Kerro muutos, odotettu vaikutus ja yksi ensisijainen mittari, kuten demopyyntöjen osuus.
- Satunnaistaminen. Jokainen kävijä ohjataan satunnaisesti versioon A tai B ja pidetään siinä myös paluukäynneillä, joten ryhmät eroavat vain muutoksen osalta.
- Otoskoko. Päätä etukäteen, kuinka monta kävijää kukin versio tarvitsee, perustuen lähtötasoon, pienimpään havaitsemisen arvoiseen parannukseen (minimum detectable effect), merkitsevyystasoon ja voimakkuuteen.
- Aja. Anna testin saavuttaa tuo otos, mieluiten kokonaisina viikkoina. Älä lopeta aikaisin, vaikka toinen puoli näyttäisi olevan edellä.
- Analysoi. Vertaa osuuksia. Tulos on tilastollisesti merkitsevä 5 %:n tasolla, kun näin suuri ero ilmenisi alle 5 %:ssa tapauksista, jos todellista eroa ei olisi.
Kaksi asetusta on tärkeitä. Merkitsevyystaso (yleensä 5 %, usein kutsuttu 95 %:n luottamustasoksi) hallitsee vääriä positiivisia. Voima (yleensä 80 %) on todennäköisyys havaita vaikutus, jos se on todellinen; riittämättömän voiman testi tuottaa enimmäkseen ”ei tulosta”.
Esimerkki
Esimerkki: demosivu konvertoi 3 %:lla. Haluat havaita 20 %:n suhteellisen nousun (3,0 %:sta 3,6 %:iin) kaksisuuntaisella testillä 5 %:n merkitsevyystasolla ja 80 %:n voimakkuudella. Tavallinen kahden osuuden kaava on:
n per variantti = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Ensimmäinen termi: 1,96 × √(2 × 0,033 × 0,967) = 1,96 × 0,2526 = 0,495
- Toinen termi: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Osoittaja: (0,495 + 0,213)² = 0,501; nimittäjä: 0,006² = 0,000036
- n ≈ 13 900 kävijää varianttia kohden, yhteensä noin 27 800
Kun sivulla on 2 000 vierailijaa viikossa, testi tarvitsee noin 14 viikkoa. Se on hyödyllinen tulos: tiedät jo ennen kuin rakennat mitään, että tämä sivu ei pysty kohtuullisessa ajassa testaamaan 20 %:n nousua, joten testaat rohkeampaa muutosta, käytät suuremman liikenteen sivua tai julkaiset ja seuraat. Voit toistaa luvun A/B-testilaskurillamme tai Evan Millerin otoskokolaskurilla.
A/B vs. A/B/n vs. monimuuttujatestaus
| A/B | A/B/n | Monimuuttujatesti (MVT) | |
|---|---|---|---|
| Mikä vaihtelee | Yksi verrokki vs. yksi versio | Yksi kontrolli vs. useita versioita | Useita elementtejä kerralla, kaikki yhdistelmät |
| Tarvittava liikenne | Matalin | Kasvaa jokaisen version myötä | Suurin: liikenne jakautuu kaikkien yhdistelmien kesken |
| Vastaa | Onko B parempi kuin A? | Mikä useasta versiosta on paras? | Mikä elementtien yhdistelmä toimii, ja vaikuttavatko ne toisiinsa? |
| Sopii | Useimmat B2B-sivut | Otsikot tai tarjoukset, joilla on todellista liikennettä | Vain suuren liikenteen sivut |
Nielsen Norman Group tiivistää kompromissin: monimuuttujatestit sopivat asteittaisiin hienosäätöihin paljon liikennettä saavilla sivuilla, kun taas A/B-testeillä voi verrata radikaalisti erilaisia suunnitelmia (NN/g, "Multivariate vs. A/B Testing").
Miten B2B-tiimit käyttävät A/B-testausta
- Demo- ja yhteydenottolomakkeiden pituuden ja sanamuotojen testaaminen.
- Arvolupausten ja otsikoiden vertaaminen suuren liikenteen laskeutumissivuilla.
- Personoinnin validointi: segmenttikohtainen sisältö vs. geneerinen sivu holdout-ryhmän kanssa.
- Hinnoittelusivun asettelu ja pakettien esitystapa.
- Sähköpostien otsikkorivit ja hoivasisältö, kun volyymi sallii.
Usein kysytyt kysymykset
Kuinka kauan A/B-testin pitäisi kestää?
Kunnes se saavuttaa ennen käynnistystä lasketun otoskoon, ja vähintään yhden täyden viikon, mieluiten kaksi, jotta kaikki viikonpäivät ovat edustettuina. Jaa tarvittava kävijämäärä versiota kohden viikoittaisella liikenteellä versiota kohden, niin saat arvion kestosta. Jos vastaus on useita kuukausia, testi ei ole suunnitellulla tavalla toteuttamiskelpoinen.
Mikä on hyvä pienin havaittava vaikutus?
Pienin nousu, jonka perusteella kannattaisi toimia muutoksen kustannus huomioiden. Vähäisen liikenteen B2B-sivut tarvitsevat yleensä suuremman pienimmän havaittavan vaikutuksen, usein vähintään 20 % suhteellisesti, valmistuakseen kohtuullisessa ajassa. Pienemmät vaikutukset voivat olla todellisia, mutta vaativat paljon enemmän liikennettä, koska otoskoko kasvaa suunnilleen vaikutuksen käänteisen neliön mukaan.
Voiko A/B-testata vähäisellä liikenteellä?
Kyllä, mutta testaa suurempia muutoksia, käytä suppilon eniten liikennettä saavaa vaihetta ja valitse usein toteutuva mittari, kuten klikkaukset demosivulle suljettujen kauppojen sijaan. Kun sekin on liian hidasta, tee muutos tutkimuksen perusteella ja seuraa tilannetta ennen ja jälkeen, hyväksyen että näyttö on heikompaa.
Aiheeseen liittyvät
Suunnittele testit A/B-testisuunnitelman pohjalla, lue perusteellisempi läpikäynti A/B-testin otoskoosta ja valitse testiasetelma kirjoituksen A/B-testaus vs. monimuuttujatestaus avulla. Laajemmasta prosessista kerrotaan kohdassa konversio-optimointi.