Koesuunnitelman pohja pakottaa tekemään päätökset, jotka useimmat A/B-testit ohittavat: mitä tarkalleen odotat tapahtuvan, mikä yksittäinen mittari ratkaisee voittajan, montako vierailijaa tarvitset ja milloin saat lopettaa. Niiden kirjaaminen ennen julkaisua on halvin suoja kohinan tulkitsemiselta tulokseksi. Alla oleva pohja on yksi sivu testiä kohden. Kopioi se dokumenttityökaluusi tai lataa pohja CSV-tiedostona testijonoa varten taulukkolaskentaan.
Se on suunniteltu B2B-liikennemäärille, joilla yksittäinen testi voi kestää viikkoja. Jos et ole suunnitellut testiä aiemmin, lue ensin konversio-optimoinnin oppaamme siitä, mitä vähäisellä liikenteellä kannattaa testata.
A/B-testisuunnitelman pohja
Täytä jokainen rivi ennen kuin testi käynnistyy. Tyhjä rivi on päätös, jonka päädyt tekemään datan nähtyäsi, ja juuri sitä suunnitelma on tarkoitettu estämään.
| Osio | Kenttä | Mitä kirjoittaa |
|---|---|---|
| 1. Konteksti | Testin nimi ja tunniste | Lyhyt, haettava nimi, esimerkiksi ”DEMO-07 viiden kentän lomake” |
| Omistaja | Yksi henkilö, joka käynnistää, valvoo ja raportoi testin | |
| Taustalla oleva näyttö | Data, tallenne tai asiakaslainaus, jonka vuoksi valitsit tämän testin | |
| 2. Hypoteesi | Muutos | Mikä tarkalleen eroaa kontrollin ja variantin välillä |
| Odotettu vaikutus | Mikä mittari liikkuu ja mihin suuntaan | |
| Syy | Miksi uskot sen tapahtuvan, yhtenä lauseena ostajan käyttäytymisestä | |
| 3. Mittarit | Päämittari | Se yksi mittari, joka ratkaisee tuloksen, tarkalla tapahtumamääritelmällä |
| Suojamittarit | Mittarit, jotka eivät saa heiketä (liidien laatu, välitön poistumisprosentti, sivun nopeus) | |
| Toissijaiset mittarit | Kiinnostavaa mutta ei ratkaisevaa (vierityssyvyys, klikkaukset hinnoitteluun) | |
| 4. Yleisö | Sivu(t) | Testiin sisältyvät URL-osoitteet |
| Ketkä kuuluvat mukaan | Kaikki kävijät tai segmentti, kuten maksettu liikenne tai yrityksen kokoluokka | |
| Ketkä rajataan pois | Nykyiset asiakkaat, sisäinen liikenne, botit | |
| Liikenteen jako | Yleensä 50/50 kahdelle haaralle | |
| 5. Tilastotiede | Lähtötason konversioaste | Viimeiset 4–8 viikkoa tältä sivulta ja tälle mittarille |
| Pienin havaittava vaikutus | Pienin suhteellinen parannus, jonka perusteella kannattaa toimia | |
| Luottamustaso ja voima | Yleensä 95 % ja 80 % | |
| Otoskoko versiota kohden | A/B-testilaskurista | |
| Suunniteltu kesto | Otoskoko jaettuna viikoittaisella liikenteellä, pyöristettynä ylöspäin kokonaisiin viikkoihin | |
| 6. Säännöt | Lopetussääntö | Milloin luet tuloksen (kun otos on saavutettu, ei koskaan aiemmin) |
| Lopetussääntö | Mikä saisi sinut lopettamaan aikaisin (rikkinäinen versio, suojamittarin lasku) | |
| Päätössääntö | Mitä julkaiset, jos tulos on voitto, tappio tai epäselvä | |
| 7. Tulokset | Ajopäivät | Alku- ja loppupäivä |
| Tulos haaraa kohden | Kävijät, konversiot, konversioaste | |
| Merkitsevyys ja luottamusväli | Eron p-arvo ja luottamusväli | |
| Päätös ja oppiminen | Mitä julkaisit ja mitä se opetti ostajista |
Miten se täytetään
- Aloita näytöstä, älä ideoista. Osio 1 kysyy, miksi testi on olemassa. Hyviä lähteitä: suppilon vaihe, jossa on epätavallinen pudotus, istuntotallenteet, myyntipuheluiden muistiinpanot, CRO-auditoinnin tarkistuslistan havainto. "Toimitusjohtaja haluaa uuden heron" ei ole näyttöä.
- Kirjoita kumottavissa oleva hypoteesi. ”Jos lyhennämme demolomakkeen yhdeksästä kentästä viiteen, demopyynnöt kävijää kohden lisääntyvät, koska ostajat keskeyttävät, kun heiltä kysytään budjettia ennen kuin he ovat nähneet tuotteen.” Hypoteesi ilman perustetta ei opeta mitään, kun se epäonnistuu.
- Valitse yksi päämittari. Jos valitset kolme, yksi niistä todennäköisesti liikkuu sattumalta ja haluat julistaa sen voitoksi.
- Mitoita testi ennen kuin rakennat sen. Syötä lähtötaso ja pienin havaittava vaikutus laskuriin. Jos testi vaatii yli kvartaalin, muuta suunnitelmaa: testaa isompaa muutosta, käytä tiheämmin toistuvaa mittaria tai valitse suuremman liikenteen sivu. Oppaamme A/B-testin otoskoosta selittää kompromissit.
- Sovi päätössääntö etukäteen. Päätä, mitä ”epäselvä” tarkoittaa sinulle. Moni B2B-tiimi julkaisee yksinkertaisemman variantin, kun tulokset ovat tasaisia, mikä on hyvä sääntö, jos se on kirjattu ennen julkaisua.
Havainnollistava täytetty suunnitelma
Havainnollistavat luvut kuvitteelliselle B2B-ohjelmistoyritykselle.
| Kenttä | Aloitus |
|---|---|
| Testin nimi | DEMO-07 viiden kentän demolomake |
| Näyttö | Lomakeanalytiikka näyttää useimpien keskeyttävän ”Budjetti”-kentässä; myynti vahvistaa, ettei se käytä tietoa ensimmäisessä puhelussa |
| Hypoteesi | Lomakkeen lyhentäminen yhdeksästä viiteen kenttään lisää demopyyntöjä kävijää kohden, koska ostajat eivät kerro budjettiaan ennen kuin ovat nähneet tuotteen |
| Päämittari | Demolomakkeen lähetykset jaettuna /demo-sivun yksilöllisillä kävijöillä |
| Suojamittarit | Myynnin kvalifioimiksi hyväksymien lähetysten osuus ei saa laskea yli neljänneksellä |
| Yleisö | Kaikki /demo-sivun kävijät, pois lukien kirjautuneet asiakkaat ja sisäiset IP-osoitteet; jako 50/50 |
| Lähtötaso | 8 % /demo-sivun kävijöistä lähettää lomakkeen |
| Pienin havaittava vaikutus | 20 % suhteellinen (8,0 %:sta 9,6 %:iin) |
| Otoskoko | Noin 4 900 vierailijaa per variantti 95 %:n luottamustasolla ja 80 %:n testivoimalla |
| Kesto | /demo saa noin 1 500 kävijää viikossa, joten yhteensä noin 9 800 kävijään kuluu 7 viikkoa |
| Lopetussääntö | Lue tulos 7 täyden viikon jälkeen tai kun molemmat haarat ylittävät 4 900 kävijää, kumpi tapahtuu myöhemmin |
| Lopetussääntö | Lopeta, jos version lomake ei lähde tai laadukkaiden liidien osuus puolittuu kahden ensimmäisen viikon aikana |
| Päätössääntö | Voitto: julkaise viisi kenttää. Tappio: pidä yhdeksän. Epäselvä: julkaise viisi kenttää, koska se on yksinkertaisempi ja rikastus täyttää aukon |
Testien työjono
CSV-latauksessa on myös testijonon välilehti, jotta voit järjestää testit ennen kokonaisten suunnitelmien kirjoittamista. Yksi rivi ideaa kohden:
| ID | Sivu | Idea | Näyttö | Vaikutus (1–3) | Varmuus (1–3) | Helppous (1–3) | Pisteet | Tarvittavat viikot | Tila |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Viiden kentän lomake | Kenttäkohtainen keskeytys | 3 | 2 | 3 | 8 | 7 | Suunniteltu |
| HOME-03 | / | Toimialakohtainen pääosio | ICP-kävijät poistuvat useammin | 3 | 2 | 2 | 7 | 10 | Idea |
Ideat, jotka saavat korkeat pisteet mutta vaativat yli 12 viikkoa, sopivat paremmin vertailuryhmävertailuun tai personointisäännöksi kuin klassiseksi A/B-testiksi. Katso A/B-testaus vs monimuuttujatestaus, niin näet, milloin kumpikin menetelmä sopii.
Usein kysytyt kysymykset
Mitä A/B-testisuunnitelman pitäisi sisältää?
Perusteltu hypoteesi, yksi tarkasti määritelty päämittari, suojamittarit, yleisö ja jako, lähtötaso, pienin havaittava vaikutus, otoskoko, kesto sekä lopetus-, keskeytys- ja päätössäännöt. Lisää tulososio, jotta suunnitelmasta tulee testin tallenne.
Mitä eroa on kokeilusuunnitelmalla ja testibriefillä?
Termejä käytetään toistensa synonyymeinä. Jotkut tiimit käyttävät sanaa ”brief” suunnittelijalle lähetettävästä design- ja tekstipyynnöstä ja ”suunnitelmaa” tilastollisesta asetelmasta. Tämä pohja kattaa molemmat, ja luova muutos kuvataan hypoteesiosiossa.
Kuinka kauan B2B:n A/B-testin pitäisi kestää?
Kunnes se saavuttaa laskemasi otoskoon, ja vähintään yhden kokonaisen viikon. Monet B2B-sivut tarvitsevat 4–12 viikkoa. Jos laskelma näyttää yli neljännesvuotta, muuta testiä äläkä lopeta sitä ennenaikaisesti.
Pitäisikö jokaiselle pienelle testille kirjoittaa suunnitelma?
Kyllä, vaikka painikkeen tekstin testissä suunnitelma voi olla viisi riviä. Lopetussääntö ja ensisijainen mittari ovat ne kaksi osaa, joita ei pidä koskaan ohittaa, koska ne estävät sinua julistamasta satunnaista heilahdusta voitoksi.