Miten laskuri toimii
Otoskokovälilehti käyttää vakiokaavaa kahden konversioasteen vertailuun kaksisuuntaisella kahden osuuden z-testillä:
n per versio = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 on lähtötason konversioasteesi juuri testaamallesi sivulle ja tavoitteelle.
- p2 on lähtötaso kerrottuna luvulla (1 + pienin havaittava vaikutus).
- p̄ on p1:n ja p2:n keskiarvo.
- zα/2 on 1,96 95 %:n luottamustasolla, ja zβ on 0,84 80 %:n voimalla.
Kun versioita on useampi kuin yksi, laskuri jakaa alfan verrokkiin tehtävien vertailujen määrällä (Bonferronin korjaus), mikä pitää kokonaisuuden väärien positiivisten osuuden valitsemallasi luottamustasolla. Oppaamme A/B-testin otoskoosta käy kaavan läpi vaihe vaiheelta ja sisältää taulukot yleisille B2B-konversioasteille.
Laskettu esimerkki
Havainnollistavat luvut: demopyyntösivun konversioaste on 3 % ja sillä on 2 000 kävijää viikossa. Haluat tietää, nostaako uusi otsikko konversiota vähintään 20 %, joten p2 on 3,6 %. Laskuri antaa noin 13 900 kävijää versiota kohden, yhteensä 27 800, mikä on 14 viikon liikenne. Se on rehellinen vastaus monille B2B-sivuille, ja siksi työkalu merkitsee jokaisen vuosineljännestä pidemmän testin.
Kolme tapaa lyhentää kestoa: testaa rohkeampaa muutosta ja nosta pienin havaittava vaikutus vähintään 30 %:iin, mittaa useammin tapahtuvaa tapahtumaa, kuten klikkauksia demosivulle, tai aja testi vilkkaamman liikenteen sivulla. Jos valitset A/B-testin ja useamman elementin yhtäaikaisen testin välillä, lue ensin A/B-testaus vs. monimuuttujatestaus, koska monimuuttujatestit vaativat paljon enemmän liikennettä.
Merkitsevyystuloksen lukeminen
Merkitsevyys-välilehti vertaa kahta valmista haaraa. Oletetaan, että kontrollilla oli 5 000 vierailijaa ja 150 konversiota (3,0 %) ja variantilla 5 000 vierailijaa ja 190 konversiota (3,8 %). Suhteellinen nousu on 26,7 %, p-arvo on noin 0,027 ja eron 95 %:n luottamusväli on noin 0,1–1,5 prosenttiyksikköä. Tulos on merkitsevä, mutta väli on leveä: todellinen nousu voi olla pieni. Pidä mitattua nousua pikemminkin yläkanttiin osuvana arviona, erityisesti jos testi lopetettiin ennenaikaisesti.
Mitä kannattaa testata ensin vähäisen liikenteen B2B-sivustolla, kerrotaan konversio-optimoinnin oppaamme testausosiossa. Jos testaat personoituja kokemuksia yksittäisten sivumuutosten sijaan, Markettailorin A/B-testaus käyttää vertailuryhmiä kävijäsegmenteittäin.
Usein kysytyt kysymykset
Kuinka monta kävijää A/B-testiin tarvitaan?
Se riippuu lähtötason konversioasteesta ja pienimmästä nousta, jonka haluat havaita. 3 %:n lähtötasolla 20 %:n suhteellisen nousun havaitseminen 95 %:n luottamustasolla ja 80 %:n voimakkuudella vaatii noin 13 900 kävijää versiota kohden. Jos havaittava nousu puolitetaan, otoskoko suunnilleen nelinkertaistuu.
Miten A/B-testin tilastollinen merkitsevyys lasketaan?
Tämä laskuri käyttää kaksisuuntaista kahden suhteellisen osuuden z-testiä. Se yhdistää molemmat haarat arvioidakseen kohinan, jota odottaisit, jos todellista eroa ei olisi, jakaa havaitun konversioasteiden eron tällä keskivirheellä ja muuntaa saadun z-arvon p-arvoksi. Alle 0,05:n p-arvo on merkitsevä 95 %:n luottamustasolla.
Kuinka kauan A/B-testin pitäisi kestää?
Kunnes se saavuttaa ennen käynnistystä lasketun otoskoon, ja vähintään yhden täyden viikon, jotta sekä arkipäivien että viikonlopun käyttäytyminen on mukana. Yllä oleva kestoarvio jakaa kokonaisotoksen testattavan sivun viikoittaisella liikenteellä.
Voiko A/B-testin lopettaa heti, kun tulos on merkitsevä?
Ei. Tulosten toistuva tarkistaminen ja lopettaminen ensimmäiseen merkitsevään lukemaan nostaa väärien positiivisten osuuden selvästi yli 5 %:n. Päätä otoskoko etukäteen ja lue tulos, kun se on saavutettu, tai käytä jatkuvaan seurantaan suunniteltua menetelmää, kuten sekventiaalista testiä.
Entä jos B2B-sivustollani ei ole tarpeeksi liikennettä A/B-testaukseen?
Testaa suurempia muutoksia, valitse useammin tapahtuva konversiotapahtuma (esimerkiksi klikkaukset demosivulle varattujen demojen sijaan), testaa vilkkaimman liikenteen sivupohjalla tai hyväksy pidempi testi. Jos testi kestäisi yli vuosineljänneksen, käytä sen sijaan laadullista tutkimusta ja holdout-vertailuja.