A/B-testin otoskoon kaava kertoo, montako vierailijaa kukin variantti tarvitsee, ennen kuin konversioasteiden ero tarkoittaa mitään. Tavallisessa kaksisuuntaisessa testissä 95 %:n luottamustasolla ja 80 %:n testivoimalla tarvitset suunnilleen n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² vierailijaa per variantti, missä p1 on lähtötason aste ja p2 aste, jonka toivot havaitsevasi.
Kun kaavaan syötetään todelliset B2B-luvut, tulos on epämukava. 3 %:lla konvertoiva sivu tarvitsee noin 14 000 kävijää varianttia kohden havaitakseen luotettavasti 20 %:n suhteellisen nousun. Monella B2B-sivulla ei käy niin paljon kävijöitä vuosineljänneksessä. Alla: kaava syöte kerrallaan, valmiiksi lasketut taulukot eri lähtötason asteille, kuinka kauan testi kestää tietyllä liikennetasolla ja mitä tehdä, kun vastaus on ”kahdeksan kuukautta”.
Kantamme: useimpien B2B-A/B-testien tilastollinen voima on liian pieni
Ensin näkemys, jota matematiikka tukee. Näkemyksemme on, että useimmat B2B:n A/B-testit lopetetaan kauan ennen kuin dataa on riittävästi ja että monet niiden tuottamista ”voittajista” ovat kohinaa. Kaava näyttää tältä: kolmen viikon testi, variantti 25 % edellä, vihreä merkki, julkaistu muutos ja puolen vuoden päästä ei näkyvää nousua myyntiputkessa.
Liian pienen testivoiman testit ohittavat todelliset vaikutukset, mikä haaskaa testipaikan. Pahempaa on, että kun tällainen testi ylittää merkitsevyysrajan, mitattu nousu on yleensä yliarvio, koska vain onnekkaat otokset ylittävät rajan. Tilastotieteilijät kutsuvat tätä suuruusvirheeksi (type M -virhe). Tiimi julkaisee muutoksen, joka ei ehkä tee mitään, ja kirjaa vielä paisutellun luvun CRO-raportointiinsa. Otoskoon laskeminen ennen julkaisua on halvin suoja.
A/B-testauksen otoskoon kaava
Kahden konversioasteen vertailun vakiokaava (kahden osuuden z-testi) on:
n per variantti = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
Jokaisella syötteellä on selkokielinen merkitys:
- p1 (lähtötason konversioaste): testattavan sivun ja tavoitteen nykyinen konversioaste. Käytä juuri kyseisen konversiotapahtuman ja juuri kyseisen sivun lukua viimeisiltä 4–8 viikolta, älä koko sivuston keskiarvoa.
- p2 (tavoiteaste): lähtötaso kerrottuna luvulla (1 + MDE). 3 %:n lähtötasolla ja 20 %:n suhteellisella MDE:llä p2 = 3,6 %.
- MDE (minimum detectable effect, pienin havaittava vaikutus): pienin suhteellinen nousu, jonka haluat havaita. Tämä on liiketoimintapäätös, ei tilastollinen. Pienemmät MDE:t vaativat dramaattisesti enemmän liikennettä, koska ero (p2 − p1) on nimittäjässä toisessa potenssissa. Puolita MDE, niin otoskoko suunnilleen nelinkertaistuu.
- p̄ (yhdistetty aste): p1:n ja p2:n keskiarvo. Se kuvaa kohinaa olettaen, ettei todellista eroa ole.
- zα/2 = 1,96: vastaa 5 %:n väärien positiivisten osuutta (alfa 0,05) jaettuna molempiin häntiin, koska versio voi olla parempi tai huonompi.
- zβ = 0,8416: vastaa 80 %:n voimakkuutta, mikä tarkoittaa, että jos todellinen nousu on yhtä suuri kuin MDE:si, testi havaitsee sen 80 % ajasta. Lopuissa 20 %:ssa ohitat todellisen voittajan.
Monet laskurit käyttävät ensimmäisessä kappaleessa esitettyä yksinkertaistettua unpooled-versiota. B2B-konversioasteilla nämä kaksi eroavat vain kourallisen kävijöitä. A/B-testilaskurimme käyttää yllä olevaa pooled-kaavaa ja arvioi myös testin keston.
Laskettu esimerkki vaihe vaiheelta
Esimerkki (havainnollistavat luvut): demopyyntösivu konvertoi 3 %. Haluat havaita 20 %:n suhteellisen nousun.
- Aseta asteet: p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. Absoluuttinen ero on 0,006.
- Yhdistetty osuus: p̄ = (0,030 + 0,036) / 2 = 0,033.
- Ensimmäinen termi: √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. Kerro luvulla 1,96: 0,4951.
- Toinen termi: p1(1−p1) = 0,0291 ja p2(1−p2) = 0,0347. √(0,0638) = 0,2526. Kerro luvulla 0,8416: 0,2126.
- Laske yhteen ja korota toiseen: (0,4951 + 0,2126)² = 0,7077² = 0,5009.
- Jaa erotuksen neliöllä: 0,5009 / 0,006² = 0,5009 / 0,000036 = 13 914 vierailijaa per variantti.
Testi tarvitsee siis yhteensä noin 27 800 kävijää ja pelkästään kontrolliryhmässä noin 417 konversiota (13 914 × 3 %), ennen kuin luet tuloksen. Tarkistuksena yksinkertaistettu yhdistämätön kaava antaa 13 911 versiota kohden ja arkussiniapproksimaatio (Cohenin h) noin 13 890. Kolme menetelmää ovat yhtä mieltä 0,2 %:n tarkkuudella.
Otoskokotaulukko B2B-konversioasteille
Alla oleva taulukko soveltaa yllä olevaa yhdistetyn varianssin kaavaa (alfa 0,05 kaksisuuntainen, voima 0,8) lähtötasoihin 1 %:sta (esimerkiksi demopyynnöt osuutena kaikista vilkkaan sivun kävijöistä) 10 %:iin (esimerkiksi mikrokonversio, kuten CTA-klikkaus). Käytä omaa lähtötasoasi; nämä rivit ovat vain vertailukohtia. Arvot ovat kävijöitä per variantti, laskettu Node.js:llä ja pyöristetty ylöspäin.
| Lähtötason konversioaste | 10 %:n suhteellinen MDE | 20 %:n suhteellinen MDE | 30 %:n suhteellinen MDE | 50 %:n suhteellinen MDE |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
Siirtyminen 10 %:n MDE:stä 50 %:n MDE:hen pienentää tarvittavaa otosta noin 20-kertaisesti. Lähtötason konversioasteen kaksinkertaistuminen puolittaa sen suunnilleen. Liikennettä et voi muuttaa nopeasti, mutta voit valita testattavan muutoksen koon ja mitattavan konversion, ja pienellä sivustolla ne ovat ne kaksi vipua, joilla on merkitystä.
Kuinka kauan testi kestää?
Kesto on tarvittavien kävijöiden kokonaismäärä (molemmat variantit) jaettuna niillä kuukausittaisilla kävijöillä, jotka todella päätyvät testattavalle sivulle. Taulukko näyttää kuukaudet 50/50-jaolla kolmella liikennetasolla.
| Sivun kuukausittaiset kävijät | Lähtötaso | 10 %:n MDE | 20 %:n MDE | 30 %:n MDE | 50 %:n MDE |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
Taulukosta riippumatta aja jokaista testiä vähintään kaksi täyttä viikkoa, jotta arkipäivien ja viikonloppujen käyttäytyminen sekä kampanjapiikit näkyvät molemmissa ryhmissä. Ja pidä kaikkea yli kolmen kuukauden testiä sellaisena, jota ei kannata ajaa nykyisessä muodossaan: sivun sisältö, kampanjat ja liikenteen rakenne ajautuvat tuona aikana, ja tulos kuvaa sivustoa, jota ei enää ole.
Kun kävijöitä on 5 000 kuukaudessa ja lähtötaso on 3 %, 50 %:n parannus on luettavissa noin kuukaudessa, mutta 10 %:n parannus vie lähes kaksi vuotta. Kukaan ei pidä sivua muuttumattomana kahta vuotta, joten jälkimmäinen testi lopetetaan ennenaikaisesti ja sitä tulkitaan kuin se merkitsisi jotain.
Missä useimmat tiimit menevät vikaan
- Koko sivuston liikenteen käyttäminen keston arvioinnissa. Vain testattavaan elementtiin asti pääsevät kävijät lasketaan. 20 000 kävijän sivustolla hinnoittelusivun testi voi saada vain 2 000 kelpoista kävijää kuukaudessa.
- MDE:n valitseminen testin jälkeen. Jos asetit MDE:n 30 %:iin ennen käynnistystä ja testi näyttää 12 %, sinulla ei ole 12 %:n voittajaa. Sinulla on ratkaisematon testi.
- Kurkkiminen ja lopettaminen ensimmäiseen vihreään merkkiin. Evan Millerin analyysi How Not To Run an A/B Test osoittaa, että toistuva merkitsevyystestaus lisää aina väärien positiivisten osuutta. Hänen esimerkissään (50 %:n lähtötaso, muutos joka ei vaikuta mitenkään, lopetus heti kun tulos saavuttaa 5 %:n merkitsevyyden tai 150 havainnon jälkeen) väärien positiivisten osuus on 26,1 % nimellisen 5 %:n sijaan.
Kun luvut sanovat kuukausia: seitsemän vaihtoehtoa
1. Testaa suurempia muutoksia
Halvin tapa pienentää otoskokoa on nostaa MDE:tä rehellisesti, mikä tarkoittaa niin suurten muutosten testaamista, että ne voivat uskottavasti tuottaa sen: uusi arvolupaus, erilainen tarjous (välitön ajanvaraus vs. yhteydenottolomake), yhdelle toimialalle räätälöity sivu yleisen sijaan. B2B-konversio-optimoinnin oppaamme kertoo, miten testi-ideat järjestetään odotetun vaikutuksen koon mukaan.
2. Testaa suuremman liikenteen sivuilla
Etusivu, suosituimmat blogikirjoitukset ja suuren volyymin laskeutumissivut antavat enemmän kävijöitä kuukaudessa (katso muistiinpanomme B2B-laskeutumissivujen optimoinnista siitä, mitkä sivut yleensä keräävät eniten päätösvaiheen liikennettä). Testi monen sivun yhteisellä sivupohjalla (kaikki ratkaisusivut, kaikki blogikirjoitukset) yhdistää niiden liikenteen yhdeksi kokeiluksi.
3. Käytä mikrokonversioita harkiten
Mikrokonversioilla, kuten CTA-klikkauksilla tai lomakkeen aloituksilla, on korkeampi lähtötaso, joten taulukon 10 %:n rivi pätee 2 %:n rivin sijaan. Ansa: variantti voi lisätä klikkauksia ja vähentää kvalifioituja demoja. Käytä mikrokonversiota päätösmittarina vain, kun sinulla on näyttöä siitä, että se liikkuu makrotavoitteen mukana, ja raportoi aina makrokonversio sen rinnalla suojamittarina.
4. Yhdistä segmentit ja jaa ne myöhemmin
Erillisten testien ajaminen segmenteittäin jakaa liikenteesi. Aja yksi testi segmenttien yli ja tarkastele segmenttitason tuloksia vain suuntaa antavina. Jos tarvitset segmenttikohtaisen vastauksen, testi on mitoitettava pelkästään sen segmentin liikenteelle. 90 päivän personoinnin testauksen tiekartta näyttää, miten segmenttitestit ajoitetaan niin, että kukin saa tarpeeksi liikennettä.
5. Käytä sekventiaalista testausta
Sekventiaaliset asetelmat (ryhmäsekventiaaliset testit ennalta suunnitelluilla välitarkasteluilla tai joihinkin testityökaluihin rakennetut aina pätevät menetelmät) antavat sinun tarkistaa tuloksia testin aikana ja lopettaa aikaisin, kun vaikutus on suuri, kasvattamatta väärien positiivisten määrää. Hintana on hieman suurempi enimmäisotos, jos testi ajetaan loppuun. Tämä on kurkistelun hyväksyttävä muoto. Jos testi kestäisi kuukausia, käytä budjetti ensin diagnostisiin CRO-työkaluihin, kuten istuntotallenteisiin ja lomakeanalytiikkaan.
6. Harkitse bayesilaista lähestymistapaa selkein odotuksin
Bayesilainen A/B-testaus raportoi todennäköisyyden sille, että B voittaa A:n, sekä odotetun menetyksen, jos valitset väärin. Sen perusteella on helpompi toimia kuin p-arvon, ja se antaa tehdä eksplisiittisiä päätöksiä, kuten ”julkaise, jos todennäköisyys olla parempi on yli 90 % ja odotettu menetys alle 0,1 prosenttiyksikköä.” Peruttavissa olevissa muutoksissa riskin hyväksyminen on usein järkevää.
Bayesiläiset menetelmät eivät kuitenkaan luo tietoa. Heikoilla priorijakaumilla 20 %:n nousun varmistamiseen tarvittava datamäärä on suunnilleen sama kuin frekventistisessä taulukossa. 90 %:n ”todennäköisyys voittaa” pienellä otoksella on edelleen hauras, ja sen tarkistaminen päivittäin pysäytyssäännön kanssa nostaa käytännössä edelleen virheastetta. Bayesiläinen testaus muuttaa sitä, miten epävarmuus ilmaistaan ja päätökset tehdään. Se ei pienennä epävarmuutta.
7. Älä kurki tuloksia, tai suunnittele kurkistuksesi
Lyö otoskoko lukkoon ennen käynnistystä, kirjaa se testibriefiin äläkä ratkaise testiä ennen kuin se on saavutettu. Jos sidosryhmät tarvitsevat väliraportteja, käytä alusta asti sekventiaalista asetelmaa satunnaisten tarkistusten sijaan. Kokeilusuunnitelman pohjassamme on kenttä jokaiselle näistä päätöksistä.
Tarkistuslista ennen julkaisua
- Hae lähtötaso ja kuukausittaiset kelpoiset kävijät juuri kyseiselle sivulle ja konversiolle (viimeiset 4–8 viikkoa).
- Valitse MDE muutoksen koon perusteella ja kirjaa se ylös.
- Laske n per versio kaavalla tai yllä olevalla taulukolla ja sitten kesto.
- Jos kesto ylittää noin kolme kuukautta, suunnittele testi uudelleen (suurempi muutos, enemmän liikennettä saava sivu tai korkeamman lähtötason mittari suojamittarin kanssa).
- Aseta lopetussääntö: kiinteä otos tai sekventiaalinen suunnitelma etukäteen sovituilla tarkastelukerroilla.
B2B-tiimeille suurimmat vaikutukset tulevat yleensä siitä, että eri kävijöille näytetään eri sisältöä, eikä yhden sivun hiomisesta kaikille, koska yhdelle segmentille kirjoitettu viesti on suurempi muutos kuin uusi painikkeen väri. Jos punnitset yksinkertaisen jakotestin ja useamman variantin tai tekijän testin välillä, lue vertailumme A/B-testaus vs. monimuuttujatestaus, joka soveltaa samaa otoskokolaskentaa A/B/n- ja monimuuttuja-asetelmiin.
Kun olet valmis testaamaan segmenttikohtaisia kokemuksia, Markettailorin A/B-testaus personoiduille sivuille antaa sinun verrata jokaista segmenttiä kontrolliryhmään ja seurata tulosta segmenteittäin, jotta saat juuri suunnittelemasi otoskoon.
Usein kysytyt kysymykset
Mikä on A/B-testin otoskoon kaava?
Kahdelle konversioasteelle n per versio = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)², missä p1 on lähtötaso, p2 tavoiteaste ja p̄ niiden keskiarvo. Tämä olettaa 95 %:n luottamustason (kaksisuuntainen) ja 80 %:n voiman.
Montako kävijää tarvitsen A/B-testiin, kun konversioaste on 2 %?
Noin 21 100 kävijää per variantti 20 %:n suhteellisen nousun havaitsemiseen, noin 9 800 30 %:n nousuun ja noin 3 800 50 %:n nousuun 95 %:n luottamustasolla ja 80 %:n voimalla. Kaksinkertaista nämä saadaksesi testin kokonaisliikenteen.
Tarvitseeko bayesiläinen A/B-testaus pienemmän otoskoon?
Ei merkittävästi, ellei sinulla ole vahvaa, perusteltua priori-oletusta. Bayesilainen testaus antaa intuitiivisempia tuloksia (todennäköisyys voittaa kontrolli, odotettu tappio) ja tukee riskipohjaisia päätöksiä, mutta tietyn parannuksen varmistamiseen tarvittava datamäärä on samaa luokkaa kuin frekventistisessä laskennassa.
Mitä pienintä havaittavaa vaikutusta (MDE) B2B-sivuston pitäisi käyttää?
Valitse MDE liikenteesi, älä toiveajattelun perusteella. Laske, mikä on havaittavissa kuudessa–kahdeksassa viikossa sivusi liikenteellä, ja testaa sitten vain muutoksia, jotka ovat riittävän suuria tuottaakseen uskottavasti tällaisen noston. Yllä olevassa kestotaulukossa sivu, jolla on 5 000 kävijää kuukaudessa ja 3 %:n lähtötaso, pystyy havaitsemaan vain noin 30 %:n tai suurempia nostoja kolmessa kuukaudessa.
Voinko lopettaa A/B-testin aikaisin, jos se on jo merkitsevä?
Ei tavallisessa kiinteän otoskoon testissä, koska toistuva tarkistaminen lisää vääriä positiivisia. Jos tarvitset mahdollisuuden lopettaa aikaisin, käytä sekventiaalista testiasetelmaa, jonka väliarvioinnit suunnitellaan ennen käynnistystä.