Kuidas kalkulaator töötab
Valimi suuruse vahekaart kasutab kahe konversioonimäära võrdlemiseks standardvalemit kahepoolse kahe proportsiooni z-testiga:
n variandi kohta = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 on teie baaskonversioonimäär täpselt selle lehe ja eesmärgi jaoks, mida testite.
- p2 on baasmäär korrutatuna (1 + minimaalne tuvastatav mõju).
- p̄ on p1 ja p2 keskmine.
- zα/2 on 95% usaldusnivoo juures 1,96 ja zβ on 80% võimsuse juures 0,84.
Rohkem kui ühe variandi puhul jagab kalkulaator alfa võrdluste arvuga kontrolli suhtes (Bonferroni korrektsioon), mis hoiab üldise valepositiivsete määra teie valitud usaldusnivool. Meie juhend A/B-testi valimi suurusest käib valemi samm-sammult läbi koos tabelitega levinud B2B konversioonimäärade jaoks.
Arvutatud näide
Illustratiivsed arvud: demotellimuse leht konverteerib 3% ja saab 2000 külastajat nädalas. Soovite teada, kas uus pealkiri tõstab konversiooni vähemalt 20%, seega p2 on 3,6%. Kalkulaator annab umbes 13 900 külastajat variandi kohta, kokku 27 800, mis on 14 nädala liiklus. See on paljude B2B lehtede puhul aus vastus ja seepärast märgistab tööriist iga testi, mis kestab kauem kui kvartal.
Kolm võimalust kestust lühendada: testige julgemat muudatust ja tõstke minimaalne tuvastatav mõju 30%-ni või rohkem, mõõtke sagedasemat sündmust, näiteks klikke demolehele, või tehke test suurema liiklusega lehel. Kui valite A/B-testi ja mitme elemendi korraga testimise vahel, lugege kõigepealt artiklit A/B-testimine vs mitmemõõtmeline testimine, sest mitmemõõtmelised testid vajavad palju rohkem liiklust.
Olulisuse tulemuse lugemine
Olulisuse vahekaart võrdleb kahte lõpetatud haru. Oletame, et kontrollrühmas oli 5000 külastajat ja 150 konversiooni (3,0%) ning variandis 5000 külastajat ja 190 konversiooni (3,8%). Suhteline tõus on 26,7%, p-väärtus on umbes 0,027 ja erinevuse 95% usaldusvahemik ulatub umbes 0,1 kuni 1,5 protsendipunktini. Tulemus on oluline, kuid vahemik on lai: tegelik tõus võib olla väike. Käsitlege mõõdetud tõusu pigem ülemise poole hinnanguna, eriti kui test peatati enneaegselt.
Mida väikese liiklusega B2B veebilehel esimesena testida, vaadake meie konversioonimäära optimeerimise juhendi testimise jaotisest. Kui testite üksikute lehemuudatuste asemel personaliseeritud kogemusi, käitab Markettailori A/B-testimine kontrollrühmi külastajasegmentide kaupa.
Korduma kippuvad küsimused
Kui palju külastajaid on A/B-testiks vaja?
See sõltub teie lähtekonversioonimäärast ja väikseimast tõusust, mida soovite tuvastada. 3% lähtemäära korral on 20% suhtelise tõusu tuvastamiseks 95% usaldusnivoo ja 80% võimsuse juures vaja umbes 13 900 külastajat variandi kohta. Kui tuvastatav tõus poole väiksemaks võtta, kasvab valim ligikaudu neli korda.
Kuidas arvutatakse A/B-testi statistiline olulisus?
See kalkulaator kasutab kahepoolset kahe proportsiooni z-testi. See ühendab mõlemad harud, et hinnata müra, mida võiks oodata, kui tegelikku erinevust pole, jagab konversioonimäärade täheldatud erinevuse selle standardveaga ja teisendab saadud z-skoori p-väärtuseks. P-väärtus alla 0,05 on 95% usaldusnivool statistiliselt oluline.
Kui kaua peaks A/B-test kestma?
Kuni see jõuab enne käivitamist arvutatud valimi suuruseni, ja vähemalt üks terve nädal, et kaetud oleks nii argipäevade kui ka nädalavahetuse käitumine. Ülaltoodud kestuse hinnang jagab koguvalimi teie testitava lehe iganädalase liiklusega.
Kas võin A/B-testi peatada kohe, kui see on oluline?
Ei. Tulemuste korduv kontrollimine ja peatumine esimese olulise näidu juures tõstab valepositiivsete tulemuste määra tunduvalt üle 5%. Otsustage valimi suurus ette ja lugege tulemus, kui see on saavutatud, või kasutage pidevaks jälgimiseks loodud meetodit, näiteks järjestikust testi.
Mis siis, kui minu B2B veebilehel pole A/B-testimiseks piisavalt liiklust?
Testige suuremaid muudatusi, valige sagedamini toimuv konversioonisündmus (näiteks klikid demolehele, mitte broneeritud demod), testige oma suurima liiklusega mallil või leppige pikema testiga. Kui test kestaks üle kvartali, kasutage selle asemel kvalitatiivset uurimist ja kontrollrühma võrdlusi.