A/B-testi valimi suuruse valem ütleb, mitut külastajat iga variant vajab, enne kui konversioonimäära erinevus midagi tähendab. Standardse kahepoolse testi puhul 95% usaldusnivoo ja 80% võimsuse juures vajate ligikaudu n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² külastajat variandi kohta, kus p1 on teie lähtemäär ja p2 määr, mida loodate tuvastada.
Rakendage seda valemit päris B2B numbritele ja tulemus on ebamugav. Leht, mis konverteerub 3%, vajab 20% suhtelise tõusu usaldusväärseks tuvastamiseks umbes 14 000 külastajat variandi kohta. Paljud B2B lehed ei näe kvartali jooksul nii palju külastajaid. Allpool: valem sisend-sisendi haaval, arvutatud tabelid eri lähtemäärade jaoks, kui kaua test antud liiklustaseme juures kestab ja mida teha, kui vastus on „kaheksa kuud“.
Meie seisukoht: enamikul B2B A/B-testidel on liiga väike statistiline võimsus
Kõigepealt arvamus, mida matemaatika toetab. Meie hinnangul lõpetatakse enamik B2B A/B-teste ammu enne, kui neil on piisavalt andmeid, ja paljud nende toodetud „võitjad“ on müra. Muster näeb välja selline: kolmenädalane test, variant 25% ees, roheline märk, muudatus avaldatakse ja kuus kuud hiljem pole müügitorus mingit nähtavat tõusu.
Ebapiisava võimsusega testid jätavad tegelikud mõjud märkamata, mis raiskab testikohta. Veelgi hullem: kui ebapiisava võimsusega test siiski olulisuse piiri ületab, on mõõdetud tõus tavaliselt ülehinnatud, sest latist pääsevad üle ainult õnnelikud juhused. Statistikud nimetavad seda suurusjärgu (tüüp M) veaks. Meeskond võtab kasutusele muudatuse, mis ei pruugi midagi teha, ja kannab oma CRO-aruandlusse ka paisutatud numbri. Valimi suuruse väljaarvutamine enne käivitamist on kõige odavam kaitse.
A/B-testi valimi suuruse valem
Kahe konversioonimäära võrdlemise standardvalem (kahe proportsiooni z-test) on:
n variandi kohta = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
Igal sisendil on lihtsas keeles tähendus:
- p1 (lähtekonversioonimäär): testitava lehe ja eesmärgi praegune konversioonimäär. Kasutage täpse konversioonisündmuse ja täpse lehe määra viimase 4–8 nädala kohta, mitte kogu saidi keskmist.
- p2 (sihtmäär): lähtetase korrutatud (1 + MDE)-ga. 3% lähtetaseme ja 20% suhtelise MDE korral on p2 = 3,6%.
- MDE (minimaalne tuvastatav efekt): väikseim suhteline tõus, mille tuvastamisest hoolite. See on äriotsus, mitte statistiline. Väiksemad MDE-d vajavad dramaatiliselt rohkem liiklust, sest vahe (p2 − p1) on nimetajas ruudus. Poolitage MDE ja valim kasvab ligikaudu neli korda.
- p̄ (ühendatud määr): p1 ja p2 keskmine. See kirjeldab müra eeldusel, et tegelikku erinevust ei ole.
- zα/2 = 1,96: vastab 5% valepositiivsete määrale (alfa 0,05), jagatuna mõlemale sabale, sest variant võib olla parem või halvem.
- zβ = 0,8416: vastab 80% võimsusele, mis tähendab, et kui tegelik tõus võrdub teie MDE-ga, tuvastab test selle 80% juhtudest. Ülejäänud 20% juhtudest jääb päris võitja märkamata.
Paljud kalkulaatorid kasutavad esimeses lõigus näidatud lihtsustatud unpooled-versiooni. B2B konversioonimäärade juures erinevad need kaks vaid käputäie külastajate võrra. Meie A/B-testi kalkulaator kasutab ülaltoodud pooled-valemit ja hindab ka testi kestust.
Lahendatud näide samm-sammult
Näide (illustreerivad numbrid): demopäringu lehe konversioonimäär on 3%. Soovite tuvastada 20% suhtelise tõusu.
- Määrake määrad: p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. Absoluutne erinevus on 0,006.
- Koondmäär: p̄ = (0,030 + 0,036) / 2 = 0,033.
- Esimene liige: √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. Korrutage 1,96-ga: 0,4951.
- Teine liige: p1(1−p1) = 0,0291 ja p2(1−p2) = 0,0347. √(0,0638) = 0,2526. Korrutage 0,8416-ga: 0,2126.
- Liitke ja tõstke ruutu: (0,4951 + 0,2126)² = 0,7077² = 0,5009.
- Jagage erinevuse ruuduga: 0,5009 / 0,006² = 0,5009 / 0,000036 = 13 914 külastajat variandi kohta.
Seega vajab test kokku umbes 27 800 külastajat ja ainuüksi kontrollharus ligikaudu 417 konversiooni (13 914 × 3%), enne kui tulemust loete. Ristkontrolliks annab lihtsustatud mittekoondatud valem 13 911 varianti kohta ja arkussiinuse (Coheni h) lähendus umbes 13 890. Kolm meetodit erinevad teineteisest vähem kui 0,2%.
Valimi suuruse tabel B2B konversioonimäärade jaoks
Allolev tabel rakendab ülaltoodud ühendatud valemit (alfa 0,05 kahepoolne, võimsus 0,8) baasmääradele vahemikus 1% (näiteks demotaotlused kõigist külastajatest populaarsel lehel) kuni 10% (näiteks mikrokonversioon, nagu CTA klõps). Kasutage oma baasmäära; need read on vaid võrdluspunktid. Väärtused on külastajad variandi kohta, arvutatud Node.js-iga ja ümardatud üles.
| Baaskonversioonimäär | 10% suhteline MDE | 20% suhteline MDE | 30% suhteline MDE | 50% suhteline MDE |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
Üleminek 10% MDE-lt 50% MDE-le vähendab vajalikku valimit umbes 20 korda. Baasmäära kahekordistamine vähendab seda umbes poole võrra. Liiklust ei saa kiiresti muuta, kuid saate valida testitava muudatuse suuruse ja mõõdetava konversiooni, ning väikesel saidil on need kaks hooba, mis loevad.
Kui kaua test aega võtab?
Kestus on vajalike külastajate koguarv (mõlemad variandid) jagatud igakuiste külastajatega, kes testitavale lehele tegelikult jõuavad. Tabel näitab kuude arvu 50/50 jaotuse korral kolmel liiklustasemel.
| Lehe külastajad kuus | Lähtetase | 10% MDE | 20% MDE | 30% MDE | 50% MDE |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
Ükskõik mida tabel ütleb, käitage iga testi vähemalt kaks täisnädalat, et nii tööpäevade kui ka nädalavahetuste käitumine ja kõik kampaaniatipud oleksid esindatud mõlemas harus. Ning käsitlege kõike, mis kestab üle kolme kuu, testina, mida praegusel kujul tõenäoliselt käitada ei tasu: lehe sisu, kampaaniad ja liikluse koosseis triivivad selle aja jooksul ning tulemus kirjeldab saiti, mida enam ei eksisteeri.
5000 külastaja ja 3% baasmäära juures on 50% tõus loetav umbes kuuga, 10% tõus aga võtab peaaegu kaks aastat. Keegi ei hoia lehte kaks aastat muutmata, seega teine test peatatakse varakult ja seda tõlgendatakse nii, nagu see midagi tähendaks.
Milles enamik tiime eksib
- Kogu saidi liikluse kasutamine kestuse hindamisel. Arvesse lähevad ainult külastajad, kes jõuavad testitava elemendini. Hinnalehe test 20 000 külastajaga saidil võib kuus näha vaid 2000 sobivat külastajat.
- MDE valimine pärast testi. Kui määrasite enne käivitamist MDE-ks 30% ja test näitab 12%, ei ole teil 12% võitjat. Teil on ebaselge test.
- Tulemuste piilumine ja peatamine esimese rohelise märgi peale. Evan Milleri analüüs How Not To Run an A/B Test näitab, et korduv olulisuse testimine suurendab alati valepositiivsete tulemuste määra. Tema näites (50% baastase, muudatus, mis ei tee midagi, peatamine kohe, kui tulemus jõuab 5% olulisuseni, või pärast 150 vaatlust) on valepositiivsete määr nominaalse 5% asemel 26,1%.
Kui numbrid näitavad kuid: seitse võimalust
1. Testige suuremaid muudatusi
Odavaim viis valimi suurust vähendada on tõsta ausalt MDE-d, mis tähendab piisavalt suurte muudatuste testimist, et need võiksid selle tulemuse anda: uus väärtuspakkumine, teistsugune pakkumine (kohene broneerimine versus kontaktivorm), ühele valdkonnale kohandatud leht üldise asemel. Meie B2B konversioonimäära optimeerimise juhend käsitleb, kuidas testiideid oodatava mõju suuruse järgi järjestada.
2. Testige suurema liiklusega lehtedel
Avaleht, populaarseimad blogipostitused ja suure mahuga maandumislehed annavad teile kuus rohkem külastajaid (vaadake meie märkmeid B2B maandumislehe optimeerimise kohta, et teada saada, millised lehed kannavad tavaliselt kõige rohkem otsustusetapi liiklust). Test mallil, mida jagavad paljud lehed (kõik lahenduste lehed, kõik blogipostitused), koondab nende liikluse üheks eksperimendiks.
3. Kasutage mikrokonversioone ettevaatlikult
Mikrokonversioonidel, nagu CTA klikid või vormi alustamised, on kõrgem baastase, seega kehtib tabeli 10% rida, mitte 2% rida. Konks: variant võib klikke tõsta ja kvalifitseeritud demosid vähendada. Kasutage mikrokonversiooni otsustusmõõdikuna ainult siis, kui teil on tõendeid, et see liigub koos makroeesmärgiga, ja raporteerige alati selle kõrval kaitsemõõdikuna ka makrokonversiooni.
4. Koondage segmendid ja jagage hiljem
Iga segmendi jaoks eraldi testide läbiviimine jagab teie liikluse. Viige läbi üks test kõigis segmentides ja vaadake segmendi tasandi tulemusi ainult suunda näitavatena. Kui vajate segmendipõhist vastust, peab test olema dimensioneeritud ainult selle segmendi liikluse jaoks. 90-päevane personaliseerimise testimise tegevuskava näitab, kuidas segmenditeste järjestada nii, et igaüks saaks piisavalt liiklust.
5. Kasutage järjestikust testimist
Järjestikused disainid (grupiviisilised järjestikused testid eelnevalt planeeritud vahekontrollidega või mõnesse testimistööriista sisse ehitatud alati kehtivad meetodid) võimaldavad testi ajal tulemusi kontrollida ja suure mõju korral varem lõpetada, ilma et valepositiivsete arv kasvaks. Kompromiss on veidi suurem maksimaalne valim, kui test jookseb lõpuni. See on piilumise lubatud versioon. Kui test kestaks kuid, kulutage eelarve kõigepealt diagnostilistele CRO tööriistadele, nagu sessioonisalvestused ja vormianalüütika.
6. Kaaluge Bayesi lähenemist, selgete ootustega
Bayesi A/B-testimine raporteerib tõenäosuse, et B edestab A-d, ja oodatava kaotuse, kui valite vale variandi. Selle põhjal on lihtsam tegutseda kui p-väärtuse põhjal ning see võimaldab teha selgesõnalisi otsuseid nagu „avaldame, kui parem olemise tõenäosus on üle 90% ja oodatav kaotus alla 0,1 protsendipunkti“. Pöörduvate muudatuste puhul on selle riski aktsepteerimine sageli ratsionaalne.
Mida Bayesi meetodid ei tee, on teabe loomine. Nõrkade eeljaotuste korral on 20% tõusus kindel olemiseks vajalik andmehulk umbes sama mis sagedusliku statistika tabelis. 90% „tõenäosus võita“ pisikesel valimil on endiselt habras ja selle igapäevane kontrollimine peatamisreegliga tõstab praktikas ikkagi veamäära. Bayesi testimine muudab seda, kuidas te ebakindlust väljendate ja otsuseid teete. See ei vähenda ebakindlust.
7. Ärge piiluge või planeerige oma piilumised
Fikseerige valimi suurus enne käivitamist, kirjutage see testi lähteülesandesse ja ärge kuulutage testi välja enne, kui olete selleni jõudnud. Kui huvirühmad vajavad vahepealseid uuendusi, kasutage algusest peale järjestikust disaini, mitte juhuslikke kontrolle. Meie eksperimendiplaani mallis on igaühe jaoks neist otsustest oma väli.
Käivituseelne kontroll-loend
- Võtke täpse lehe ja konversiooni baasmäär ja igakuised sobivad külastajad (viimased 4–8 nädalat).
- Valige MDE muudatuse suuruse põhjal ja kirjutage see üles.
- Arvutage n variandi kohta valemi või ülaltoodud tabeli abil, seejärel kestus.
- Kui kestus ületab umbes kolm kuud, kujundage test ümber (suurem muudatus, suurema liiklusega leht või kaitsepiirdega kõrgema baasmääraga mõõdik).
- Määrake peatamisreegel: kindel valim või järjestikune plaan eelnevalt kavandatud vaheülevaatustega.
B2B meeskondade puhul tulevad suurimad mõjud tavaliselt erinevatele külastajatele erineva sisu näitamisest, mitte ühe lehe lihvimisest kõigi jaoks, sest ühele segmendile kirjutatud sõnum on suurem muudatus kui uus nupuvärv. Kui valite lihtsa jaotustesti ja mitme variandi või teguriga testi vahel, lugege meie võrdlust A/B-testimine vs mitmemõõtmeline testimine, mis rakendab sama valimi suuruse arvutust A/B/n ja mitmemõõtmelistele disainidele.
Kui olete valmis testima segmendipõhiseid kogemusi, laseb Markettailori A/B-testimine personaliseeritud lehtedele jagada iga segmendi kontrollrühmaga ja jälgida tulemust segmendi kaupa, nii et planeeritud valimi suurus on ka see, mille saate.
Korduma kippuvad küsimused
Milline on A/B-testi valimi suuruse valem?
Kahe konversioonimäära puhul on n variandi kohta = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)², kus p1 on lähtetase, p2 sihtmäär ja p̄ nende keskmine. See eeldab 95% usaldusnivood (kahepoolne) ja 80% võimsust.
Mitu külastajat on vaja A/B-testiks 2% konversioonimäära korral?
Umbes 21 100 külastajat variandi kohta 20% suhtelise tõusu tuvastamiseks, umbes 9800 30% tõusu ja umbes 3800 50% tõusu jaoks, 95% usaldusnivool ja 80% võimsusega. Testi koguliikluse jaoks korrutage need kahega.
Kas Bayesi A/B-testimine vajab väiksemat valimit?
Mitte märkimisväärselt, kui teil pole tugevat ja põhjendatud eelteadmist. Bayesi testimine annab intuitiivsemaid tulemusi (tõenäosus kontrollrühma edestada, oodatav kaotus) ja toetab riskipõhiseid otsuseid, kuid teatud kasvus kindel olemiseks vajalik andmemaht on sarnane sagedusliku arvutusega.
Millist minimaalset tuvastatavat efekti peaks B2B veebileht kasutama?
Valige MDE oma liikluse, mitte soovmõtlemise põhjal. Arvutage, mis on teie lehe liikluse juures kuue kuni kaheksa nädalaga tuvastatav, ja testige seejärel ainult muudatusi, mis on piisavalt suured, et sellist tõusu usutavalt tekitada. Ülaltoodud kestuse tabelis suudab 5000 kuise külastajaga ja 3% lähtetasemega leht kolme kuu jooksul tuvastada ainult umbes 30% või suuremaid tõuse.
Kas võin A/B-testi varem lõpetada, kui see on juba statistiliselt oluline?
Tavalise fikseeritud valimiga testi puhul mitte, sest korduv vaatamine suurendab valepositiivseid tulemusi. Kui vajate võimalust varem lõpetada, kasutage järjestikust testimise disaini koos enne käivitamist planeeritud vaheanalüüsidega.