A/B-testimise ja mitmemõõtmelise testimise erinevus seisneb selles, mida kumbki võrdleb. A/B-test võrdleb lehe kahte versiooni. A/B/n-test võrdleb kolme või enamat terviklikku versiooni. Mitmemõõtmeline test (MVT) muudab korraga mitut elementi, näiteks pealkirja, päisepilti ja CTA-d, ning testib iga kombinatsiooni (mõnikord nimetatakse seda mitmemõõtmeliseks A/B-testimiseks), et teada saada, millised elemendid ja milline kombinatsioon konversioone tõstavad.
B2B veebisaitidel teeb valiku tavaliselt liiklus teie eest. Iga lisavariant või kombinatsioon jagab teie külastajaid veelgi ning vajalik valim kasvab kiiremini, kui intuitsioon arvab. Allpool on neli testitüüpi, mida B2B tiimid tegelikult käitavad (A/B, A/B/n, mitmemõõtmeline ja segmendipõhine personaliseerimistest), mida igaüks ühe arvutusnäite puhul liikluses maksab, otsustustabel ja näited testidest, mis igale tüübile sobivad.
Neli testitüüpi lühidalt
| Testi tüüp | Mida see võrdleb | Küsimus, millele see vastab | Liikluse kulu |
|---|---|---|---|
| A/B | Kontrollversioon vs üks variant | Kas see versioon on parem kui see, mis meil on? | Madalaim |
| A/B/n | Kontrollversioon vs 2+ täielikku varianti | Milline neist erinevatest lähenemistest on parim? | Kasvab iga haruga, lisaks karistus mitmeste võrdluste eest |
| Mitmemõõtmeline (MVT) | Mitme elemendi kõik kombinatsioonid | Millised elemendid on olulised ja kas need mõjutavad üksteist? | Kõrgeim, eriti koosmõjude puhul |
| Segmendile sihitud (personaliseerimise) test | Personaliseeritud kogemus vs kontrollgrupp ühe segmendi sees | Kas selle lehe kohandamine sellele segmendile töötab? | Sõltub segmendi liiklusest ja kontrollrühma suurusest |
Liiklusmatemaatika A/B-testimise ja mitmemõõtmelise testimise taga
Kõik allolevad numbrid kasutavad standardset kahe proportsiooni valimi suuruse valemit (ühendatud dispersioon) 95% usaldusnivool, kahepoolselt ja 80% võimsusega, arvutatuna Node.js-is. Meetod ja täielikud tabelid on meie postituses A/B-testi valimi suurusest. Samu numbreid saate oma lehe jaoks arvutada meie A/B-testi valimi suuruse kalkulaatoriga, mis rakendab A/B/n-testide puhul Bonferroni korrektsiooni.
Näide (illustreerivad numbrid): demolehe konversioonimäär on 3% ja soovite tuvastada 20% suhtelise tõusu (3,0%-lt 3,6%-le). Lihtne A/B-test vajab 13 914 külastajat variandi kohta ehk kokku 27 828.
A/B/n: rohkem harusid, rangemad lävendid
Kolme väljakutsuja ja ühe kontrollgrupi puhul teete kolm võrdlust ja vähemalt ühe vale võitja tõenäosus kasvab. Lihtsaim korrektsioon (Bonferroni) jagab alfa võrdluste arvuga, nii et iga võrdlust testitakse tasemel 0,05 / 3 = 0,0167. See tõstab valimit haru kohta 13 914-lt 18 559-le ja kogumahtu nelja haru peale 27 828-lt 74 236-le, mis on umbes 2,7 korda A/B-testi liiklus.
Mitmemõõtmeline test: kombinatsioonid korrutuvad
Nüüd testige kolme elementi, millest igaühel on kaks versiooni (pealkiri A või B, pilt A või B, CTA A või B). Täisfaktoriaalsel disainil on 2 × 2 × 2 = 8 lahtrit. Kui soovite võrrelda iga kombinatsiooni kontrollgrupiga, nagu enamik MVT aruandeid kaudselt teeb, vajab iga lahter täisvalimit: 8 × 13 914 = 111 312 külastajat ilma korrektsioonita või 8 × 22 112 = 176 896 külastajat Bonferroni korrektsiooniga seitsme võrdluse jaoks.
See on halvim stsenaarium. Faktoriaalne disain on peaefektide jaoks tegelikult tõhus. Pealkirja mõju hindamiseks võrdlete nelja lahtrit pealkirjaga A nelja lahtriga pealkirjaga B, mis kasutab kogu teie liiklust. Kui elemendid omavahel ei mõjuta, räägivad 27 828 külastajat teile kõigist kolmest elemendist korraga. Sel juhul olete sisuliselt käitanud kolm A/B-testi paralleelselt. Kasulik, kuid see pole põhjus, miks enamik meeskondi MVT valib.
Meeskonnad kasutavad mitmemõõtmelist testimist (MVT) tavaliselt koostoimete leidmiseks („see pealkiri toimib ainult selle pildiga“) ja ühe parima kombinatsiooni tuvastamiseks. Koostoimed on kallid. Andrew Gelmani laialt tsiteeritud märkus You need 16 times the sample size to estimate an interaction than to estimate a main effect näitab, miks: koostoime hinnangu standardviga on kaks korda suurem kui peaefektil ja kui koostoime on poole väiksem kui peaefekt (tema eeldus), on sama võimsuse jaoks vaja 16 korda suuremat valimit. Meie näitele rakendatuna on see umbes 445 000 külastajat.
Mida see kuudes tähendab
| Disain (3% lähtetase, 20% MDE) | Külastajaid kokku | Kuud 5000 külastaja korral kuus | Kuud 20 000 külastaja kuus juures |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n 4 haruga (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, iga lahter vs kontroll (korrigeerimata) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, iga lahter vs kontroll (Bonferroni) | 176,896 | 35.4 | 8.8 |
| MVT interaktsioon, poole suurusega (16x reegel) | 445,248 | 89.0 | 22.3 |
Lehel, millel on kuus 20 000 külastajat, võtab 2×2×2 MVT, mis loeb iga kombinatsiooni, korrektsiooniga suurema osa aastast. 5000 külastaja puhul võtab see aastaid. Meie seisukoht: mitmemõõtmeline testimine on B2B veebisaitidel harva praktiline ja väide nagu „tegime MVT ja kombinatsioon 6 võitis“ paari tuhande külastajaga kuus väärib enne selle põhjal tegutsemist valimi põhjalikku kontrolli.
Milles enamik tiime eksib
Tavaline viga on valida testi tüüp ambitsiooni, mitte küsimuse järgi. Meeskonnad valivad MVT, sest neil on palju ideid, mitte seetõttu, et neil oleks vaja teada, kas ideed mõjutavad üksteist. Nad valivad viie variandiga A/B/n-testi, sest keegi ei suutnud ühes kokku leppida. Mõlemad valikud jagavad piiratud liikluse lugemiseks liiga õhukesteks viiludeks.
Teine on elementide testimine, kui tegelik küsimus puudutab vaatajaskondi. B2B veebilehel sõltub konverteerimine sageli rohkem sellest, kes vaatab, kui sellest, milline pealkiri on näidatud. Tootmisvaldkonna ostja ja SaaS-i asutaja tahavad erinevaid tõenduspunkte. Pealkirja A vs B testimine kõigi jaoks keskmistab need vaatajaskonnad ja võib peita variandi, mis võidab ühes segmendis tugevalt ja kaotab teises. See on argument segmendile sihitud personaliseerimistestide kasuks.
Otsustustabel: millist testi teha
| Olukord | Lehe külastajad kuus | Muudetud elemendid | Soovitatav test |
|---|---|---|---|
| Üks selge hüpotees, suur muudatus | Mis tahes, sealhulgas alla 5000 | Üks kontseptsioon (võib puudutada mitut elementi) | A/B |
| Kaks või kolm tõeliselt erinevat lähenemist | 15,000+ | Terve lehe kontseptsioonid | A/B/n kuni 3 haruga |
| Peate teadma, kas elemendid mõjutavad üksteist | 100,000+ | 2–3 elementi, igaühest 2 versiooni | Mitmemuutujaline (täisfaktoriaalne) |
| Erinevad sihtrühmad soovivad tõenäoliselt erinevaid asju | Piisavalt liiklust segmendi sees | Segmendile kohandatud sisu | Segmendile sihitud test vs kontrollrühm |
| Ühegi ülaltoodu jaoks pole piisavalt liiklust | Alla 2000 | Mis tahes | Kvalitatiivne uuring, seejärel A/B-test suurema muudatusega |
Liikluse künnised on ligikaudsed suunised 3% baastaseme korral. Enne otsustamist arvutage valimi suuruse valemiga oma näitajad.
Head testinäited iga tüübi kohta
A/B-testid
- Demovorm vs kohene kalendribroneering demolehel.
- Funktsioonipõhine päis vs tulemuspõhine päis avalehel.
- Hinnaleht „räägi müügiga“ tasemega vs avaldatud hinnad iga taseme kohta.
Mitme elemendi koondamine üheks kontseptsiooniks on A/B-testis igati sobiv. Saate teada, kas kontseptsioon võidab, mitte seda, milline element selle tegi, ja see on tavaliselt otsus, mida teil tegelikult vaja on teha. Meie B2B konversioonimäära optimeerimise juhend käsitleb, kuidas neid ideid prioriseerida.
A/B/n-testid
- Kolm väärtuspakkumist suure liiklusega tasulisel maandumislehel: kiirus, kulude kokkuhoid, riskide vähendamine.
- Kolm CTA-pakkumist: demo, ROI-hindamine, tootetuur. Kuidas pakkumise tüüp etapiti muutub, vaadake meie juhendist andmepõhiste personaliseeritud CTA-de kohta.
Piirake A/B/n testid kolme haruga (kontroll pluss kaks), kui liiklus pole ebatavaliselt suur, ja tehke iga haru sisuliselt erinevaks, et efektid oleksid eristamiseks piisavalt suured.
Mitmemõõtmelised testid
- Pealkiri (2 versiooni) × sotsiaalse tõestuse tüüp (logod vs tsitaat juhtumiuuringust) väga suure liiklusega avalehel, kui teil on konkreetne põhjus eeldada, et need kaks mõjutavad teineteist.
Kui te ei oska nimetada oodatavat koosmõju, ei vaja te tõenäoliselt MVT-d.
Segmendipõhised personaliseerimise testid
- Valdkonnapõhine avalehe päis finantsteenuste ettevõtete külastajatele vs vaikimisi päis.
- Suurettevõttekeskne tõestus (turvalisus, mastaap) hinnalehel üle 1000 töötajaga ettevõtetele vs standardleht.
- Sihtkonto tervitus ja juhtumiuuring ABM-kontodele vs üldine leht.
Kuidas testida personaliseerimist kontrollgrupi vastu
Personaliseerimistest on A/B-test, mis käib ainult segmendi sees. Kontrolliks on selle segmendi kontrollrühm, kes näeb vaikimisi lehte. Ilma kontrollrühmata ei saa te eristada personaliseerimise mõju sellest, et segment võib lihtsalt teisiti konverteeruda.
- Määratlege segment täpselt, näiteks „külastajad, kes on tuvastatud kui finantsteenuste ettevõtted 200+ töötajaga“. Ainult need külastajad sisenevad testi.
- Mõõtke testitavate lehtede segmendi liiklust kuus. See, mitte saidi koguliiklus, määrab teie kestuse.
- Valige kontrollrühma suurus. 50/50 jaotust on kõige kiirem lugeda. Väiksemad kontrollrühmad hoiavad rohkem külastajaid vaikimisi kogemusest eemal, kuid võtavad rohkem aega.
- Valige konversioon, mida segment tegelikult teeb, mõõdetuna külastuse või ettevõtte külastuste lõikes, ja hoidke müügitoru kaitsemõõdikuna.
- Fikseerige valimi suurus ja kestus enne käivitamist ning lugege tulemust ainult selle segmendi kohta.
Näide (näitlikud numbrid): segment toob kuus 3000 külastajat, konverteerib 3% juures ja te soovite tuvastada 30% suhtelist kasvu. Arvutatud valemi ebavõrdse jaotusega (unpooled) versiooniga, sama 95% usaldusnivoo ja 80% võimsusega:
| Kontrollgrupi osakaal | Vajalik külastajate koguarv | Kuud 3000/kuus juures |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
10% kontrollrühma tulemuse lugemine võtab umbes 2,5 korda kauem aega kui jaotus 50/50. Meie soovitus: viige iga segmendi esimene test läbi jaotusega 50/50, et saada selge vastus, ja hoidke seejärel pärast laiendamist väikest püsivat kontrollrühma (10–20%), et jälgida, kas mõju aja jooksul püsib. Personaliseerimise testimise tegevuskava näitab, kuidas neid teste segmentide vahel järjestada. Alustage segmendist, millel on kõige rohkem liiklust ja kõige selgem sõnumilõhe, sest see annab tulemuse kõige kiiremini. Jätke segmenditestid täiesti vahele, kui segment toob kuus vaid mõnisada külastajat; sellise mahu juures ei anna isegi 50/50 jaotus aasta jooksul loetavat vastust.
Nende kontrollgrupi testide käitamiseks tuleb segment tuvastada enne lehe renderdamist ja jagada ainult see segment. Markettailori A/B-testimine teeb seda segmendi kaupa, kasutades ettevõttetasandi segmenteerimist, et otsustada, kes igasse testi siseneb, nii et fintech-test näeb ainult fintech-külastajaid.
Korduma kippuvad küsimused
Mis vahe on A/B-testimisel ja mitmemõõtmelisel testimisel?
A/B-testimine võrdleb lehe kahte täielikku versiooni. Mitmemõõtmeline testimine muudab korraga mitut elementi ja testib kõiki kombinatsioone, nii et see võib näidata, millised elemendid on olulised ja kas need mõjutavad üksteist, kuid nõuab palju rohkem liiklust.
Mis on A/B/n-testimine?
A/B/n-testimine võrdleb kontrollversiooni korraga kahe või enama tervikliku variandiga. See on kasulik, kui teil on mõni tõeliselt erinev lähenemine, kuid iga lisaharu vajab oma valimit ja rangemat olulisuse läve.
Kui palju liiklust on mitmemuutujaliseks testimiseks vaja?
2×2×2 testi puhul lehel, mis konverteerib 3%, nõuab iga 8 kombinatsiooni lugemine kontrolli vastu 20% tõusu jaoks ligikaudu 111 000 kuni 177 000 külastajat, olenevalt mitmese võrdluse korrektsioonist. Interaktsioonide tuvastamine võib nõuda mitu korda rohkem.
Kas mitmemõõtmeline testimine on B2B veebisaitidel seda väärt?
Harva. Enamikul B2B-lehtedel pole piisavalt liiklust, et kombinatsioone või koosmõjusid mõne kuu jooksul hinnata. Suuremate kontseptsioonide A/B-testid ja segmendipõhised personaliseerimise testid annavad tavaliselt selgemad vastused kiiremini.
Kas A/B- ja mitmemõõtmelist testimist saab kombineerida?
Jah. Levinud järjestus on testida kõigepealt A/B-testiga kontseptsioone ja seejärel, ainult väga suure liiklusega lehtedel, viia läbi väike faktoriaalne test kahe elemendiga võitnud kontseptsiooni sees, kui teil on konkreetne koosmõju, mida kontrollida.