A/B-testauksen ja monimuuttujatestauksen ero on siinä, mitä kumpikin vertaa. A/B-testi vertaa kahta sivun versiota. A/B/n-testi vertaa kolmea tai useampaa kokonaista versiota. Monimuuttujatesti (MVT) muuttaa useita elementtejä kerralla, kuten otsikkoa, hero-kuvaa ja CTA:ta, ja testaa jokaisen yhdistelmän (jota kutsutaan joskus monimuuttuja-A/B-testaukseksi) selvittääkseen, mitkä elementit ja mikä yhdistelmä tuottavat konversioita.
B2B-verkkosivustoilla liikenne tekee valinnan yleensä puolestasi. Jokainen lisäversio tai -yhdistelmä jakaa kävijöitäsi edelleen, ja vaadittu otos kasvaa nopeammin kuin intuitio antaa olettaa. Alla ovat neljä testityyppiä, joita B2B-tiimit oikeasti ajavat (A/B, A/B/n, monimuuttujatestit ja segmenttikohdistetut personointitestit), mitä kukin maksaa liikenteenä yhdessä laskuesimerkissä, päätöstaulukko ja esimerkkejä kuhunkin tyyppiin sopivista testeistä.
Neljä testityyppiä yhdellä silmäyksellä
| Testityyppi | Mitä se vertaa | Kysymys, johon se vastaa | Liikenteen hinta |
|---|---|---|---|
| A/B | Kontrolli vs. yksi versio | Onko tämä versio parempi kuin nykyinen? | Matalin |
| A/B/n | Kontrolliversio vs vähintään 2 kokonaista varianttia | Mikä näistä erillisistä lähestymistavoista on paras? | Kasvaa jokaisen haaran myötä, lisäksi monivertailun rangaistus |
| Monimuuttujatesti (MVT) | Kaikki useiden elementtien yhdistelmät | Mitkä elementit ovat merkityksellisiä, ja vaikuttavatko ne toisiinsa? | Suurin, erityisesti yhteisvaikutuksille |
| Segmenttiin kohdennettu (personointi)testi | Personoitu kokemus vs. vertailuryhmä yhden segmentin sisällä | Toimiiko tämän sivun räätälöinti tälle segmentille? | Riippuu segmentin liikenteestä ja vertailuryhmän koosta |
A/B-testauksen ja monimuuttujatestauksen liikennematematiikka
Kaikki alla olevat luvut käyttävät tavallista kahden osuuden otoskokokaavaa (yhdistetty varianssi) 95 %:n luottamustasolla, kaksisuuntaisena ja 80 %:n voimalla, laskettuna Node.js:llä. Menetelmä ja täydelliset taulukot löytyvät kirjoituksestamme A/B-testin otoskoosta. Voit laskea samat luvut omalle sivullesi A/B-testin otoskokolaskurillamme, joka soveltaa Bonferroni-korjausta A/B/n-testeihin.
Esimerkki (havainnollistavat luvut): demosivu konvertoi 3 %, ja haluat havaita 20 %:n suhteellisen nousun (3,0 %:sta 3,6 %:iin). Yksinkertainen A/B-testi tarvitsee 13 914 vierailijaa per variantti eli yhteensä 27 828.
A/B/n: enemmän haaroja, tiukemmat kynnysarvot
Kun kolme haastajaa kilpailee yhtä verrokkia vastaan, teet kolme vertailua, ja todennäköisyys vähintään yhteen väärään voittajaan kasvaa. Yksinkertaisin korjaus (Bonferroni) jakaa alfan vertailujen määrällä, joten jokainen vertailu testataan tasolla 0,05 / 3 = 0,0167. Se nostaa haarakohtaisen otoksen 13 914:stä 18 559:ään ja kokonaismäärän 27 828:sta 74 236:een neljässä haarassa, eli noin 2,7-kertaisesti A/B-testin liikenteeseen verrattuna.
Monimuuttujatestaus: yhdistelmät moninkertaistuvat
Testaa nyt kolmea elementtiä, joista kustakin on kaksi versiota (otsikko A tai B, kuva A tai B, CTA A tai B). Täydessä faktorikoeasetelmassa on 2 × 2 × 2 = 8 solua. Jos haluat verrata jokaista yhdistelmää vertailuversioon, kuten useimmat MVT-raportit implisiittisesti tekevät, jokainen solu tarvitsee täyden otoksen: 8 × 13 914 = 111 312 kävijää ilman korjausta tai 8 × 22 112 = 176 896 kävijää Bonferroni-korjauksella seitsemälle vertailulle.
Se on pahin tapaus. Faktorikoeasetelma on itse asiassa tehokas päävaikutusten arvioinnissa. Otsikon vaikutuksen arvioimiseksi vertaat neljää solua, joissa on otsikko A, neljään, joissa on otsikko B, jolloin käytät kaiken liikenteesi. Jos elementeillä ei ole yhteisvaikutuksia, 27 828 kävijää kertoo kaikista kolmesta elementistä kerralla. Silloin olet käytännössä ajanut kolme A/B-testiä rinnakkain. Hyödyllistä, mutta se ei ole syy, miksi useimmat tiimit valitsevat MVT:n.
Tiimit ajavat monimuuttujatestejä yleensä löytääkseen yhteisvaikutuksia ("tämä otsikko toimii vain tuon kuvan kanssa") ja yhden parhaan yhdistelmän. Yhteisvaikutukset ovat kalliita. Andrew Gelmanin laajalti siteerattu kirjoitus You need 16 times the sample size to estimate an interaction than to estimate a main effect näyttää miksi: yhteisvaikutuksen estimaatin keskivirhe on kaksinkertainen päävaikutukseen verrattuna, ja jos yhteisvaikutus on puolet päävaikutuksen koosta (hänen oletuksensa), tarvitset 16-kertaisen otoksen samaan voimaan. Esimerkkiimme sovellettuna se on noin 445 000 kävijää.
Mitä se tarkoittaa kuukausina
| Suunnittelu (3 %:n lähtötaso, 20 %:n MDE) | Kävijöitä yhteensä | Kuukautta 5 000/kk liikenteellä | Kuukausia 20 000/kk tahdilla |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n neljällä haaralla (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, jokainen solu vs. kontrolli (korjaamaton) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, jokainen solu vs. kontrolli (Bonferroni) | 176,896 | 35.4 | 8.8 |
| MVT-yhteisvaikutus, puolikas koko (16x-sääntö) | 445,248 | 89.0 | 22.3 |
Sivulla, jolla on 20 000 kuukausikävijää, 2×2×2-monimuuttujatesti, joka lukee jokaisen yhdistelmän, vie korjauksineen suurimman osan vuodesta. 5 000 kävijällä se vie vuosia. Näkemyksemme: monimuuttujatestaus on harvoin käytännöllistä B2B-sivustoilla, ja väite kuten "ajoimme monimuuttujatestin ja yhdistelmä 6 voitti" muutaman tuhannen kuukausikävijän liikenteellä ansaitsee tarkan otoksen tarkastelun ennen kuin kukaan toimii sen perusteella.
Missä useimmat tiimit menevät vikaan
Tavallinen virhe on valita testityyppi kunnianhimon eikä kysymyksen perusteella. Tiimit valitsevat MVT:n, koska ideoita on paljon, eivät siksi, että heidän pitäisi tietää, vaikuttavatko ideat toisiinsa. Ne valitsevat A/B/n-testin viidellä variantilla, koska kukaan ei päässyt yksimielisyyteen yhdestä. Molemmat valinnat pilkkovat rajallisen liikenteen niin ohuiksi viipaleiksi, ettei niistä voi lukea mitään.
Toinen on elementtien testaaminen, kun todellinen kysymys koskee yleisöjä. B2B-sivustolla konversio riippuu usein enemmän siitä, kuka katsoo, kuin siitä, mikä otsikko näytetään. Valmistavan teollisuuden ostaja ja SaaS-perustaja haluavat eri todisteita. Otsikon A ja B testaaminen kaikille laskee nämä yleisöt keskiarvoksi ja voi kätkeä version, joka voittaa selvästi yhdessä segmentissä ja häviää toisessa. Siksi kannattaa tehdä segmentteihin kohdennettuja personointitestejä.
Päätöstaulukko: mikä testi ajetaan
| Tilanne | Sivun kuukausittaiset kävijät | Muutetut elementit | Suositeltu testi |
|---|---|---|---|
| Yksi selkeä hypoteesi, iso muutos | Mikä tahansa, myös alle 5 000 | Yksi konsepti (voi koskea useita elementtejä) | A/B |
| Kaksi tai kolme aidosti erilaista lähestymistapaa | 15,000+ | Koko sivun konseptit | A/B/n enintään 3 haaralla |
| Pitää tietää, vaikuttavatko elementit toisiinsa | 100,000+ | 2–3 elementtiä, kustakin 2 versiota | Monimuuttuja (täysi faktoriaalinen) |
| Eri yleisöt haluavat todennäköisesti eri asioita | Riittävästi liikennettä segmentissä | Segmentille räätälöity sisältö | Segmenttiin kohdennettu testi vs. vertailuryhmä |
| Ei tarpeeksi liikennettä mihinkään yllä olevista | Alle 2 000 | Mikä tahansa | Laadullinen tutkimus, sitten A/B-testi isommalla muutoksella |
Liikennerajat ovat suuntaa antavia 3 %:n lähtötasolle. Laske omasi otoskokokaavalla ennen kuin sitoudut.
Esimerkkejä hyvistä testeistä kullekin tyypille
A/B-testit
- Demolomake vs. välitön kalenterivaraus demosivulla.
- Ominaisuuslähtöinen vs. tuloslähtöinen hero etusivulla.
- Hinnoittelusivu ”ota yhteyttä myyntiin” -tasolla vs. julkaistut hinnat jokaiselle tasolle.
Useiden elementtien niputtaminen yhdeksi konseptiksi on A/B-testissä ihan kunnossa. Saat tietää, voittaako konsepti, et sitä, mikä elementti sen teki, ja yleensä juuri se on päätös, joka sinun oikeasti tarvitsee tehdä. B2B-konversio-optimoinnin oppaamme kertoo, miten nämä ideat priorisoidaan.
A/B/n-testit
- Kolme arvolupausta paljon liikennettä saavalla maksetulla laskeutumissivulla: nopeus, kustannussäästöt, riskin pienentäminen.
- Kolme CTA-tarjousta: demo, ROI-arviointi, tuote-esittely. Katso oppaastamme datavetoisista personoiduista CTA:ista, miten tarjoustyyppi muuttuu vaiheen mukaan.
Pidä A/B/n-testit kolmessa haarassa (kontrolli ja kaksi versiota), ellei liikennettä ole poikkeuksellisen paljon, ja tee jokaisesta haarasta merkittävästi erilainen, jotta vaikutukset ovat riittävän suuria erotettaviksi.
Monimuuttujatestit
- Pääotsikko (2 versiota) × sosiaalisen todisteen tyyppi (logot vs. asiakastarinan lainaus) erittäin suuren liikenteen etusivulla, kun sinulla on konkreettinen syy odottaa niiden vaikuttavan toisiinsa.
Jos et pysty nimeämään odottamaasi yhteisvaikutusta, et luultavasti tarvitse monimuuttujatestiä.
Segmentteihin kohdennetut personointitestit
- Toimialakohtainen etusivun hero finanssialan yritysten kävijöille verrattuna oletusheroon.
- Suuryrityksiin keskittyvät todisteet (tietoturva, skaalautuvuus) hinnoittelusivulla yli 1 000 työntekijän yrityksille vs. vakiosivu.
- Kohdeasiakkuuden tervehdys ja asiakastarina ABM-asiakkuuksille vs. geneerinen sivu.
Miten personointia testataan holdout-ryhmää vasten
Personointitesti on A/B-testi, joka ajetaan vain segmentin sisällä. Kontrolli on segmentin vertailuryhmä, joka näkee oletussivun. Ilman vertailuryhmää et pysty erottamaan personoinnin vaikutusta siitä, että segmentti saattaa yksinkertaisesti konvertoitua eri tavalla.
- Määritä segmentti tarkasti, esimerkiksi ”kävijät, jotka on tunnistettu yli 200 työntekijän rahoitusalan yrityksiksi”. Vain nämä kävijät pääsevät testiin.
- Mittaa segmentin kuukausittainen liikenne testattaville sivuille. Tämä, ei sivuston kokonaisliikenne, määrää testin keston.
- Valitse kontrolliryhmän koko. 50/50-jako on nopein lukea. Pienemmät kontrolliryhmät suojaavat useampia kävijöitä oletuskokemukselta mutta vievät enemmän aikaa.
- Valitse konversio, jonka segmentti oikeasti tekee, mitattuna käynnin tai yrityksen käyntien ajalta, ja pidä pipeline suojamittarina.
- Lukitse otoskoko ja kesto ennen käynnistystä, ja lue tulos vain kyseisen segmentin osalta.
Esimerkki (havainnolliset luvut): segmentti tuo 3 000 kävijää kuukaudessa, konvertoi 3 %:n tasolla, ja haluat havaita 30 %:n suhteellisen nousun. Laskettuna kaavan epätasaisen jaon (unpooled) versiolla, samalla 95 %:n luottamustasolla ja 80 %:n voimalla:
| Holdout-ryhmän osuus | Tarvittavat kävijät yhteensä | Kuukautta 3 000/kk tahdilla |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
10 %:n holdout-ryhmän tuloksen lukeminen kestää noin 2,5 kertaa kauemmin kuin 50/50-jaon. Suosituksemme: aja kunkin segmentin ensimmäinen testi jaolla 50/50 saadaksesi selkeän vastauksen, ja pidä käyttöönoton jälkeen pieni pysyvä holdout-ryhmä (10–20 %) seurataksesi, säilyykö vaikutus ajan mittaan. Personoinnin testauksen tiekartta näyttää, miten testit ajoitetaan eri segmenteille. Aloita segmentistä, jolla on eniten liikennettä ja selkein viestiaukko, koska sen tulos valmistuu nopeimmin. Jätä segmenttitestit kokonaan väliin, jos segmentti tuo vain muutamia satoja vierailijoita kuukaudessa; sillä volyymilla edes 50/50-jako ei anna luettavaa vastausta vuoden sisällä.
Näiden vertailuryhmätestien ajaminen edellyttää segmentin tunnistamista ennen sivun renderöintiä ja vain tuon segmentin jakamista. Markettailorin A/B-testaus tekee tämän segmenteittäin ja käyttää yritystason segmentointia päättämään, kuka pääsee kuhunkin testiin, joten fintech-testi näkee vain fintech-kävijöitä.
Usein kysytyt kysymykset
Mitä eroa on A/B-testauksella ja monimuuttujatestauksella?
A/B-testaus vertaa kahta kokonaista sivuversiota. Monimuuttujatestaus muuttaa useita elementtejä kerralla ja testaa kaikki yhdistelmät, joten se voi näyttää, mitkä elementit ovat merkityksellisiä ja vaikuttavatko ne toisiinsa, mutta vaatii paljon enemmän liikennettä.
Mitä on A/B/n-testaus?
A/B/n-testaus vertaa kontrollia kahteen tai useampaan kokonaiseen varianttiin samanaikaisesti. Se on hyödyllinen, kun sinulla on muutama aidosti erilainen lähestymistapa, mutta jokainen lisähaara tarvitsee oman otoksensa ja tiukemman merkitsevyysrajan.
Kuinka paljon liikennettä monimuuttujatestaus vaatii?
2×2×2-testissä sivulla, jonka konversioaste on 3 %, kunkin 8 yhdistelmän lukeminen kontrollia vastaan 20 %:n nousulle vaatii noin 111 000–177 000 kävijää riippuen monivertailukorjauksesta. Yhdysvaikutusten havaitseminen voi vaatia moninkertaisesti enemmän.
Kannattaako monimuuttujatestaus B2B-verkkosivustoilla?
Harvoin. Useimmilla B2B-sivuilla ei ole tarpeeksi liikennettä yhdistelmien tai yhteisvaikutusten tulkitsemiseen muutamassa kuukaudessa. Isompien konseptien A/B-testit ja segmentteihin kohdennetut personointitestit tuottavat yleensä selkeämpiä vastauksia nopeammin.
Voiko A/B- ja monimuuttujatestausta yhdistää?
Kyllä. Yleinen järjestys on A/B-testata ensin konseptit ja sitten, vain erittäin runsaan liikenteen sivuilla, ajaa pieni faktoriaalinen testi kahdella elementillä voittaneen konseptin sisällä, jos sinulla on tietty vuorovaikutus tarkistettavana.