Skillnaden mellan A/B-testning och multivariat testning är vad var och en jämför. Ett A/B-test jämför två versioner av en sida. Ett A/B/n-test jämför tre eller fler kompletta versioner. Ett multivariat test (MVT) ändrar flera element samtidigt, till exempel rubrik, hero-bild och CTA, och testar varje kombination (ibland kallat multivariat A/B-testning) för att ta reda på vilka element och vilken kombination som driver konverteringar.
På B2B-webbplatser gör trafiken oftast valet åt dig. Varje extra variant eller kombination delar upp dina besökare ytterligare, och det nödvändiga urvalet växer snabbare än magkänslan säger. Nedan finns de fyra testtyper som B2B-team faktiskt kör (A/B, A/B/n, multivariata och segmentriktade personaliseringstester), vad var och en kostar i trafik i ett räkneexempel, en beslutstabell och exempel på tester som passar varje typ.
De fyra testtyperna i korthet
| Testtyp | Vad den jämför | Fråga den besvarar | Trafikkostnad |
|---|---|---|---|
| A/B | Kontrollversion vs en variant | Är den här versionen bättre än den vi har? | Lägst |
| A/B/n | Kontrollversion mot 2+ kompletta varianter | Vilket av de här olika tillvägagångssätten är bäst? | Växer med varje variant, plus ett påslag för multipla jämförelser |
| Multivariat (MVT) | Alla kombinationer av flera element | Vilka element spelar roll, och samverkar de? | Högst, särskilt för interaktioner |
| Segmentriktat test (personalisering) | Personaliserad upplevelse jämfört med kontrollgrupp, inom ett segment | Fungerar det att anpassa den här sidan för det här segmentet? | Beror på segmentets trafik och kontrollgruppens storlek |
Trafikmatematiken bakom A/B-testning kontra multivariat testning
Alla siffror nedan använder standardformeln för urvalsstorlek med två andelar (poolad varians) vid 95 % konfidens, tvåsidigt, och 80 % styrka, beräknat i Node.js. Metoden och fullständiga tabeller finns i vårt inlägg om urvalsstorlek för A/B-tester. Du kan räkna på samma sätt för din egen sida med vår kalkylator för urvalsstorlek i A/B-tester, som tillämpar Bonferroni-korrigering för A/B/n-tester.
Exempel (illustrativa siffror): en demosida konverterar med 3 %, och du vill upptäcka en relativ ökning på 20 % (från 3,0 % till 3,6 %). Ett enkelt A/B-test behöver 13 914 besökare per variant, eller 27 828 totalt.
A/B/n: fler varianter, striktare trösklar
Med tre utmanare mot en kontroll gör du tre jämförelser, och risken för minst en falsk vinnare ökar. Den enklaste korrigeringen (Bonferroni) delar alfa med antalet jämförelser, så varje jämförelse testas på 0,05 / 3 = 0,0167. Det höjer urvalet per gren från 13 914 till 18 559, och totalen från 27 828 till 74 236 över fyra grenar, ungefär 2,7 gånger trafiken i A/B-testet.
Multivariat: kombinationerna multipliceras
Testa nu tre element med två versioner vardera (rubrik A eller B, bild A eller B, CTA A eller B). En fullständig faktoriell design har 2 × 2 × 2 = 8 celler. Om du vill jämföra varje kombination med kontrollgruppen, som de flesta MVT-rapporter implicit gör, behöver varje cell ett fullt urval: 8 × 13 914 = 111 312 besökare utan korrigering, eller 8 × 22 112 = 176 896 besökare med Bonferroni-korrigering för sju jämförelser.
Det är värsta fallet. En faktoriell design är faktiskt effektiv för huvudeffekter. För att skatta rubrikens effekt jämför du de fyra cellerna med rubrik A mot de fyra med rubrik B, vilket använder all din trafik. Om elementen inte interagerar berättar 27 828 besökare om alla tre elementen på en gång. I så fall har du i praktiken kört tre A/B-tester parallellt. Användbart, men det är inte skälet till att de flesta team väljer MVT.
Team kör oftast MVT för att hitta interaktioner (”den här rubriken fungerar bara med den bilden”) och den enskilt bästa kombinationen. Interaktioner är dyra. Andrew Gelmans ofta citerade anteckning, You need 16 times the sample size to estimate an interaction than to estimate a main effect, visar varför: en skattning av en interaktion har dubbelt så stort standardfel som en huvudeffekt, och om interaktionen är hälften så stor som huvudeffekten (hans uttalade antagande) behöver du 16 gånger så stort urval för samma styrka. Tillämpat på vårt exempel blir det cirka 445 000 besökare.
Vad det betyder i månader
| Design (3 % baslinje, 20 % MDE) | Totalt antal besökare | Månader vid 5 000/månad | Månader vid 20 000/månad |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n med 4 grenar (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, varje cell mot kontrollgruppen (okorrigerat) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, varje cell mot kontroll (Bonferroni) | 176,896 | 35.4 | 8.8 |
| MVT-interaktion, halv storlek (16x-regeln) | 445,248 | 89.0 | 22.3 |
På en sida med 20 000 besökare per månad tar en 2×2×2-MVT som läser av varje kombination större delen av ett år med korrigering. Med 5 000 tar det flera år. Vår syn: multivariata tester är sällan praktiska på B2B-webbplatser, och ett påstående som ”vi körde en MVT och kombination 6 vann” på några tusen besökare i månaden förtjänar en ordentlig granskning av urvalet innan någon agerar på det.
Det de flesta team gör fel
Det vanliga misstaget är att välja testtyp efter ambition i stället för efter fråga. Team väljer MVT för att de har många idéer, inte för att de behöver veta om idéerna samverkar. De väljer A/B/n med fem varianter för att ingen kunde enas om en. Båda valen delar upp begränsad trafik i skivor som är för tunna för att tolka.
Det andra är att testa element när den egentliga frågan handlar om målgrupper. På en B2B-webbplats beror det som konverterar ofta mer på vem som tittar än på vilken rubrik som visas. En köpare inom tillverkning och en SaaS-grundare vill ha olika bevis. Att testa rubrik A mot B för alla gör ett genomsnitt av de målgrupperna och kan dölja en variant som vinner stort för ett segment och förlorar för ett annat. Det är argumentet för personaliseringstester riktade mot segment.
Beslutstabell: vilket test du ska köra
| Situation | Besökare per månad till sidan | Ändrade element | Rekommenderat test |
|---|---|---|---|
| En tydlig hypotes, stor ändring | Vilken som helst, även under 5 000 | Ett koncept (kan beröra flera element) | A/B |
| Två eller tre verkligt olika angreppssätt | 15,000+ | Koncept för hela sidan | A/B/n med högst 3 varianter |
| Behöver veta om element samverkar | 100,000+ | 2–3 element, 2 versioner av varje | Multivariat (fullständigt faktoriell) |
| Olika målgrupper vill troligen ha olika saker | Tillräckligt med trafik inom segmentet | Innehåll anpassat efter segmentet | Segmentriktat test vs kontrollgrupp |
| Inte tillräckligt med trafik för något av ovanstående | Under 2 000 | Valfri | Kvalitativ research, sedan ett A/B-test av en större ändring |
Trafiktrösklarna är grova riktvärden för en baslinje på 3 %. Räkna ut dina egna med formeln för urvalsstorlek innan du bestämmer dig.
Exempel på bra tester för varje typ
A/B-tester
- Demoformulär kontra direkt kalenderbokning på demosidan.
- Funktionsdriven hero jämfört med resultatdriven hero på startsidan.
- Prissida med en nivå för ”prata med sälj” vs publicerade priser för alla nivåer.
Att paketera flera element i ett koncept är helt okej i ett A/B-test. Du får veta om konceptet vinner, inte vilket element som gjorde det, och det är oftast det beslut du faktiskt behöver fatta. Vår guide till konverteringsoptimering för B2B tar upp hur du prioriterar de här idéerna.
A/B/n-tester
- Tre värdeerbjudanden på en betald landningssida med mycket trafik: snabbhet, kostnadsbesparingar, riskminskning.
- Tre CTA-erbjudanden: demo, ROI-bedömning, produktrundtur. Se vår guide till datadrivna personaliserade CTA:er för hur typen av erbjudande ändras med fasen.
Begränsa A/B/n-tester till tre varianter (kontroll plus två) om inte trafiken är ovanligt hög, och gör varje variant tydligt olika så att effekterna blir tillräckligt stora för att skiljas åt.
Multivariata tester
- Rubrik (2 versioner) × typ av socialt bevis (logotyper eller ett citat från ett kundcase) på en startsida med mycket hög trafik, när du har en konkret anledning att tro att de två samverkar.
Om du inte kan sätta namn på det samspel du förväntar dig behöver du förmodligen inget MVT.
Personaliseringstester riktade mot segment
- Branschspecifik hero på startsidan för besökare från finansföretag jämfört med standardheron.
- Bevis riktade mot storföretag (säkerhet, skala) på prissidan för företag med fler än 1 000 anställda kontra standardsidan.
- Hälsning och kundcase för målkonton jämfört med den generiska sidan, för ABM-konton.
Så testar du personalisering mot en holdout
Ett personaliseringstest är ett A/B-test som bara körs inom ett segment. Kontrollen är en kontrollgrupp ur det segmentet som ser standardsidan. Utan kontrollgruppen kan du inte skilja personaliseringens effekt från det faktum att segmentet kanske helt enkelt konverterar annorlunda.
- Definiera segmentet exakt, till exempel ”besökare identifierade som företag inom finansbranschen med 200+ anställda”. Bara de besökarna går in i testet.
- Mät segmentets trafik till de testade sidorna per månad. Det, inte webbplatsens totala trafik, avgör testets längd.
- Välj kontrollgruppens storlek. En 50/50-uppdelning går snabbast att läsa av. Mindre kontrollgrupper skyddar fler besökare från standardupplevelsen men tar längre tid.
- Välj en konvertering som segmentet faktiskt gör, mätt över besöket eller kontots besök, och behåll pipeline som skyddsmått.
- Fastställ urvalsstorlek och längd före lansering och läs bara av resultatet för det segmentet.
Exempel (illustrativa siffror): ett segment ger 3 000 besökare i månaden, konverterar med 3 % och du vill kunna upptäcka ett relativt lyft på 30 %. Beräknat med en version av formeln för ojämn fördelning (opoolad), med samma 95 % konfidens och 80 % styrka:
| Andel i holdout | Totalt antal besökare som behövs | Månader vid 3 000/månad |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
En kontrollgrupp på 10 % tar ungefär 2,5 gånger längre tid att utvärdera än en uppdelning 50/50. Vår rekommendation: kör det första testet för varje segment med 50/50 för att få ett tydligt svar, och behåll sedan en liten permanent kontrollgrupp (10–20 %) efter utrullningen för att följa om effekten håller över tid. Färdplanen för personaliseringstester visar hur du ordnar testerna mellan segmenten. Börja med det segment som har mest trafik och tydligast glapp i budskapet, eftersom det ger svar snabbast. Hoppa helt över segmenttester där segmentet bara ger några hundra besökare i månaden; vid den volymen ger inte ens en uppdelning 50/50 ett tolkbart svar inom ett år.
För att köra de här testerna med kontrollgrupp måste segmentet identifieras innan sidan renderas, och bara det segmentet delas upp. Markettailors A/B-testning gör det per segment och använder segmentering på företagsnivå för att avgöra vem som går in i varje test, så att ett fintechtest bara någonsin ser fintechbesökare.
Vanliga frågor
Vad är skillnaden mellan A/B-testning och multivariat testning?
A/B-testning jämför två kompletta versioner av en sida. Multivariat testning ändrar flera element samtidigt och testar alla kombinationer, så den kan visa vilka element som spelar roll och om de samverkar, till priset av betydligt mer trafik.
Vad är A/B/n-testning?
A/B/n-tester jämför en kontrollversion med två eller fler kompletta varianter samtidigt. Det är användbart när du har några genuint olika angreppssätt, men varje extra variant behöver ett eget urval och en strängare signifikansgräns.
Hur mycket trafik behöver du för multivariat testning?
För ett 2×2×2-test på en sida som konverterar på 3 % krävs ungefär 111 000 till 177 000 besökare för att läsa av var och en av de 8 kombinationerna mot kontrollen för en förbättring på 20 %, beroende på korrigeringen för multipla jämförelser. Att upptäcka interaktioner kan kräva flera gånger mer.
Är multivariata tester värda det för B2B-webbplatser?
Sällan. De flesta B2B-sidor saknar trafik för att kunna läsa av kombinationer eller samspelseffekter inom några månader. A/B-tester av större koncept och personaliseringstester riktade mot segment ger oftast tydligare svar snabbare.
Kan man kombinera A/B-tester och multivariata tester?
Ja. En vanlig ordning är att först A/B-testa koncept och sedan, bara på sidor med mycket hög trafik, köra ett litet faktoriellt test på två element inom det vinnande konceptet om du har en specifik samverkan att kontrollera.