A/B-testning är ett randomiserat kontrollerat experiment där besökare slumpvis delas mellan två versioner av en sida, ett mejl eller en funktion, kontrollen (A) och en variant (B), och ett i förväg bestämt mätetal jämförs för att se om skillnaden mellan dem är större än vad slumpen kan förklara. Det är standardsättet att ta reda på om en ändring orsakade en förbättring snarare än bara sammanföll med en.
Metoden är väletablerad för onlineprodukter; den praktiska guiden av Kohavi med kollegor är fortfarande en standardreferens (Kohavi et al., "Controlled experiments on the web", Data Mining and Knowledge Discovery, 2009).
Så fungerar A/B-tester
- Hypotes och mått. Ange ändringen, den förväntade effekten och ett primärt mått, till exempel andelen demoförfrågningar.
- Randomisering. Varje besökare tilldelas A eller B slumpmässigt och stannar där vid återbesök, så att grupperna bara skiljer sig åt genom ändringen.
- Urvalsstorlek. Bestäm i förväg hur många besökare varje version behöver, utifrån baslinjen, den minsta förbättring som är värd att upptäcka (minimum detectable effect), signifikansnivån och styrkan.
- Kör. Låt testet nå det urvalet, helst över hela veckor. Avbryt inte i förtid bara för att den ena sidan ser ut att leda.
- Analysera. Jämför andelarna. Ett resultat är statistiskt signifikant på 5 %-nivån när en så stor skillnad skulle uppstå i mindre än 5 % av fallen om det i själva verket inte fanns någon skillnad.
Två inställningar spelar roll. Signifikansnivå (oftast 5 %, ofta kallat 95 % konfidens) styr falska positiva. Styrka (oftast 80 %) är sannolikheten att upptäcka effekten om den är verklig; ett test med för låg styrka ger oftast ”inget resultat”.
Exempel
Exempel: en demosida konverterar på 3 %. Du vill upptäcka en relativ ökning på 20 % (3,0 % till 3,6 %) med ett tvåsidigt test på 5 % signifikansnivå och 80 % styrka. Standardformeln för två andelar är:
n per variant = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Första termen: 1,96 x √(2 x 0,033 x 0,967) = 1,96 x 0,2526 = 0,495
- Andra termen: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Täljare: (0,495 + 0,213)² = 0,501; nämnare: 0,006² = 0,000036
- n ≈ 13 900 besökare per variant, cirka 27 800 totalt
Med 2 000 besökare i veckan på den sidan behöver testet ungefär 14 veckor. Det är det användbara resultatet: innan du bygger något vet du att sidan inte klarar ett test för en ökning på 20 % inom rimlig tid, så du testar en djärvare ändring, använder en sida med mer trafik eller lanserar och bevakar. Du kan återskapa siffran med vår A/B-testkalkylator eller Evan Millers kalkylator för urvalsstorlek.
A/B- vs A/B/n- vs multivariata tester
| A/B | A/B/n | Multivariat (MVT) | |
|---|---|---|---|
| Vad som varierar | En kontroll mot en variant | En kontrollversion vs flera varianter | Flera element på en gång, alla kombinationer |
| Trafik som krävs | Lägst | Växer med varje variant | Högst: trafiken delas upp på alla kombinationer |
| Svarar på | Är B bättre än A? | Vilken av flera versioner är bäst? | Vilken kombination av element fungerar, och samverkar de? |
| Passar | De flesta B2B-sidor | Rubriker eller erbjudanden med verklig trafik | Endast sidor med mycket trafik |
Nielsen Norman Group sammanfattar avvägningen: multivariata tester passar för stegvisa förfiningar på sidor med hög trafik, medan A/B-tester kan jämföra radikalt olika designer (NN/g, ”Multivariate vs. A/B Testing”).
Så använder B2B-team A/B-testning
- Testa längd och formuleringar i demo- och kontaktformulär.
- Jämför värdeerbjudanden och rubriker på landningssidor med mycket trafik.
- Validera personalisering: segmentspecifikt innehåll jämfört med den generiska sidan, med en kontrollgrupp.
- Prissidans layout och presentation av planer.
- Ämnesrader i e-post och nurturing-innehåll, där volymen tillåter.
Vanliga frågor
Hur länge ska ett A/B-test pågå?
Tills det når den urvalsstorlek som beräknats före lansering, och i minst en hel vecka, helst två, så att alla veckodagar finns med. Dela antalet besökare som krävs per variant med veckotrafiken per variant för att uppskatta längden. Om svaret är flera månader är testet inte genomförbart i sin nuvarande form.
Vad är en bra minsta detekterbar effekt?
Den minsta ökning som skulle vara värd att agera på, givet kostnaden för ändringen. B2B-sidor med lite trafik behöver oftast en större minsta detekterbar effekt, ofta 20 % relativt eller mer, för att bli klara inom rimlig tid. Mindre effekter kan vara verkliga men kräver betydligt mer trafik, eftersom urvalsstorleken växer ungefär med inversen av effektens kvadrat.
Kan du A/B-testa med lite trafik?
Ja, men testa större ändringar, använd det steg i tratten som har mest trafik och välj ett mått som inträffar ofta, till exempel klick till demosidan i stället för stängda affärer. Om även det går för långsamt, gör ändringen utifrån research och följ upp före och efter, med insikten att underlaget är svagare.
Relaterat
Planera tester med mallen för A/B-testplaner, läs den fördjupade genomgången av urvalsstorlek för A/B-tester och välj testdesign med A/B-tester vs multivariata tester. För den större processen, se konverteringsoptimering.