A/B-test er et randomiseret kontrolleret eksperiment, hvor besøgende fordeles tilfældigt mellem to versioner af en side, en mail eller en funktion, kontrollen (A) og en variant (B), og en foruddefineret metrik sammenlignes for at se, om forskellen mellem dem er større, end tilfældigheder kan forklare. Det er standardmetoden til at finde ud af, om en ændring forårsagede en forbedring frem for blot at falde sammen med en.
Metoden er veletableret i onlineprodukter; den praktiske guide af Kohavi og kolleger er stadig en standardreference (Kohavi et al., "Controlled experiments on the web", Data Mining and Knowledge Discovery, 2009).
Sådan fungerer A/B-test
- Hypotese og måling. Angiv ændringen, den forventede effekt og én primær måling, for eksempel andelen af demoanmodninger.
- Randomisering. Hver besøgende tildeles tilfældigt A eller B og forbliver der ved senere besøg, så grupperne kun adskiller sig ved ændringen.
- Stikprøvestørrelse. Beslut på forhånd, hvor mange besøgende hver version skal have, ud fra baseline-raten, det mindste løft, der er værd at kunne påvise (minimum detectable effect), signifikansniveauet og styrken.
- Kør. Lad testen nå den stikprøve, helst over hele uger. Stop ikke tidligt, fordi den ene side ser ud til at føre.
- Analyser. Sammenlign raterne. Et resultat er statistisk signifikant på 5 %-niveau, når en forskel af denne størrelse ville opstå mindre end 5 % af gangene, hvis der reelt ikke var nogen forskel.
To indstillinger betyder noget. Signifikansniveau (som regel 5 %, ofte kaldt 95 % konfidens) styrer falske positiver. Styrke (som regel 80 %) er sandsynligheden for at opdage effekten, hvis den er reel; en test med for lav styrke giver for det meste »intet resultat«.
Eksempel
Eksempel: En demoside konverterer med 3 %. Du vil påvise et relativt løft på 20 % (3,0 % til 3,6 %) med en tosidet test ved 5 % signifikans og 80 % styrke. Standardformlen for to andele er:
n pr. variant = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Første led: 1,96 x √(2 x 0,033 x 0,967) = 1,96 x 0,2526 = 0,495
- Andet led: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Tæller: (0,495 + 0,213)² = 0,501; nævner: 0,006² = 0,000036
- n ≈ 13.900 besøgende pr. variant, omkring 27.800 i alt
Med 2.000 besøgende om ugen på den side kræver testen omkring 14 uger. Det er det nyttige resultat: Før du bygger noget, ved du, at siden ikke kan bære en test for et løft på 20 % inden for rimelig tid, så du tester en mere markant ændring, bruger en side med mere trafik eller lancerer og overvåger. Du kan genskabe tallet med vores A/B-testberegner eller Evan Millers beregner til stikprøvestørrelse.
A/B- vs. A/B/n- vs. multivariat test
| A/B | A/B/n | Multivariat (MVT) | |
|---|---|---|---|
| Hvad varierer | Én kontrol vs. én variant | Én kontrol vs. flere varianter | Flere elementer på én gang, alle kombinationer |
| Nødvendig trafik | Lavest | Vokser med hver variant | Højest: trafikken fordeles på alle kombinationer |
| Svar | Er B bedre end A? | Hvilken af flere versioner er bedst? | Hvilken kombination af elementer virker, og påvirker de hinanden? |
| Passer | De fleste B2B-sider | Overskrifter eller tilbud med reel trafik | Kun sider med meget trafik |
Nielsen Norman Group opsummerer afvejningen: multivariate tests egner sig til gradvise forbedringer på sider med meget trafik, mens A/B-tests kan sammenligne radikalt forskellige designs (NN/g, "Multivariate vs. A/B Testing").
Sådan bruger B2B-teams A/B-test
- Test af længde og formulering på demo- og kontaktformularer.
- Sammenligning af værditilbud og overskrifter på landingssider med høj trafik.
- Validering af personalisering: segmentspecifikt indhold vs. den generiske side, med en holdout-gruppe.
- Prissidens layout og præsentation af planer.
- Emnelinjer i e-mails og nurture-indhold, hvor volumen tillader det.
Ofte stillede spørgsmål
Hvor længe skal en A/B-test køre?
Indtil den når den stikprøvestørrelse, der blev beregnet før lancering, og i mindst én hel uge, helst to, så alle ugedage er repræsenteret. Divider det nødvendige antal besøgende pr. variant med den ugentlige trafik pr. variant for at estimere varigheden. Hvis svaret er flere måneder, er testen ikke gennemførlig, som den er designet.
Hvad er en god mindste detekterbar effekt?
Det mindste løft, der ville være værd at handle på, set i forhold til omkostningen ved ændringen. B2B-sider med lav trafik har som regel brug for en større minimal påviselig effekt, ofte 20 % relativt eller mere, for at blive færdige inden for rimelig tid. Mindre effekter kan være reelle, men kræver langt mere trafik, fordi stikprøvestørrelsen vokser omtrent med den inverse kvadrat af effekten.
Kan man A/B-teste med lav trafik?
Ja, men test større ændringer, brug det trin i tragten med mest trafik, og vælg en metrik, der forekommer ofte, såsom klik til demosiden i stedet for lukkede aftaler. Når selv det er for langsomt, så lav ændringen ud fra research, og følg før og efter, velvidende at dokumentationen er svagere.
Relateret
Planlæg tests med skabelonen til A/B-testplan, læs den grundigere gennemgang af stikprøvestørrelse til A/B-test, og vælg et testdesign med A/B-test vs. multivariat test. Den større proces finder du under konverteringsoptimering.