A/B-testing er et randomisert, kontrollert eksperiment der besøkende fordeles tilfeldig mellom to versjoner av en side, e-post eller funksjon, kontrollen (A) og en variant (B), og et forhåndsdefinert måltall sammenlignes for å se om forskjellen mellom dem er større enn tilfeldigheter kan forklare. Det er standardmåten å finne ut om en endring forårsaket en forbedring, og ikke bare falt sammen med en.
Metoden er godt etablert i nettbaserte produkter; den praktiske guiden fra Kohavi og kolleger er fortsatt en standardreferanse (Kohavi et al., «Controlled experiments on the web», Data Mining and Knowledge Discovery, 2009).
Slik fungerer A/B-testing
- Hypotese og måltall. Beskriv endringen, forventet effekt og ett primært måltall, for eksempel andel demoforespørsler.
- Randomisering. Hver besøkende tildeles A eller B tilfeldig og beholdes der ved senere besøk, så gruppene bare skiller seg ved endringen.
- Utvalgsstørrelse. Bestem på forhånd hvor mange besøkende hver versjon trenger, basert på baseline-raten, den minste økningen som er verdt å oppdage (minste påvisbare effekt), signifikansnivået og styrken.
- Kjør. La testen nå det utvalget, helst over hele uker. Ikke stopp tidlig fordi den ene siden ser ut til å ligge foran.
- Analyser. Sammenlign ratene. Et resultat er statistisk signifikant på 5 %-nivå når et så stort avvik ville dukket opp mindre enn 5 % av gangene dersom det egentlig ikke fantes noen forskjell.
To innstillinger betyr noe. Signifikansnivå (vanligvis 5 %, ofte kalt 95 % konfidens) styrer falske positiver. Styrke (vanligvis 80 %) er sjansen for å oppdage effekten hvis den er reell; en test med for lav styrke gir som regel «ingen resultat».
Eksempel
Eksempel: en demoside konverterer på 3 %. Du vil påvise en relativ økning på 20 % (3,0 % til 3,6 %) med en tosidig test ved 5 % signifikans og 80 % styrke. Standardformelen for to andeler er:
n per variant = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Første ledd: 1,96 × √(2 × 0,033 × 0,967) = 1,96 × 0,2526 = 0,495
- Andre ledd: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Teller: (0,495 + 0,213)² = 0,501; nevner: 0,006² = 0,000036
- n ≈ 13 900 besøkende per variant, omtrent 27 800 totalt
Med 2 000 besøkende i uken på den siden trenger testen omtrent 14 uker. Det er det nyttige resultatet: før du bygger noe, vet du at denne siden ikke kan bære en test for en økning på 20 % innen rimelig tid, så du tester en dristigere endring, bruker en side med mer trafikk, eller lanserer og overvåker. Du kan gjenskape tallet med vår A/B-testkalkulator eller Evan Millers kalkulator for utvalgsstørrelse.
A/B- vs A/B/n- vs multivariat testing
| A/B | A/B/n | Multivariat (MVT) | |
|---|---|---|---|
| Hva som varierer | Én kontroll vs. én variant | Én kontroll vs. flere varianter | Flere elementer samtidig, alle kombinasjoner |
| Trafikk som trengs | Lavest | Øker med hver variant | Høyest: trafikken fordeles på alle kombinasjoner |
| Svarer på | Er B bedre enn A? | Hvilken av flere versjoner er best? | Hvilken kombinasjon av elementer fungerer, og påvirker de hverandre? |
| Passer | De fleste B2B-sider | Overskrifter eller tilbud med reell trafikk | Bare sider med mye trafikk |
Nielsen Norman Group oppsummerer avveiningen: multivariate tester passer for gradvise forbedringer på sider med mye trafikk, mens A/B-tester kan sammenligne radikalt forskjellige design (NN/g, «Multivariate vs. A/B Testing»).
Slik bruker B2B-team A/B-testing
- Testing av lengde og ordlyd på demo- og kontaktskjemaer.
- Sammenligne verdiforslag og overskrifter på landingssider med mye trafikk.
- Validering av personalisering: segmentspesifikt innhold mot den generiske siden, med en holdout-gruppe.
- Oppsett av prissiden og presentasjon av planer.
- Emnelinjer i e-post og nurture-innhold, der volumet tillater det.
Ofte stilte spørsmål
Hvor lenge bør en A/B-test kjøre?
Til den når utvalgsstørrelsen som ble beregnet før lansering, og i minst én hel uke, helst to, slik at alle ukedager er representert. Del antall besøkende som trengs per variant på ukentlig trafikk per variant for å anslå varigheten. Hvis svaret er flere måneder, er testen ikke gjennomførbar slik den er designet.
Hva er en god minste påvisbare effekt?
Den minste økningen som er verdt å handle på, gitt kostnaden ved endringen. B2B-sider med lite trafikk trenger som regel en større minste påviselige effekt, ofte 20 % relativt eller mer, for å bli ferdige innen rimelig tid. Mindre effekter kan være reelle, men krever langt mer trafikk, fordi utvalgsstørrelsen vokser omtrent med den inverse kvadraten av effekten.
Kan du A/B-teste med lite trafikk?
Ja, men test større endringer, bruk det trinnet i trakten med mest trafikk, og velg et måltall som skjer ofte, som klikk til demosiden i stedet for lukkede avtaler. Når selv det går for sakte, gjør endringen basert på research og følg med før og etter, og godta at dokumentasjonen er svakere.
Relatert
Planlegg tester med malen for A/B-testplan, les den grundigere gjennomgangen av utvalgsstørrelse for A/B-tester, og velg testdesign med A/B-testing vs. multivariat testing. For den større prosessen, se konverteringsoptimalisering.