En mal for eksperimentplan tvinger frem beslutningene de fleste A/B-tester hopper over: hva du konkret forventer skal skje, hvilket enkelt måltall som avgjør vinneren, hvor mange besøkende du trenger, og når du har lov til å stoppe. Å skrive dette ned før lansering er den billigste beskyttelsen mot å tolke støy som et resultat. Malen nedenfor er én side per test. Kopier den inn i dokumentverktøyet ditt, eller last ned malen som CSV for en testbacklog i et regneark.
Den er laget for trafikknivåene i B2B, der én test kan ta uker. Har du ikke planlagt en test før, les guiden vår til konverteringsoptimalisering først for å se hva som er verdt å teste med lite trafikk.
Malen for A/B-testplan
Fyll ut hver rad før testen går live. En tom rad er en beslutning du ender opp med å ta etter at du har sett dataene, og det er nettopp det planen skal forhindre.
| Seksjon | Felt | Hva du skal skrive |
|---|---|---|
| 1. Kontekst | Testnavn og ID | Kort, søkbart navn, for eksempel «DEMO-07 skjema med fem felt» |
| Eier | Én person som lanserer, overvåker og rapporterer testen | |
| Dokumentasjonen bak | Dataene, opptaket eller kundesitatet som fikk deg til å velge denne testen | |
| 2. Hypotese | Endring | Nøyaktig hva som skiller kontroll og variant |
| Forventet effekt | Hvilket måltall som endres, og i hvilken retning | |
| Begrunnelse | Hvorfor du tror det vil skje, i én setning om kjøperatferd | |
| 3. Måltall | Primært måltall | Det ene måltallet som avgjør resultatet, med den nøyaktige definisjonen av hendelsen |
| Sikkerhetsmetrikker | Mål som ikke må bli dårligere (leadkvalitet, fluktfrekvens, sidehastighet) | |
| Sekundære mål | Interessant, men ikke avgjørende (skrolldybde, klikk til prissiden) | |
| 4. Målgruppe | Side(r) | URL-er som inngår i testen |
| Hvem som er inkludert | Alle besøkende, eller et segment som betalt trafikk eller en størrelsesgruppe | |
| Hvem som er ekskludert | Eksisterende kunder, intern trafikk, roboter | |
| Trafikkfordeling | Som regel 50/50 for to varianter | |
| 5. Statistikk | Basiskonverteringsrate | De siste 4 til 8 ukene for denne siden og dette måltallet |
| Minste påvisbare effekt | Minste relative løft som er verdt å handle på | |
| Sikkerhet og styrke | Vanligvis 95 % og 80 % | |
| Utvalgsstørrelse per variant | Fra A/B-testkalkulatoren | |
| Planlagt varighet | Utvalgsstørrelse delt på ukentlig trafikk, rundet opp til hele uker | |
| 6. Regler | Stoppregel | Når du skal lese resultatet (når utvalget er nådd, aldri tidligere) |
| Avslutningsregel | Hva som ville fått deg til å stoppe tidlig (ødelagt variant, fall i et sikkerhetsmåltall) | |
| Beslutningsregel | Hva du lanserer hvis resultatet er seier, tap eller uavklart | |
| 7. Resultater | Kjøredatoer | Start- og sluttdato |
| Resultat per gruppe | Besøkende, konverteringer, konverteringsrate | |
| Signifikans og intervall | p-verdi og konfidensintervall for differansen | |
| Beslutning og læring | Hva du lanserte og hva det lærte deg om kjøperne |
Slik fyller du det ut
- Start med dokumentasjon, ikke ideer. Del 1 spør hvorfor denne testen finnes. Gode kilder: et trinn i trakten med et uvanlig fall, øktopptak, notater fra salgssamtaler, et funn fra en CRO-revisjonssjekkliste. «Daglig leder vil ha en ny hero» er ikke dokumentasjon.
- Skriv en falsifiserbar hypotese. «Hvis vi kutter demoskjemaet fra ni felt til fem, vil antall demoinnsendinger per besøkende øke, fordi kjøpere avbryter når de blir spurt om budsjett før de har sett produktet.» En hypotese uten begrunnelse lærer deg ingenting når den feiler.
- Velg ett primært måltall. Velger du tre, vil ett av dem sannsynligvis bevege seg tilfeldig, og du vil ha lyst til å kalle det en seier.
- Beregn testens størrelse før du bygger den. Legg inn utgangspunktet og minste påvisbare effekt i kalkulatoren. Hvis testen trenger mer enn et kvartal, endrer du planen: test en større endring, bruk et måltall med høyere frekvens, eller velg en side med mer trafikk. Guiden vår til utvalgsstørrelse i A/B-tester forklarer avveiningene.
- Bli enige om beslutningsregelen på forhånd. Bestem hva «uavklart» betyr for dere. Mange B2B-team lanserer den enkleste varianten når resultatene er flate, og det er en grei regel hvis den er skrevet ned før lansering.
Illustrerende utfylt plan
Illustrerende tall for et fiktivt B2B-programvareselskap.
| Felt | Inngang |
|---|---|
| Testnavn | DEMO-07 demoskjema med fem felt |
| Dokumentasjon | Skjemaanalysen viser at flest faller fra ved feltet «Budsjett»; salg bekrefter at de ikke bruker det i første samtale |
| Hypotese | Å kutte skjemaet fra ni til fem felt øker antall demoinnsendinger per besøkende, fordi kjøpere ikke vil dele budsjett før de har sett produktet |
| Primært måltall | Innsendte demoskjemaer delt på unike besøkende på /demo |
| Sikkerhetsmål | Andelen innsendinger som salg godtar som kvalifiserte, må ikke falle med mer enn en fjerdedel |
| Målgruppe | Alle besøkende på /demo, unntatt innloggede kunder og interne IP-adresser; 50/50-fordeling |
| Utgangspunkt | 8 % av besøkende på /demo sender inn |
| Minste påvisbare effekt | 20 % relativ (8,0 % til 9,6 %) |
| Utvalgsstørrelse | Omtrent 4 900 besøkende per variant ved 95 % konfidens og 80 % styrke |
| Varighet | /demo får rundt 1 500 besøkende i uken, så rundt 9 800 besøkende totalt tar 7 uker |
| Stoppregel | Les av resultatet etter 7 hele uker eller når begge armene passerer 4 900 besøkende, avhengig av hva som kommer sist |
| Avslutningsregel | Stopp hvis skjemaet i varianten ikke lar seg sende inn, eller hvis andelen kvalifiserte halveres de to første ukene |
| Beslutningsregel | Seier: publiser fem felt. Tap: behold ni. Uavklart: publiser fem felt, siden det er enklere og berikelsen fyller hullet |
Testbackloggen
CSV-nedlastingen inneholder også et backlog-ark, så du kan rangere tester før du skriver fullstendige planer. Én rad per idé:
| ID | Side | Idé | Dokumentasjon | Effekt (1–3) | Sikkerhet (1–3) | Enkelhet (1–3) | Score | Uker som trengs | Status |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Skjema med fem felt | Frafall per felt | 3 | 2 | 3 | 8 | 7 | Planlagt |
| HOME-03 | / | Bransjespesifikk hero-seksjon | ICP-besøkende har høyere fluktfrekvens | 3 | 2 | 2 | 7 | 10 | Idé |
Ideer som scorer høyt, men trenger mer enn 12 uker, egner seg bedre til en sammenligning med kontrollgruppe eller en personaliseringsregel enn til en klassisk A/B-test. Se A/B-testing vs multivariat testing for når hver metode passer.
Ofte stilte spørsmål
Hva bør en A/B-testplan inneholde?
En hypotese med en begrunnelse, ett primært måltall med en nøyaktig definisjon, sikkerhetsmåltall, målgruppe og fordeling, utgangsrate, minste påvisbare effekt, utvalgsstørrelse, varighet, og reglene for å stoppe, avslutte og beslutte. Legg til en resultatseksjon, så blir planen dokumentasjonen av testen.
Hva er forskjellen på en eksperimentplan og en testbrief?
Begrepene brukes om hverandre. Noen team bruker «brief» om bestillingen av design og tekst som sendes til en designer, og «plan» om det statistiske oppsettet. Denne malen dekker begge, med den kreative endringen beskrevet i hypoteseseksjonen.
Hvor lenge bør en B2B-A/B-test kjøre?
Til den når utvalgsstørrelsen du regnet ut, og i minst én hel uke. Mange B2B-sider trenger fire til tolv uker. Hvis utregningen sier lenger enn et kvartal, bør du endre testen i stedet for å stoppe tidlig.
Bør jeg skrive en plan for hver lille test?
Ja, men for en test av knappetekst kan planen være fem linjer. Stoppregelen og primærmålet er de to delene du aldri bør hoppe over, fordi det er de som hindrer deg i å kåre et tilfeldig utslag som vinner.