En skabelon til eksperimentplan tvinger de beslutninger igennem, som de fleste A/B-tests springer over: hvad du præcis forventer vil ske, hvilken enkelt måling der afgør vinderen, hvor mange besøgende du har brug for, og hvornår du må stoppe. At skrive det ned før lancering er den billigste beskyttelse mod at læse støj som et resultat. Skabelonen nedenfor er én side pr. test. Kopiér den ind i dit dokumentværktøj, eller download skabelonen som CSV til en testbacklog i et regneark.
Den er designet til trafikniveauer i B2B, hvor en enkelt test kan tage uger. Hvis du ikke har planlagt en test før, så læs først vores guide til konverteringsoptimering om, hvad der er værd at teste ved lav trafik.
Skabelonen til A/B-testplan
Udfyld alle rækker, før testen går live. En tom række er en beslutning, du ender med at træffe efter at have set dataene, og det er præcis det, planen skal forhindre.
| Sektion | Felt | Hvad du skal skrive |
|---|---|---|
| 1. Kontekst | Testnavn og ID | Kort, søgbart navn, fx "DEMO-07 formular med fem felter" |
| Ejer | Én person, der lancerer, overvåger og rapporterer testen | |
| Dokumentation bag | De data, den optagelse eller det kundecitat, der fik dig til at vælge denne test | |
| 2. Hypotese | Ændring | Præcis hvad der er forskelligt mellem kontrol og variant |
| Forventet effekt | Hvilken måling bevæger sig, i hvilken retning | |
| Begrundelse | Hvorfor du tror, det vil ske, i én sætning om købernes adfærd | |
| 3. Målinger | Primær metrik | Den ene metrik, der afgør resultatet, med dens præcise hændelsesdefinition |
| Guardrail-målinger | Metrikker, der ikke må blive dårligere (leadkvalitet, afvisningsprocent, sidehastighed) | |
| Sekundære målepunkter | Interessant, men ikke afgørende (scrolldybde, klik til priser) | |
| 4. Målgruppe | Side(r) | URL'er inkluderet i testen |
| Hvem der er med | Alle besøgende eller et segment som betalt trafik eller et interval for virksomhedsstørrelse | |
| Hvem er udelukket | Eksisterende kunder, intern trafik, bots | |
| Trafikfordeling | Som regel 50/50 ved to varianter | |
| 5. Statistik | Basiskonverteringsrate | De seneste 4 til 8 uger for denne side og denne måling |
| Mindste påviselige effekt (MDE) | Mindste relative løft, der er værd at handle på | |
| Konfidens og styrke | Som regel 95 % og 80 % | |
| Stikprøvestørrelse pr. variant | Fra A/B-testberegneren | |
| Planlagt varighed | Stikprøvestørrelse divideret med ugentlig trafik, rundet op til hele uger | |
| 6. Regler | Stopregel | Hvornår du aflæser resultatet (når stikprøven er nået, aldrig tidligere) |
| Stopregel | Hvad der ville få dig til at stoppe tidligt (ødelagt variant, fald i en guardrail-metrik) | |
| Beslutningsregel | Hvad du lancerer, hvis resultatet er en sejr, et tab eller uafklaret | |
| 7. Resultater | Kørselsdatoer | Start- og slutdato |
| Resultat pr. arm | Besøgende, konverteringer, konverteringsrate | |
| Signifikans og interval | p-værdi og konfidensinterval for forskellen | |
| Beslutning og læring | Hvad du lancerede, og hvad det lærte dig om køberne |
Sådan udfylder du den
- Start med dokumentation, ikke idéer. Afsnit 1 spørger, hvorfor denne test findes. Gode kilder: et trin i tragten med et usædvanligt frafald, sessionsoptagelser, noter fra salgsopkald, et fund fra en CRO-audit-tjekliste. "Den administrerende direktør vil have en ny hero" er ikke dokumentation.
- Skriv en falsificerbar hypotese. "Hvis vi skærer demoformularen ned fra ni felter til fem, vil antallet af demoanmodninger pr. besøgende stige, fordi købere falder fra, når de bliver spurgt om budget, før de har set produktet." En hypotese uden en begrundelse lærer dig intet, når den fejler.
- Vælg én primær metrik. Vælger du tre, vil en af dem sandsynligvis flytte sig tilfældigt, og du vil få lyst til at kalde det en sejr.
- Dimensionér testen, før du bygger den. Indtast baseline og den mindste påviselige effekt i beregneren. Hvis testen kræver mere end et kvartal, så ændr planen: test en større ændring, brug en metrik med højere frekvens, eller vælg en side med mere trafik. Vores guide til stikprøvestørrelse i A/B-test forklarer afvejningerne.
- Aftal beslutningsreglen på forhånd. Beslut, hvad "uafklaret" betyder for jer. Mange B2B-teams lancerer den simpleste variant, når resultaterne er flade, hvilket er en fin regel, hvis den er skrevet ned før lancering.
Illustrativ udfyldt plan
Illustrative tal for en fiktiv B2B-softwarevirksomhed.
| Felt | Indgang |
|---|---|
| Testnavn | DEMO-07 demoformular med fem felter |
| Dokumentation | Formularanalyse viser, at flest falder fra ved feltet "Budget"; salg bekræfter, at de ikke bruger det i første samtale |
| Hypotese | At skære formularen ned fra ni til fem felter øger antallet af demoindsendelser pr. besøgende, fordi køberne ikke vil oplyse budget, før de har set produktet |
| Primær metrik | Indsendte demoformularer divideret med unikke besøgende på /demo |
| Sikkerhedsgrænser | Andelen af indsendelser, som salg accepterer som kvalificerede, må ikke falde med mere end en fjerdedel |
| Målgruppe | Alle besøgende på /demo undtagen indloggede kunder og interne IP-adresser; 50/50-fordeling |
| Baseline | 8 % af besøgende på /demo indsender |
| Mindste påviselige effekt (MDE) | 20 % relativt (8,0 % til 9,6 %) |
| Stikprøvestørrelse | Ca. 4.900 besøgende pr. variant ved 95 % konfidens og 80 % power |
| Varighed | /demo får ca. 1.500 besøgende om ugen, så ca. 9.800 besøgende i alt tager 7 uger |
| Stopregel | Aflæs resultatet efter 7 hele uger, eller når begge grene passerer 4.900 besøgende, alt efter hvad der kommer sidst |
| Stopregel | Stop, hvis variantformularen ikke kan indsendes, eller andelen af kvalificerede halveres inden for de første to uger |
| Beslutningsregel | Sejr: lancér fem felter. Tab: behold ni. Uafklaret: lancér fem felter, da det er enklere, og berigelse udfylder hullet |
Testbackloggen
CSV-downloaden indeholder også et backlog-ark, så du kan rangere tests, før du skriver fulde planer. Én række pr. idé:
| ID | Side | Idé | Dokumentation | Effekt (1-3) | Sikkerhed (1-3) | Nemhed (1-3) | Score | Antal uger | Status |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Formular med fem felter | Frafald pr. felt | 3 | 2 | 3 | 8 | 7 | Planlagt |
| HOME-03 | / | Branchespecifik hero | ICP-besøgende bouncer mere | 3 | 2 | 2 | 7 | 10 | Idé |
Idéer, der scorer højt, men kræver mere end 12 uger, egner sig bedre til en holdout-sammenligning eller en personaliseringsregel end til en klassisk A/B-test. Se A/B-test vs multivariat test for, hvornår hver metode passer.
Ofte stillede spørgsmål
Hvad skal en A/B-testplan indeholde?
En hypotese med en begrundelse, én primær metrik med en præcis definition, guardrail-metrikker, målgruppen og fordelingen, baseline-rate, mindste påviselige effekt, stikprøvestørrelse, varighed samt regler for stop, afbrydelse og beslutning. Tilføj en resultatsektion, så planen bliver dokumentationen for testen.
Hvad er forskellen på en eksperimentplan og en testbrief?
Begreberne bruges i flæng. Nogle teams bruger »brief« om design- og tekstanmodningen til en designer og »plan« om den statistiske opsætning. Denne skabelon dækker begge dele, med den kreative ændring beskrevet i hypoteseafsnittet.
Hvor længe skal en B2B A/B-test køre?
Indtil den når den stikprøvestørrelse, du har beregnet, og i mindst én hel uge. Mange B2B-sider har brug for fire til tolv uger. Hvis beregningen siger mere end et kvartal, så ændr testen i stedet for at stoppe tidligt.
Skal jeg skrive en plan for hver lille test?
Ja, men til en test af knaptekst kan planen være fem linjer. Stopreglen og den primære metrik er de to dele, du aldrig må springe over, for det er dem, der forhindrer dig i at kalde et tilfældigt udsving en sejr.