En mall för experimentplaner tvingar fram de beslut som de flesta A/B-tester hoppar över: exakt vad du förväntar dig ska hända, vilket enskilt mått som avgör vinnaren, hur många besökare du behöver och när du får avbryta. Att skriva ner det före lansering är det billigaste skyddet mot att tolka brus som ett resultat. Mallen nedan är en sida per test. Kopiera den till ditt dokumentverktyg, eller ladda ner mallen som CSV för en testbacklogg i ett kalkylark.
Den är utformad för trafiknivåer inom B2B, där ett enda test kan ta veckor. Om du inte har planerat ett test tidigare, läs först vår guide till konverteringsoptimering för vad som är värt att testa vid låg trafik.
Mallen för A/B-testplan
Fyll i varje rad innan testet går live. En tom rad är ett beslut som du kommer att fatta efter att ha sett datan, vilket är precis vad planen ska förhindra.
| Avsnitt | Fält | Vad du ska skriva |
|---|---|---|
| 1. Sammanhang | Testets namn och ID | Kort, sökbart namn, till exempel ”DEMO-07 formulär med fem fält” |
| Ägare | En person som lanserar, övervakar och rapporterar testet | |
| Belägg bakom det | Datan, inspelningen eller kundcitatet som fick dig att välja just det här testet | |
| 2. Hypotes | Ändring | Exakt vad som skiljer kontroll och variant åt |
| Förväntad effekt | Vilket mått som rör sig, och åt vilket håll | |
| Anledning | Varför du tror att det kommer att hända, i en mening om köparbeteende | |
| 3. Mått | Primärt mätetal | Det mätvärde som avgör resultatet, med sin exakta händelsedefinition |
| Skyddsmått | Mått som inte får bli sämre (leadkvalitet, avvisningsfrekvens, sidhastighet) | |
| Sekundära mätvärden | Intressant men inte avgörande (skrolldjup, klick till priser) | |
| 4. Målgrupp | Sida/sidor | URL:er som ingår i testet |
| Vilka som ingår | Alla besökare, eller ett segment som betald trafik eller en storleksklass av företag | |
| Vilka som exkluderas | Befintliga kunder, intern trafik, botar | |
| Trafikfördelning | Oftast 50/50 för två grenar | |
| 5. Statistik | Baskonvertering | De senaste 4–8 veckorna för den här sidan och det här måttet |
| Minsta detekterbara effekt | Minsta relativa förbättring som är värd att agera på | |
| Konfidens och styrka | Oftast 95 % och 80 % | |
| Urvalsstorlek per variant | Från A/B-testkalkylatorn | |
| Planerad längd | Urvalsstorlek dividerad med trafik per vecka, avrundat uppåt till hela veckor | |
| 6. Regler | Stoppregel | När du kommer att läsa av resultatet (när urvalet är nått, aldrig tidigare) |
| Regel för att avbryta | Vad som skulle få dig att avbryta i förtid (trasig variant, fall i skyddsmått) | |
| Beslutsregel | Vad du lanserar om resultatet är en vinst, en förlust eller ofullständigt | |
| 7. Resultat | Körda datum | Start- och slutdatum |
| Resultat per gren | Besökare, konverteringar, konverteringsgrad | |
| Signifikans och intervall | p-värde och konfidensintervall för skillnaden | |
| Beslut och lärande | Vad du lanserade och vad det lärde dig om köparna |
Så fyller du i den
- Utgå från belägg, inte idéer. Avsnitt 1 frågar varför testet finns. Bra källor: ett steg i tratten med ett ovanligt tapp, sessionsinspelningar, anteckningar från säljsamtal, ett fynd från en checklista för CRO-granskning. ”VD:n vill ha en ny hero” är inget belägg.
- Skriv en falsifierbar hypotes. ”Om vi minskar demoformuläret från nio fält till fem kommer antalet demoförfrågningar per besökare att öka, eftersom köpare hoppar av när de tillfrågas om budget innan de har sett produkten.” En hypotes utan motivering lär dig ingenting när den inte håller.
- Välj ett primärt mätvärde. Om du väljer tre kommer ett av dem sannolikt att röra sig av en slump, och du kommer att vilja kalla det en vinst.
- Dimensionera testet innan du bygger det. Mata in utgångsnivån och den minsta detekterbara effekten i kalkylatorn. Om testet behöver mer än ett kvartal, ändra planen: testa en större ändring, använd ett mätetal med högre frekvens eller välj en sida med mer trafik. Vår guide till urvalsstorlek för A/B-tester förklarar avvägningarna.
- Kom överens om beslutsregeln i förväg. Bestäm vad ”ofullständigt” betyder för dig. Många B2B-team lanserar den enklare varianten när resultaten är oförändrade, vilket är en bra regel om den är nedskriven före lansering.
Illustrativ ifylld plan
Illustrativa siffror för ett fiktivt B2B-programvaruföretag.
| Fält | Ingång |
|---|---|
| Testnamn | DEMO-07 demoformulär med fem fält |
| Belägg | Formuläranalysen visar flest avhopp vid fältet ”Budget”; sälj bekräftar att de inte använder det vid första samtalet |
| Hypotes | Att korta formuläret från nio till fem fält ökar antalet demoförfrågningar per besökare eftersom köpare inte vill uppge budget innan de har sett produkten |
| Primärt mätetal | Inskickade demoformulär delat med unika besökare på /demo |
| Skyddsräcken | Andelen inskick som sälj godkänner som kvalificerade får inte sjunka med mer än en fjärdedel |
| Målgrupp | Alla besökare på /demo, utom inloggade kunder och interna IP-adresser; fördelning 50/50 |
| Utgångsläge | 8 % av besökarna på /demo skickar in |
| Minsta detekterbara effekt | 20 % relativ (8,0 % till 9,6 %) |
| Urvalsstorlek | Ungefär 4 900 besökare per variant vid 95 % konfidens och 80 % styrka |
| Längd | /demo får omkring 1 500 besökare i veckan, så omkring 9 800 besökare totalt tar 7 veckor |
| Stoppregel | Läs av resultatet efter 7 hela veckor eller när båda grupperna passerat 4 900 besökare, beroende på vad som inträffar senast |
| Regel för att avbryta | Stoppa om variantens formulär inte går att skicka eller om andelen kvalificerade halveras de första två veckorna |
| Beslutsregel | Vinst: lansera fem fält. Förlust: behåll nio. Ofullständigt: lansera fem fält, eftersom det är enklare och berikningen fyller luckan |
Testbackloggen
CSV-nedladdningen innehåller också ett backloggblad så att du kan rangordna tester innan du skriver fullständiga planer. En rad per idé:
| ID | Sida | Idé | Belägg | Effekt (1–3) | Säkerhet (1–3) | Enkelhet (1–3) | Poäng | Veckor som krävs | Status |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Formulär med fem fält | Avhopp per fält | 3 | 2 | 3 | 8 | 7 | Planerat |
| HOME-03 | / | Branschspecifik hero | ICP-besökare avvisas oftare | 3 | 2 | 2 | 7 | 10 | Idé |
Idéer som får höga poäng men behöver mer än 12 veckor passar bättre för en jämförelse mot kontrollgrupp eller en personaliseringsregel än för ett klassiskt A/B-test. Se A/B-testning kontra multivariat testning för när respektive metod passar.
Vanliga frågor
Vad ska en A/B-testplan innehålla?
En hypotes med en motivering, ett primärt mätetal med en exakt definition, skyddsmått, målgrupp och uppdelning, utgångsnivå, minsta detekterbara effekt, urvalsstorlek, testlängd samt regler för att stoppa, avbryta och besluta. Lägg till ett resultatavsnitt så att planen blir dokumentationen av testet.
Vad är skillnaden mellan en experimentplan och en testbrief?
Termerna används omväxlande. Vissa team använder ”brief” för design- och textbeställningen som skickas till en designer, och ”plan” för den statistiska uppsättningen. Den här mallen täcker båda, med den kreativa ändringen beskriven i hypotesavsnittet.
Hur länge ska ett A/B-test inom B2B pågå?
Tills det når den urvalsstorlek du har räknat fram, och i minst en hel vecka. Många B2B-sidor behöver fyra till tolv veckor. Om beräkningen säger längre än ett kvartal, ändra testet i stället för att avbryta i förtid.
Ska jag skriva en plan för varje litet test?
Ja, men för ett test av knapptext kan planen vara fem rader. Stoppregeln och det primära måttet är de två delar du aldrig ska hoppa över, eftersom det är de som hindrar dig från att utropa en slumpmässig svängning till vinnare.