Un șablon de plan de experiment te obligă să iei deciziile pe care majoritatea testelor A/B le sar: ce anume te aștepți să se întâmple, ce metrică unică decide câștigătorul, de câți vizitatori ai nevoie și când ai voie să te oprești. Să le scrii înainte de lansare este cea mai ieftină protecție împotriva interpretării zgomotului drept rezultat. Șablonul de mai jos are o pagină per test. Copiază-l în instrumentul tău de documentare sau descarcă șablonul în format CSV pentru un backlog de teste într-o foaie de calcul.
Este conceput pentru nivelurile de trafic B2B, unde un singur test poate dura săptămâni. Dacă n-ai mai planificat un test până acum, citește mai întâi ghidul nostru de optimizare a ratei de conversie ca să vezi ce merită testat la trafic mic.
Șablonul de plan pentru teste A/B
Completează fiecare rând înainte ca testul să intre live. Un rând gol este o decizie pe care o vei lua după ce vezi datele, exact ce trebuie să prevină planul.
| Secțiune | Câmp | Ce să scrii |
|---|---|---|
| 1. Context | Numele și ID-ul testului | Nume scurt, ușor de căutat, de exemplu „DEMO-07 formular cu cinci câmpuri” |
| Responsabil | O singură persoană care lansează, monitorizează și raportează testul | |
| Dovezile din spate | Datele, înregistrarea sau citatul de la client care te-au făcut să alegi acest test | |
| 2. Ipoteză | Schimbare | Exact ce diferă între control și variantă |
| Efect așteptat | Ce metrică se schimbă și în ce direcție | |
| Motiv | De ce crezi că se va întâmpla, într-o propoziție despre comportamentul cumpărătorului | |
| 3. Metrici | Metrica principală | Singura metrică ce decide rezultatul, cu definiția exactă a evenimentului |
| Metrici de protecție | Metrici care nu trebuie să se înrăutățească (calitatea leadurilor, rata de respingere, viteza paginii) | |
| Metrici secundare | Interesant, dar nu decisiv (adâncimea de scroll, clicurile spre prețuri) | |
| 4. Public | Pagină/pagini | URL-uri incluse în test |
| Cine este inclus | Toți vizitatorii sau un segment, precum traficul plătit sau o categorie de mărime a companiei | |
| Cine este exclus | Clienți existenți, trafic intern, boți | |
| Împărțirea traficului | De obicei 50/50 pentru două variante | |
| 5. Statistică | Rata de conversie de bază | Ultimele 4-8 săptămâni pentru această pagină și această metrică |
| Efectul minim detectabil | Cea mai mică creștere relativă pentru care merită să acționezi | |
| Încredere și putere statistică | De obicei 95% și 80% | |
| Mărimea eșantionului pe variantă | Din calculatorul pentru teste A/B | |
| Durata planificată | Dimensiunea eșantionului împărțită la traficul săptămânal, rotunjită în sus la săptămâni întregi | |
| 6. Reguli | Regula de oprire | Când vei citi rezultatul (eșantion atins, niciodată mai devreme) |
| Regula de oprire | Ce te-ar face să oprești testul mai devreme (variantă stricată, scădere la o metrică de control) | |
| Regula de decizie | Ce lansezi dacă rezultatul este un câștig, o pierdere sau neconcludent | |
| 7. Rezultate | Perioada de rulare | Data de început și de final |
| Rezultatul pe fiecare braț | Vizitatori, conversii, rata de conversie | |
| Semnificație și interval | Valoarea p și intervalul de încredere al diferenței | |
| Decizie și învățare | Ce ai lansat și ce te-a învățat despre cumpărători |
Cum îl completezi
- Pornește de la dovezi, nu de la idei. Secțiunea 1 întreabă de ce există acest test. Surse bune: un pas din pâlnie cu o scădere neobișnuită, înregistrări de sesiuni, notițe din apelurile de vânzări, o constatare din checklistul de audit CRO. „CEO-ul vrea un hero nou” nu este o dovadă.
- Scrie o ipoteză falsificabilă. „Dacă reducem formularul de demo de la nouă câmpuri la cinci, numărul de trimiteri per vizitator va crește, pentru că cumpărătorii abandonează când li se cere bugetul înainte să fi văzut produsul.” O ipoteză fără un motiv nu te învață nimic atunci când eșuează.
- Alege o singură metrică principală. Dacă alegi trei, probabil una se va mișca din întâmplare și vei vrea să o declari câștig.
- Dimensionează testul înainte să îl construiești. Introdu valoarea de referință și efectul minim detectabil în calculator. Dacă testul are nevoie de mai mult de un trimestru, schimbă planul: testează o schimbare mai mare, folosește o metrică mai frecventă sau alege o pagină cu mai mult trafic. Ghidul nostru despre dimensiunea eșantionului pentru testele A/B explică compromisurile.
- Stabilește dinainte regula de decizie. Decide ce înseamnă „neconcludent” pentru tine. Multe echipe B2B lansează varianta mai simplă când rezultatele sunt egale, ceea ce e o regulă bună dacă e scrisă înainte de lansare.
Plan completat, cu titlu ilustrativ
Cifre ilustrative pentru o companie fictivă de software B2B.
| Câmp | Intrare |
|---|---|
| Numele testului | DEMO-07 formular de demo cu cinci câmpuri |
| Dovezi | Analiza formularului arată cele mai multe abandonuri la câmpul „Buget”; echipa de vânzări confirmă că nu îl folosește la primul apel |
| Ipoteză | Reducerea formularului de la nouă la cinci câmpuri crește numărul de solicitări de demo per vizitator, pentru că cumpărătorii nu vor să-și dezvăluie bugetul înainte să vadă produsul |
| Metrica principală | Formulare de demo trimise împărțite la vizitatorii unici ai /demo |
| Limite de siguranță | Ponderea trimiterilor acceptate de vânzări ca fiind calificate nu trebuie să scadă cu mai mult de un sfert |
| Audiență | Toți vizitatorii paginii /demo, cu excepția clienților autentificați și a IP-urilor interne; împărțire 50/50 |
| Valoare de referință | 8% dintre vizitatorii /demo trimit formularul |
| Efectul minim detectabil | 20% relativ (de la 8,0% la 9,6%) |
| Dimensiunea eșantionului | Aproximativ 4.900 de vizitatori per variantă, la o încredere de 95% și o putere de 80% |
| Durată | /demo primește aproximativ 1.500 de vizitatori pe săptămână, așa că aproximativ 9.800 de vizitatori în total înseamnă 7 săptămâni |
| Regula de oprire | Citește rezultatul după 7 săptămâni complete sau după ce ambele variante depășesc 4.900 de vizitatori, oricare survine mai târziu |
| Regula de oprire | Oprește dacă formularul variantei nu se trimite sau dacă rata de calificare scade la jumătate în primele două săptămâni |
| Regula de decizie | Câștig: lansează cinci câmpuri. Pierdere: păstrează nouă. Neconcludent: lansează cinci câmpuri, pentru că e mai simplu și îmbogățirea acoperă golul |
Backlogul de teste
Descărcarea CSV include și o foaie de backlog, ca să poți ierarhiza testele înainte să scrii planurile complete. Un rând pentru fiecare idee:
| ID | Pagină | Idee | Dovezi | Impact (1-3) | Încredere (1-3) | Ușurință (1–3) | Scor | Săptămâni necesare | Status |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Formular cu cinci câmpuri | Abandon pe câmp | 3 | 2 | 3 | 8 | 7 | Planificat |
| HOME-03 | / | Hero specific industriei | Vizitatorii ICP au bounce rate mai mare | 3 | 2 | 2 | 7 | 10 | Idee |
Ideile cu scor mare, dar care au nevoie de mai mult de 12 săptămâni, sunt candidați mai buni pentru o comparație cu holdout sau pentru o regulă de personalizare decât pentru un test A/B clasic. Vezi testarea A/B vs testarea multivariată pentru a afla când se potrivește fiecare metodă.
Întrebări frecvente
Ce ar trebui să includă un plan de test A/B?
O ipoteză cu justificare, o singură metrică principală cu definiție exactă, metrici de control (guardrail), audiența și împărțirea, rata de referință, efectul minim detectabil, dimensiunea eșantionului, durata și regulile de oprire, de abandon și de decizie. Adaugă o secțiune de rezultate, ca planul să devină evidența testului.
Care este diferența dintre un plan de experiment și un brief de test?
Termenii sunt folosiți interschimbabil. Unele echipe folosesc „brief” pentru cererea de design și text trimisă unui designer și „plan” pentru configurarea statistică. Acest șablon le acoperă pe amândouă, cu schimbarea creativă descrisă în secțiunea de ipoteză.
Cât timp ar trebui să ruleze un test A/B în B2B?
Până atinge dimensiunea eșantionului calculată și cel puțin o săptămână întreagă. Multe pagini B2B au nevoie de patru până la douăsprezece săptămâni. Dacă din calcule reiese mai mult de un trimestru, schimbă testul în loc să-l oprești mai devreme.
Ar trebui să scriu un plan pentru fiecare test mic?
Da, deși pentru un test pe textul unui buton planul poate avea cinci rânduri. Regula de oprire și metrica principală sunt cele două părți pe care nu trebuie să le sari niciodată, pentru că ele te împiedică să declari victorie pentru o fluctuație aleatorie.