Testarea A/B este un experiment controlat randomizat în care vizitatorii sunt împărțiți aleatoriu între două versiuni ale unei pagini, unui email sau unei funcționalități, controlul (A) și o variantă (B), iar o metrică stabilită dinainte este comparată pentru a vedea dacă diferența dintre ele este mai mare decât ar explica întâmplarea. Este metoda standard prin care afli dacă o schimbare a cauzat o îmbunătățire, nu doar a coincis cu ea.
Metoda este bine stabilită în produsele online; ghidul practic al lui Kohavi și al colegilor săi rămâne o referință standard (Kohavi et al., „Controlled experiments on the web”, Data Mining and Knowledge Discovery, 2009).
Cum funcționează testarea A/B
- Ipoteză și metrică. Formulează schimbarea, efectul așteptat și o singură metrică principală, de exemplu rata de solicitări demo.
- Randomizare. Fiecare vizitator este alocat aleatoriu la A sau B și rămâne acolo la vizitele următoare, așa că grupurile diferă doar prin schimbare.
- Dimensiunea eșantionului. Decide dinainte de câți vizitatori are nevoie fiecare versiune, pe baza ratei de bază, a celei mai mici creșteri care merită detectată (efectul minim detectabil), a nivelului de semnificație și a puterii statistice.
- Rulează. Lasă testul să atingă acel eșantion, ideal pe săptămâni întregi. Nu-l opri mai devreme pentru că una dintre variante pare în avantaj.
- Analizează. Compară ratele. Un rezultat este semnificativ statistic la 5% dacă, în cazul în care nu ar exista de fapt nicio diferență, un decalaj atât de mare ar apărea în mai puțin de 5% din cazuri.
Două setări contează. Pragul de semnificație (de obicei 5%, numit adesea încredere de 95%) controlează falsurile pozitive. Puterea (de obicei 80%) este șansa de a detecta efectul dacă este real; un test fără putere suficientă produce mai ales „niciun rezultat”.
Exemplu
Exemplu: o pagină de demo convertește la 3%. Vrei să detectezi o creștere relativă de 20% (de la 3,0% la 3,6%) cu un test bilateral la un nivel de semnificație de 5% și o putere statistică de 80%. Formula standard pentru două proporții este:
n pe variantă = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Primul termen: 1,96 x √(2 x 0,033 x 0,967) = 1,96 x 0,2526 = 0,495
- Al doilea termen: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Numărător: (0,495 + 0,213)² = 0,501; numitor: 0,006² = 0,000036
- n ≈ 13.900 de vizitatori per variantă, aproximativ 27.800 în total
La 2.000 de vizitatori pe săptămână pe acea pagină, testul are nevoie de aproximativ 14 săptămâni. Acesta este rezultatul util: înainte să construiești ceva, știi că pagina nu poate susține într-un timp rezonabil un test pentru o creștere de 20%, așa că testezi o schimbare mai îndrăzneață, folosești o pagină cu trafic mai mare sau lansezi și monitorizezi. Poți reproduce numărul cu calculatorul nostru pentru teste A/B sau cu calculatorul de dimensiune a eșantionului al lui Evan Miller.
Testare A/B vs. A/B/n vs. multivariată
| A/B | A/B/n | Multivariat (MVT) | |
|---|---|---|---|
| Ce variază | Un control vs o variantă | Un control vs. mai multe variante | Mai multe elemente deodată, fiecare combinație |
| Trafic necesar | Cel mai redus | Crește cu fiecare variantă | Cel mai mare: traficul se împarte între toate combinațiile |
| Răspunde la | Este B mai bun decât A? | Care dintre mai multe versiuni este cea mai bună? | Ce combinație de elemente funcționează și interacționează între ele? |
| Se potrivește | Majoritatea paginilor B2B | Titluri sau oferte cu trafic real | Doar paginile cu trafic mare |
Nielsen Norman Group rezumă compromisul: testele multivariate se potrivesc pentru rafinări incrementale pe pagini cu trafic mare, în timp ce testele A/B pot compara designuri radical diferite (NN/g, „Multivariate vs. A/B Testing”).
Cum folosesc echipele B2B testarea A/B
- Testarea lungimii și formulării formularelor de demo și de contact.
- Compararea propunerilor de valoare și a titlurilor pe landing page-urile cu trafic mare.
- Validarea personalizării: conținut specific segmentului vs pagina generică, cu un grup de control.
- Layoutul paginii de prețuri și prezentarea planurilor.
- Subiectele emailurilor și conținutul de nurturing, unde volumul permite.
Întrebări frecvente
Cât timp ar trebui să ruleze un test A/B?
Până ajunge la dimensiunea eșantionului calculată înainte de lansare și cel puțin o săptămână completă, de preferat două, ca toate zilele săptămânii să fie reprezentate. Împarte numărul necesar de vizitatori per variantă la traficul săptămânal per variantă pentru a estima durata. Dacă răspunsul este de câteva luni, testul nu este viabil în forma actuală.
Ce înseamnă un efect minim detectabil bun?
Cea mai mică creștere pentru care ar merita să acționezi, ținând cont de costul schimbării. Paginile B2B cu trafic redus au de obicei nevoie de un efect minim detectabil mai mare, adesea de 20% relativ sau mai mult, ca să se încheie într-un timp rezonabil. Efectele mai mici pot fi reale, dar necesită mult mai mult trafic, pentru că dimensiunea eșantionului crește aproximativ cu inversul pătratului efectului.
Poți face teste A/B cu trafic redus?
Da, dar testează schimbări mai mari, folosește pasul din pâlnie cu cel mai mult trafic și alege o metrică ce apare des, precum clicurile spre pagina de demo, nu tranzacțiile închise. Când și asta e prea lent, fă schimbarea pe baza cercetării și monitorizează înainte și după, acceptând că dovezile sunt mai slabe.
Articole similare
Planifică testele cu șablonul de plan pentru testele A/B, citește ghidul detaliat despre dimensiunea eșantionului pentru testele A/B și alege un design de test cu testare A/B vs. testare multivariată. Pentru procesul în ansamblu, vezi optimizarea ratei de conversie.