Formula dimensiunii eșantionului în testarea A/B îți spune de câți vizitatori are nevoie fiecare variantă înainte ca o diferență în rata de conversie să însemne ceva. Pentru un test bilateral standard, la o încredere de 95% și o putere de 80%, ai nevoie de aproximativ n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² vizitatori per variantă, unde p1 este rata de referință, iar p2 rata pe care speri să o detectezi.
Aplică formula pe cifre B2B reale și rezultatul este incomod. O pagină care convertește la 3% are nevoie de aproximativ 14.000 de vizitatori pe variantă pentru a detecta în mod fiabil o creștere relativă de 20%. Multe pagini B2B nu au atâția vizitatori într-un trimestru. Mai jos: formula, variabilă cu variabilă, tabele calculate pentru o serie de rate de bază, cât durează un test la un anumit nivel de trafic și ce faci când răspunsul este „opt luni”.
Poziția noastră: majoritatea testelor A/B B2B au putere statistică insuficientă
Mai întâi, opinia susținută de calcule. Părerea noastră este că majoritatea testelor A/B din B2B sunt oprite cu mult înainte să aibă suficiente date și că multe dintre „câștigătoarele” rezultate sunt zgomot. Tiparul arată așa: un test de trei săptămâni, o variantă în avantaj cu 25%, o insignă verde, o modificare implementată și, șase luni mai târziu, nicio creștere vizibilă în pipeline.
Testele cu putere statistică insuficientă ratează efecte reale, ceea ce irosește slotul de testare. Mai rău, când un astfel de test chiar trece pragul de semnificație, creșterea măsurată tinde să fie supraestimată, pentru că doar extragerile norocoase trec pragul. Statisticienii numesc asta eroare de magnitudine (tip M). Echipa lansează o schimbare care s-ar putea să nu facă nimic și mai trece și un număr umflat în raportarea CRO. Calcularea dimensiunii eșantionului înainte de lansare este cea mai ieftină protecție.
Formula pentru dimensiunea eșantionului la testarea A/B
Formula standard pentru compararea a două rate de conversie (un test z pentru două proporții) este:
n per variantă = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
Fiecare input are o semnificație simplă:
- p1 (rata de conversie de bază): rata de conversie actuală a paginii și a obiectivului pe care le testezi. Folosește rata pentru exact acel eveniment de conversie și exact acea pagină, din ultimele 4–8 săptămâni, nu o medie pe tot site-ul.
- p2 (rata țintă): valoarea de referință înmulțită cu (1 + MDE). Cu o rată de bază de 3% și un MDE relativ de 20%, p2 = 3,6%.
- MDE (efectul minim detectabil): cea mai mică creștere relativă pe care vrei să o detectezi. Este o decizie de business, nu una statistică. MDE-urile mai mici au nevoie de mult mai mult trafic, pentru că diferența (p2 − p1) este ridicată la pătrat în numitor. Înjumătățește MDE-ul și eșantionul crește de aproximativ patru ori.
- p̄ (rata combinată): media dintre p1 și p2. Descrie zgomotul în ipoteza că nu există o diferență reală.
- zα/2 = 1,96: corespunde unei rate de fals pozitive de 5% (alpha 0,05), împărțită pe ambele cozi, pentru că varianta ar putea fi mai bună sau mai proastă.
- zβ = 0,8416: corespunde unei puteri de 80%, ceea ce înseamnă că, dacă creșterea reală este egală cu MDE-ul, testul o detectează în 80% din cazuri. În celelalte 20% ratezi un câștigător real.
Multe calculatoare folosesc versiunea simplificată, unpooled, prezentată în primul paragraf. La ratele de conversie B2B, cele două diferă doar cu câțiva vizitatori. Calculatorul nostru de teste A/B folosește formula pooled de mai sus și estimează și durata testului.
Exemplu practic, pas cu pas
Exemplu (cifre ilustrative): o pagină de cerere de demo convertește la 3%. Vrei să detectezi o creștere relativă de 20%.
- Setează ratele: p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. Diferența absolută este 0,006.
- Rata cumulată: p̄ = (0,030 + 0,036) / 2 = 0,033.
- Primul termen: √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. Înmulțit cu 1,96: 0,4951.
- Al doilea termen: p1(1−p1) = 0,0291 și p2(1−p2) = 0,0347. √(0,0638) = 0,2526. Înmulțit cu 0,8416: 0,2126.
- Adună și ridică la pătrat: (0,4951 + 0,2126)² = 0,7077² = 0,5009.
- Împarte la diferența ridicată la pătrat: 0,5009 / 0,006² = 0,5009 / 0,000036 = 13.914 vizitatori per variantă.
Deci testul are nevoie de aproximativ 27.800 de vizitatori în total și de circa 417 conversii doar în varianta de control (13.914 × 3%) înainte să citești rezultatul. Ca verificare, formula simplificată fără cumulare dă 13.911 per variantă, iar o aproximare arcsinus (h lui Cohen) dă aproximativ 13.890. Cele trei metode se potrivesc la o diferență de sub 0,2%.
Tabel cu dimensiunea eșantionului pentru ratele de conversie B2B
Tabelul de mai jos aplică formula cumulată de mai sus (alpha 0,05 bilateral, putere 0,8) pentru rate de bază de la 1% (de exemplu, cererile de demo ca procent din toți vizitatorii unei pagini aglomerate) la 10% (de exemplu, o micro-conversie precum un click pe CTA). Folosește propria rată de bază; aceste rânduri sunt doar puncte de referință. Valorile reprezintă vizitatori per variantă, calculate în Node.js și rotunjite în sus.
| Rata de conversie de bază | MDE relativ de 10% | MDE relativ de 20% | MDE relativ de 30% | MDE relativ de 50% |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
Trecerea de la un MDE de 10% la un MDE de 50% reduce eșantionul necesar de aproximativ 20 de ori. Dublarea ratei de bază îl reduce cam la jumătate. Traficul nu-l poți schimba rapid, dar poți alege mărimea schimbării pe care o testezi și conversia pe care o măsori, iar pe un site mic acestea sunt cele două pârghii care contează.
Cât va dura testul?
Durata este numărul total de vizitatori necesari (ambele variante) împărțit la vizitatorii lunari care ajung efectiv pe pagina testată. Tabelul arată numărul de luni pentru o împărțire 50/50 la trei niveluri de trafic.
| Vizitatori lunari pe pagină | Valoare de referință | MDE 10% | MDE de 20% | MDE 30% | MDE de 50% |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
Indiferent ce spune tabelul, rulează fiecare test cel puțin două săptămâni complete, ca comportamentul din zilele lucrătoare și din weekend și orice vârfuri de campanie să fie reprezentate în ambele variante. Și consideră orice depășește trei luni drept un test pe care probabil nu ar trebui să-l rulezi în forma actuală: conținutul paginii, campaniile și mixul de trafic se schimbă toate în acest timp, iar rezultatul descrie un site care nu mai există.
La 5.000 de vizitatori pe lună și o rată de bază de 3%, o creștere de 50% poate fi citită în aproximativ o lună, iar una de 10% durează aproape doi ani. Nimeni nu ține o pagină neschimbată doi ani, așa că al doilea test va fi oprit mai devreme și interpretat ca și cum ar însemna ceva.
Ce greșesc majoritatea echipelor
- Folosirea traficului întregului site în estimarea duratei. Contează doar vizitatorii care ajung la elementul testat. Un test pe pagina de prețuri pe un site cu 20.000 de vizitatori ar putea avea doar 2.000 de vizitatori eligibili pe lună.
- Alegerea MDE-ului după test. Dacă ai stabilit MDE-ul la 30% înainte de lansare, iar testul arată 12%, nu ai un câștigător cu 12%. Ai un test neconcludent.
- Verificarea prematură a rezultatelor și oprirea la prima insignă verde. Analiza lui Evan Miller, How Not To Run an A/B Test, arată că testarea repetată a semnificației crește întotdeauna rata de rezultate fals pozitive. În exemplul lui (o rată de bază de 50%, o schimbare fără niciun efect, oprire imediat ce rezultatul atinge pragul de semnificație de 5% sau după 150 de observații), rata de fals pozitive este de 26,1% în loc de 5%, cât e nominal.
Când cifrele spun luni: șapte opțiuni
1. Testează schimbări mai mari
Cel mai ieftin mod de a reduce mărimea eșantionului este să crești onest MDE-ul, adică să testezi schimbări suficient de mari încât să-l poată produce plauzibil: o nouă propunere de valoare, o ofertă diferită (programare instantanee în loc de formular de contact), o pagină adaptată unei industrii în locul uneia generice. Ghidul nostru de optimizare a ratei de conversie B2B explică cum să ierarhizezi ideile de test după mărimea efectului așteptat.
2. Testează pe pagini cu trafic mai mare
Homepage-ul, cele mai citite articole de blog și landing page-urile cu volum mare îți aduc mai mulți vizitatori pe lună (vezi notele noastre despre optimizarea landing page-urilor B2B pentru ce pagini tind să aibă cel mai mult trafic în etapa de decizie). Un test pe un șablon comun mai multor pagini (toate paginile de soluții, toate articolele de blog) le adună traficul într-un singur experiment.
3. Folosește cu grijă microconversiile
Microconversiile, cum ar fi clicurile pe CTA sau începerea completării formularelor, au rate de bază mai mari, așa că se aplică rândul de 10% din tabel în loc de cel de 2%. Capcana: o variantă poate crește clicurile și scădea demo-urile calificate. Folosește microconversia ca metrică de decizie doar când ai dovezi că se mișcă odată cu obiectivul macro și raportează întotdeauna macroconversia alături de ea, ca reper de siguranță.
4. Grupează segmentele, apoi împarte-le mai târziu
Rularea unor teste separate pentru fiecare segment îți împarte traficul. Rulează un singur test pentru toate segmentele, apoi privește rezultatele la nivel de segment doar ca orientative. Dacă ai nevoie de un răspuns specific unui segment, testul trebuie dimensionat doar pentru traficul acelui segment. Roadmap-ul de 90 de zile pentru testarea personalizării arată cum ordonezi testele pe segmente astfel încât fiecare să primească suficient trafic.
5. Folosește testarea secvențială
Designurile secvențiale (teste secvențiale de grup cu verificări intermediare planificate sau metode always-valid integrate în unele instrumente de testare) îți permit să verifici rezultatele în timpul testului și să-l oprești devreme când efectul este mare, fără să crești numărul de rezultate fals pozitive. Compromisul este un eșantion maxim puțin mai mare dacă testul rulează până la capăt. Aceasta este versiunea legitimă a verificărilor premature. Dacă un test ar dura luni, cheltuie mai întâi bugetul pe instrumente CRO de diagnostic, precum înregistrările sesiunilor și analiza formularelor.
6. Ia în calcul o abordare bayesiană, cu așteptări clare
Testarea A/B bayesiană raportează probabilitatea ca B să bată A și pierderea așteptată dacă alegi varianta greșită. E mai ușor de folosit decât o valoare p și îți permite să iei decizii explicite precum „lansăm dacă probabilitatea de a fi mai bună e peste 90% și pierderea așteptată e sub 0,1 puncte procentuale”. Pentru modificările reversibile, acceptarea acestui risc e adesea rațională.
Ce nu fac metodele bayesiene este să creeze informație. Cu priori slabi, datele necesare pentru a fi sigur de o creștere de 20% sunt aproximativ aceleași ca în tabelul frecventist. O „probabilitate de a câștiga” de 90% pe un eșantion minuscul rămâne fragilă, iar verificarea zilnică cu o regulă de oprire tot crește în practică rata de erori. Testarea bayesiană schimbă felul în care exprimi incertitudinea și iei decizii. Nu micșorează incertitudinea.
7. Nu te uita la rezultate pe parcurs sau planifică-ți verificările
Stabilește mărimea eșantionului înainte de lansare, scrie-o în brieful testului și nu declara rezultatul până nu o atingi. Dacă stakeholderii au nevoie de actualizări intermediare, folosește de la început un design secvențial, nu verificări ad-hoc. Șablonul nostru de plan de experiment are un câmp pentru fiecare dintre aceste decizii.
Checklist înainte de lansare
- Extrage rata de bază și numărul lunar de vizitatori eligibili pentru pagina și conversia exacte (ultimele 4–8 săptămâni).
- Alege MDE-ul în funcție de amploarea schimbării și notează-l.
- Calculează n per variantă cu formula sau cu tabelul de mai sus, apoi durata.
- Dacă durata depășește aproximativ trei luni, reproiectează testul (schimbare mai mare, pagină cu mai mult trafic sau o metrică cu rată de bază mai mare, cu o limită de siguranță).
- Stabilește regula de oprire: eșantion fix sau un plan secvențial cu verificări planificate dinainte.
Pentru echipele B2B, cele mai mari efecte vin de obicei din afișarea unui conținut diferit pentru vizitatori diferiți, nu din șlefuirea unei singure pagini pentru toată lumea, pentru că un mesaj scris pentru un segment este o schimbare mai mare decât o nouă culoare de buton. Dacă alegi între un simplu split test și un test cu mai multe variante sau factori, citește comparația noastră dintre testarea A/B și testarea multivariată, care aplică aceleași calcule de eșantion designurilor A/B/n și multivariate.
Când ești pregătit să rulezi teste pe experiențe specifice segmentelor, testarea A/B pentru pagini personalizate din Markettailor îți permite să compari fiecare segment cu un grup de control și să urmărești rezultatul pe segment, astfel încât dimensiunea eșantionului planificată să fie cea pe care o obții.
Întrebări frecvente
Care este formula pentru dimensiunea eșantionului unui test A/B?
Pentru două rate de conversie, n per variantă = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)², unde p1 este valoarea de referință, p2 rata țintă, iar p̄ media lor. Formula presupune un nivel de încredere de 95% (bilateral) și o putere de 80%.
De câți vizitatori am nevoie pentru un test A/B cu o rată de conversie de 2%?
Aproximativ 21.100 de vizitatori per variantă pentru a detecta o creștere relativă de 20%, aproximativ 9.800 pentru o creștere de 30% și aproximativ 3.800 pentru o creștere de 50%, la un nivel de încredere de 95% și o putere de 80%. Dublează aceste cifre pentru traficul total al testului.
Are nevoie testarea A/B bayesiană de un eșantion mai mic?
Nu semnificativ, decât dacă ai o ipoteză a priori puternică și justificată. Testarea bayesiană oferă rezultate mai intuitive (probabilitatea de a învinge controlul, pierderea așteptată) și susține decizii bazate pe risc, dar cantitatea de date necesară pentru a fi sigur de o anumită creștere este similară cu cea din calculul frecvenționist.
Ce efect minim detectabil ar trebui să folosească un site B2B?
Alege MDE-ul pe baza traficului, nu pe baza dorințelor. Calculează ce se poate detecta în șase-opt săptămâni cu traficul paginii tale, apoi testează doar modificări suficient de mari ca să poată produce plauzibil acea creștere. În tabelul de durate de mai sus, o pagină cu 5.000 de vizitatori lunar și o rată de bază de 3% poate detecta doar creșteri de aproximativ 30% sau mai mult în trei luni.
Pot opri un test A/B mai devreme dacă este deja semnificativ?
Nu cu un test standard cu eșantion fix, pentru că verificările repetate cresc numărul de rezultate fals pozitive. Dacă vrei să poți opri testul mai devreme, folosește un design de testare secvențială, cu analize intermediare planificate înainte de lansare.