Cum funcționează calculatorul
Tab-ul de mărime a eșantionului folosește formula standard pentru compararea a două rate de conversie cu un test z bilateral pentru două proporții:
n per variantă = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 este rata ta de conversie de bază pentru pagina și obiectivul exacte pe care le testezi.
- p2 este rata de bază înmulțită cu (1 + efectul minim detectabil).
- p̄ este media dintre p1 și p2.
- zα/2 este 1,96 la o încredere de 95%, iar zβ este 0,84 la o putere de 80%.
Cu mai mult de o variantă, calculatorul împarte alpha la numărul de comparații față de control (o corecție Bonferroni), ceea ce menține rata generală de fals pozitive la nivelul de încredere ales. Ghidul nostru despre mărimea eșantionului pentru teste A/B parcurge formula pas cu pas, cu tabele pentru ratele de conversie B2B uzuale.
Exemplu practic
Cifre ilustrative: o pagină de solicitare demo convertește la 3% și are 2.000 de vizitatori pe săptămână. Vrei să afli dacă un titlu nou crește conversia cu cel puțin 20%, deci p2 este 3,6%. Calculatorul returnează aproximativ 13.900 de vizitatori per variantă, 27.800 în total, adică 14 săptămâni de trafic. Acesta este răspunsul onest pentru multe pagini B2B și motivul pentru care instrumentul semnalează orice test mai lung de un trimestru.
Trei moduri de a reduce durata: testează o schimbare mai îndrăzneață și ridică efectul minim detectabil la 30% sau mai mult, măsoară un eveniment mai frecvent, precum clicurile către pagina de demo, sau rulează testul pe o pagină cu trafic mai mare. Dacă alegi între un test A/B și un test cu mai multe elemente deodată, citește mai întâi testarea A/B vs testarea multivariată, pentru că testele multivariate au nevoie de mult mai mult trafic.
Cum citești un rezultat de semnificație
Fila de semnificație compară două variante finalizate. Să presupunem că varianta de control a avut 5.000 de vizitatori și 150 de conversii (3,0%), iar varianta testată 5.000 de vizitatori și 190 de conversii (3,8%). Creșterea relativă este de 26,7%, valoarea p este de aproximativ 0,027, iar intervalul de încredere de 95% al diferenței se întinde de la aproximativ 0,1 la 1,5 puncte procentuale. Rezultatul este semnificativ, dar intervalul este larg: creșterea reală ar putea fi mică. Tratează creșterea măsurată ca pe o estimare înclinată spre limita de sus, mai ales când testul a fost oprit devreme.
Pentru ce să testezi mai întâi pe un site B2B cu trafic redus, vezi secțiunea de testare din ghidul nostru de optimizare a ratei de conversie. Dacă testezi experiențe personalizate, nu doar modificări punctuale de pagină, testarea A/B din Markettailor rulează grupuri de control pentru fiecare segment de vizitatori.
Întrebări frecvente
De câți vizitatori am nevoie pentru un test A/B?
Depinde de rata de conversie de bază și de cea mai mică creștere pe care vrei să o detectezi. La o rată de bază de 3%, pentru a detecta o creștere relativă de 20% cu încredere de 95% și putere de 80%, ai nevoie de aproximativ 13.900 de vizitatori per variantă. Dacă înjumătățești creșterea pe care vrei să o detectezi, eșantionul crește de aproximativ patru ori.
Cum se calculează semnificația statistică pentru un test A/B?
Acest calculator folosește un test z bilateral pentru două proporții. Combină ambele variante pentru a estima zgomotul la care te-ai aștepta dacă nu ar exista nicio diferență reală, împarte diferența observată dintre ratele de conversie la acea eroare standard și convertește scorul z rezultat într-o valoare p. O valoare p sub 0,05 este semnificativă la un nivel de încredere de 95%.
Cât timp ar trebui să ruleze un test A/B?
Până ajunge la dimensiunea eșantionului calculată înainte de lansare și cel puțin o săptămână completă, ca să includă atât comportamentul din zilele lucrătoare, cât și pe cel din weekend. Estimarea duratei de mai sus împarte eșantionul total la traficul săptămânal pe pagina testată.
Pot opri un test A/B imediat ce devine semnificativ?
Nu. Verificarea repetată a rezultatelor și oprirea la prima citire semnificativă umflă rata de rezultate fals pozitive mult peste 5%. Stabilește dimensiunea eșantionului de la început și citește rezultatul când este atinsă sau folosește o metodă concepută pentru monitorizare continuă, precum un test secvențial.
Ce fac dacă site-ul meu B2B nu are suficient trafic pentru teste A/B?
Testează schimbări mai mari, alege un eveniment de conversie mai frecvent (de exemplu clicurile către pagina de demo în loc de demo-urile programate), testează pe șablonul cu cel mai mare trafic sau acceptă un test mai lung. Dacă un test ar dura mai mult de un trimestru, folosește în schimb cercetare calitativă și comparații cu holdout.