Diferența dintre testarea A/B și testarea multivariată ține de ce compară fiecare. Un test A/B compară două versiuni ale unei pagini. Un test A/B/n compară trei sau mai multe versiuni complete. Un test multivariat (MVT) modifică mai multe elemente deodată, precum titlul, imaginea hero și CTA-ul, și testează fiecare combinație (numit uneori testare A/B multivariată) pentru a afla ce elemente și ce combinație generează conversii.
Pe website-urile B2B, traficul face de obicei alegerea în locul tău. Fiecare variantă sau combinație în plus îți împarte și mai mult vizitatorii, iar eșantionul necesar crește mai repede decât sugerează intuiția. Mai jos găsești cele patru tipuri de teste pe care echipele B2B le rulează efectiv (A/B, A/B/n, multivariate și teste de personalizare pe segmente), cât costă fiecare în trafic pentru un exemplu de calcul, un tabel de decizie și exemple de teste potrivite pentru fiecare tip.
Cele patru tipuri de teste, pe scurt
| Tip de test | Ce compară | La ce întrebare răspunde | Costul traficului |
|---|---|---|---|
| A/B | Control vs. o variantă | Este această versiune mai bună decât ce avem? | Cel mai redus |
| A/B/n | Control vs 2+ variante complete | Care dintre aceste abordări distincte este cea mai bună? | Crește cu fiecare variantă, plus o penalizare pentru comparații multiple |
| Multivariat (MVT) | Toate combinațiile mai multor elemente | Care elemente contează și interacționează între ele? | Cel mai mare, mai ales pentru interacțiuni |
| Test targetat pe segment (personalizare) | Experiența personalizată vs grupul de control, în același segment | Funcționează adaptarea acestei pagini pentru acest segment? | Depinde de traficul segmentului și de mărimea grupului de control |
Calculul de trafic din spatele testării A/B vs testării multivariate
Toate cifrele de mai jos folosesc formula standard a dimensiunii eșantionului pentru două proporții (varianță comună) la un nivel de încredere de 95%, bilateral, și o putere de 80%, calculate în Node.js. Metoda și tabelele complete sunt în articolul nostru despre dimensiunea eșantionului pentru testele A/B. Poți face aceleași calcule pentru propria pagină cu calculatorul nostru de dimensiune a eșantionului pentru teste A/B, care aplică corecția Bonferroni pentru testele A/B/n.
Exemplu (cifre ilustrative): o pagină de demo convertește la 3%, iar tu vrei să detectezi o creștere relativă de 20% (de la 3,0% la 3,6%). Un test A/B simplu are nevoie de 13.914 vizitatori per variantă, adică 27.828 în total.
A/B/n: mai multe variante, praguri mai stricte
Cu trei variante challenger față de un singur control faci trei comparații, iar șansa de a avea cel puțin un câștigător fals crește. Cea mai simplă corecție (Bonferroni) împarte alpha la numărul de comparații, așa că fiecare comparație este testată la 0,05 / 3 = 0,0167. Asta crește eșantionul per variantă de la 13.914 la 18.559, iar totalul de la 27.828 la 74.236 pe patru variante, de aproximativ 2,7 ori traficul testului A/B.
Multivariat: combinațiile se înmulțesc
Acum testează trei elemente cu câte două versiuni fiecare (titlul A sau B, imaginea A sau B, CTA-ul A sau B). Un design factorial complet are 2 × 2 × 2 = 8 celule. Dacă vrei să compari fiecare combinație cu controlul, cum fac implicit majoritatea rapoartelor MVT, fiecare celulă are nevoie de un eșantion complet: 8 × 13.914 = 111.312 vizitatori fără nicio corecție sau 8 × 22.112 = 176.896 de vizitatori cu o corecție Bonferroni pentru șapte comparații.
Acesta este cel mai rău caz. Un design factorial este de fapt eficient pentru efectele principale. Ca să estimezi efectul titlului, compari cele patru celule cu titlul A cu cele patru cu titlul B, ceea ce folosește tot traficul. Dacă elementele nu interacționează, 27.828 de vizitatori îți spun ceva despre toate cele trei elemente deodată. În acest caz, ai rulat efectiv trei teste A/B în paralel. Util, dar nu acesta este motivul pentru care majoritatea echipelor aleg MVT.
Echipele rulează de obicei MVT ca să găsească interacțiuni („acest titlu funcționează doar cu acea imagine”) și cea mai bună combinație. Interacțiunile sunt scumpe. Nota mult citată a lui Andrew Gelman, You need 16 times the sample size to estimate an interaction than to estimate a main effect, arată de ce: o estimare a interacțiunii are de două ori eroarea standard a unui efect principal, iar dacă interacțiunea este jumătate cât efectul principal (ipoteza declarată de el), ai nevoie de un eșantion de 16 ori mai mare pentru aceeași putere. Aplicat exemplului nostru, asta înseamnă aproximativ 445.000 de vizitatori.
Ce înseamnă asta în luni
| Design (punct de referință 3%, MDE 20%) | Total vizitatori | Luni la 5.000/lună | Luni la 20.000/lună |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n cu 4 variante (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, fiecare celulă vs control (fără corecție) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, fiecare celulă vs. control (Bonferroni) | 176,896 | 35.4 | 8.8 |
| Interacțiune MVT, la jumătate de mărime (regula 16x) | 445,248 | 89.0 | 22.3 |
Pe o pagină cu 20.000 de vizitatori pe lună, un MVT 2×2×2 care citește fiecare combinație durează cea mai mare parte a unui an cu corecție. La 5.000 durează ani. Părerea noastră: testarea multivariată este rareori practică pe website-urile B2B, iar o afirmație de tipul „am rulat un MVT și a câștigat combinația 6” la câteva mii de vizitatori pe lună merită o privire atentă asupra eșantionului înainte ca cineva să acționeze pe baza ei.
Ce greșesc majoritatea echipelor
Greșeala obișnuită este să alegi tipul de test după ambiție, nu după întrebare. Echipele aleg MVT pentru că au multe idei, nu pentru că trebuie să afle dacă ideile interacționează. Aleg A/B/n cu cinci variante pentru că nimeni nu s-a putut pune de acord asupra uneia. Ambele alegeri împart traficul limitat în felii prea subțiri ca să poată fi interpretate.
A doua este testarea elementelor când întrebarea reală ține de audiențe. Pe un site B2B, ce convertește depinde adesea mai mult de cine se uită decât de titlul afișat. Un cumpărător din producție și un fondator de SaaS vor dovezi diferite. Testarea titlului A vs B pentru toată lumea face media acestor audiențe și poate ascunde o variantă care câștigă clar la un segment și pierde la altul. Acesta este argumentul pentru testele de personalizare targetate pe segmente.
Tabel de decizie: ce test să rulezi
| Situație | Vizitatori lunari pe pagină | Elemente modificate | Test recomandat |
|---|---|---|---|
| O ipoteză clară, o schimbare mare | Oricât, inclusiv sub 5.000 | Un singur concept (poate afecta mai multe elemente) | A/B |
| Două sau trei abordări cu adevărat diferite | 15,000+ | Concepte pentru întreaga pagină | A/B/n cu maximum 3 variante |
| Trebuie să știi dacă elementele interacționează | 100,000+ | 2-3 elemente, câte 2 versiuni fiecare | Multivariat (factorial complet) |
| Audiențe diferite vor probabil lucruri diferite | Suficient trafic în segment | Conținut adaptat segmentului | Test targetat pe segment vs grup de control |
| Trafic insuficient pentru oricare dintre variantele de mai sus | Sub 2.000 | Oricare | Cercetare calitativă, apoi un test A/B pe o modificare mai mare |
Pragurile de trafic sunt orientative pentru o rată de bază de 3%. Calculează-le pe ale tale cu formula mărimii eșantionului înainte să te angajezi.
Exemple de teste bune pentru fiecare tip
Teste A/B
- Formular de demo vs programare instantă în calendar pe pagina de demo.
- Hero axat pe funcționalități vs hero axat pe rezultate pe homepage.
- Pagină de prețuri cu un nivel „talk to sales” vs prețuri publicate pentru fiecare nivel.
Gruparea mai multor elemente într-un singur concept este în regulă într-un test A/B. Afli dacă acel concept câștigă, nu care element a făcut diferența, iar de obicei aceasta este exact decizia pe care trebuie s-o iei. Ghidul nostru de optimizare a ratei de conversie în B2B arată cum prioritizezi aceste idei.
Teste A/B/n
- Trei propuneri de valoare pe un landing page plătit cu trafic mare: viteză, economii de costuri, reducerea riscului.
- Trei oferte de CTA: demo, evaluare ROI, tur de produs. Vezi ghidul nostru despre CTA-uri personalizate bazate pe date pentru felul în care tipul ofertei se schimbă în funcție de etapă.
Limitează testele A/B/n la trei variante (control plus două), cu excepția cazului în care traficul e neobișnuit de mare, și fă fiecare variantă suficient de diferită încât efectele să fie destul de mari ca să poată fi separate.
Teste multivariate
- Titlu (2 versiuni) × tip de dovadă socială (logouri vs citat dintr-un studiu de caz) pe o pagină principală cu trafic foarte mare, atunci când ai un motiv concret să te aștepți ca cele două să interacționeze.
Dacă nu poți numi interacțiunea pe care o aștepți, probabil nu ai nevoie de un test multivariat.
Teste de personalizare țintite pe segmente
- Hero de homepage specific industriei pentru vizitatorii din companiile de servicii financiare vs. hero-ul implicit.
- Dovezi orientate spre enterprise (securitate, scală) pe pagina de prețuri pentru companiile cu peste 1.000 de angajați vs pagina standard.
- Mesaj de bun venit și studiu de caz pentru conturile ABM vs pagina generică.
Cum testezi personalizarea față de un holdout
Un test de personalizare este un test A/B rulat doar în interiorul unui segment. Controlul este un grup din acel segment care vede pagina implicită. Fără grupul de control, nu poți separa efectul personalizării de faptul că segmentul poate pur și simplu să convertească diferit.
- Definește precis segmentul, de exemplu „vizitatori identificați drept companii din serviciile financiare cu 200+ angajați”. Doar acești vizitatori intră în test.
- Măsoară lunar traficul segmentului pe paginile testate. Acesta, nu traficul total al site-ului, determină durata.
- Alege mărimea holdout-ului. O împărțire 50/50 se citește cel mai repede. Holdout-urile mai mici feresc mai mulți vizitatori de experiența implicită, dar costă timp.
- Alege o conversie pe care segmentul chiar o face, măsurată pe vizită sau pe vizitele contului, și păstrează pipeline-ul ca metrică de control (guardrail).
- Stabilește dimensiunea eșantionului și durata înainte de lansare și citește rezultatul doar pentru acel segment.
Exemplu (cifre ilustrative): un segment aduce 3.000 de vizitatori pe lună, convertește la 3% și vrei să detectezi o creștere relativă de 30%. Calculat cu o versiune a formulei pentru alocare inegală (unpooled), cu aceeași încredere de 95% și putere de 80%:
| Ponderea holdout-ului | Total vizitatori necesari | Luni la 3.000/lună |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
Un grup de control de 10% are nevoie de aproximativ 2,5 ori mai mult timp ca să dea un rezultat decât o împărțire 50/50. Recomandarea noastră: rulează primul test pentru fiecare segment la 50/50 ca să obții un răspuns clar, apoi păstrează după lansare un grup de control mic și permanent (10-20%), ca să urmărești dacă efectul se menține în timp. Roadmap-ul de testare a personalizării arată cum ordonezi aceste teste între segmente. Începe cu segmentul care are cel mai mult trafic și cel mai evident decalaj de mesaj, pentru că dă rezultate cel mai repede. Renunță complet la testele pe segmente acolo unde segmentul aduce doar câteva sute de vizitatori pe lună; la acest volum, nici o împărțire 50/50 nu va da un răspuns clar într-un an.
Pentru aceste teste cu grup de control trebuie să identifici segmentul înainte ca pagina să se randeze și să împarți doar acel segment. Testarea A/B din Markettailor face asta pe segment, folosind segmentarea la nivel de companie pentru a decide cine intră în fiecare test, astfel încât un test pentru fintech vede doar vizitatori din fintech.
Întrebări frecvente
Care este diferența dintre testarea A/B și testarea multivariată?
Testarea A/B compară două versiuni complete ale unei pagini. Testarea multivariată schimbă mai multe elemente simultan și testează toate combinațiile, așa că poate arăta ce elemente contează și dacă interacționează, cu prețul unui trafic mult mai mare.
Ce este testarea A/B/n?
Testarea A/B/n compară simultan o variantă de control cu două sau mai multe variante complete. E utilă când ai câteva abordări cu adevărat diferite, dar fiecare variantă în plus are nevoie de propriul eșantion și de un prag de semnificație mai strict.
De cât trafic ai nevoie pentru testarea multivariată?
Pentru un test 2×2×2 pe o pagină care convertește la 3%, citirea fiecăreia dintre cele 8 combinații față de control pentru o creștere de 20% necesită aproximativ 111.000–177.000 de vizitatori, în funcție de corecția pentru comparații multiple. Detectarea interacțiunilor poate cere de câteva ori mai mult.
Merită testarea multivariată pentru site-urile B2B?
Rareori. Majoritatea paginilor B2B nu au traficul necesar pentru a interpreta combinații sau interacțiuni în câteva luni. Testele A/B pe concepte mai mari și testele de personalizare țintite pe segmente oferă de obicei răspunsuri mai clare, mai repede.
Poți combina testarea A/B cu testarea multivariată?
Da. O secvență frecventă este să testezi mai întâi conceptele prin A/B, apoi, doar pe paginile cu trafic foarte mare, să rulezi un mic test factorial pe două elemente din conceptul câștigător, dacă ai de verificat o interacțiune anume.