L'A/B testing è un esperimento controllato randomizzato in cui i visitatori vengono suddivisi a caso tra due versioni di una pagina, un'email o una funzionalità, il controllo (A) e una variante (B), e si confronta una metrica predefinita per vedere se la differenza tra le due è maggiore di quanto spiegherebbe il caso. È il metodo standard per capire se una modifica ha causato un miglioramento anziché esserne solo coincisa.
Il metodo è consolidato nei prodotti online; la guida pratica di Kohavi e colleghi resta un riferimento standard (Kohavi et al., "Controlled experiments on the web", Data Mining and Knowledge Discovery, 2009).
Come funziona l'A/B testing
- Ipotesi e metrica. Indica la modifica, l'effetto atteso e una metrica principale, come il tasso di richieste demo.
- Randomizzazione. Ogni visitatore viene assegnato ad A o B in modo casuale e ci resta anche nelle visite successive, così i gruppi differiscono solo per la modifica.
- Dimensione del campione. Decidi in anticipo di quanti visitatori ha bisogno ogni versione, in base al tasso di partenza, al più piccolo incremento che valga la pena rilevare (effetto minimo rilevabile), al livello di significatività e alla potenza.
- Esegui. Lascia che il test raggiunga quel campione, idealmente su settimane intere. Non fermarlo prima perché una delle due varianti sembra in vantaggio.
- Analizza. Confronta i tassi. Un risultato è statisticamente significativo al 5% quando, se in realtà non ci fosse alcuna differenza, uno scarto così grande comparirebbe meno del 5% delle volte.
Contano due impostazioni. Il livello di significatività (di solito 5%, spesso chiamato confidenza al 95%) controlla i falsi positivi. La potenza (di solito 80%) è la probabilità di rilevare l'effetto se è reale; un test con potenza insufficiente produce perlopiù "nessun risultato".
Esempio
Esempio: una pagina demo converte al 3%. Vuoi rilevare un incremento relativo del 20% (dal 3,0% al 3,6%) con un test bilaterale al 5% di significatività e all'80% di potenza. La formula standard per due proporzioni è:
n per variante = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Primo termine: 1,96 x √(2 x 0,033 x 0,967) = 1,96 x 0,2526 = 0,495
- Secondo termine: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Numeratore: (0,495 + 0,213)² = 0,501; denominatore: 0,006² = 0,000036
- n ≈ 13.900 visitatori per variante, circa 27.800 in totale
Con 2.000 visitatori a settimana su quella pagina, il test richiede circa 14 settimane. È questo il risultato utile: prima di costruire qualsiasi cosa, sai che questa pagina non può sostenere un test per un incremento del 20% in tempi ragionevoli, quindi testi una modifica più audace, usi una pagina con più traffico oppure rilasci e monitori. Puoi riprodurre il numero con il nostro calcolatore per A/B test o con il calcolatore della dimensione del campione di Evan Miller.
A/B test vs A/B/n vs test multivariati
| A/B | A/B/n | Multivariato (MVT) | |
|---|---|---|---|
| Cosa varia | Un controllo contro una variante | Un controllo vs più varianti | Più elementi insieme, ogni combinazione |
| Traffico necessario | Il più basso | Cresce con ogni variante | Il più alto: il traffico si divide tra tutte le combinazioni |
| Risposte | B è meglio di A? | Quale tra diverse versioni è la migliore? | Quale combinazione di elementi funziona, e interagiscono tra loro? |
| Adatto | La maggior parte delle pagine B2B | Titoli od offerte con traffico reale | Solo pagine ad alto traffico |
Nielsen Norman Group riassume il compromesso: i test multivariati sono adatti a perfezionamenti incrementali su pagine ad alto traffico, mentre gli A/B test possono confrontare design radicalmente diversi (NN/g, "Multivariate vs. A/B Testing").
Come i team B2B usano l'A/B test
- Testare lunghezza e formulazione dei moduli demo e di contatto.
- Confrontare proposte di valore e titoli sulle landing page con più traffico.
- Validare la personalizzazione: contenuti specifici per segmento vs pagina generica, con un gruppo di controllo.
- Layout della pagina prezzi e presentazione dei piani.
- Oggetti delle email e contenuti di nurturing, dove i volumi lo consentono.
Domande frequenti
Quanto deve durare un A/B test?
Finché non raggiunge la dimensione del campione calcolata prima del lancio, e per almeno una settimana intera, meglio due, così tutti i giorni della settimana sono rappresentati. Dividi i visitatori necessari per variante per il traffico settimanale per variante per stimare la durata. Se la risposta è diversi mesi, il test così com'è non è fattibile.
Qual è un buon effetto minimo rilevabile?
Il più piccolo incremento per cui varrebbe la pena agire, considerato il costo della modifica. Le pagine B2B con poco traffico di solito richiedono un effetto minimo rilevabile più ampio, spesso del 20% relativo o più, per concludersi in tempi ragionevoli. Effetti più piccoli possono essere reali ma richiedono molto più traffico, perché la dimensione del campione cresce più o meno con l'inverso del quadrato dell'effetto.
Si possono fare A/B test con poco traffico?
Sì, ma testa cambiamenti più grandi, usa il passaggio del funnel con più traffico e scegli una metrica che si verifica spesso, come i clic verso la pagina demo invece delle trattative chiuse. Quando anche questo è troppo lento, fai la modifica sulla base della ricerca e monitora il prima e il dopo, accettando che l'evidenza sia più debole.
Correlati
Pianifica i test con il template di piano per A/B test, leggi l'approfondimento sulla dimensione del campione per l'A/B test e scegli il disegno del test con A/B testing vs test multivariato. Per il processo più ampio, vedi conversion rate optimization.