Come funziona il calcolatore
La scheda sulla dimensione del campione usa la formula standard per confrontare due tassi di conversione con uno z-test a due code su due proporzioni:
n per variante = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 è il tuo tasso di conversione di base per la pagina e l'obiettivo esatti che stai testando.
- p2 è il tasso di base moltiplicato per (1 + effetto minimo rilevabile).
- p̄ è la media di p1 e p2.
- zα/2 vale 1,96 con confidenza al 95%, e zβ vale 0,84 con potenza all'80%.
Con più di una variante, il calcolatore divide alfa per il numero di confronti con il controllo (correzione di Bonferroni), mantenendo il tasso complessivo di falsi positivi al livello di confidenza scelto. La nostra guida alla dimensione del campione per A/B test illustra la formula passo per passo, con tabelle per i tassi di conversione B2B più comuni.
Esempio pratico
Numeri illustrativi: una pagina di richiesta demo converte al 3% e riceve 2.000 visitatori a settimana. Vuoi sapere se un nuovo titolo aumenta la conversione di almeno il 20%, quindi p2 è 3,6%. Il calcolatore restituisce circa 13.900 visitatori per variante, 27.800 in totale, cioè 14 settimane di traffico. È la risposta onesta per molte pagine B2B, ed è il motivo per cui lo strumento segnala ogni test più lungo di un trimestre.
Tre modi per ridurre la durata: testa una modifica più audace e alza l'effetto minimo rilevabile al 30% o più, misura un evento più frequente come i clic verso la pagina demo, oppure esegui il test su una pagina con più traffico. Se stai scegliendo tra un A/B test e un test su più elementi insieme, leggi prima A/B test vs test multivariato, perché i test multivariati richiedono molto più traffico.
Leggere un risultato di significatività
La scheda della significatività confronta due varianti concluse. Supponiamo che il controllo abbia avuto 5.000 visitatori e 150 conversioni (3,0%) e la variante 5.000 visitatori e 190 conversioni (3,8%). L'incremento relativo è del 26,7%, il p-value è circa 0,027 e l'intervallo di confidenza al 95% della differenza va da circa 0,1 a 1,5 punti percentuali. Il risultato è significativo, ma l'intervallo è ampio: l'incremento reale potrebbe essere piccolo. Considera l'incremento misurato come una stima tendente verso l'alto, soprattutto se il test è stato interrotto in anticipo.
Per sapere cosa testare per primo su un sito B2B con poco traffico, consulta la sezione sui test della nostra guida all'ottimizzazione del tasso di conversione. Se testi esperienze personalizzate anziché singole modifiche di pagina, l'A/B testing di Markettailor gestisce gruppi di controllo per ciascun segmento di visitatori.
Domande frequenti
Di quanti visitatori ho bisogno per un A/B test?
Dipende dal tuo tasso di conversione di partenza e dal lift più piccolo che vuoi rilevare. Con una baseline del 3%, rilevare un lift relativo del 20% con il 95% di confidenza e l'80% di potenza richiede circa 13.900 visitatori per variante. Dimezzare il lift da rilevare quadruplica circa il campione.
Come si calcola la significatività statistica di un A/B test?
Questo calcolatore usa uno z-test bilaterale per due proporzioni. Aggrega entrambe le varianti per stimare il rumore che ti aspetteresti se non ci fosse una differenza reale, divide la differenza osservata nei tassi di conversione per quell'errore standard e converte lo z-score risultante in un p-value. Un p-value inferiore a 0,05 è significativo con una confidenza del 95%.
Quanto deve durare un A/B test?
Finché non raggiunge la dimensione del campione calcolata prima del lancio, e per almeno una settimana intera, così sono inclusi sia i comportamenti dei giorni feriali sia quelli del fine settimana. La stima della durata sopra divide il campione totale per il traffico settimanale della pagina testata.
Posso fermare un A/B test appena diventa significativo?
No. Controllare i risultati ripetutamente e fermarsi alla prima lettura significativa fa salire il tasso di falsi positivi ben oltre il 5%. Decidi la dimensione del campione in anticipo e leggi il risultato quando la raggiungi, oppure usa un metodo pensato per il monitoraggio continuo, come un test sequenziale.
E se il mio sito B2B non ha abbastanza traffico per fare A/B test?
Testa cambiamenti più grandi, scegli un evento di conversione più frequente (come i clic verso la pagina demo invece delle demo prenotate), testa sul template con più traffico oppure accetta un test più lungo. Se un test richiedesse più di un trimestre, usa invece ricerca qualitativa e confronti con holdout.