La formula della dimensione del campione nei test A/B ti dice di quanti visitatori ha bisogno ogni variante prima che una differenza nel tasso di conversione abbia un significato. Per un test bilaterale standard con confidenza al 95% e potenza all'80%, servono circa n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² visitatori per variante, dove p1 è il tasso di base e p2 il tasso che speri di rilevare.
Applica quella formula a numeri B2B reali e il risultato è scomodo. Una pagina che converte al 3% richiede circa 14.000 visitatori per variante per rilevare in modo affidabile un incremento relativo del 20%. Molte pagine B2B non vedono così tanti visitatori in un trimestre. Di seguito: la formula input per input, tabelle calcolate per una serie di tassi di partenza, quanto dura un test a un dato livello di traffico e cosa fare quando la risposta è "otto mesi".
La nostra posizione: la maggior parte degli A/B test B2B è sottodimensionata
Prima di tutto, l'opinione supportata dai numeri. Secondo noi la maggior parte degli A/B test B2B viene interrotta molto prima di avere dati sufficienti, e molti dei "vincitori" che producono sono rumore. Lo schema è questo: un test di tre settimane, una variante avanti del 25%, un badge verde, una modifica rilasciata e, sei mesi dopo, nessun incremento visibile nella pipeline.
I test con potenza insufficiente non rilevano effetti reali, sprecando lo slot del test. Peggio ancora, quando un test con potenza insufficiente supera la soglia di significatività, l'incremento misurato tende a essere sovrastimato, perché solo le estrazioni fortunate superano l'asticella. Gli statistici lo chiamano errore di magnitudine (tipo M). Il team rilascia una modifica che potrebbe non avere alcun effetto e registra anche un numero gonfiato nei report di CRO. Calcolare la dimensione del campione prima del lancio è la protezione più economica.
La formula per la dimensione del campione degli A/B test
La formula standard per confrontare due tassi di conversione (uno z-test per due proporzioni) è:
n per variante = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
Ogni input ha un significato semplice:
- p1 (tasso di conversione di partenza): il tasso di conversione attuale della pagina e dell'obiettivo che stai testando. Usa il tasso dell'esatto evento di conversione e dell'esatta pagina, nelle ultime 4-8 settimane, non una media del sito.
- p2 (tasso obiettivo): la base moltiplicata per (1 + MDE). Con una base del 3% e un MDE relativo del 20%, p2 = 3,6%.
- MDE (minimum detectable effect): il lift relativo più piccolo che ti interessa rilevare. È una decisione di business, non statistica. MDE più piccoli richiedono molto più traffico, perché la differenza (p2 − p1) è al quadrato nel denominatore. Dimezza l'MDE e quadruplichi circa il campione.
- p̄ (tasso combinato): la media di p1 e p2. Descrive il rumore nell'ipotesi che non ci sia una differenza reale.
- zα/2 = 1,96: corrisponde a un tasso di falsi positivi del 5% (alfa 0,05), suddiviso su entrambe le code perché la variante potrebbe essere migliore o peggiore.
- zβ = 0,8416: corrisponde a una potenza dell'80%, cioè se il lift reale è pari al tuo MDE, il test lo rileva l'80% delle volte. Nel restante 20% dei casi ti sfugge una variante davvero vincente.
Molti calcolatori usano la versione semplificata non aggregata mostrata nel primo paragrafo. Con i tassi di conversione tipici del B2B le due differiscono solo di una manciata di visitatori. Il nostro calcolatore per A/B test usa la formula aggregata descritta sopra e stima anche la durata del test.
Esempio svolto, passo per passo
Esempio (numeri illustrativi): una pagina di richiesta demo converte al 3%. Vuoi rilevare un incremento relativo del 20%.
- Imposta i tassi: p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. La differenza assoluta è 0,006.
- Tasso aggregato: p̄ = (0,030 + 0,036) / 2 = 0,033.
- Primo termine: √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. Moltiplica per 1,96: 0,4951.
- Secondo termine: p1(1−p1) = 0,0291 e p2(1−p2) = 0,0347. √(0,0638) = 0,2526. Moltiplica per 0,8416: 0,2126.
- Somma ed eleva al quadrato: (0,4951 + 0,2126)² = 0,7077² = 0,5009.
- Dividi per la differenza al quadrato: 0,5009 / 0,006² = 0,5009 / 0,000036 = 13.914 visitatori per variante.
Il test richiede quindi circa 27.800 visitatori in totale, e circa 417 conversioni nel solo gruppo di controllo (13.914 × 3%), prima di leggere il risultato. Come verifica incrociata, la formula semplificata non aggregata dà 13.911 per variante, e un'approssimazione con l'arcoseno (h di Cohen) dà circa 13.890. I tre metodi concordano entro lo 0,2%.
Tabella delle dimensioni del campione per i tassi di conversione B2B
La tabella seguente applica la formula aggregata vista sopra (alpha 0,05 bilaterale, potenza 0,8) a tassi di base dall'1% (ad esempio, le richieste di demo in rapporto a tutti i visitatori di una pagina molto trafficata) al 10% (ad esempio, una micro-conversione come un clic su una CTA). Usa il tuo tasso di base; queste righe sono solo punti di riferimento. I valori sono visitatori per variante, calcolati in Node.js e arrotondati per eccesso.
| Tasso di conversione di base | MDE relativo del 10% | MDE relativo del 20% | MDE relativo del 30% | MDE relativo del 50% |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
Passare da un MDE del 10% a uno del 50% riduce il campione necessario di circa 20 volte. Raddoppiare il tasso di base lo dimezza più o meno. Il traffico non si cambia in fretta, ma puoi scegliere l'entità del cambiamento che testi e la conversione che misuri: su un sito piccolo sono queste le due leve che contano.
Quanto durerà il test?
La durata è il totale dei visitatori richiesti (entrambe le varianti) diviso per i visitatori mensili che raggiungono effettivamente la pagina testata. La tabella mostra i mesi per una ripartizione 50/50 a tre livelli di traffico.
| Visitatori mensili della pagina | Base di partenza | MDE del 10% | MDE del 20% | MDE del 30% | MDE del 50% |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
Qualunque cosa dica la tabella, fai durare ogni test almeno due settimane intere, così il comportamento dei giorni feriali e del weekend e gli eventuali picchi delle campagne sono rappresentati in entrambi i gruppi. E considera qualsiasi durata oltre i tre mesi come un test che probabilmente non dovresti fare nella forma attuale: in quel periodo contenuti, campagne e mix di traffico cambiano, e il risultato descrive un sito che non esiste più.
Con 5.000 visitatori al mese e un tasso di partenza del 3%, un incremento del 50% è leggibile in circa un mese, mentre uno del 10% richiede quasi due anni. Nessuno lascia una pagina invariata per due anni, quindi il secondo test verrà interrotto prima e letto come se avesse un significato.
Dove sbaglia la maggior parte dei team
- Usare il traffico dell'intero sito nella stima della durata. Contano solo i visitatori che raggiungono l'elemento testato. Un test sulla pagina prezzi di un sito da 20.000 visitatori potrebbe vedere solo 2.000 visitatori idonei al mese.
- Scegliere l'MDE dopo il test. Se hai fissato l'MDE al 30% prima del lancio e il test mostra il 12%, non hai una variante vincente al 12%. Hai un test non conclusivo.
- Sbirciare i risultati e fermarsi al primo indicatore verde. L'analisi di Evan Miller, How Not To Run an A/B Test, mostra che ripetere i test di significatività aumenta sempre il tasso di falsi positivi. Nel suo esempio (baseline del 50%, una modifica che non ha alcun effetto, stop non appena il risultato raggiunge la significatività al 5% o dopo 150 osservazioni) il tasso di falsi positivi è del 26,1% invece del 5% nominale.
Quando i numeri dicono mesi: sette opzioni
1. Testa cambiamenti più grandi
Il modo più economico per ridurre la dimensione del campione è alzare onestamente l'MDE, cioè testare cambiamenti abbastanza grandi da poterlo plausibilmente produrre: una nuova value proposition, un'offerta diversa (prenotazione immediata invece di un modulo di contatto), una pagina pensata per un settore invece di una generica. La nostra guida all'ottimizzazione del tasso di conversione B2B spiega come ordinare le idee di test in base all'entità dell'effetto atteso.
2. Testa su pagine con più traffico
Homepage, articoli del blog più letti e landing page ad alto volume ti danno più visitatori al mese (vedi le nostre note sull'ottimizzazione delle landing page B2B per capire quali pagine tendono a ricevere più traffico in fase decisionale). Un test su un template condiviso da molte pagine (tutte le pagine soluzione, tutti gli articoli del blog) raggruppa il loro traffico in un unico esperimento.
3. Usa le micro-conversioni con cautela
Le micro conversioni, come i clic sulle CTA o l'inizio della compilazione di un modulo, hanno baseline più alte, quindi si applica la riga del 10% della tabella anziché quella del 2%. Il problema: una variante può aumentare i clic e ridurre le demo qualificate. Usa la micro conversione come metrica decisionale solo se hai prove che si muove insieme all'obiettivo macro, e riporta sempre accanto la macro conversione come metrica di controllo.
4. Aggrega i segmenti, poi suddividili in seguito
Eseguire test separati per ogni segmento divide il traffico. Esegui un unico test su tutti i segmenti, poi considera i risultati per segmento solo come indicativi. Se ti serve una risposta specifica per un segmento, il test va dimensionato sul solo traffico di quel segmento. La roadmap di 90 giorni per i test di personalizzazione mostra come mettere in sequenza i test per segmento in modo che ciascuno riceva traffico sufficiente.
5. Usa i test sequenziali
I disegni sequenziali (test sequenziali di gruppo con controlli intermedi pianificati, o metodi sempre validi integrati in alcuni strumenti di testing) ti permettono di controllare i risultati durante il test e fermarti prima quando l'effetto è grande, senza gonfiare i falsi positivi. Il compromesso è un campione massimo leggermente più grande se il test arriva fino in fondo. È la versione legittima del peeking. Se un test richiederebbe mesi, investi prima il budget in strumenti CRO diagnostici come registrazioni delle sessioni e analytics dei moduli.
6. Valuta un approccio bayesiano, con aspettative chiare
L'A/B testing bayesiano riporta la probabilità che B batta A e la perdita attesa se scegli quella sbagliata. È più facile da usare di un p-value e ti permette di prendere decisioni esplicite come “rilascia se la probabilità che sia migliore supera il 90% e la perdita attesa è inferiore a 0,1 punti percentuali”. Per modifiche reversibili, accettare quel rischio è spesso razionale.
Ciò che i metodi bayesiani non fanno è creare informazione. Con prior deboli, i dati necessari per essere sicuri di un lift del 20% sono circa gli stessi della tabella frequentista. Una "probabilità di battere" del 90% su un campione minuscolo resta fragile, e controllarla ogni giorno con una regola di arresto aumenta comunque il tasso di errore nella pratica. Il test bayesiano cambia il modo in cui esprimi l'incertezza e prendi decisioni. Non riduce l'incertezza.
7. Non sbirciare, oppure pianifica quando sbirciare
Fissa la dimensione del campione prima del lancio, scrivila nel brief del test e non dichiarare un esito finché non la raggiungi. Se gli stakeholder hanno bisogno di aggiornamenti intermedi, usa fin dall'inizio un disegno sequenziale invece di controlli improvvisati. Il nostro template di piano di esperimento ha un campo per ciascuna di queste decisioni.
Una checklist pre-lancio
- Ricava il tasso di partenza e i visitatori idonei mensili per la pagina e la conversione esatte (ultime 4-8 settimane).
- Scegli l'MDE in base all'entità della modifica e mettilo per iscritto.
- Calcola n per variante con la formula o con la tabella qui sopra, poi la durata.
- Se la durata supera circa tre mesi, riprogetta il test (cambiamento più grande, pagina con più traffico o metrica con un tasso di base più alto accompagnata da un paletto).
- Stabilisci la regola di stop: campione fisso, oppure un piano sequenziale con controlli pianificati in anticipo.
Per i team B2B, gli effetti più grandi derivano di solito dal mostrare contenuti diversi a visitatori diversi piuttosto che dal rifinire una pagina per tutti, perché un messaggio scritto per un segmento è un cambiamento più grande di un nuovo colore del pulsante. Se stai scegliendo tra un semplice split test e un test con più varianti o fattori, leggi il nostro confronto tra A/B test e test multivariato, che applica gli stessi calcoli sulla dimensione del campione ai disegni A/B/n e multivariati.
Quando sei pronto a testare esperienze specifiche per segmento, l'A/B testing per pagine personalizzate di Markettailor ti permette di confrontare ogni segmento con un controllo e monitorare il risultato per segmento, così la dimensione del campione pianificata è quella che ottieni.
Domande frequenti
Qual è la formula per la dimensione del campione di un A/B test?
Per due tassi di conversione, n per variante = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)², dove p1 è la base, p2 il tasso obiettivo e p̄ la loro media. Si assumono una confidenza del 95% (bilaterale) e una potenza dell'80%.
Di quanti visitatori ho bisogno per un A/B test con un tasso di conversione del 2%?
Circa 21.100 visitatori per variante per rilevare un incremento relativo del 20%, circa 9.800 per un incremento del 30% e circa 3.800 per un incremento del 50%, con confidenza al 95% e potenza all'80%. Raddoppia questi valori per ottenere il traffico totale del test.
L'A/B test bayesiano richiede un campione più piccolo?
Non in modo significativo, a meno che tu non abbia una prior forte e giustificata. I test bayesiani danno risultati più intuitivi (probabilità di battere il controllo, perdita attesa) e supportano decisioni basate sul rischio, ma la quantità di dati necessaria per essere sicuri di un dato incremento è simile a quella del calcolo frequentista.
Quale effetto minimo rilevabile dovrebbe usare un sito B2B?
Scegli l'MDE in base al tuo traffico, non ai desideri. Calcola cosa è rilevabile in sei-otto settimane con il traffico della tua pagina, poi testa solo modifiche abbastanza grandi da produrre plausibilmente quell'incremento. Nella tabella delle durate qui sopra, una pagina con 5.000 visitatori al mese e una base del 3% può rilevare in tre mesi solo incrementi intorno al 30% o superiori.
Posso interrompere in anticipo un A/B test se è già significativo?
Non con un test standard a campione fisso, perché controllare ripetutamente gonfia i falsi positivi. Se ti serve la possibilità di fermarti prima, usa un disegno di test sequenziale con analisi intermedie pianificate prima del lancio.