La differenza tra A/B test e test multivariato sta in ciò che ciascuno confronta. Un A/B test confronta due versioni di una pagina. Un test A/B/n confronta tre o più versioni complete. Un test multivariato (MVT) modifica più elementi contemporaneamente, come titolo, immagine hero e CTA, e testa ogni combinazione (a volte detto A/B test multivariato) per capire quali elementi e quale combinazione generano conversioni.
Sui siti B2B è di solito il traffico a decidere per te. Ogni variante o combinazione in più divide ulteriormente i visitatori, e il campione necessario cresce più in fretta di quanto suggerisca l'intuito. Di seguito trovi i quattro tipi di test che i team B2B fanno davvero (A/B, A/B/n, multivariati e test di personalizzazione mirati per segmento), quanto traffico costa ciascuno in un esempio svolto, una tabella decisionale ed esempi di test adatti a ciascun tipo.
I quattro tipi di test in sintesi
| Tipo di test | Cosa confronta | Domanda a cui risponde | Costo del traffico |
|---|---|---|---|
| A/B | Controllo vs una variante | Questa versione è migliore di quella che abbiamo? | Il più basso |
| A/B/n | Controllo contro 2+ varianti complete | Quale di questi approcci distinti è il migliore? | Cresce con ogni gruppo, più una penalità per i confronti multipli |
| Multivariato (MVT) | Ogni combinazione di più elementi | Quali elementi contano, e interagiscono tra loro? | Il più alto, soprattutto per le interazioni |
| Test mirato per segmento (personalizzazione) | Esperienza personalizzata rispetto al gruppo di controllo, all'interno di un segmento | Adattare questa pagina a questo segmento funziona? | Dipende dal traffico del segmento e dalla dimensione del gruppo di controllo |
I calcoli sul traffico dietro A/B test e test multivariato
Tutti i numeri seguenti usano la formula standard per la dimensione del campione con due proporzioni (varianza aggregata) al 95% di confidenza, bilaterale, e all'80% di potenza, calcolati in Node.js. Metodo e tabelle complete sono nel nostro articolo sulla dimensione del campione per gli A/B test. Puoi fare gli stessi calcoli per la tua pagina con il nostro calcolatore della dimensione del campione per gli A/B test, che applica la correzione di Bonferroni per i test A/B/n.
Esempio (numeri illustrativi): una pagina demo converte al 3% e vuoi rilevare un incremento relativo del 20% (dal 3,0% al 3,6%). Un semplice A/B test richiede 13.914 visitatori per variante, ovvero 27.828 in totale.
A/B/n: più gruppi, soglie più severe
Con tre sfidanti contro un controllo fai tre confronti, e la probabilità di almeno un falso vincitore aumenta. La correzione più semplice (Bonferroni) divide alfa per il numero di confronti, quindi ogni confronto viene testato a 0,05 / 3 = 0,0167. Questo porta il campione per variante da 13.914 a 18.559 e il totale da 27.828 a 74.236 su quattro varianti, circa 2,7 volte il traffico dell'A/B test.
Multivariato: le combinazioni si moltiplicano
Ora testa tre elementi con due versioni ciascuno (titolo A o B, immagine A o B, CTA A o B). Un disegno fattoriale completo ha 2 × 2 × 2 = 8 celle. Se vuoi confrontare ogni combinazione con il controllo, come fanno implicitamente la maggior parte dei report MVT, ogni cella richiede un campione completo: 8 × 13.914 = 111.312 visitatori senza alcuna correzione, oppure 8 × 22.112 = 176.896 visitatori con una correzione di Bonferroni per sette confronti.
Questo è il caso peggiore. Un disegno fattoriale è in realtà efficiente per gli effetti principali. Per stimare l'effetto del titolo, confronti le quattro celle con il titolo A con le quattro con il titolo B, usando così tutto il traffico. Se gli elementi non interagiscono, 27.828 visitatori ti informano su tutti e tre gli elementi contemporaneamente. In quel caso hai di fatto eseguito tre A/B test in parallelo. Utile, ma non è il motivo per cui la maggior parte dei team sceglie l'MVT.
I team di solito eseguono un MVT per trovare le interazioni (“questo titolo funziona solo con quell'immagine”) e la singola combinazione migliore. Le interazioni costano care. La nota molto citata di Andrew Gelman, You need 16 times the sample size to estimate an interaction than to estimate a main effect, spiega perché: la stima di un'interazione ha il doppio dell'errore standard di un effetto principale e, se l'interazione è grande la metà dell'effetto principale (l'ipotesi da lui dichiarata), serve un campione 16 volte più grande per la stessa potenza. Applicato al nostro esempio, sono circa 445.000 visitatori.
Cosa significa in mesi
| Progettazione (baseline 3%, MDE 20%) | Visitatori totali | Mesi a 5.000/mese | Mesi a 20.000/mese |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n con 4 varianti (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, ogni cella vs controllo (senza correzione) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, ogni cella vs controllo (Bonferroni) | 176,896 | 35.4 | 8.8 |
| Interazione MVT, metà dimensione (regola del 16x) | 445,248 | 89.0 | 22.3 |
Su una pagina con 20.000 visitatori al mese, un MVT 2×2×2 che legge ogni combinazione richiede, con la correzione, buona parte di un anno. Con 5.000 richiede anni. Secondo noi i test multivariati sono raramente praticabili sui siti B2B, e un'affermazione come "abbiamo fatto un MVT e ha vinto la combinazione 6" su poche migliaia di visitatori al mese merita un attento esame del campione prima che qualcuno agisca.
Dove sbaglia la maggior parte dei team
L'errore abituale è scegliere il tipo di test in base all'ambizione invece che alla domanda. I team scelgono il test multivariato perché hanno molte idee, non perché devono sapere se le idee interagiscono tra loro. Scelgono un A/B/n con cinque varianti perché nessuno riusciva a mettersi d'accordo su una. Entrambe le scelte dividono un traffico limitato in fette troppo sottili per essere lette.
Il secondo è testare elementi quando la vera domanda riguarda il pubblico. Su un sito B2B, ciò che converte dipende spesso più da chi guarda che da quale titolo viene mostrato. Un buyer del manifatturiero e il fondatore di un SaaS vogliono prove diverse. Testare il titolo A contro il B per tutti fa la media tra questi pubblici e può nascondere una variante che vince nettamente per un segmento e perde per un altro. È questo l'argomento a favore dei test di personalizzazione mirati per segmento.
Tabella decisionale: quale test eseguire
| Situazione | Visitatori mensili della pagina | Elementi modificati | Test consigliato |
|---|---|---|---|
| Un'ipotesi chiara, un cambiamento grande | Qualsiasi, anche sotto 5.000 | Un concetto (può riguardare più elementi) | A/B |
| Due o tre approcci davvero diversi | 15,000+ | Concept di pagina intera | A/B/n con 3 varianti al massimo |
| Serve sapere se gli elementi interagiscono tra loro | 100,000+ | 2-3 elementi, 2 versioni ciascuno | Multivariato (fattoriale completo) |
| Pubblici diversi probabilmente vogliono cose diverse | Traffico sufficiente all'interno del segmento | Contenuti adattati al segmento | Test mirato per segmento vs gruppo di controllo |
| Traffico insufficiente per tutte le opzioni precedenti | Meno di 2.000 | Qualsiasi | Ricerca qualitativa, poi un A/B test su una modifica più ampia |
Le soglie di traffico sono indicazioni di massima per un tasso di base del 3%. Calcola le tue con la formula della dimensione del campione prima di impegnarti.
Esempi di buoni test per ciascun tipo
A/B test
- Form demo e prenotazione immediata in calendario sulla pagina demo a confronto.
- Hero incentrata sulle funzionalità vs hero incentrata sui risultati in homepage.
- Pagina prezzi con un piano “parla con le vendite” vs prezzi pubblicati per ogni piano.
Raggruppare più elementi in un unico concept va bene in un A/B test. Scopri se il concept vince, non quale elemento lo ha fatto vincere, e di solito è proprio questa la decisione che devi prendere. La nostra guida all'ottimizzazione del tasso di conversione B2B spiega come dare priorità a queste idee.
Test A/B/n
- Tre proposte di valore su una landing page a pagamento ad alto traffico: velocità, risparmio sui costi, riduzione del rischio.
- Tre offerte per la CTA: demo, valutazione del ROI, tour del prodotto. Consulta la nostra guida alle CTA personalizzate basate sui dati per capire come cambia il tipo di offerta in base alla fase.
Limita gli A/B/n test a tre gruppi (controllo più due), salvo traffico insolitamente alto, e rendi ogni gruppo significativamente diverso, così gli effetti sono abbastanza grandi da distinguerli.
Test multivariati
- Titolo (2 versioni) × tipo di social proof (loghi vs citazione da un case study) su una homepage con traffico molto elevato, quando hai un motivo preciso per aspettarti che i due elementi interagiscano.
Se non sai indicare l'interazione che ti aspetti, probabilmente non ti serve un test multivariato.
Test di personalizzazione mirati per segmento
- Hero della homepage specifico per settore per i visitatori di aziende dei servizi finanziari, a confronto con l'hero predefinito.
- Prove orientate all'enterprise (sicurezza, scalabilità) nella pagina prezzi per le aziende con oltre 1.000 dipendenti rispetto alla pagina standard.
- Saluto per gli account target e case study per gli account ABM vs la pagina generica.
Come testare la personalizzazione rispetto a un holdout
Un test di personalizzazione è un A/B test eseguito solo all'interno di un segmento. Il controllo è un gruppo di quel segmento che vede la pagina predefinita. Senza il gruppo di controllo, non puoi separare l'effetto della personalizzazione dal fatto che il segmento potrebbe semplicemente convertire in modo diverso.
- Definisci il segmento con precisione, per esempio “visitatori identificati come aziende dei servizi finanziari con oltre 200 dipendenti”. Solo questi visitatori entrano nel test.
- Misura il traffico mensile del segmento verso le pagine testate. È questo, non il traffico totale del sito, a determinare la durata.
- Scegli la dimensione del gruppo di controllo. Una divisione 50/50 è la più rapida da leggere. Gruppi di controllo più piccoli espongono meno visitatori all'esperienza predefinita, ma richiedono più tempo.
- Scegli una conversione che il segmento compie davvero, misurata sulla visita o sulle visite dell'account, e mantieni la pipeline come metrica di salvaguardia.
- Fissa dimensione del campione e durata prima del lancio e leggi il risultato solo per quel segmento.
Esempio (numeri illustrativi): un segmento porta 3.000 visitatori al mese, converte al 3% e vuoi rilevare un aumento relativo del 30%. Calcolato con una versione della formula ad allocazione diseguale (non aggregata), con la stessa confidenza al 95% e potenza all'80%:
| Quota di holdout | Visitatori totali necessari | Mesi a 3.000/mese |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
Un gruppo di controllo del 10% richiede circa 2,5 volte più tempo per essere letto rispetto a una suddivisione 50/50. Il nostro consiglio: esegui il primo test per ogni segmento con una suddivisione 50/50 per ottenere una risposta pulita, poi mantieni un piccolo gruppo di controllo permanente (dal 10 al 20%) dopo il rollout per verificare se l'effetto regge nel tempo. La roadmap dei test di personalizzazione mostra come mettere in sequenza questi test tra i segmenti. Inizia dal segmento con più traffico e con il divario di messaggio più evidente, perché è quello che si legge più in fretta. Salta del tutto i test per segmento quando il segmento porta solo poche centinaia di visitatori al mese: con quei volumi, nemmeno una suddivisione 50/50 darà una risposta leggibile entro un anno.
Per eseguire questi test con gruppo di controllo occorre identificare il segmento prima del rendering della pagina e suddividere solo quel segmento. L'A/B testing di Markettailor lo fa per segmento, usando la segmentazione a livello di azienda per decidere chi entra in ogni test, così un test fintech vede solo visitatori fintech.
Domande frequenti
Qual è la differenza tra A/B test e test multivariato?
L'A/B test confronta due versioni complete di una pagina. Il test multivariato cambia diversi elementi contemporaneamente e testa tutte le combinazioni, quindi può mostrare quali elementi contano e se interagiscono, al prezzo di molto più traffico.
Cos'è l'A/B/n test?
Il test A/B/n confronta un controllo con due o più varianti complete contemporaneamente. È utile quando hai alcuni approcci davvero diversi, ma ogni variante aggiuntiva richiede un proprio campione e una soglia di significatività più rigorosa.
Quanto traffico serve per un test multivariato?
Per un test 2×2×2 su una pagina che converte al 3%, leggere ciascuna delle 8 combinazioni contro il controllo per un lift del 20% richiede circa 111.000-177.000 visitatori, a seconda della correzione per confronti multipli. Rilevare le interazioni può richiederne diverse volte di più.
Il test multivariato vale la pena per i siti B2B?
Raramente. La maggior parte delle pagine B2B non ha traffico sufficiente per leggere combinazioni o interazioni nell'arco di pochi mesi. Gli A/B test su concept più ampi e i test di personalizzazione mirati per segmento danno di solito risposte più chiare e più rapide.
Si possono combinare A/B test e test multivariati?
Sì. Una sequenza comune è testare prima i concept con un A/B test e poi, solo sulle pagine con moltissimo traffico, eseguire un piccolo test fattoriale su due elementi del concept vincente, se hai un'interazione specifica da verificare.