Un template di piano sperimentale impone le decisioni che la maggior parte degli A/B test salta: cosa ti aspetti esattamente che accada, quale unica metrica decide la variante vincente, quanti visitatori ti servono e quando puoi fermarti. Scriverle prima del lancio è la protezione più economica contro lo scambiare rumore per un risultato. Il template qui sotto è di una pagina per test. Copialo nel tuo strumento di documentazione oppure scarica il template in CSV per gestire un backlog di test in un foglio di calcolo.
È pensato per i livelli di traffico B2B, dove un singolo test può richiedere settimane. Se non hai mai pianificato un test, leggi prima la nostra guida all'ottimizzazione del tasso di conversione per capire cosa vale la pena testare con poco traffico.
Il modello di piano per A/B test
Compila ogni riga prima che il test vada live. Una riga vuota è una decisione che finirai per prendere dopo aver visto i dati, ed è proprio ciò che il piano deve evitare.
| Sezione | Campo | Cosa scrivere |
|---|---|---|
| 1. Contesto | Nome e ID del test | Nome breve e ricercabile, per esempio “DEMO-07 form a cinque campi” |
| Responsabile | Una persona che lancia, monitora e riporta il test | |
| Evidenze a supporto | Il dato, la registrazione o la citazione del cliente che ti ha portato a scegliere questo test | |
| 2. Ipotesi | Modifica | Cosa cambia esattamente tra controllo e variante |
| Effetto atteso | Quale metrica si muove, e in quale direzione | |
| Motivo | Perché pensi che succederà, in una frase sul comportamento del buyer | |
| 3. Metriche | Metrica primaria | L'unica metrica che decide il risultato, con la sua esatta definizione dell'evento |
| Metriche guardrail | Metriche che non devono peggiorare (qualità dei lead, frequenza di rimbalzo, velocità della pagina) | |
| Metriche secondarie | Interessanti ma non decisive (profondità di scorrimento, clic verso i prezzi) | |
| 4. Pubblico | Pagina/e | URL inclusi nel test |
| Chi è incluso | Tutti i visitatori, o un segmento come il traffico a pagamento o una fascia di dimensione aziendale | |
| Chi è escluso | Clienti esistenti, traffico interno, bot | |
| Ripartizione del traffico | Di solito 50/50 per due varianti | |
| 5. Statistica | Tasso di conversione di base | Ultime 4-8 settimane per questa pagina e questa metrica |
| Effetto minimo rilevabile | Il più piccolo incremento relativo per cui vale la pena agire | |
| Confidenza e potenza | Di solito 95% e 80% | |
| Dimensione del campione per variante | Dal calcolatore per A/B test | |
| Durata prevista | Dimensione del campione divisa per il traffico settimanale, arrotondata per eccesso a settimane intere | |
| 6. Regole | Regola di stop | Quando leggerai il risultato (al raggiungimento del campione, mai prima) |
| Regola di chiusura | Cosa ti farebbe interrompere in anticipo (variante non funzionante, calo di una metrica di salvaguardia) | |
| Regola decisionale | Cosa rilasci se il risultato è una vittoria, una sconfitta o inconcludente | |
| 7. Risultati | Date di esecuzione | Data di inizio e di fine |
| Risultato per braccio | Visitatori, conversioni, tasso di conversione | |
| Significatività e intervallo | p-value e intervallo di confidenza della differenza | |
| Decisione e apprendimento | Cosa hai rilasciato e cosa ti ha insegnato sugli acquirenti |
Come compilarlo
- Parti dalle evidenze, non dalle idee. La sezione 1 chiede perché esiste questo test. Buone fonti: un passaggio del funnel con un calo insolito, registrazioni delle sessioni, note delle chiamate commerciali, un risultato della checklist per l'audit CRO. "Il CEO vuole un nuovo hero" non è un'evidenza.
- Scrivi un'ipotesi falsificabile. “Se riduciamo il modulo demo da nove a cinque campi, le richieste demo per visitatore aumenteranno, perché gli acquirenti abbandonano quando viene chiesto il budget prima che abbiano visto il prodotto.” Un'ipotesi senza una motivazione non ti insegna nulla quando fallisce.
- Scegli una sola metrica principale. Se ne scegli tre, una probabilmente si muoverà per caso e vorrai considerarla una vittoria.
- Dimensiona il test prima di costruirlo. Inserisci nel calcolatore la base e l'effetto minimo rilevabile. Se il test richiede più di un trimestre, cambia il piano: testa una modifica più ampia, usa una metrica più frequente o scegli una pagina con più traffico. La nostra guida alla dimensione del campione per gli A/B test spiega i compromessi.
- Concorda in anticipo la regola di decisione. Stabilisci cosa significa per te "inconcludente". Molti team B2B rilasciano la variante più semplice quando i risultati sono piatti, una regola valida se viene messa per iscritto prima del lancio.
Piano compilato di esempio
Numeri illustrativi per un'azienda di software B2B fittizia.
| Campo | Ingresso |
|---|---|
| Nome del test | DEMO-07 modulo demo a cinque campi |
| Evidenze | Gli analytics del modulo mostrano il maggior numero di abbandoni sul campo “Budget”; le vendite confermano di non usarlo nella prima chiamata |
| Ipotesi | Ridurre il modulo da nove a cinque campi aumenta gli invii di richieste demo per visitatore, perché i buyer non condividono il budget prima di aver visto il prodotto |
| Metrica primaria | Invii del modulo demo divisi per i visitatori unici di /demo |
| Paletti | La quota di invii accettati dal commerciale come qualificati non deve calare di più di un quarto |
| Pubblico | Tutti i visitatori di /demo, esclusi i clienti con accesso effettuato e gli IP interni; suddivisione 50/50 |
| Base di partenza | L'8% dei visitatori di /demo invia il form |
| Effetto minimo rilevabile | 20% relativo (dall'8,0% al 9,6%) |
| Dimensione del campione | Circa 4.900 visitatori per variante con confidenza al 95% e potenza all'80% |
| Durata | /demo riceve circa 1.500 visitatori a settimana, quindi circa 9.800 visitatori in totale richiedono 7 settimane |
| Regola di stop | Leggi il risultato dopo 7 settimane complete o quando entrambi i rami superano 4.900 visitatori, a seconda di quale avviene più tardi |
| Regola di chiusura | Interrompi se il modulo della variante non si invia o se il tasso di qualificazione si dimezza nelle prime due settimane |
| Regola decisionale | Vittoria: pubblica il form a cinque campi. Sconfitta: mantieni quello a nove. Inconcludente: pubblica quello a cinque campi, perché è più semplice e l'arricchimento colma il vuoto |
Il backlog dei test
Il download CSV include anche un foglio di backlog per ordinare i test prima di scrivere i piani completi. Una riga per idea:
| ID | Pagina | Idea | Evidenze | Impatto (1-3) | Affidabilità (1-3) | Facilità (1-3) | Punteggio | Settimane necessarie | Stato |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Form a cinque campi | Abbandono per campo | 3 | 2 | 3 | 8 | 7 | Pianificato |
| HOME-03 | / | Hero specifica per settore | I visitatori ICP rimbalzano di più | 3 | 2 | 2 | 7 | 10 | Idea |
Le idee con un punteggio alto ma che richiedono più di 12 settimane sono candidate migliori per un confronto con gruppo di controllo o per una regola di personalizzazione che per un classico A/B test. Vedi A/B test vs test multivariato per capire quando è adatto ciascun metodo.
Domande frequenti
Cosa deve includere un piano di A/B test?
Un'ipotesi con una motivazione, una metrica primaria con una definizione esatta, metriche di salvaguardia, il pubblico e la suddivisione, il tasso di base, l'effetto minimo rilevabile, la dimensione del campione, la durata e le regole di arresto, interruzione e decisione. Aggiungi una sezione dei risultati così il piano diventa il registro del test.
Qual è la differenza tra un piano di esperimento e un brief di test?
I termini vengono usati come sinonimi. Alcuni team chiamano "brief" la richiesta di design e testi inviata a un designer, e "piano" l'impostazione statistica. Questo template copre entrambi, con la modifica creativa descritta nella sezione dell'ipotesi.
Quanto dovrebbe durare un A/B test B2B?
Finché non raggiunge la dimensione del campione che hai calcolato, e per almeno una settimana intera. Molte pagine B2B richiedono da quattro a dodici settimane. Se i calcoli indicano più di un trimestre, cambia il test invece di interromperlo prima.
Devo scrivere un piano per ogni piccolo test?
Sì, anche se per un test sul testo di un pulsante il piano può stare in cinque righe. La regola di stop e la metrica principale sono le due parti da non saltare mai, perché sono quelle che ti impediscono di scambiare un'oscillazione casuale per una vittoria.