Un modèle de plan d'expérimentation impose les décisions que la plupart des A/B tests éludent : ce que vous attendez précisément, quel indicateur unique désigne le gagnant, combien de visiteurs il vous faut et quand vous avez le droit d'arrêter. Les écrire avant le lancement est la protection la moins coûteuse contre le risque de prendre du bruit pour un résultat. Le modèle ci-dessous tient en une page par test. Copiez-le dans votre outil de documentation, ou téléchargez le modèle en CSV pour gérer un backlog de tests dans un tableur.
Il est conçu pour les niveaux de trafic B2B, où un seul test peut prendre des semaines. Si vous n'avez jamais planifié de test, lisez d'abord notre guide de l'optimisation du taux de conversion pour savoir ce qui vaut la peine d'être testé avec peu de trafic.
Le modèle de plan d'A/B test
Remplissez chaque ligne avant la mise en ligne du test. Une ligne vide est une décision que vous finirez par prendre après avoir vu les données, ce que le plan est justement censé empêcher.
| Section | Champ | Ce qu'il faut écrire |
|---|---|---|
| 1. Contexte | Nom et ID du test | Nom court et facile à rechercher, par exemple « DEMO-07 formulaire à cinq champs » |
| Responsable | Une personne qui lance, suit et rend compte du test | |
| Les preuves à l'appui | Les données, l'enregistrement ou la citation client qui vous ont fait choisir ce test | |
| 2. Hypothèse | Variation | Ce qui diffère exactement entre le contrôle et la variante |
| Effet attendu | Quel indicateur bouge, et dans quel sens | |
| Raison | Pourquoi vous pensez que cela va se produire, en une phrase sur le comportement de l'acheteur | |
| 3. Indicateurs | Indicateur principal | L'indicateur qui détermine le résultat, avec la définition exacte de son événement |
| Indicateurs garde-fous | Les indicateurs qui ne doivent pas se dégrader (qualité des leads, taux de rebond, vitesse de la page) | |
| Indicateurs secondaires | Intéressant mais pas décisif (profondeur de scroll, clics vers les tarifs) | |
| 4. Audience | Page(s) | URL incluses dans le test |
| Qui est inclus | Tous les visiteurs, ou un segment comme le trafic payant ou une tranche de taille d'entreprise | |
| Qui est exclu | Clients existants, trafic interne, bots | |
| Répartition du trafic | Généralement 50/50 pour deux branches | |
| 5. Statistiques | Taux de conversion de référence | Les 4 à 8 dernières semaines pour cette page et cet indicateur |
| Effet minimum détectable | Plus petite hausse relative justifiant une action | |
| Confiance et puissance | Généralement 95 % et 80 % | |
| Taille d'échantillon par variante | Tiré du calculateur d'A/B test | |
| Durée prévue | Taille d'échantillon divisée par le trafic hebdomadaire, arrondie à la semaine entière supérieure | |
| 6. Règles | Règle d'arrêt | Quand vous lirez le résultat (échantillon atteint, jamais avant) |
| Règle d'abandon | Ce qui vous ferait arrêter avant la fin (variante cassée, chute d'un indicateur garde-fou) | |
| Règle de décision | Ce que vous déployez si le résultat est gagnant, perdant ou non concluant | |
| 7. Résultats | Dates de diffusion | Date de début et de fin |
| Résultat par groupe | Visiteurs, conversions, taux de conversion | |
| Significativité et intervalle | p-value et intervalle de confiance de la différence | |
| Décision et apprentissage | Ce que vous avez livré et ce que cela vous a appris sur les acheteurs |
Comment le remplir
- Partez de preuves, pas d'idées. La section 1 demande pourquoi ce test existe. Bonnes sources : une étape du funnel avec une chute inhabituelle, des enregistrements de sessions, des notes d'appels commerciaux, un constat de la checklist d'audit CRO. « Le CEO veut un nouveau hero » n'est pas une preuve.
- Rédigez une hypothèse réfutable. « Si nous réduisons le formulaire de démo de neuf à cinq champs, les demandes de démo par visiteur augmenteront, car les acheteurs abandonnent quand on leur demande leur budget avant qu'ils aient vu le produit. » Une hypothèse sans justification ne vous apprend rien lorsqu'elle échoue.
- Choisissez un seul indicateur principal. Si vous en choisissez trois, l'un d'eux bougera probablement par hasard et vous serez tenté d'y voir une victoire.
- Dimensionnez le test avant de le construire. Saisissez la référence et l'effet minimum détectable dans le calculateur. Si le test nécessite plus d'un trimestre, changez de plan : testez un changement plus important, utilisez un indicateur plus fréquent ou choisissez une page avec plus de trafic. Notre guide sur la taille d'échantillon d'un A/B test explique les arbitrages.
- Convenez de la règle de décision à l'avance. Définissez ce que signifie « non concluant » pour vous. Beaucoup d'équipes B2B déploient la variante la plus simple quand les résultats sont stables, ce qui est une bonne règle si elle est écrite avant le lancement.
Exemple de plan rempli
Chiffres illustratifs pour une entreprise de logiciels B2B fictive.
| Champ | Entrée |
|---|---|
| Nom du test | DEMO-07 formulaire de démo à cinq champs |
| Éléments probants | L'analyse du formulaire montre que la plupart des abandons se produisent au champ « Budget » ; les commerciaux confirment qu'ils ne s'en servent pas lors du premier appel |
| Hypothèse | Réduire le formulaire de neuf à cinq champs augmente les demandes de démo par visiteur, car les acheteurs ne communiqueront pas leur budget avant d'avoir vu le produit |
| Indicateur principal | Formulaires de démo envoyés divisés par les visiteurs uniques de /demo |
| Garde-fous | La part des envois acceptés comme qualifiés par les ventes ne doit pas baisser de plus d'un quart |
| Audience | Tous les visiteurs de /demo, hors clients connectés et IP internes ; répartition 50/50 |
| Référence | 8 % des visiteurs de /demo envoient le formulaire |
| Effet minimum détectable | 20 % relatif (de 8,0 % à 9,6 %) |
| Taille d'échantillon | Environ 4 900 visiteurs par variante pour un niveau de confiance de 95 % et une puissance de 80 % |
| Durée | /demo reçoit environ 1 500 visiteurs par semaine : atteindre environ 9 800 visiteurs au total prend donc 7 semaines |
| Règle d'arrêt | Lisez le résultat après 7 semaines complètes ou quand les deux bras dépassent 4 900 visiteurs, selon ce qui arrive en dernier |
| Règle d'abandon | Arrêter si le formulaire de la variante ne s'envoie pas ou si le taux de qualification baisse de moitié au cours des deux premières semaines |
| Règle de décision | Victoire : déployer cinq champs. Défaite : garder neuf champs. Non concluant : déployer cinq champs, car c'est plus simple et l'enrichissement comble le manque |
Le backlog de tests
Le téléchargement CSV inclut aussi une feuille de backlog pour classer les tests avant de rédiger les plans complets. Une ligne par idée :
| ID | Page | Idée | Éléments probants | Impact (1-3) | Confiance (1-3) | Facilité (1-3) | Score | Semaines nécessaires | Statut |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Formulaire à cinq champs | Abandon par champ | 3 | 2 | 3 | 8 | 7 | Prévu |
| HOME-03 | / | Hero sectoriel | Les visiteurs ICP rebondissent davantage | 3 | 2 | 2 | 7 | 10 | Idée |
Les idées bien notées mais qui demandent plus de 12 semaines se prêtent mieux à une comparaison avec groupe témoin ou à une règle de personnalisation qu'à un A/B test classique. Voir A/B testing vs test multivarié pour savoir quand chaque méthode convient.
Questions fréquentes
Que doit contenir un plan d'A/B test ?
Une hypothèse justifiée, une métrique principale avec une définition exacte, des métriques garde-fous, l'audience et la répartition, le taux de référence, l'effet minimal détectable, la taille d'échantillon, la durée, et les règles d'arrêt, d'abandon et de décision. Ajoutez une section résultats pour que le plan devienne la trace écrite du test.
Quelle est la différence entre un plan d'expérimentation et un brief de test ?
Les termes sont utilisés indifféremment. Certaines équipes emploient « brief » pour la demande de design et de rédaction envoyée à un designer, et « plan » pour le paramétrage statistique. Ce modèle couvre les deux, la modification créative étant décrite dans la section hypothèse.
Combien de temps doit durer un A/B test B2B ?
Jusqu'à atteindre la taille d'échantillon calculée, et pendant au moins une semaine complète. Beaucoup de pages B2B ont besoin de quatre à douze semaines. Si le calcul indique plus d'un trimestre, modifiez le test plutôt que de l'arrêter prématurément.
Dois-je rédiger un plan pour chaque petit test ?
Oui, même si pour un test sur le texte d'un bouton, le plan peut tenir en cinq lignes. La règle d'arrêt et la métrique principale sont les deux parties à ne jamais omettre, car ce sont elles qui vous empêchent de prendre une fluctuation aléatoire pour une victoire.