La formule de taille d'échantillon d'un A/B test vous indique combien de visiteurs chaque variante doit recevoir avant qu'une différence de taux de conversion ait un sens. Pour un test bilatéral standard avec un niveau de confiance de 95 % et une puissance de 80 %, il faut environ n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² visiteurs par variante, où p1 est votre taux de référence et p2 le taux que vous espérez détecter.
Appliquez cette formule à de vrais chiffres B2B et le résultat est inconfortable. Une page qui convertit à 3 % a besoin d'environ 14 000 visiteurs par variante pour détecter de manière fiable une hausse relative de 20 %. De nombreuses pages B2B ne reçoivent pas autant de visiteurs en un trimestre. Ci-dessous : la formule paramètre par paramètre, des tableaux calculés pour plusieurs taux de référence, la durée d'un test selon le niveau de trafic, et que faire quand la réponse est « huit mois ».
Notre position : la plupart des A/B tests B2B manquent de puissance
D'abord, l'opinion que les maths confirment. Selon nous, la plupart des A/B tests B2B sont arrêtés bien avant d'avoir assez de données, et beaucoup des « gagnants » qu'ils produisent ne sont que du bruit. Le scénario est toujours le même : un test de trois semaines, une variante en avance de 25 %, un badge vert, un changement mis en production, et six mois plus tard aucune hausse visible du pipeline.
Les tests sous-dimensionnés passent à côté d'effets réels, ce qui gaspille un créneau de test. Pire, quand un test sous-dimensionné franchit malgré tout le seuil de significativité, la hausse mesurée tend à être surestimée, car seuls les tirages chanceux passent la barre. Les statisticiens parlent d'erreur de magnitude (type M). L'équipe déploie un changement qui ne fait peut-être rien et inscrit en plus un chiffre gonflé dans son reporting CRO. Calculer la taille d'échantillon avant le lancement est la protection la moins coûteuse.
La formule de calcul de la taille d'échantillon d'un A/B test
La formule standard pour comparer deux taux de conversion (un test z à deux proportions) est :
n par variante = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
Chaque paramètre a une signification simple :
- p1 (taux de conversion de référence) : le taux de conversion actuel de la page et de l'objectif que vous testez. Utilisez le taux de l'événement de conversion exact et de la page exacte, sur les 4 à 8 dernières semaines, pas une moyenne du site.
- p2 (taux cible) : le taux de base multiplié par (1 + MDE). Avec un taux de base de 3 % et un MDE relatif de 20 %, p2 = 3,6 %.
- MDE (effet minimum détectable) : la plus petite hausse relative que vous tenez à détecter. C'est une décision business, pas statistique. Des MDE plus petits demandent beaucoup plus de trafic, car la différence (p2 − p1) est élevée au carré au dénominateur. Divisez le MDE par deux et vous multipliez environ l'échantillon par quatre.
- p̄ (taux combiné) : la moyenne de p1 et p2. Il décrit le bruit dans l'hypothèse où il n'y a pas de différence réelle.
- zα/2 = 1,96 : correspond à un taux de faux positifs de 5 % (alpha 0,05), réparti sur les deux queues car la variante peut être meilleure ou moins bonne.
- zβ = 0,8416 : correspond à une puissance de 80 %, c'est-à-dire que si la hausse réelle est égale à votre MDE, le test la détecte 80 % du temps. Les 20 % restants, vous passez à côté d'une vraie variante gagnante.
De nombreux calculateurs utilisent la version simplifiée non poolée présentée dans le premier paragraphe. Aux taux de conversion B2B, les deux ne diffèrent que de quelques visiteurs. Notre calculateur d'A/B test utilise la formule poolée ci-dessus et estime aussi la durée du test.
Exemple détaillé, étape par étape
Exemple (chiffres illustratifs) : une page de demande de démo convertit à 3 %. Vous voulez détecter une hausse relative de 20 %.
- Fixez les taux : p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. La différence absolue est de 0,006.
- Taux combiné : p̄ = (0,030 + 0,036) / 2 = 0,033.
- Premier terme : √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. Multipliez par 1,96 : 0,4951.
- Second terme : p1(1−p1) = 0,0291 et p2(1−p2) = 0,0347. √(0,0638) = 0,2526. Multipliez par 0,8416 : 0,2126.
- Additionnez et élevez au carré : (0,4951 + 0,2126)² = 0,7077² = 0,5009.
- Divisez par la différence au carré : 0,5009 / 0,006² = 0,5009 / 0,000036 = 13 914 visiteurs par variante.
Le test nécessite donc environ 27 800 visiteurs au total, et environ 417 conversions rien que dans le groupe de contrôle (13 914 × 3 %), avant de lire le résultat. Pour recouper, la formule simplifiée non poolée donne 13 911 par variante, et une approximation arcsinus (h de Cohen) environ 13 890. Les trois méthodes concordent à 0,2 % près.
Tableau de taille d'échantillon pour les taux de conversion B2B
Le tableau ci-dessous applique la formule poolée présentée plus haut (alpha 0,05 bilatéral, puissance 0,8) à des taux de référence allant de 1 % (par exemple, les demandes de démo rapportées à l'ensemble des visiteurs d'une page très fréquentée) à 10 % (par exemple, une micro-conversion comme un clic sur un CTA). Utilisez votre propre taux de référence ; ces lignes ne sont que des repères. Les valeurs indiquent le nombre de visiteurs par variante, calculé en Node.js et arrondi à l'entier supérieur.
| Taux de conversion de référence | MDE relatif de 10 % | MDE relatif de 20 % | MDE relatif de 30 % | MDE relatif de 50 % |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
Passer d'un MDE de 10 % à un MDE de 50 % divise l'échantillon nécessaire par environ 20. Doubler le taux de référence le divise à peu près par deux. Vous ne pouvez pas augmenter votre trafic rapidement, mais vous pouvez choisir l'ampleur de la modification testée et la conversion mesurée : sur un petit site, ce sont les deux leviers qui comptent.
Combien de temps durera le test ?
La durée correspond au nombre total de visiteurs requis (les deux variantes) divisé par le nombre mensuel de visiteurs qui atteignent réellement la page testée. Le tableau indique le nombre de mois pour une répartition 50/50 à trois niveaux de trafic.
| Visiteurs mensuels de la page | Référence | MDE de 10 % | MDE de 20 % | MDE de 30 % | MDE de 50 % |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
Quoi que dise le tableau, faites tourner chaque test au moins deux semaines complètes, pour que les comportements de semaine et de week-end ainsi que les pics de campagne soient représentés dans les deux groupes. Et considérez tout test de plus de trois mois comme un test à ne probablement pas lancer sous sa forme actuelle : le contenu des pages, les campagnes et la composition du trafic évoluent sur cette durée, et le résultat décrirait un site qui n'existe plus.
Avec 5 000 visiteurs par mois et un taux de base de 3 %, une hausse de 50 % est mesurable en un mois environ, et une hausse de 10 % prend près de deux ans. Personne ne garde une page inchangée pendant deux ans : le second test sera donc arrêté prématurément et interprété comme s'il signifiait quelque chose.
Ce que la plupart des équipes font mal
- Utiliser le trafic de tout le site pour estimer la durée. Seuls comptent les visiteurs qui atteignent l'élément testé. Un test sur la page tarifs d'un site à 20 000 visiteurs ne verra peut-être que 2 000 visiteurs éligibles par mois.
- Choisir le MDE après le test. Si vous avez fixé le MDE à 30 % avant le lancement et que le test montre 12 %, vous n'avez pas une variante gagnante à 12 %. Vous avez un test non concluant.
- Regarder les résultats en cours de route et s'arrêter au premier badge vert. L'analyse d'Evan Miller, How Not To Run an A/B Test, montre que tester la significativité de façon répétée augmente toujours le taux de faux positifs. Dans son exemple (une base de 50 %, un changement sans effet, un arrêt dès que le résultat atteint 5 % de significativité ou après 150 observations), le taux de faux positifs est de 26,1 % au lieu des 5 % théoriques.
Quand les chiffres annoncent des mois : sept options
1. Tester des changements plus importants
Le moyen le moins coûteux de réduire la taille d'échantillon est de relever honnêtement le MDE, c'est-à-dire de tester des changements assez importants pour pouvoir plausiblement le produire : une nouvelle proposition de valeur, une offre différente (réservation instantanée plutôt qu'un formulaire de contact), une page adaptée à un secteur au lieu d'une page générique. Notre guide de l'optimisation du taux de conversion B2B explique comment classer les idées de test selon l'ampleur d'effet attendue.
2. Tester sur des pages à plus fort trafic
La page d'accueil, les articles de blog les plus lus et les landing pages à fort volume vous apportent plus de visiteurs par mois (voir nos notes sur l'optimisation des landing pages B2B pour savoir quelles pages concentrent généralement le plus de trafic en phase de décision). Un test sur un modèle partagé par de nombreuses pages (toutes les pages solutions, tous les articles de blog) regroupe leur trafic dans une seule expérience.
3. Utilisez les micro-conversions avec prudence
Les micro-conversions comme les clics sur un CTA ou les débuts de formulaire ont des taux de base plus élevés : c'est donc la ligne 10 % du tableau qui s'applique, et non la ligne 2 %. Le piège : une variante peut augmenter les clics tout en réduisant les démos qualifiées. N'utilisez la micro-conversion comme indicateur de décision que si vous avez la preuve qu'elle évolue avec l'objectif macro, et présentez toujours la macro-conversion à côté comme garde-fou.
4. Regrouper les segments, puis les séparer plus tard
Mener des tests séparés par segment divise votre trafic. Menez un seul test sur l'ensemble des segments, puis considérez les résultats par segment comme de simples tendances. Si vous avez besoin d'une réponse propre à un segment, le test doit être dimensionné pour le seul trafic de ce segment. La roadmap de tests de personnalisation sur 90 jours montre comment enchaîner les tests par segment pour que chacun reçoive assez de trafic.
5. Utiliser les tests séquentiels
Les plans séquentiels (tests séquentiels groupés avec analyses intermédiaires planifiées, ou méthodes « always-valid » intégrées à certains outils de test) vous permettent de consulter les résultats pendant le test et de l'arrêter tôt quand l'effet est important, sans gonfler les faux positifs. La contrepartie est un échantillon maximal légèrement plus grand si le test va jusqu'au bout. C'est la version légitime du « peeking ». Si un test devait durer des mois, investissez d'abord dans des outils CRO de diagnostic comme les enregistrements de sessions et l'analyse de formulaires.
6. Envisager une approche bayésienne, avec des attentes claires
L'A/B testing bayésien indique la probabilité que B batte A et la perte attendue si vous choisissez la mauvaise option. C'est plus simple à exploiter qu'une p-value, et cela permet des décisions explicites comme « déployer si la probabilité d'être meilleur dépasse 90 % et que la perte attendue est inférieure à 0,1 point de pourcentage ». Pour des changements réversibles, accepter ce risque est souvent rationnel.
Ce que les méthodes bayésiennes ne font pas, c'est créer de l'information. Avec des a priori faibles, les données nécessaires pour être confiant sur une hausse de 20 % sont à peu près les mêmes que dans le tableau fréquentiste. Une « probabilité de battre » de 90 % sur un minuscule échantillon reste fragile, et la vérifier chaque jour avec une règle d'arrêt augmente toujours le taux d'erreur en pratique. Le test bayésien change la façon d'exprimer l'incertitude et de prendre les décisions. Il ne réduit pas l'incertitude.
7. Ne regardez pas les résultats en cours de route, ou planifiez vos coups d'œil
Fixez la taille d'échantillon avant le lancement, inscrivez-la dans le brief du test et ne concluez pas avant de l'avoir atteinte. Si les parties prenantes ont besoin de points intermédiaires, utilisez dès le départ un plan séquentiel plutôt que des vérifications improvisées. Notre modèle de plan d'expérimentation prévoit un champ pour chacune de ces décisions.
Checklist avant lancement
- Récupérez le taux de base et le nombre mensuel de visiteurs éligibles pour la page et la conversion exactes (sur les 4 à 8 dernières semaines).
- Choisissez le MDE en fonction de l'ampleur du changement, et notez-le.
- Calculez n par variante avec la formule ou le tableau ci-dessus, puis la durée.
- Si la durée dépasse environ trois mois, revoyez le test (changement plus important, page plus fréquentée, ou métrique au taux de base plus élevé avec un garde-fou).
- Fixez la règle d'arrêt : échantillon fixe, ou plan séquentiel avec des points de contrôle prévus à l'avance.
Pour les équipes B2B, les effets les plus importants viennent généralement du fait de montrer des contenus différents à des visiteurs différents plutôt que de peaufiner une page pour tout le monde, car un message écrit pour un segment représente un changement plus important qu'une nouvelle couleur de bouton. Si vous hésitez entre un simple split test et un test à plusieurs variantes ou facteurs, lisez notre comparatif A/B testing vs test multivarié, qui applique le même calcul de taille d'échantillon aux plans A/B/n et multivariés.
Lorsque vous êtes prêt à tester des expériences propres à chaque segment, l'A/B testing des pages personnalisées de Markettailor vous permet d'opposer chaque segment à un groupe de contrôle et de suivre le résultat par segment : la taille d'échantillon prévue est bien celle que vous obtenez.
Questions fréquentes
Quelle est la formule de taille d'échantillon d'un A/B test ?
Pour deux taux de conversion, n par variante = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)², où p1 est le taux de référence, p2 le taux cible et p̄ leur moyenne. Cela suppose un niveau de confiance de 95 % (bilatéral) et une puissance de 80 %.
Combien de visiteurs faut-il pour un A/B test avec un taux de conversion de 2 % ?
Environ 21 100 visiteurs par variante pour détecter un gain relatif de 20 %, environ 9 800 pour un gain de 30 % et environ 3 800 pour un gain de 50 %, avec 95 % de confiance et 80 % de puissance. Doublez ces chiffres pour obtenir le trafic total du test.
L'A/B testing bayésien nécessite-t-il un échantillon plus petit ?
Pas de manière significative, sauf si vous disposez d'un a priori solide et justifié. Les tests bayésiens donnent des résultats plus intuitifs (probabilité de battre la version de contrôle, perte attendue) et permettent des décisions fondées sur le risque, mais la quantité de données nécessaire pour être confiant sur une hausse donnée est similaire à celle du calcul fréquentiste.
Quel effet minimum détectable un site B2B doit-il retenir ?
Choisissez l'effet minimum détectable (MDE) en fonction de votre trafic, pas de vos espoirs. Calculez ce qui est détectable en six à huit semaines avec le trafic de votre page, puis ne testez que des changements assez importants pour produire plausiblement cette hausse. Dans le tableau des durées ci-dessus, une page à 5 000 visiteurs mensuels et 3 % de taux de base ne peut mesurer que des hausses d'environ 30 % ou plus en trois mois.
Puis-je arrêter un A/B test plus tôt s'il est déjà significatif ?
Pas avec un test classique à échantillon fixe, car les vérifications répétées gonflent les faux positifs. Si vous voulez pouvoir arrêter plus tôt, utilisez un plan de test séquentiel avec des analyses intermédiaires prévues avant le lancement.