Comment fonctionne le calculateur
L'onglet taille d'échantillon utilise la formule standard de comparaison de deux taux de conversion avec un test z bilatéral sur deux proportions :
n par variante = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 est votre taux de conversion de référence pour la page et l'objectif précis que vous testez.
- p2 correspond au taux de base multiplié par (1 + effet minimal détectable).
- p̄ est la moyenne de p1 et p2.
- zα/2 vaut 1,96 avec une confiance de 95 %, et zβ vaut 0,84 avec une puissance de 80 %.
Avec plus d'une variante, le calculateur divise alpha par le nombre de comparaisons avec le témoin (correction de Bonferroni), ce qui maintient le taux global de faux positifs au niveau de confiance choisi. Notre guide de la taille d'échantillon d'A/B test détaille la formule étape par étape avec des tableaux pour les taux de conversion B2B courants.
Cas pratique
Chiffres illustratifs : une page de demande de démo convertit à 3 % et reçoit 2 000 visiteurs par semaine. Vous voulez savoir si un nouveau titre augmente la conversion d'au moins 20 %, donc p2 vaut 3,6 %. Le calculateur renvoie environ 13 900 visiteurs par variante, 27 800 au total, soit 14 semaines de trafic. C'est la réponse honnête pour beaucoup de pages B2B, et c'est pourquoi l'outil signale tout test qui dure plus d'un trimestre.
Trois façons de réduire la durée : tester un changement plus audacieux et relever l'effet minimal détectable à 30 % ou plus, mesurer un événement plus fréquent comme les clics vers la page démo, ou mener le test sur une page plus fréquentée. Si vous hésitez entre un A/B test et un test de plusieurs éléments à la fois, lisez d'abord A/B testing vs test multivarié, car les tests multivariés nécessitent bien plus de trafic.
Lire un résultat de significativité
L'onglet significativité compare deux variantes terminées. Supposons que le témoin ait eu 5 000 visiteurs et 150 conversions (3,0 %) et la variante 5 000 visiteurs et 190 conversions (3,8 %). La hausse relative est de 26,7 %, la p-value d'environ 0,027 et l'intervalle de confiance à 95 % de la différence va d'environ 0,1 à 1,5 point de pourcentage. Le résultat est significatif, mais l'intervalle est large : la hausse réelle pourrait être faible. Considérez la hausse mesurée comme une estimation plutôt haute, surtout si le test a été arrêté tôt.
Pour savoir quoi tester en premier sur un site B2B à faible trafic, consultez la partie consacrée aux tests de notre guide de l'optimisation du taux de conversion. Si vous testez des expériences personnalisées plutôt que des modifications isolées, l'A/B testing de Markettailor gère des groupes témoins par segment de visiteurs.
Questions fréquentes
De combien de visiteurs ai-je besoin pour un A/B test ?
Cela dépend de votre taux de conversion de référence et de la plus petite hausse que vous voulez détecter. Avec un taux de référence de 3 %, détecter une hausse relative de 20 % avec 95 % de confiance et 80 % de puissance nécessite environ 13 900 visiteurs par variante. Diviser par deux la hausse à détecter multiplie environ par quatre l'échantillon.
Comment calcule-t-on la significativité statistique d'un A/B test ?
Ce calculateur utilise un z-test bilatéral à deux proportions. Il regroupe les deux branches pour estimer le bruit attendu en l'absence de différence réelle, divise l'écart observé entre les taux de conversion par cette erreur type, puis convertit le z-score obtenu en p-value. Une p-value inférieure à 0,05 est significative avec un niveau de confiance de 95 %.
Combien de temps doit durer un A/B test ?
Jusqu'à ce qu'il atteigne la taille d'échantillon calculée avant le lancement, et pendant au moins une semaine complète, pour inclure à la fois le comportement en semaine et le week-end. L'estimation de durée ci-dessus divise l'échantillon total par votre trafic hebdomadaire sur la page testée.
Puis-je arrêter un A/B test dès qu'il est significatif ?
Non. Consulter les résultats à répétition et s'arrêter à la première lecture significative fait grimper le taux de faux positifs bien au-delà de 5 %. Fixez la taille d'échantillon à l'avance et lisez le résultat une fois qu'elle est atteinte, ou utilisez une méthode conçue pour le suivi continu, comme un test séquentiel.
Et si mon site B2B n'a pas assez de trafic pour faire de l'A/B testing ?
Testez des changements plus importants, choisissez un événement de conversion plus fréquent (comme les clics vers la page démo plutôt que les démos réservées), testez sur votre modèle de page le plus fréquenté, ou acceptez un test plus long. Si un test devait durer plus d'un trimestre, recourez plutôt à la recherche qualitative et aux comparaisons avec groupe témoin.