L'A/B testing est une expérience contrôlée randomisée dans laquelle les visiteurs sont répartis au hasard entre deux versions d'une page, d'un e-mail ou d'une fonctionnalité, le contrôle (A) et une variante (B), puis une métrique définie à l'avance est comparée pour voir si l'écart entre les deux dépasse ce que le hasard pourrait expliquer. C'est la méthode de référence pour savoir si un changement a causé une amélioration plutôt que d'avoir simplement coïncidé avec elle.
La méthode est bien établie dans les produits en ligne ; le guide pratique de Kohavi et de ses collègues reste une référence (Kohavi et al., « Controlled experiments on the web », Data Mining and Knowledge Discovery, 2009).
Comment fonctionne l'A/B testing
- Hypothèse et indicateur. Énoncez le changement, l'effet attendu et un indicateur principal, comme le taux de demande de démo.
- Randomisation. Chaque visiteur est affecté au hasard à A ou à B et y reste lors de ses visites suivantes, de sorte que les groupes ne diffèrent que par la modification.
- Taille d'échantillon. Déterminez à l'avance combien de visiteurs chaque version nécessite, en fonction du taux de base, de la plus petite hausse qui vaut la peine d'être détectée (effet minimal détectable), du seuil de significativité et de la puissance.
- Lancez. Laissez le test atteindre cet échantillon, idéalement sur des semaines complètes. N'arrêtez pas prématurément parce qu'une version semble en tête.
- Analysez. Comparez les taux. Un résultat est statistiquement significatif au seuil de 5 % lorsque, s'il n'y avait réellement aucune différence, un écart aussi grand apparaîtrait moins de 5 % du temps.
Deux paramètres comptent. Le seuil de significativité (généralement 5 %, souvent appelé confiance à 95 %) contrôle les faux positifs. La puissance (généralement 80 %) est la probabilité de détecter l'effet s'il est réel ; un test manquant de puissance produit le plus souvent « aucun résultat ».
Exemple
Exemple : une page démo convertit à 3 %. Vous voulez détecter une hausse relative de 20 % (de 3,0 % à 3,6 %) avec un test bilatéral à 5 % de significativité et 80 % de puissance. La formule standard à deux proportions est :
n par variante = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Premier terme : 1,96 x √(2 x 0,033 x 0,967) = 1,96 x 0,2526 = 0,495
- Second terme : 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Numérateur : (0,495 + 0,213)² = 0,501 ; dénominateur : 0,006² = 0,000036
- n ≈ 13 900 visiteurs par variante, environ 27 800 au total
À 2 000 visiteurs par semaine sur cette page, le test nécessite environ 14 semaines. C'est là l'enseignement utile : avant de construire quoi que ce soit, vous savez que cette page ne peut pas supporter un test visant une hausse de 20 % dans un délai raisonnable. Vous testez donc un changement plus audacieux, utilisez une page à plus fort trafic, ou déployez et surveillez. Vous pouvez reproduire ce chiffre avec notre calculateur d'A/B test ou le calculateur de taille d'échantillon d'Evan Miller.
A/B vs A/B/n vs test multivarié
| A/B | A/B/n | Multivarié (MVT) | |
|---|---|---|---|
| Ce qui varie | Un témoin vs une variante | Un contrôle face à plusieurs variantes | Plusieurs éléments à la fois, toutes les combinaisons |
| Trafic nécessaire | Le plus faible | Augmente avec chaque variante | Le plus élevé : le trafic se répartit sur toutes les combinaisons |
| Réponses | B est-il meilleur que A ? | Laquelle de plusieurs versions est la meilleure ? | Quelle combinaison d'éléments fonctionne, et interagissent-ils ? |
| Adapté à | La plupart des pages B2B | Titres ou offres avec un vrai trafic | Pages à fort trafic uniquement |
Le Nielsen Norman Group résume l'arbitrage : les tests multivariés conviennent aux améliorations incrémentales sur des pages à fort trafic, tandis que les A/B tests permettent de comparer des designs radicalement différents (NN/g, « Multivariate vs. A/B Testing »).
Comment les équipes B2B utilisent l'A/B testing
- Tester la longueur et la formulation des formulaires de démo et de contact.
- Comparer les propositions de valeur et les titres sur les landing pages à fort trafic.
- Valider la personnalisation : contenu propre au segment vs page générique, avec un groupe de contrôle.
- Mise en page de la page tarifs et présentation des offres.
- Objets d'e-mails et contenus de nurturing, quand le volume le permet.
Questions fréquentes
Combien de temps doit durer un A/B test ?
Jusqu'à ce qu'il atteigne la taille d'échantillon calculée avant le lancement, et pendant au moins une semaine complète, idéalement deux, pour que tous les jours de la semaine soient représentés. Divisez le nombre de visiteurs nécessaires par variante par le trafic hebdomadaire par variante pour estimer la durée. Si la réponse est de plusieurs mois, le test n'est pas viable tel qu'il est conçu.
Quel est un bon effet minimum détectable ?
La plus petite hausse qui justifierait d'agir, compte tenu du coût du changement. Les pages B2B à faible trafic ont généralement besoin d'un effet minimal détectable plus élevé, souvent 20 % en relatif ou plus, pour aboutir dans un délai raisonnable. Des effets plus faibles peuvent être réels mais exigent beaucoup plus de trafic, car la taille d'échantillon croît à peu près avec l'inverse du carré de l'effet.
Peut-on faire de l'A/B testing avec peu de trafic ?
Oui, mais testez des changements plus importants, utilisez l'étape du funnel qui a le plus de trafic et choisissez une métrique fréquente, comme les clics vers la page de démo plutôt que les affaires conclues. Quand même cela est trop lent, appliquez le changement sur la base de vos recherches et suivez l'avant/après, en acceptant que la preuve soit plus faible.
Articles liés
Planifiez vos tests avec le modèle de plan d'A/B test, lisez le guide approfondi sur la taille d'échantillon d'un A/B test et choisissez un type de test avec A/B testing ou test multivarié. Pour le processus global, voir l'optimisation du taux de conversion.