La différence entre A/B testing et test multivarié tient à ce que chacun compare. Un A/B test compare deux versions d'une page. Un test A/B/n compare trois versions complètes ou plus. Un test multivarié (MVT) modifie plusieurs éléments à la fois, comme le titre, le visuel hero et le CTA, et teste toutes les combinaisons (on parle parfois d'A/B testing multivarié) pour savoir quels éléments et quelle combinaison génèrent les conversions.
Sur les sites B2B, le trafic fait généralement le choix à votre place. Chaque variante ou combinaison supplémentaire divise encore vos visiteurs, et l'échantillon nécessaire augmente plus vite que l'intuition ne le suggère. Voici les quatre types de tests que mènent réellement les équipes B2B (A/B, A/B/n, multivarié et tests de personnalisation ciblés par segment), ce que chacun coûte en trafic sur un exemple chiffré, un tableau de décision, et des exemples de tests adaptés à chaque type.
Les quatre types de tests en un coup d'œil
| Type de test | Ce qu'il compare | Question à laquelle il répond | Coût du trafic |
|---|---|---|---|
| A/B | Contrôle face à une variante | Cette version est-elle meilleure que l'actuelle ? | Le plus faible |
| A/B/n | Contrôle vs 2 variantes complètes ou plus | Laquelle de ces approches distinctes est la meilleure ? | Augmente avec chaque bras, plus une pénalité pour les comparaisons multiples |
| Multivarié (MVT) | Toutes les combinaisons de plusieurs éléments | Quels éléments comptent, et interagissent-ils ? | Le plus élevé, surtout pour les interactions |
| Test ciblé par segment (personnalisation) | Expérience personnalisée vs groupe témoin, au sein d'un même segment | Adapter cette page à ce segment fonctionne-t-il ? | Dépend du trafic du segment et de la taille du groupe témoin |
Le calcul de trafic derrière l'A/B testing et le test multivarié
Tous les chiffres ci-dessous utilisent la formule standard de taille d'échantillon pour deux proportions (variance poolée) avec un niveau de confiance de 95 %, bilatéral, et une puissance de 80 %, calculés avec Node.js. La méthode et les tableaux complets figurent dans notre article sur la taille d'échantillon des A/B tests. Vous pouvez faire les mêmes calculs pour votre propre page avec notre calculateur de taille d'échantillon d'A/B test, qui applique la correction de Bonferroni aux tests A/B/n.
Exemple (chiffres illustratifs) : une page démo convertit à 3 %, et vous voulez détecter une hausse relative de 20 % (de 3,0 % à 3,6 %). Un A/B test simple nécessite 13 914 visiteurs par variante, soit 27 828 au total.
A/B/n : plus de bras, des seuils plus stricts
Avec trois challengers face à un témoin, vous faites trois comparaisons, et la probabilité d'obtenir au moins un faux gagnant augmente. La correction la plus simple (Bonferroni) divise alpha par le nombre de comparaisons : chaque comparaison est donc testée à 0,05 / 3 = 0,0167. L'échantillon par branche passe ainsi de 13 914 à 18 559, et le total de 27 828 à 74 236 sur quatre branches, soit environ 2,7 fois le trafic de l'A/B test.
Multivarié : les combinaisons se multiplient
Testons maintenant trois éléments avec deux versions chacun (titre A ou B, image A ou B, CTA A ou B). Un plan factoriel complet compte 2 × 2 × 2 = 8 cellules. Si vous voulez comparer chaque combinaison au contrôle, comme le font implicitement la plupart des rapports MVT, chaque cellule a besoin d'un échantillon complet : 8 × 13 914 = 111 312 visiteurs sans correction, ou 8 × 22 112 = 176 896 visiteurs avec une correction de Bonferroni pour sept comparaisons.
C'est le pire des cas. Un plan factoriel est en réalité efficace pour les effets principaux. Pour estimer l'effet du titre, vous comparez les quatre cellules avec le titre A aux quatre avec le titre B, ce qui utilise tout votre trafic. Si les éléments n'interagissent pas, 27 828 visiteurs vous renseignent sur les trois éléments à la fois. Dans ce cas, vous avez en fait mené trois A/B tests en parallèle. Utile, mais ce n'est pas la raison pour laquelle la plupart des équipes choisissent le MVT.
Les équipes mènent généralement un test multivarié pour trouver des interactions (« ce titre ne fonctionne qu'avec cette image ») et la meilleure combinaison. Les interactions coûtent cher. La note très citée d'Andrew Gelman, You need 16 times the sample size to estimate an interaction than to estimate a main effect, explique pourquoi : l'estimation d'une interaction a une erreur type deux fois plus grande que celle d'un effet principal, et si l'interaction fait la moitié de l'effet principal (son hypothèse de départ), il faut un échantillon 16 fois plus grand pour la même puissance. Appliqué à notre exemple, cela représente environ 445 000 visiteurs.
Ce que cela représente en mois
| Conception (base de 3 %, MDE de 20 %) | Total des visiteurs | Mois à 5 000/mois | Mois à 20 000/mois |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n à 4 branches (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, chaque cellule vs témoin (sans correction) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, chaque cellule face au contrôle (Bonferroni) | 176,896 | 35.4 | 8.8 |
| Interaction MVT, effet de moitié (règle du 16x) | 445,248 | 89.0 | 22.3 |
Sur une page à 20 000 visiteurs mensuels, un test multivarié 2×2×2 qui évalue chaque combinaison prend une bonne partie de l'année avec correction. À 5 000, il faut des années. Notre avis : le test multivarié est rarement praticable sur les sites B2B, et une affirmation du type « nous avons mené un test multivarié et la combinaison 6 a gagné » sur quelques milliers de visiteurs par mois mérite un examen sévère de l'échantillon avant que quiconque n'agisse.
Ce que la plupart des équipes font mal
L'erreur habituelle consiste à choisir le type de test selon l'ambition plutôt que selon la question posée. Les équipes optent pour le MVT parce qu'elles ont beaucoup d'idées, pas parce qu'elles ont besoin de savoir si ces idées interagissent. Elles choisissent un A/B/n à cinq variantes parce que personne n'a réussi à se mettre d'accord sur une seule. Dans les deux cas, un trafic limité est découpé en tranches trop fines pour être interprétées.
La deuxième consiste à tester des éléments alors que la vraie question porte sur les audiences. Sur un site B2B, ce qui convertit dépend souvent davantage de qui regarde que du titre affiché. Un acheteur de l'industrie et un fondateur de SaaS attendent des preuves différentes. Tester un titre A contre un titre B pour tout le monde mélange ces audiences et peut masquer une variante qui l'emporte nettement pour un segment et perd pour un autre. C'est tout l'intérêt des tests de personnalisation ciblés par segment.
Tableau de décision : quel test lancer
| Contexte | Visiteurs mensuels de la page | Éléments modifiés | Test recommandé |
|---|---|---|---|
| Une hypothèse claire, un changement important | Tous, y compris moins de 5 000 | Un concept (peut toucher plusieurs éléments) | A/B |
| Deux ou trois approches vraiment différentes | 15,000+ | Concepts de page complète | A/B/n avec 3 variantes maximum |
| Besoin de savoir si des éléments interagissent | 100,000+ | 2 à 3 éléments, 2 versions chacun | Multivarié (factoriel complet) |
| Des audiences différentes veulent probablement des choses différentes | Assez de trafic au sein du segment | Contenu adapté au segment | Test ciblé par segment vs groupe témoin |
| Pas assez de trafic pour aucune des options ci-dessus | Moins de 2 000 | Tous | Recherche qualitative, puis A/B test sur un changement plus important |
Les seuils de trafic sont des repères approximatifs pour un taux de base de 3 %. Calculez les vôtres avec la formule de taille d'échantillon avant de vous engager.
Exemples de bons tests pour chaque type
A/B tests
- Formulaire de démo vs réservation instantanée dans un agenda sur la page de démo.
- Hero axé fonctionnalités contre hero axé résultats sur la page d'accueil.
- Page tarifs avec une offre « parler à un commercial » vs prix publiés pour toutes les offres.
Regrouper plusieurs éléments en un seul concept ne pose pas de problème dans un A/B test. Vous apprenez si le concept gagne, pas quel élément a fait la différence, et c'est généralement la décision dont vous avez réellement besoin. Notre guide de l'optimisation du taux de conversion B2B explique comment prioriser ces idées.
Tests A/B/n
- Trois propositions de valeur sur une landing page payante à fort trafic : rapidité, économies, réduction des risques.
- Trois offres de CTA : démo, évaluation du ROI, visite guidée du produit. Consultez notre guide des CTA personnalisés pilotés par la donnée pour voir comment le type d'offre évolue selon l'étape.
Limitez les tests A/B/n à trois bras (contrôle plus deux) sauf si le trafic est exceptionnellement élevé, et rendez chaque bras vraiment différent pour que les effets soient assez importants pour être distingués.
Tests multivariés
- Titre (2 versions) × type de preuve sociale (logos ou citation d'étude de cas) sur une page d'accueil à très fort trafic, lorsque vous avez une raison précise de penser que les deux interagissent.
Si vous ne pouvez pas nommer l'interaction que vous attendez, vous n'avez probablement pas besoin d'un test multivarié.
Tests de personnalisation ciblés par segment
- Hero de page d'accueil spécifique au secteur pour les visiteurs issus des services financiers, comparé au hero par défaut.
- Des preuves axées grands comptes (sécurité, échelle) sur la page tarifs pour les entreprises de plus de 1 000 salariés vs la page standard.
- Message d'accueil et étude de cas pour les comptes cibles ABM vs la page générique.
Comment tester la personnalisation par rapport à un groupe témoin
Un test de personnalisation est un A/B test mené uniquement au sein d'un segment. Le contrôle est un groupe témoin de ce segment qui voit la page par défaut. Sans groupe témoin, impossible de distinguer l'effet de la personnalisation du simple fait que le segment convertit peut-être différemment.
- Définissez précisément le segment, par exemple « visiteurs identifiés comme des entreprises de services financiers de 200+ salariés ». Seuls ces visiteurs entrent dans le test.
- Mesurez le trafic mensuel du segment sur les pages testées. C'est lui, et non le trafic total du site, qui détermine la durée.
- Choisissez la taille du groupe témoin. Une répartition 50/50 est la plus rapide à lire. Des groupes témoins plus petits exposent moins de visiteurs à l'expérience par défaut, mais prennent plus de temps.
- Choisissez une conversion que le segment réalise réellement, mesurée sur la visite ou sur l'ensemble des visites du compte, et gardez le pipeline comme métrique garde-fou.
- Fixez la taille d'échantillon et la durée avant le lancement, et ne lisez le résultat que pour ce segment.
Exemple (chiffres illustratifs) : un segment apporte 3 000 visiteurs par mois, convertit à 3 %, et vous souhaitez détecter un gain relatif de 30 %. Calcul avec une version de la formule à allocation inégale (non poolée), avec le même niveau de confiance de 95 % et une puissance de 80 % :
| Part du groupe témoin | Nombre total de visiteurs nécessaires | Mois à 3 000/mois |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
Un groupe de contrôle de 10 % met environ 2,5 fois plus de temps à donner un résultat lisible qu'une répartition 50/50. Notre recommandation : menez le premier test de chaque segment en 50/50 pour obtenir une réponse nette, puis conservez un petit groupe de contrôle permanent (10 à 20 %) après le déploiement pour vérifier que l'effet se maintient dans le temps. La roadmap de tests de personnalisation montre comment enchaîner ces tests sur les différents segments. Commencez par le segment qui a le plus de trafic et l'écart de message le plus net, car c'est celui qui donne un résultat le plus vite. Renoncez aux tests par segment lorsque le segment n'apporte que quelques centaines de visiteurs par mois : à ce volume, même une répartition 50/50 ne donnera pas de réponse exploitable en un an.
Pour mener ces tests avec groupe témoin, il faut identifier le segment avant l'affichage de la page et ne répartir que ce segment. L'A/B testing de Markettailor le fait par segment, en s'appuyant sur la segmentation au niveau de l'entreprise pour décider qui entre dans chaque test : un test fintech ne voit ainsi que des visiteurs fintech.
Questions fréquentes
Quelle différence entre l'A/B testing et le test multivarié ?
L'A/B testing compare deux versions complètes d'une page. Le test multivarié modifie plusieurs éléments à la fois et teste toutes les combinaisons : il peut donc montrer quels éléments comptent et s'ils interagissent, au prix d'un trafic bien plus important.
Qu'est-ce que l'A/B/n testing ?
L'A/B/n testing compare un témoin à deux variantes complètes ou plus en même temps. C'est utile quand vous avez quelques approches réellement différentes, mais chaque variante supplémentaire nécessite son propre échantillon et un seuil de significativité plus strict.
De combien de trafic avez-vous besoin pour un test multivarié ?
Pour un test 2×2×2 sur une page qui convertit à 3 %, comparer chacune des 8 combinaisons au contrôle pour une hausse de 20 % nécessite environ 111 000 à 177 000 visiteurs, selon la correction appliquée pour les comparaisons multiples. Détecter les interactions peut en demander plusieurs fois plus.
Le test multivarié vaut-il la peine pour les sites B2B ?
Rarement. La plupart des pages B2B n'ont pas assez de trafic pour analyser des combinaisons ou des interactions en quelques mois. Des A/B tests portant sur des concepts plus marqués et des tests de personnalisation ciblés par segment donnent généralement des réponses plus claires, plus vite.
Peut-on combiner A/B testing et test multivarié ?
Oui. Une séquence courante consiste à faire d'abord des A/B tests de concepts, puis, uniquement sur les pages à très fort trafic, un petit test factoriel sur deux éléments du concept gagnant si vous avez une interaction précise à vérifier.