Ce calculateur de test A/B gratuit prend les chiffres bruts de votre split test (visiteurs et conversions des deux variantes) et vous dit si l’écart observé est un résultat réel et statistiquement fiable ou simplement du bruit. Saisissez le trafic et les conversions de la variante A, ceux de la variante B, choisissez le niveau de confiance voulu, et vous obtenez un verdict immédiat : un gagnant avec un niveau de confiance indiqué, ou « pas encore significatif ». Tous les calculs s’effectuent dans votre navigateur avec un test z classique à deux proportions, les mêmes mathématiques que celles des contrôles de significativité de la plupart des plateformes de test professionnelles.
Nous avons conçu ce calculateur parce que trop d’équipes arrêtent un test dès qu’une variante « semble » devant, sans jamais vérifier si l’écart pourrait n’être que du hasard. Chez Arb Digital, nous menons en permanence des split tests sur des pages de destination et des créations publicitaires, et l’habitude qui distingue les équipes qui progressent vraiment de celles qui se contentent de réorganiser leur trafic chaque mois est la suivante : elles vérifient la significativité avant de prendre une décision, pas après.
Ce que fait ce calculateur de test A/B
Vous menez un split test classique : deux versions d’une page, d’un e-mail, d’une annonce ou d’un tunnel de paiement, chacune montrée à une part distincte du trafic. La variante A est généralement votre contrôle, la version existante. La variante B est le challenger : votre nouveau titre, une nouvelle mise en page, un nouveau prix ou une nouvelle couleur de bouton. Chaque variante cumule son propre nombre de visiteurs et son propre nombre de conversions, et ces quatre chiffres sont tout ce dont ce calculateur a besoin.
À partir d’eux, il calcule le taux de conversion de chaque variante, le gain relatif de B par rapport à A, l’erreur standard de la différence entre les deux taux, un score z et une valeur p, puis compare cette valeur p au niveau de confiance que vous avez choisi. Si le résultat franchit votre seuil, l’outil désigne un gagnant et indique le niveau de confiance de ce verdict. Sinon, il vous dit clairement que vous n’avez pas encore de résultat, ce qui est tout aussi précieux à savoir qu’une victoire.
Comment l’utiliser
- Saisissez les visiteurs et les conversions de la variante A. C’est presque toujours votre contrôle, la page ou la version contre laquelle vous testez.
- Saisissez les visiteurs et les conversions de la variante B. Votre challenger, la nouvelle version dont vous espérez qu’elle battra le contrôle.
- Choisissez votre niveau de confiance. 95 % est la valeur par défaut standard pour la plupart des décisions marketing ; utilisez 99 % pour les changements à fort enjeu comme les prix ou le paiement, où un faux positif coûte cher.
- Lisez le verdict. Le grand résultat vous indique clairement si vous avez un gagnant statistiquement significatif, et de quelle variante il s’agit.
- Vérifiez le gain, pas seulement les étoiles. Un résultat significatif avec un gain relatif minuscule ne vaut peut-être pas l’effort de développement nécessaire pour le déployer. La significativité répond à « est-ce réel ? », pas à « cela vaut-il la peine ? ».
La formule et son calcul
Ce calculateur applique un test z standard à deux proportions, l’approche classique pour comparer deux taux de conversion. Il calcule d’abord le taux de chaque variante : conversions divisées par visiteurs. Il regroupe ensuite les deux échantillons en un taux de conversion combiné et utilise ce taux regroupé pour calculer l’erreur standard de la différence entre A et B. Diviser la différence observée entre les taux par cette erreur standard donne un score z, et la conversion de ce score z par la fonction de répartition de la loi normale donne une valeur p : la probabilité d’observer un écart aussi grand (ou plus grand) uniquement par hasard s’il n’existait aucune différence réelle entre les variantes.
- Taux de chaque variante : pA = conversions A / visiteurs A, et de même pour pB.
- Taux regroupé : p = (conversions A + conversions B) / (visiteurs A + visiteurs B).
- Erreur standard : SE = √( p × (1 − p) × (1/visiteurs A + 1/visiteurs B) ).
- Score z : z = (pB − pA) / SE.
- Valeur p bilatérale : 2 × (1 − Φ(|z|)), où Φ est la fonction de répartition de la loi normale centrée réduite. La « confiance » affichée est (1 − valeur p) × 100.
- Le verdict est « significatif » lorsque la valeur p est inférieure à 1 moins le niveau de confiance choisi (0,05 à 95 %). Le gain relatif est (pB − pA) / pA.
Exemple détaillé (les valeurs par défaut)
Variante A : 150 conversions pour 5 000 visiteurs = 3,00 %. Variante B : 185 pour 5 000 = 3,70 %. Le gain relatif est de (3,70 − 3,00) / 3,00 = +23,3 %. Le taux regroupé est de 335 / 10 000 = 0,0335, donc SE = √(0,0335 × 0,9665 × (1/5 000 + 1/5 000)) = environ 0,0036. Ensuite z = 0,007 / 0,0036 = environ 1,94, ce qui donne une valeur p bilatérale d’environ 0,052 (94,8 % de confiance). Cela n’atteint pas le seuil de 0,05 avec le réglage à 95 %, donc l’outil indique « Pas encore significatif » alors que B semble 23 % meilleur. Passez B à 200 conversions et la valeur p tombe à environ 0,007, une victoire nette.
La méthode est le test z à deux proportions avec taux regroupé, standard. Le guide d’Evan Miller sur les erreurs de test A/B (en anglais) explique ce que signifie un seuil de significativité et pourquoi il perd toute valeur si l’on arrête un test trop tôt. Le calculateur est bilatéral : il signale une vraie différence dans les deux sens, et il ne corrige pas l’exécution simultanée de plusieurs variantes ou de plusieurs indicateurs.
Pourquoi le « peeking » fait déployer des perdants
Voici l’erreur qui ruine discrètement plus de tests A/B que toute autre : consulter les résultats chaque jour et arrêter le test dès que les chiffres semblent bons. Cela paraît responsable, puisque vous surveillez le test, mais c’est statistiquement dangereux. Chaque fois que vous jetez un œil à un test en ayant la possibilité de l’arrêter, vous donnez au hasard une nouvelle chance de produire un faux positif. L’analyse d’Evan Miller donne un exemple du pire cas : en testant un taux de conversion de 50 % après chaque observation, en s’arrêtant au premier résultat à 5 % ou après 150 observations, une modification sans aucun effet est déclarée à tort gagnante environ 26,1 % du temps, soit plus de cinq fois les 5 % que vous pensiez avoir. Vérifier chaque jour est moins grave, mais le taux de faux positifs finit tout de même au-dessus du seuil annoncé.
La discipline qui règle ce problème est simple à énoncer et difficile à suivre : décidez de votre taille d’échantillon avant de lancer le test, avec un outil comme notre calculateur de taille d’échantillon, et ne désignez pas de gagnant avant d’avoir atteint ce nombre. Suivre l’avancement en cours de route est acceptable ; arrêter tôt parce que les chiffres intermédiaires semblent prometteurs est le piège. Considérez la taille d’échantillon fixée à l’avance comme une ligne d’arrivée, pas comme une suggestion.
La significativité statistique n’est pas la significativité business
Un résultat peut être parfaitement, rigoureusement significatif sur le plan statistique et ne rien changer pour l’entreprise. Avec assez de trafic (des centaines de milliers de visiteurs), vous pouvez détecter un gain relatif de 0,2 % avec une confiance statistique totale. C’est réel. Cela ne vaut probablement pas non plus une seule heure de développement, car l’impact sur le chiffre d’affaires est arrondi à zéro. La significativité vous dit que la différence n’est probablement pas due au hasard ; elle ne dit rien sur le fait que la différence soit assez grande pour justifier le coût du déploiement. Lisez toujours le pourcentage de gain relatif en même temps que la valeur p, et demandez-vous honnêtement si une variation de cette taille fait bouger un chiffre qui compte pour l’entreprise.
Ne lancez jamais un test pendant une période de fêtes
Le trafic et l’intention d’achat pendant le Black Friday, la semaine de Noël ou un grand week-end férié n’ont rien à voir avec un mardi ordinaire. Selon votre secteur, les visiteurs sont plus sensibles au prix, plus impulsifs ou tout simplement absents, et la variante qui tourne pendant cette fenêtre obtient une lecture faussée qui n’a rien à voir avec le meilleur design de page. Si une fête, une grande promotion ou une forte exposition médiatique tombe dans la période de votre test, mettez le test en pause et reprenez-le en conditions normales, ou prolongez-le pour que l’anomalie soit diluée dans un échantillon complet et représentatif. Un « gagnant » désigné sur des données de période de fêtes résiste rarement au retour d’un trafic normal.
Lire correctement le résultat
- « Significatif : B gagne » signifie que le gain observé a franchi le seuil de confiance choisi. Déployez, mais vérifiez d’abord l’ampleur du gain.
- « Pas encore significatif » signifie que vous n’avez pas de preuve dans un sens ou dans l’autre. Cela ne veut pas dire que les variantes sont égales, mais que vous n’avez pas encore assez de données pour trancher.
- Un gain négatif significatif est tout aussi précieux qu’un gain positif : il vous dit de conserver le contrôle et d’arrêter de gaspiller du trafic sur le challenger.
- De petites différences sur de petits échantillons n’atteindront presque jamais la significativité. Ce n’est pas un défaut des maths : ce sont elles qui vous disent, à raison, que l’échantillon est trop petit pour être fiable.
Et ensuite ?
- Gagnant et gain intéressant : déployez-le, puis continuez de suivre l’indicateur réel (le chiffre d’affaires, pas seulement les clics) pendant quelques semaines pour confirmer que le gain se maintient.
- Non significatif, échantillon atteint : considérez-le comme « aucune différence détectable ». Gardez la version la moins chère ou la plus simple et passez à une idée plus audacieuse.
- Non significatif, échantillon non atteint : poursuivez jusqu’à la taille d’échantillon fixée avant le lancement, et n’arrêtez pas tôt sur un chiffre intermédiaire flatteur.
- Significatif mais gain minuscule : calculez d’abord la valeur du gain en argent. S’il ne couvre pas le coût de construction et de maintenance du changement, laissez tomber.
Arb Digital conçoit des pages de destination axées sur la conversion et mène les split tests qui vont avec : vous ne devinez pas quoi tester ensuite, vous testez une page construite sur des données dès le départ.
Découvrir nos services de web design Tous les outils gratuitsErreurs courantes à éviter
- Jeter un œil et arrêter trop tôt. Fixez votre taille d’échantillon à l’avance et tenez-vous-y (voir la section ci-dessus).
- Tester trop de choses à la fois. Modifiez un seul élément important par test, sinon vous ne saurez pas quel changement a fait bouger le chiffre.
- Ignorer la significativité pratique. Un gain de 0,1 % statistiquement réel ne vaut généralement pas d’être déployé. Pesez l’ampleur du gain par rapport au coût du changement.
- Tester sur un trafic non représentatif. Les fêtes, les pics viraux et les pannes faussent tous une période de test : mettez en pause ou prolongez autour d’eux.
- Désigner un gagnant à partir d’un petit échantillon. Utilisez le calculateur de taille d’échantillon avant de commencer pour savoir de combien de données vous avez réellement besoin.
- Confondre « non significatif » et « aucune différence ». Cela signifie généralement qu’il faut plus de données, pas que les variantes sont identiques.
Outils gratuits associés d’Arb Digital
Avant de lancer votre prochain split test, préparez-le correctement avec notre calculateur de taille d’échantillon : il vous indique combien de visiteurs il vous faut avant de commencer, pour ne pas surveiller un test sous-dimensionné. Une fois le gagnant connu, modélisez l’impact sur le chiffre d’affaires avec le calculateur de conversion de page de destination, vérifiez votre taux de référence avec le calculateur de taux de conversion, et voyez comment une page qui convertit mieux influe sur votre coût d’acquisition client et votre taux de clics. Parcourez tout notre hub d’outils en ligne gratuits.
Outil associé : Test de vitesse Internet.
Outil associé : ⌨️ Test de vitesse de frappe.
Outil associé : Testeur de regex.
Questions fréquentes
Ce calculateur utilise un test z à deux proportions. Il calcule le taux de conversion de chaque variante, regroupe les deux échantillons pour estimer un taux combiné, calcule l’erreur standard de la différence entre les taux, en déduit un score z, puis convertit ce score en valeur p à l’aide de la loi normale. Si la valeur p est inférieure au seuil de significativité choisi (par exemple 0,05 pour 95 % de confiance), le résultat est déclaré statistiquement significatif.
Cela dépend de votre taux de conversion de référence et du gain minimal que vous voulez détecter de façon fiable : plus le gain attendu est faible, plus l’échantillon doit être considérablement grand. Utilisez notre calculateur de taille d’échantillon avant de lancer un test pour obtenir un objectif précis de visiteurs par variante à partir de vos propres chiffres, plutôt que de deviner ou de laisser tourner jusqu’à ce que cela « semble » suffisant.
Un taux brut plus élevé ne signifie pas automatiquement une vraie différence : il peut très bien s’agir d’une variation aléatoire, surtout avec un petit échantillon. « Pas significatif » signifie que l’écart observé est assez faible, compte tenu de la taille de votre échantillon, pour qu’il soit encore plausible que les deux variantes aient la même performance. C’est le signe qu’il vous faut plus de données, pas que B est moins bon.
95 % est la valeur par défaut standard pour la plupart des tests marketing et équilibre rapidité et fiabilité. Utilisez 99 % pour les changements à fort enjeu et difficiles à annuler, comme les prix ou votre tunnel de paiement, où un faux positif coûte cher. 90 % peut convenir pour des tests rapides, peu risqués et facilement réversibles, comme le texte d’un bouton, où le coût d’une erreur occasionnelle est faible.
Consulter pour suivre l’avancement est acceptable. Le danger est d’arrêter le test dès que les chiffres paraissent favorables, ce que l’on appelle le peeking, et qui gonfle votre taux de faux positifs bien au-delà du niveau de confiance annoncé. Décidez de la taille d’échantillon requise avant le début du test et laissez-le tourner jusqu’à ce nombre avant de trancher.
Oui. La significativité vous dit seulement que la différence n’est probablement pas due au hasard ; elle ne dit rien sur le fait que la différence soit assez grande pour compter pour l’entreprise. Un gain relatif significatif de 0,2 % sur un énorme échantillon est réel, mais ne vaut souvent pas le coût de développement nécessaire pour le mettre en œuvre. Pesez toujours le pourcentage de gain relatif en même temps que la valeur p.
Non. Avec 150 et 185 conversions pour 5 000 visiteurs chacune, la valeur p est d’environ 0,052, juste au-dessus des 0,05 nécessaires pour 95 % de confiance. Un écart de cette taille peut encore apparaître par hasard environ 1 fois sur 20. Plus de visiteurs, ou une vraie différence plus grande, la ferait passer de l’autre côté de la ligne.
Les chiffres produits par ce calculateur sont des estimations statistiques à des fins de planification, fondées sur les chiffres que vous saisissez.