Équipes produit et marketing l’utilisent après un test A/B pour savoir si la différence entre les variantes mérite réellement d’orienter une décision.
Décidez si l’écart observé entre deux variantes est statistiquement significatif, afin d’appuyer votre choix sur une mesure plutôt qu’une impression.
L’exemple proposé contient quatre lignes : visiteurs et conversions de A, puis visiteurs et conversions de B. Après analyse, observez la façon dont l’outil présente la comparaison et rappelez-vous qu’un écart doit être interprété avec prudence.
Entrée
1000
100
1000
120Résultat
Taux A : 10.00 %
Taux B : 12.00 %
Ecart : 2.00 points
z = 1.429
Non significatif : z inferieur a 1,645Tous les calculs sont effectués dans votre navigateur. Les nombres saisis restent sur votre appareil et ne sont transmis à aucun service extérieur. Vous pouvez relancer l’analyse ou vider les champs sans créer de compte ni laisser de copie côté outil.
Il vaut mieux entrer les volumes réels de visiteurs et de conversions. Un pourcentage seul ne permet pas de reconstituer le nombre de cas derrière la mesure, et l’outil compare avant tout des effectifs.
Utilisez les totaux consolidés de la période prévue et évitez d’arrêter le test au moment qui vous arrange. L’outil ne tient pas compte de la durée ni des variations de trafic dans le temps.
Non. Il aide à juger l’écart observé, mais d’autres éléments comptent : coût, qualité, saisonnalité ou effet sur d’autres indicateurs. Vérifiez aussi que le test s’est déroulé sans incident technique.
1000 50 1000 70
Taux A : 5.00 % Taux B : 7.00 % Ecart : 2.00 points z = 1.883 Significatif a 90 %
Cas d'une campagne courante : une page de commande face à sa variante, sur un trafic moyen, pour lire si la différence observée dépasse ce que le hasard explique.
5000 250 5000 300
Taux A : 5.00 % Taux B : 6.00 % Ecart : 1.00 points z = 2.193 Significatif a 95 %
Gros trafic sur un site marchand : avec beaucoup de visiteurs par variante, même une différence modeste entre les taux peut devenir solide statistiquement.
200 10 200 14
Taux A : 5.00 % Taux B : 7.00 % Ecart : 2.00 points z = 0.842 Non significatif : z inferieur a 1,645
Petit échantillon trompeur : les taux semblent très différents, mais avec si peu de visiteurs le test refuse de conclure, ce qui évite de généraliser un hasard.
20000 600 20000 660
Taux A : 3.00 % Taux B : 3.30 % Ecart : 0.30 points z = 1.718 Significatif a 90 %
Très gros trafic et faible différence de taux : un volume important rend détectable un effet minime, qu'il faut ensuite juger utile ou non pour l'entreprise.
| Visiteurs par variante | Taux A | Taux B | z | Seuil atteint |
|---|---|---|---|---|
| 500 | 5,00 % | 6,00 % | 0,694 | aucun |
| 2000 | 5,00 % | 6,00 % | 1,387 | aucun |
| 8000 | 5,00 % | 6,00 % | 2,774 | 99 % |
| 32000 | 5,00 % | 6,00 % | 5,548 | 99 % |
Calcul fait par le moteur du site
L'outil compare deux variantes par un test bilatéral de comparaison de proportions. Il regroupe d'abord les observations pour estimer un taux commun : p = (cA + cB) / (nA + nB), où cA et cB comptent les conversions et nA, nB les visiteurs. Il mesure ensuite l'écart entre les taux observés pA et pB par z = (pB - pA) / racine de p × (1 - p) × (1 / nA + 1 / nB).
Le z obtenu se lit sur une échelle de référence : sous 1,645, aucun seuil ; de 1,645 à 1,960, le résultat est annoncé à 90 % ; de 1,960 à 2,576, à 95 % ; au-delà, à 99 %. Plus le trafic est grand, plus un même écart relatif produit un z élevé.
Un petit échantillon ne permet pas de conclure : avec peu de visiteurs, le z reste sous les seuils même quand les taux semblent éloignés. C'est voulu, car un écart spectaculaire sur quelques dizaines de visites se reproduit souvent par simple hasard.
Deux pièges guettent : regarder le résultat en cours de route et multiplier les variantes. S'arrêter sur une fluctuation favorable fausse la lecture, et comparer beaucoup de versions augmente le risque de voir une différence fortuite. Une lecture unique, sur une période fixée à l'avance, reste la plus sûre.