Lexique · Éprouver

Signification statistique

La signification statistique mesure la probabilité qu’un écart observé entre deux versions ne soit pas dû au hasard. On l’exprime en niveau de confiance : à 95 %, il reste une chance sur vingt que l’écart soit un accident.

Tester deux versions, et ne désigner un gagnant qu’au-dessus du seuil. Les quarante termes du métier

À quoi ça sert

C’est le garde-fou qui empêche de conclure sur du bruit. Sur de petits volumes, deux versions identiques produisent naturellement des écarts de plusieurs points d’un jour à l’autre. Le seuil est ce qui distingue « B fait mieux » de « B a eu de la chance cette semaine ».

Comment elle se calcule

En comparant les deux taux de conversion et les volumes qui les portent — un test de deux proportions. Ce qui compte n’est pas l’écart seul mais l’écart rapporté au volume : deux points d’écart sur 30 clics ne veulent rien dire, deux points sur 3 000 sont solides.

L’erreur classique

Lire un niveau de confiance comme une probabilité de gagner. 95 % de confiance ne signifie pas « B a 95 % de chances d’être meilleure » : cela signifie qu’un écart de cette taille serait rare si les deux versions étaient équivalentes.

Test A/B

Ce que Subtraq répond, palier par palier

< 30

Pas encore

Moins de trente clics sur une version, ou aucune vente.

< 95 %

Aucun écart

Le test tourne, l’écart observé reste dans le bruit.

≥ 95 %

Un gagnant

L’écart est assez net pour déplacer un budget.

Le test qui mène à ce verdict

Ce que Subtraq en fait

Les deux seuils du produit sont publics : trente clics par version au minimum, et 95 % de confiance. Sous le premier, Subtraq répond « pas encore » ; sous le second, « aucun écart ». Au-delà de 99,9 %, le chiffre s’affiche comme un plafond plutôt que comme une précision qu’il n’a pas.