Mesures statistiques de l'A/B Testing

Le principe de l'A/B Testing consiste à créer plusieurs variantes de votre site, à tester les variantes auprès de visiteurs choisis aléatoirement, à mesurer le taux de conversion pour chaque variante, et à s'assurer que le taux de conversion calculé est statistiquement significatif. C'est sur ce dernier point que nous nous attardons ici.

Prenons l'exemple suivant:

Les résultats du tableau précédent semblent indiquer que la variante moderne est meilleure que le design de référence, puisque son taux de conversion est sensiblement supérieur. Mais le faible nombre de visites, c'est à dire de tests réalisés, nous empêche d'avoir confiance en ce résultat. Le test n'a donc pas duré suffisamment longtemps pour conclure que la variante moderne est meilleure que le design de référence.

Au contraire, la variante bleue, qui présente le même taux de conversion que la variante moderne, a été beaucoup plus testée. Ce grand nombre de tests rend le résultat beaucoup plus significatif, et on peut conclure sans soucis que la variante bleue est meilleure que le design de référence.

Un troisième cas est exposé dans le tableau. La variante rouge a eu le même nombre de test que la variante moderne. Cependant, son taux de conversion lors de ce test est tellement supérieur que celui du design de référence que cela suffit à conclure que la variante rouge est meilleure.

La formule permettant de savoir si les résultats d'un test sont statistiquement significatifs est relativement complexe (elle implique le calcul de valeurs appelées z-scores ou p-values), mais un bon outil d'A/B-testing sera en mesure de faire le calcul à votre place et de vous dire directement si de votre test vous pouvez conclure à la supériorité d'une variante sur une autre ou sur le design de référence.

Un piège méthodologique

L'A/B testing consiste à tester des variations incrémentales, les plus petites possibles, et à tester à chaque fois si cette variation incrémentale donne un meilleur résultat que le design de référence. Cependant, il convient de se rappeler qu'une variation incrémentale qui donne de très mauvais résultat par rapport au design original peut devenir très intéressante quelques itérations plus tard. De la même façon, et comme cela arrive souvent en cuisine, deux variations qui donnent séparément toutes les deux de mauvais résultats peuvent donner un bon résultat lorsqu'on les utilise ensemble.

Il faut donc ne pas éliminer une idée de variante définitivement parce qu'elle n'a pas donné un bon résultat lorsqu'on l'a utilisé au début,  mais au contraire la réévaluer à diverses étapes du processus itératif.