Le Livre Blanc du A/B Testing

Télécharger le PDF

Lancement du test

Une fois nos variantes définies et réalisées, il ne nous reste plus qu'à lancer effectivement le test. Pour cela, il faut cliquer sur le bouton "Commencer une expérience" du Panneau Kameleoon.

Cela ouvre le dialogue de mise en place du test, comme le montre la capture d'écran suivante :

Pour lancer le test, il faut définir trois paramètres : les variantes à inclure dans le test, la déviation, l'audience ciblée (via une déviation) et enfin le système de suivi (qui est couplé à votre solution de rapport et d'analyse web analytics).

Choix des variantes à tester

C'est très simple, il suffit de sélectionner les variantes dans la liste en haut à droite. Dans notre cas, nous allons tester deux variantes parmi celles que nous avons créé: la variante portant sur la position et la variante portant sur l'apparence.

 

Concept de déviation

Pour différentes raisons (tout d'abord de confiance dans les technologies utilisées pour l'A/B testing, mais surtout pour établir un taux de conversion de référence, correspondant à la page originelle), il est souhaitable de réaliser un test A/B uniquement sur une partie du trafic total du site. Kameleoon Analyst permet ainsi de définir un pourcentage de déviation.

Ce pourcentage représente la partie du trafic sur laquelle le test aura effectivement lieu. Ainsi, le système de A/B testing n'aura pas d'influence sur les visiteurs qui ne seront pas déviés (ces visiteurs verront la page originelle).

Pour notre exemple, nous allons choisir une déviation à 50%. Dans ce cas, la moitié des visiteurs auront une variante tirée au sort parmi les deux choisies; les autres verront l'original du site. Le taux de conversion original du site est donc aussi traqué et servira de référence.

Choix d'un système de tracking

Pour le suivi des visites et l'enregistrement de celles-ci, il existe plusieurs systèmes possibles. Kameleoon dispose de son propre module de tracking, qui est suffisant pour des tests simples et des rapports rudimentaires. Cependant, il est recommandé d'utiliser plutôt un autre système de suivi dédié (Google Analytics, Xiti, Google Web Optimizer...). Comme nous l'avons évoqué, nous utiliserons pour cet exemple Google Analytics, qui nous semble la solution Web Analytics la plus aboutie du marché (et gratuite).

Il faut donc disposer d'un compte Google Analytics, et du code Google du site cible. Nous rentrons ce code dans le champ correspondant de l'onglet Google Analytics :

Note : il est également possible de s'authentifier grâce à votre compte Google pour récupérer automatiquement la liste des codes de site associés.

Informations techniques

Ce paragraphe détaille les implications techniques de Kameleoon Analyst lors d'un A/B test, et n'est pas indispensable à la poursuite de la lecture. Quand un visiteur arrive sur une page où le mode A/B testing de Kameleoon est actif, les étapes suivantes ont lieu :

  • l'internaute charge le script de Kameleoon (moins de 20K);
  • lors de l'évènement dom-ready, le code de Kameleoon se lance. La première chose qu'il fait est la génération d'un nombre aléatoire comparé avec la déviation définie auparavant. Si le visiteur ne fait pas partie de l'échantillon de test, la variation originelle (celle présente sur le site sans Kameleoon) lui sera présentée;
  • si le visiteur est choisi pour participer au test, Kameleoon génère un second nombre aléatoire et l'utilise pour choisir la variante qui lui sera présentée. La variante est ensuite chargée (fichiers statiques présents sur nos serveurs, tels CSS et images).
  • un cookie est enregistré sur le navigateur de l'internaute, contenant la variante choisie. C'est nécessaire afin que les chargements de pages suivants renvoient systématiquement la même variante au visiteur.
  • si le visiteur atteint un objectif lors de sa session de navigation, ce paramètre est enregistré afin que le taux de conversion puisse être établi.