Quels sont les freins à l'A/B Testing ?

Comme nous venons de le voir, le principe des tests A/B est simple à condition de maîtriser parfaitement son propre site et en particulier le design et la structure de navigation. Les limitations dans la mise en œuvre qui en découlent sont de deux ordres, structurels (ou politiques) et techniques. En fonction de la typologie du site internet et de son propriétaire, le mélange entre ces types de limitations ou freins sera différent.

Les freins structurels

La définition des objectifs à atteindre est le premier point bloquant. C'est sans doute le point le plus délicat à aborder pour une petite société qui, non aguerrie aux arcanes du marketing, pourrait amalgamer des objectifs contre-productifs entre-eux et donc ne rien gagner du tout. Du côté des grand comptes, le choix des objectifs pourra conduire à des dilemmes cornéliens, car si la définition des objectifs est souvent plus claire la réalisation de certains d'entre-eux pourrait dégrader les performance d'autres caractéristiques. La prioritisation et l'acceptation d'un "certain risque" n'est pas à négliger. Des arbitrages difficiles seront donc parfois nécessaires.

Cependant, dans le domaine du web, il existe de nombreux cas de figure où il est facile de dépasser ce premier point (notamment pour les sites e-commerce, où l'objectif évident est de développer les ventes de biens ou services). Dans ces conditions, tout le monde est rapidement convaincu de l'utilité de l'optimisation du taux de conversion. La raison pour laquelle seulement une minorité d'acteurs passe ensuite à l'acte est donc essentiellement technique, ce qui nous amène au second point.

Les freins techniques

Bien que le principe du A/B Testing soit très simple, les freins techniques sont multiples et peuvent très rapidement décourager tout prétendant mal informé.

Outillage et méthode

Le prérequis est de bien connaître la structure de navigation de son site et surtout d'être en mesure de la mesurer, d'analyser les pages ou les éléments qui font perdre des prospects ou qui déclenchent des abandons des utilisateurs. Google Analytics ou Xiti sont des outils d'analyse statistique pour vérifier la qualité du tunnel de conversion du site. Attention, ces outils ne fonctionnent pas tout seuls comme pourrait laisser supposer leur installation aisée. Il est nécessaire de bien paramétrer les alertes et les tunnels de conversion pour reporter et mesurer à chaque étape comment se comportent les visiteurs du site. Le temps et le paramétrage fin nécessaire à ce rapport est indispensable pour orienter le test A/B sur les zones les moins performantes du site internet, celles où l'on perd le plus d'utilisateurs. Sans cette étape préalable, le risque est grand de ne pas trouver de point à améliorer ou de se focaliser sur le mauvais.

Webdesign et test opérationnel

La réalisation d'une variante du design du site à chaque itération est nécessaire pour mettre en place chaque série de test. La capacité du commanditaire à réaliser un graphisme et son intégration de manière interne est préférable à moins d'avoir les moyens de ses prétentions et de le faire réaliser de manière externe. Cette dernière représentera un coût non négligeable à prendre en compte avant de se lancer dans une série de test. Ce point implique, pour une PME ou un indépendant, d'administrer son site et d'avoir une agence qui soit à même de proposer des mises-à-jour rapides à chaque nouvelle programmation de test. En d'autres termes, plus le propriétaire est autonome plus simple sera la conduite des test. Dans une grande entreprise, un service interne pourra alors travailler directement et fournir les éléments de design nécessaires à chaque itération de test. De ce point de vue, l’intégration du design en interne est un gros avantage en raison de la rapidité d'exécution mais aussi du prix de revient des tests.

La mise en place d'un test nécessite aussi de conduire une politique d'affichage cohérente des différentes variantes pour garantir la furtivité du test et ne pas fausser les résultats obtenus. L'ajout de contenu est un facteur de perturbation des tests.

D'un point de vue purement technique, la mise en production et le déploiement sur les serveurs de deux designs simultanés dans la même unité de temps, n'est pas à la portée de tout le monde. C'est sans doute le point le plus difficile pour une PME dont les ressources informatiques sont extrêmement limitées. Mais même pour un grand compte doté d'une DSI, cette opération nécessitera une préparation conjointe avec le service (marketing ou pas) qui pilote la série de test. L'habitude des DSI de travailler de concert étant limité, des solutions rendant autonomes le conducteur du test est souvent préférable pour des questions de rapidité et de coût, sans compter le risque d'une erreur de pilotage et d'imcompréhension. On imagine aisément le résultat catastrophique d'un quiproquo sur un gros site de e-commerce. L'externalisation à une société aguerrie au Test A/B est parfois la meilleure solution.