Quand chercher le maximum local et global avec vos tests A/B

Imaginez que vous escaladez le mont Everest dans un épais brouillard amnésique. Vous ne pouvez voir que jusqu'à votre main tendue. Vous ne savez pas où vous êtes ni dans quelle direction vous diriger, seulement que vous devez atteindre le sommet. Quelles sont les chances que vous faites?

Probablement aussi bas que la montagne est haute.

Aussi dramatique que soit cette analogie, elle a été faite en référence à la base d'une méthode de test A/B populaire. Ce pic est la meilleure version de votre page de destination post-clic, et vous êtes confus, presque aveugle et perdu sur le flanc de votre page actuelle.

Pire encore, vos blogueurs marketing préférés vous ont probablement remis une mauvaise carte. Vous pourriez penser que vous testez A/B dans le bon sens, que vous vous dirigez vers ce pic. Cependant, il y a de fortes chances que vous vous retrouviez bientôt dans une impasse et que vous ne trouviez jamais la variante la plus performante de votre page de destination post-clic.

Le mythe de l'A/B testing qui déroute les débutants

Certains des blogs marketing les plus populaires sur Internet continuent de perpétuer un mythe des tests A/B qui condamne les débutants dès le départ. Il m'a victimisé quand j'ai commencé, aussi.

"Ne changez pas plus d'un élément de page par test A/B" J'ai continué à lire encore et encore. Je ne l'ai pas remis en question parce que les sources étaient dignes de confiance et parce que la plupart du temps, eh bien, cela avait du sens.

Le but des tests A/B est de collecter des données que vous pouvez utiliser pour optimiser une page, un e-mail, une publicité ou tout ce que vous testez. Comment étais-je censé savoir ce qui avait causé le changement de taux de conversion à la fin du test si j'avais fait plus d'un ajustement entre les versions « A » et « B » ? De quel type de données s'agirait-il ?

J'ai donc testé les éléments un par un : le titre de la page de destination post-clic "A" par rapport au titre de la page de destination post-clic "B". Ensuite, c'était le bouton bleu sur la page de destination post-clic "A" par rapport au bouton vert sur la page de destination post-clic "B". C'est ainsi que les pros, Amazon et Google l'ont fait. Si c'était assez bon pour des entreprises multimilliardaires, c'était assez bon pour moi.

Le problème que j'ai négligé, et dont j'ai douloureusement pris conscience des mois plus tard, c'est que je n'étais ni Amazon ni Google. Leurs sites Web génèrent beaucoup de trafic, ce qui signifie que les petites augmentations obtenues grâce à ces tests de couleur de bouton frivoles peuvent se traduire par des millions de dollars de revenus.

Pour la plupart des gens, cependant, ils sont une perte de temps et de ressources. Pour la plupart des gens, utiliser cette méthode de test A/B revient à escalader le mont Everest dans un épais brouillard amnésique.

L'heuristique de l'alpinisme

Dans notre vie de tous les jours, nous rencontrons des problèmes dont la solution est claire. Mais que se passe-t-il lorsque vous êtes confronté à un obstacle inconnu et en grande partie unique ? Prenez ce labyrinthe, par exemple :

Il n'y a pas d'articles de blog écrits sur la meilleure façon de naviguer dans ce labyrinthe particulier. Votre ami (très probablement) ne peut pas vous guider à travers cela. Vous n'avez pas de carte. Alors, comment aller de A à B ?

La réponse se trouve dans un programme informatique appelé "The General Problem Solver", construit en 1963 par Newell, Simon et Shaw pour étudier l'intelligence artificielle. Leurs recherches ont également été appliquées à la résolution de problèmes humains. Le Dr Russ Dewey explique :

Newell et Simon ont défini chaque problème comme un espace. À une extrémité de l'espace se trouve le point de départ, de l'autre côté se trouve le but. La procédure de résolution de problèmes elle-même est conçue comme un ensemble d'opérations pour traverser cet espace, pour passer du point de départ à l'état final, une étape à la fois.

Dans le General Problem Solver, le programme teste diverses actions (que Newell et Simon ont appelées opérateurs) pour voir laquelle le rapprochera de l'état d'objectif. Un opérateur est toute activité qui modifie l'état du système. Le General Problem Solver choisit toujours l'opération qui semble le rapprocher de son objectif. Cette tactique s'appelle l'escalade, car elle ressemble à la tactique consistant à toujours faire un pas vers le sommet d'une colline ou d'une montagne.

Dans le labyrinthe ci-dessus, chaque impasse est un "espace" - un problème que vous devez surmonter avec des "opérations", qui sont des actions qui vous rapprochent de votre objectif (passer de "A" à "B").

Ainsi, vous commencez par « A » et suivez le chemin qui, selon vous, vous mènera au « B » le plus rapidement. Lorsque vous arrivez dans une impasse, vous revenez en arrière et essayez un autre itinéraire. Vous répétez le processus jusqu'à ce que vous ayez atteint votre objectif.

C'est ce que vous faites lorsque vous testez A/B de petits éléments. Vous identifiez un problème, comme un bouton imperceptible, par exemple. Ensuite, vous vous rapprochez de votre objectif de créer la meilleure version de votre page de destination post-clic (ou du moins vous le pensez) en testant ce que vous pensez être le meilleur. Si cela ne fonctionne pas, vous en testez un autre.

À un moment donné, cependant, vous atteindrez un point de rendements décroissants appelé le « maximum local ».

Le maximum local et le maximum global

La raison pour laquelle la méthode ci-dessus s'appelle l'heuristique "d'escalade" est qu'elle a une limitation majeure qui peut vous laisser vous gratter la tête sur une colline en regardant le sommet de la montagne - où se trouve votre meilleure page de destination post-clic. Le Dr Dewey explique :

L'escalade est une stratégie simple, mais elle ne fonctionne pas toujours. Un piège potentiel est le "problème des contreforts". Si vous sélectionnez n'importe quelle étape qui vous fait monter (ou dans une direction particulière), vous risquez de grimper un contrefort qui se situe entre vous et la montagne, en ignorant la procédure beaucoup plus efficace qui consiste à le contourner. En d'autres termes, si vous allez directement vers un objectif sans flexibilité, vous risquez de payer un prix élevé, de gaspiller beaucoup d'énergie ou de vous causer plus de travail sans contribuer à l'objectif.

En termes d'optimisation, ce « contrefort » est appelé le « maximum local ». C'est la meilleure version de votre page actuelle, qui, lorsqu'elle sera testée plus avant par A/B, produira des rendements décroissants. Le sommet de la montagne est appelé le « maximum global ». C'est la meilleure version de votre page de destination post-clic. Voici un graphique utile pour illustrer :

En commençant par une page de destination post-clic singulière et en testant A/B de petits éléments un par un pour l'améliorer, vous vous rapprochez de ce maximum local, mais cette méthode ne vous mènera jamais au sommet de cette montagne. Alors, comment faites-vous pour vous y rendre?

Test A/B pour atteindre le maximum global

Dans un article de blog intitulé « Ne tombez pas dans le piège des minuties des tests A/B », Rand Fishkin de Moz explique un scénario frustrant qui pourrait frapper de trop près :

Supposons que vous trouviez une page/un concept dont vous êtes relativement satisfait et que vous commenciez à tester les petites choses - en optimisant autour du minimum local. Vous pouvez effectuer des tests pendant 4 à 6 mois, obtenir une amélioration de 5 % de votre taux de conversion global et vous sentir plutôt bien. Jusqu'à...

Vous lancez une autre grande idée nouvelle dans un test et vous vous améliorez davantage. Vous savez maintenant que vous avez perdu votre temps à optimiser et à perfectionner une page dont le concept global n'est pas aussi bon que la nouvelle page brute et non optimisée que vous venez de tester pour la première fois.

Au lieu de cela, Fishkin, comme d'autres influenceurs marketing, recommande de tester d'abord les "révisions" et les "grandes idées" d'A/B - ou, en d'autres termes, de tester des pages radicalement différentes. Parmi ces pages radicalement différentes, celle qui est la plus performante est la plus proche du maximum global. C'est celui que vous devez affiner avec des tests multivariés : bouton contre bouton, titre contre titre, etc. Plusieurs études de cas soutiennent cette méthode.

Test A/B pour le maximum global

1.Facebook

En 2008, Facebook a testé un tout nouveau design de navigation. Leur équipe l'a déplacé de la gauche de la page vers un menu déroulant à droite. Cependant, ce faisant, ils ont rendu les applications de la navigation moins visibles pour les utilisateurs, ce qui a entraîné beaucoup moins de trafic vers ces applications. Comme ils étaient une source précieuse de revenus pour Facebook, c'était un problème.

Après avoir essayé de sauver le nouveau design avec quelques astuces d'engagement, l'équipe d'optimisation s'est rendu compte qu'elle avait atteint le maximum local et a tout abandonné. Du développeur de produits Facebook, Adam Mosseri :

Ce que nous faisions ici, c'est que nous optimisions pour un maximum local. Dans ce cadre, il n'y avait qu'une quantité de trafic que nous pouvions canaliser vers les applications. Et ce dont nous avions besoin, c'était d'un changement structurel. Notre prémisse était éteinte. Nos intérêts nous menaient sur la mauvaise voie. Nous ne nous en rendions pas compte […] nous optimisions quelque chose localement, et nous devions être quelque peu perturbateurs pour en sortir.

2.Moz

Cette page de variation, créée par des experts en taux de conversion pour Moz, était six fois plus longue que l'originale. Il comportait plus d'infographies, un titre différent et une vidéo, entre autres éléments qui ne figuraient pas sur la page d'origine. Il a surpassé le témoin de 52 %.

Si l'équipe n'avait travaillé que sur l'amélioration des éléments de la page d'origine, elle n'aurait jamais ajouté le contenu qui a multiplié par deux les conversions. Chez les testeurs :

Dans notre analyse de la présentation face à face efficace de Rand, nous avons remarqué qu'il avait besoin d'au moins cinq minutes pour plaider en faveur du produit payant de Moz. La page existante ressemblait plus à un résumé d'une minute. Une fois que nous avons ajouté les éléments clés de la présentation de Rand, la page est devenue beaucoup plus longue.

3. Densité du serveur

La plupart des études de cas de test A/B que vous trouverez en ligne concernent l'apparence des pages Web. Il s'agit de la couleur du bouton par rapport à la couleur du bouton ou de l'image par rapport à l'image, et leur nombre augmente chaque jour. Par conséquent, la plupart des personnes qui se plongent dans les tests A/B supposent qu'ils ne peuvent être utilisés que pour la conception Web.

Cependant, le concept de test A/B peut être appliqué à n'importe quoi, y compris la conception de produits ou même la structure de prix, comme vous le verrez avec cet exemple de Sever Density.

La société, un service de surveillance de serveurs et de sites Web, a permis à ses clients de payer en fonction du nombre de serveurs et de sites Web dont ils avaient besoin pour être surveillés :

La structure visait à élargir la clientèle, ce qu'elle a fait, mais l'équipe visait désormais à augmenter ses revenus. Ils ont donc testé A/B une refonte complète de leur tarification, avec un modèle packagé :

La nouvelle structure a en fait produit moins de conversions, mais la valeur de chacune a grimpé en flèche. Voici les résultats :

La valeur moyenne des commandes était désormais supérieure à 55 $ par rapport à l'ancienne : 19,70 $. Les plats à emporter rappellent aux testeurs deux choses cruciales :

Les tests A/B peuvent être utilisés pour plus que des changements de conception superficiels.
Les conversions ne sont pas la fin de tout. Parfois, moins de conversions vous permettent d'obtenir de meilleurs résultats.

Comment trouver le maximum global et local ?

N'oubliez pas : la force des tests A/B se rapproche le plus possible du maximum global avec de grands changements. Pour trouver le maximum local, il vaut mieux utiliser des tests multivariés à la place.

Êtes-vous tombé dans le piège de tester strictement un élément de page à la fois ? Effectuez-vous plusieurs modifications par test pour trouver le maximum global ?

Découvrez comment fournir une personnalisation publicitaire 1: 1 pour chaque public que vous avez avec une démo Instapage Enterprise dès aujourd'hui.