"Tout tester" - du papier à la pratique

Soyons clairs.

Ce n'est jamais une erreur d'exécuter plus de tests A/B, même s'ils n'ont pas d'impact direct sur les ventes et les revenus, tant que vous les exécutez bien et apprenez du processus.

Mais…

Chaque test nécessite un investissement en temps, en efforts, en capital humain, etc.

Alors pourquoi certains experts préconisent-ils de tout tester ? Et quel est le juste milieu… spécialement pour vous… yup… vous lisez cet article.

Maintenant, vous avez peut-être des tonnes de bonnes idées de test et vous voulez savoir si vous devriez toutes les tester. Mais ce n'est pas le sujet ! Comme le mentionne Natalia dans une interview avec Ben Labay de Speero :

Il y a des centaines d'idées géniales, mais ce n'est pas le sujet. Le point est de trouver le bon sur lequel travailler au bon moment .

Il peut sembler tentant de commencer à tout tester au hasard, mais donner la priorité au test de la bonne hypothèse au bon moment est essentiel .

Avec la bonne priorisation, vous pouvez cultiver une mentalité de «tout tester» . Cependant, la plupart des modèles de hiérarchisation des hypothèses sont insuffisants.

Creusons un peu plus pour comprendre si vous devez tout tester A/B, comment la priorisation vous aide à prendre des décisions et comment créer votre propre modèle de priorisation qui surmonte les limites des options traditionnelles.

Tout tester : pourquoi est-ce recommandé ?

Commençons par examiner cette approche controversée : tout tester a-t-il un sens ?

Allez-y, choisissez un camp.

Quelle est votre action par défaut ?

Qu'est-ce qui vous semble "savoureux" sans lire le reste de cet article et recueillir plus de données ?

Fait?

Voyons maintenant si notre raisonnement rejoint le vôtre.

Avant de nous attaquer à l'énigme du "tout tester", nous devons comprendre ce qu'impliquent les tests A/B et leurs résultats.

Validité statistique

Les tests A/B sont un moyen statistiquement valide de voir si les changements que vous avez en tête ont un impact sur vos indicateurs de performance clés (KPI).

Par exemple, si votre objectif est d'obtenir plus de visites sur votre blog, vous pouvez l'ajouter au menu de navigation principal. Le nouveau menu n'est plus une copie de l' ancien . Mais ce changement est inutile s'il n'impacte pas positivement le comportement des visiteurs de votre site.

Le simple fait que les deux versions soient structurellement différentes n'a pas d'importance. Dans l'ensemble, ce qui compte, c'est la réalisation du résultat que vous avez souhaité et anticipé. Les gens sont-ils plus enclins à visiter le blog lorsqu'ils le voient dans le menu principal que lorsqu'il est caché dans le pied de page ?

Le bon sens pourrait dire OUI , il devrait y avoir un effet (positif) . Mais votre test peut ne montrer aucun changement dans les métriques que vous avez choisi de surveiller comme mesure d'impact.

Si cela est vrai, les tests A/B atténuent également les risques.

Atténuation des risques

La mise en œuvre de changements à l'échelle du site est complexe et un tout autre jeu de balle.

Vous pouvez finir par apporter un changement et risquer de gaspiller des ressources en créant des fonctionnalités dont les utilisateurs ne veulent pas et en personnalisant des éléments de site Web qui ne produisent pas les résultats escomptés. C'est l'une des principales raisons pour lesquelles les tests A/B sont nécessaires, car il s'agit du test décisif de la solution proposée avant qu'elle ne soit réellement mise en œuvre.

Les versions de test A/B (en particulier les versions côté client) nécessitent moins de ressources que les modifications de site Web codées en dur et les fonctionnalités haute fidélité. Cela vous donne le feu vert pour ne pas emprunter une route particulière, en particulier lorsque les résultats indiquent que les KPI clés n'évoluent pas dans la bonne direction.

Sans test, vous investissez dans des expériences qui ne fonctionnent tout simplement pas. C'est un risque aveugle que vous prenez, sans savoir que vous devrez peut-être revenir à la conception précédente pour protéger vos revenus et vos performances.

Georgi, le créateur d'Analytics-toolkit.com, avance même que l'A/B testing est par essence un outil de gestion des risques :

Pourquoi risquer quand on peut tester ?

(—Plus d'informations à ce sujet plus tard dans le blog. Continuez à lire !—)

Analyse de tendance

Lorsque vous exécutez régulièrement des tests dont vous tirez des enseignements , vous commencez à repérer des tendances dans la réponse de votre public à des entrées spécifiques. Il est préférable de ne pas supposer que vous pouvez tirer quoi que ce soit de valeur d'une seule itération. Mais la méta-analyse (dans un environnement de test A/B à variable unique) au fil du temps peut vous donner la confiance nécessaire pour potentiellement donner la priorité au test d'une hypothèse particulière par rapport à d'autres.

Certains experts sont prêts à tout tester, étant donné que l'expérimentation présente de nombreux avantages.

D'un autre côté, de nombreux experts préconisent au moins de s'inspirer des résultats reproductibles d'expériences précédentes pour répondre aux grandes questions .

Le rédacteur en chef de GoodUI, Jakub Linowski, est parmi les plus remarquables. Il soutient que les expériences génèrent des connaissances qui permettent la prédiction. Il pense qu'il est important de poursuivre les connaissances, les tactiques, les modèles, les meilleures pratiques et l'heuristique.

Les connaissances acquises grâce aux expériences vous aident à faire des prédictions plus fiables. Ceci, à son tour, vous permet de créer des hypothèses plus précises et de mieux les hiérarchiser.

A première vue, ces perspectives peuvent sembler contradictoires. Mais ils renforcent le même argument, « l'expérimentation apporte la certitude dans un monde incertain ».

Soit vous faites les hypothèses sur votre ensemble de données, soit vous reportez les croyances des tests exécutés pour des résultats finaux souhaités similaires, dans plusieurs secteurs verticaux et industries.

Chez Convert, nous nous inspirons des deux points de vue et voyons comment une facette construit la suivante des deux manières simples suivantes.

Apprendre et tester : le duo pratique pour des tests inspirés

Tout remettre en question

C'est un enseignement durable des maîtres stoïciens .

Lorsque vous remettez en question tout ce qui vous entoure, vous réalisez que vous êtes un composé de ce que vous apprenez des personnes que vous rencontrez, de la culture dans laquelle vous vivez et des heuristiques que votre cerveau choisit de suivre.

Cet « instinct viscéral » qui nous anime généralement n'est généralement pas le nôtre.

Par exemple, beaucoup d'entre nous rêvent de mener une vie somptueuse centrée sur la consommation. Mais cela vient-il vraiment de nous ? Ou sommes-nous victimes de la publicité, des médias et d'Hollywood ?

Les médias et la publicité ont commencé à jouer un rôle majeur dans la formation des rêves et des désirs de l'individu pour devenir avant tout un consommateur… et il est devenu possible de séduire l'individu et de lui faire croire que ce qu'il désire est une décision libre issue de l'intérieur. lui (mais en fait, il est captif de centaines de publicités qui ont généré le désir qu'il a dit subjectif et créé pour lui le désir automatique .

Abdel Wahab El-Messiri

Apporter des changements et des décisions commerciales en utilisant SEULEMENT votre propre «instinct» n'est pas judicieux. Si nous ne pouvons pas être sûrs que les changements que nous voulons apporter et les décisions que nous voulons faire appliquer dans notre entreprise viennent de nous, pourquoi y sommes-nous même attachés ?

Tout remettre en question est essentiel . Votre instinct, vos meilleures pratiques, vos modèles de priorisation, etc.

Et si nous remettons tout en question, la prochaine étape consiste à le soumettre à une vérification mathématique par des expériences. Parce que s'arrêter au questionnement ne ferme pas la boucle de l'incertitude à la certitude.

Apprendre des expériences

Vous ne pouvez pas apprendre si vous ne testez pas.

Assurez-vous de bien quantifier vos idées. Vous devez tirer parti des données qualitatives et quantitatives des tests A/B pour traduire vos apprentissages en quelque chose de significatif. Par exemple, regroupez l'impact moyen par contexte, type de test, lieu de test, KPI surveillés, résultat de test, etc.

Un bon exemple de cette approche méthodique est la base de données GOODUI .

Il identifie les modèles qui fonctionnent de manière répétée dans les tests A/B, aidant les entreprises à réaliser des conversions meilleures et plus rapides.

GOODUI propose 124 modèles basés sur 366 tests (membres uniquement) et ajoute plus de 5 nouveaux tests fiables chaque mois. En apprenant des expériences et en quantifiant ces apprentissages en modèles, la base de données GOODUI raccourcit le fastidieux processus de test A/B et permet aux clients d'obtenir plus de gains !

Inspirez-vous de ces modèles :

Modèle #2 : Étiquettes d'icônes : https://goodui.org/patterns/2/

Modèle #20 : réponse standardisée : https://goodui.org/patterns/20/

Modèle #43 : Titres longs : https://goodui.org/patterns/43/

Mais concentrez-vous sur… Prioriser les idées

Priorisez les idées qui correspondent à vos objectifs commerciaux globaux tout en tenant compte des résultats spécifiques à l'entreprise.

Imaginez ceci.

Vous dirigez une entreprise avec une clientèle décente. Cependant, le taux de rétention de ces clients est inférieur à 15 % . Votre objectif principal est de créer une entreprise durable qui fidélise les clients à un rythme beaucoup plus élevé. Cet objectif devrait influencer votre priorisation.

Supposons que vous ayez deux idées et que vous vouliez savoir laquelle tester en premier : une susceptible d'augmenter le taux de rétention et une autre susceptible d'augmenter les ventes de nouveaux clients . Vous devriez probablement donner la priorité à la première idée même si la seconde a un potentiel d'amélioration beaucoup plus élevé.

En effet, un taux de fidélisation plus élevé signifie une activité plus stable à long terme. Cela correspond parfaitement à vos objectifs et à votre stratégie commerciaux globaux.

L'autre idée peut vous rapporter beaucoup plus de nouvelles ventes. Mais à terme, votre entreprise perdra encore plus de 85 % de ses clients.

Les modèles de hiérarchisation de l'expérimentation échouent toujours à prendre en compte l'importance stratégique de ce qui est testé. Ils examinent l'impact probable, l'effort, etc., d'un large éventail d'idées différentes, mais ils ne considèrent pas laquelle de ces idées correspond le mieux à la stratégie et à l'orientation de l'entreprise .

Jonny Longden, via Tout tester

Où la plupart des modèles de priorisation sont-ils insuffisants ?

Si vous êtes un optimiseur passionné, vous avez peut-être une longue liste d'idées de test A/B. Mais vous ne pouvez pas tous les tester en même temps, même si vous décidez de tout tester, en raison du trafic et des ressources limités .

C'est comme avoir une longue liste de choses à faire et savoir que vous ne pouvez pas tout faire en même temps. Donc, vous donnez la priorité et commencez par ceux qui ont la PRIORITÉ LA PLUS ÉLEVÉE. Cela s'applique à la génération de profits grâce à l'expérimentation. Avec une hiérarchisation appropriée, votre programme de test aura beaucoup plus de succès.

Mais la priorisation dans les tests A/B, comme l'a écrit David Mannheim dans son article, est si difficile. C'est principalement parce que

• Vous produisez souvent des idées non ciblées et alignées sur les objectifs commerciaux.
• Ne considérez pas l'itération et l'apprentissage des expériences précédentes.
• Utilisez des modèles de hiérarchisation dysfonctionnels et essayez d'ajouter des cadres arbitraires au problème.

Et ce sont aussi des domaines que même les modèles de priorisation les plus populaires ont tendance à négliger et à se tromper. Mais pourquoi est-ce? Voici quelques éléments critiques qui contribuent à leur manque de priorisation appropriée.

• Facteurs trompeurs : les facteurs qu'ils utilisent pour sélectionner les tests sont très trompeurs. Tout d'abord, l'effort, donnant l'impression que les idées nécessitant peu d'effort méritent une hiérarchisation rapide.
• Fonction de pondération : la plupart des modèles attribuent des poids arbitraires aux facteurs. Vous ne pouvez pas prioriser au hasard ; vous avez besoin d'une raison pour cela.
• Itérations complexes : ils ne peuvent pas distinguer les itérations de test existantes (pilotées par l'apprentissage) des nouvelles idées à des fins de hiérarchisation.

Pour commencer, le cadre de priorisation PIE classe les hypothèses en fonction de :

• Potentiel d'amélioration
• Importance
• Faciliter

Mais comment déterminer objectivement le potentiel d'une idée de test ? Si nous pouvions le savoir à l'avance, comme Peep Laja, fondateur de CXL, a expliqué, nous n'aurions pas besoin de modèles de priorisation.

Le modèle PIE est très subjectif. Cela ne correspond pas non plus aux objectifs de l'entreprise et promeut des solutions à faible risque. La facilité est trompeuse car elle suggère que les idées à faible effort doivent être priorisées.

Plus le risque est grand, plus la récompense est grande .

Et cela ne s'applique que si vous vous lancez des défis avec des idées plus sophistiquées.

Un autre modèle populaire, le modèle de notation ICE (Impact, Confidence, and Ease), ressemble beaucoup à PIE et présente les mêmes défauts que PIE .

Le cadre PXL est une amélioration par rapport à ces deux et rend toute évaluation de "potentiel" ou "d'impact" beaucoup plus objective. Cependant, il a encore ses défauts.

Tout d'abord, il ne tient pas compte de l'alignement sur les objectifs commerciaux . Deuxièmement, il ne distingue pas les itérations de test actuelles des toutes nouvelles idées.

David Mannheim, vice-président mondial de l'optimisation du taux de conversion chez Brainlabs, a révélé que 50 % des plus de 200 expériences qu'ils ont conçues pour un client de son ancien cabinet de conseil, User Conversion, étaient des itérations les unes des autres. Ils ont également créé une fois une valeur améliorée de 80 % par rapport à l'hypothèse d'origine et ont déclaré :

Nous savions que le "concept" fonctionnait, mais en modifiant l'exécution, plus de 6 itérations différentes devrais-je ajouter, nous avons constaté un gain supplémentaire de plus de 80 % par rapport à l'original .

Dans son «Running Experience Informed Experiments report », Convert a constaté que presque tous les experts interrogés s'accordaient à dire que l'apprentissage était le moteur d'une idéation réussie. Cela peut être renforcé par la vision de H&M sur les modèles d'apprentissage.

Presque toutes les autres expériences que nous menons chez H&M dans notre équipe produit sont soutenues par un apprentissage documenté d'une expérience précédente ou d'une autre méthodologie de recherche .

Matthias Mandiau

Comment créer votre propre modèle de priorisation des tests A/B ?

La priorisation encourage l'état d'esprit « tout tester ». Cela donne confiance pour tester (d'abord) les idées et les hypothèses qui font le plus de mal au problème le plus pressant.

Mais chaque entreprise est différente. Il ne peut donc pas y avoir d'approche unique de priorisation des expériences. Le contexte, comme l'a souligné David, est roi .

En gros, tous les modèles sont faux, mais certains sont utiles .

George EP Box, statisticien

D'après les exemples ci-dessus, nous pouvons dire que tous les modèles sont défectueux, mais certains sont utiles. Le secret est de créer le modèle le plus utile et le plus percutant pour votre entreprise.

Voici quatre étapes pour créer un modèle :

1. Inspirez-vous des exemples

L'un des moyens les plus fructueux de développer un bon modèle de hiérarchisation consiste à sélectionner des capacités à partir de différents modèles, à les mélanger et à les assortir, et à produire un mélange avec une sélection limitée.

Par exemple, vous pouvez vous inspirer de l'approche d'évaluation plus objective de PXL , qui pose des questions telles que « Ajouter ou supprimer un élément ? » . En même temps, vous pouvez considérer l'angle d'impact d'ICE et l'ajouter.

2. Faites de la place pour les facteurs qui comptent

Incluez des facteurs qui correspondent à vos objectifs commerciaux . Cela vous aidera à vous concentrer davantage sur les principaux moteurs de croissance et les KPI tels que la valeur à vie du client (LTV) et le taux de fidélisation de la clientèle, et pas seulement sur les mesures et les résultats au niveau de la surface.

Comme mentionné précédemment, l'apprentissage spécifique à l'entreprise est également crucial lors de la hiérarchisation des expériences. Certaines solutions sont-elles constamment et historiquement plus performantes que d'autres pour votre public ?

Tenez également compte du potentiel d'itération . Les itérations peuvent aider à progresser vers la résolution d'un problème métier particulier et sont plus efficaces. Si cela est vrai, les hypothèses avec un potentiel d'itération peuvent et doivent être prioritaires par rapport aux tests autonomes. De plus, l'expérimentation n'est rien sinon un volant d'inertie où les efforts s'alimentent les uns les autres.

Enfin, tenez compte de l'investissement en ressources , y compris la complexité, le temps, le coût et les mesures traditionnelles utilisées pour hiérarchiser les expériences.

3. Le poids est essentiel

Décidez ce que vous voulez retirer des tests que vous exécutez. S'agit-il d'explorer de nouvelles idées révolutionnaires ? Ou exploiter un problème jusqu'à ce que vous trouviez une solution ?

Personnalisez le système de notation en fonction de vos besoins. Considérons deux types d'expériences différentes pour mieux comprendre cela.

1. L'ajout du blog au menu de navigation augmentera les visites sur le blog.
2. La diminution du nombre de formulaires remplis sur la page de paiement réduira le taux d'abandon du panier.

Pour cet exemple, supposons que nous n'avons sélectionné que deux facteurs pour notre modèle de hiérarchisation. L'un est le potentiel d'itération et l'autre est le potentiel d'impact et évaluez chaque hypothèse sur une échelle de 1 à 5 pour chaque facteur.

Notre objectif principal pour les tests est maintenant de résoudre le problème d'abandon de carte pour un site de commerce électronique . Nous devrions donner plus de poids au potentiel d'itération car nous ne réglerons probablement pas cela avec un test. Et nous sommes susceptibles d'itérer plusieurs fois dans une même hypothèse avant de réduire sensiblement l'abandon de panier.

Nous pouvons peser le facteur potentiel d'itération en doublant son score.

Donnons à la première hypothèse un « 4 » pour le facteur potentiel d'impact. Et "2" pour le potentiel d'itération. Ensuite, pour l'hypothèse de remplissage de formulaire, "3" pour les facteurs potentiels d'impact et d'itération.

Sans l'accent mis sur le potentiel d'itération, ce serait une égalité : "4 + 2 = 3 + 3"

Mais après avoir doublé le score sur ce facteur , l'hypothèse numéro deux l'emporte :

Le score final pour la première hypothèse : « 4 + 2(2) = 8 »

Le score final pour la seconde hypothèse : « 3 + 3(2) = 9 »

L'essentiel est que la sortie de hiérarchisation du même cadre devrait changer à mesure que les considérations externes et internes changent.

4. Rincez et répétez jusqu'à ce que vous trouviez le bon acronyme

Essayez de ne pas vous attendre à de bons résultats avec une seule itération. Continuez à modifier jusqu'à ce que vous obteniez le bon modèle de priorisation pour votre entreprise.

Par exemple, ConversionAdvocates a créé son propre framework, IIEA , qui signifie :

• Aperçu
• Idéation
• Expérimentation
• Une analyse

L'IIEA tente de résoudre deux problèmes majeurs de la plupart des modèles en répertoriant les objectifs d'apprentissage et commerciaux de chaque expérience avant le lancement.

Quel que soit l'acronyme que vous finissez par créer, revoyez-le et réévaluez-le constamment. Sina Fak, responsable de l'optimisation chez ConversionAdvocates, a mentionné qu'ils ont affiné l' IIEA au cours des cinq dernières années.

Depuis 2013, ils utilisent ce cadre personnalisé pour aider plusieurs entreprises à résoudre des problèmes critiques, tels que la réduction des coûts et l'augmentation des conversions.

Le vôtre n'est peut-être pas un ICE ou un PIE pratique, mais les résultats seront délicieux.

Avec votre nouveau modèle de priorisation ultra-utile, vous pouvez emprunter à l'apprentissage hérité ET potentiellement "tout tester" .

Un gagnant-gagnant dans notre livre!