Le guide étape par étape sans jargon pour comprendre (en profondeur) les métriques de test A/B

Un excellent contenu n'est pas créé par un individu. Dites « bonjour » aux experts qui ont rendu ce guide possible. Plus de 80 ans d'expérience dans l'expérimentation et les tests A/B - dans unminute de lecture.

Alex Birket

Ben Labay

Curtis Stanier

Deborah O'Malley

Erik Bernhardsson

Justin Christianson

Max Bradley

Sumantha Shankaranarayana

Tim Mehta

Essayer de comprendre les métriques des tests A/B, c'est comme descendre dans un trou de lapin de définitions trop compliquées, de jargon technique et d'"opinions" d'experts sans fin.

Nous ne vous blâmons pas si vous avez laissé échapper plus d'un soupir exaspéré en essayant de trouver quelque chose de valeur en ligne.

Même si vous êtes convaincu de vouloir mener des expériences, il peut sembler que ceux qui sont au courant sont des informations de contrôle.

Mais nous sommes déterminés à changer cela. L'expérimentation est pour tout le monde et à la fin de cela, vous le croirez aussi.

Une dure vérité sur le démarrage de l'expérimentation

Nous allons plonger dans la façon dont les métriques sont vues à travers différentes lentilles mais, d'abord, nous devons être clairs.

Vous avez probablement déjà entendu cette déclaration : "Il n'y a pas de pertes dans les tests A/B - seulement l'apprentissage."

C'est en partie vrai.

Des tests non concluants (à plat) et même des pertes peuvent vous aider à avoir une idée claire de ce qui ne fonctionne pas pour votre public cible. Mais si vous construisez le programme d'expérimentation et que vous n'avez pas encore l'adhésion de C-suite, soyez prêt à naviguer dans des eaux délicates. Comprenez que ceux qui tiennent les cordons de la bourse ne seront pas particulièrement heureux d'avoir des discussions ésotériques sur les « apprentissages » sans une éducation considérable.

Pour obtenir leur approbation, vous devrez d'abord montrer des gains rapides et tangibles . Les résultats des tests A/B que vos managers peuvent rapporter à la direction afin qu'ils montrent une certaine confiance dans le fait que la méthode d'expérimentation scientifique largement académique peut en effet propulser quelque chose d'aussi pratique qu'une entreprise vers l'avant.

Et le moyen le plus simple de le faire ?

Cherchez le fruit le plus bas : améliorez le taux de conversion sur une expérience utilisateur qui est raisonnablement proche d'influencer les offres ou les achats. Disons qu'une augmentation directe de 1000 unités des commandes passées (comme indiqué par le résultat de votre test) est facile à convertir en dollars et en bénéfices.

Apportez ce rapport lors d'une réunion du conseil d'administration et vous aurez la salle bourdonnant d'excitation - le genre qui vient de la découverte d'un autre «canal d'acquisition» alias CRO.

Mais le quartier va et vient sans que vous ne voyiez jamais le pic promis. Les dirigeants qui vous ont salué comme l'avenir de l'entreprise seront très déçus. Les coupes budgétaires suivront. Et quelqu'un de haut placé (*tousse* l'incorrigible HiPPO *tousse*) va cracher du charabia sur le fait que l'expérimentation ne peut jamais l'emporter sur les canaux traditionnels comme les publicités et les événements qui ont résisté à l'épreuve du temps.

[HiPPO = Personne la mieux payée avec une opinion]

Vous voyez ce qui vient de se passer ? En activant votre vision tunnel, vous avez relégué l'expérimentation à un simple CRO - quelque chose qui est considéré (presque) comme un canal d'acquisition d'un nouveau genre pour récupérer l'argent restant sur la table. Et avec ça ? Toutes les grosses réclamations, escroqueries et pièges qui ont tendance à l'accompagner.

Différentes façons d'afficher les métriques de test A/B

L'expérimentation est une machine. Mais la plupart des gens ont une mauvaise compréhension de son fonctionnement.

Ils pensent que les éléments d'entrée sont des problèmes commerciaux et que les résultats sont des solutions commerciales valides et statistiquement significatives . Et c'est peut-être la vue d'ensemble idéale.

Zoomée, la machine d'expérimentation accepte l'apprentissage et les efforts déployés sur le processus scientifique comme entrée et produit des métriques de programme comme sortie.

Mais il y a un grand SI ici : pour que le résultat produise finalement les résultats escomptés et souhaités, la qualité du programme d'expérimentation est primordiale.

Ce n'est que lorsque vous êtes obsédé par la qualité de l'expérimentation que vous avez plus de chances de voir un résultat qui peut faire avancer les gros problèmes de croissance et d'efficacité que toutes les entreprises veulent résoudre.

La façon d'y parvenir est d'avoir une stratégie de mesures qui ne place pas les résultats sur un piédestal.

Au lieu de cela, cela aide l'équipe à mesurer et à suivre l'entrée et la sortie (l'entrée étant le seul facteur qui contrôle carrément l'optimiseur) et à les utiliser comme jauge de progression. Le voyage vers le résultat n'est pas un sprint, c'est un marathon qui se déroule en arrière-plan comme sous-produit d'une bonne expérimentation.

Ne vous méprenez pas. C'est plus facile à dire qu'à faire.

Souvent, les expériences montrent que certains changements ne doivent pas être apportés. Les caractéristiques particulières ne doivent pas être expédiées ! Et l'expérimentation en soi est délibérée… en mettant l'accent d'une stratégie d'expédition d'abord sur une stratégie d'insights et d'apprentissage d'abord (soutenue par les bonnes mesures).

L'hésitation à l'expérimentation est incroyablement courante chez les cadres. La plupart des fondateurs ont des années de construction de l'entreprise sans expériences, et il peut sembler que l'expérimentation est une force conservatrice qui entrave la vitesse de l'entreprise, le marketing des produits et l'innovation lunaire.

Erik Bernhardsson, fondateur de Modal Labs

Les arguments en faveur du passage à une stratégie Insights First (avec les bonnes métriques)

Pour faire de réels progrès, nous devons passer d'une stratégie d'expédition à une stratégie métrique. Cela décentralise la stratégie produit, c'est-à-dire pousse l'idéation vers le bas, ce qui est idéal. Et adopter une stratégie métrique signifie intrinsèquement expérimenter. Vous ne pouvez pas hésiter à tester l'impact des modifications apportées aux nouveaux produits sur votre entreprise.

Le « pourquoi » de votre programme d'expérimentation est encodé dans votre stratégie de métriques.

• Tous vos efforts sont-ils axés sur les gains rapides et les revenus ?
• L'expérimentation est-elle le moyen de comprendre vos clients et de leur offrir de la valeur tout au long de leur cycle de vie ?
• Ou l'expérimentation est-elle le but en soi, où mieux vous testez, plus vous générez des informations fiables et votre responsabilité est de maintenir cette roue en mouvement, sans impact négatif sur les expériences existantes ?

Plus à ce sujet plus tard avec Ben Labay de Speero.

D'une expérience à l'autre, les métriques cimentent votre (réel) objectif. Vous pouvez avoir un manifeste de 10 pages sur l'intégration de l'expérimentation dans l'ADN de votre entreprise pour accélérer l'innovation, mais si votre objectif principal est toujours axé sur la conversion, votre programme de test est essentiellement un programme CRO. C'est peut-être ce que vous voulez réaliser, mais soyez conscient des contraintes qui se manifesteront sur toute la ligne, notamment en considérant les tests A/B comme des sbires d'acquisition/de revenus - franchement, ils ne le sont pas.

Différentes classes de métriques permettent de suivre les indicateurs importants pour la suite C, tout en optimisant le programme pour des tests de meilleure qualité, des informations causales et en passant par différentes itérations pour améliorer le fonctionnement interne de la machine afin que les sorties puissent commencer à générer des résultats à long terme.

Cette vidéo avec Tim Mehta est un aperçu franc des raisons pour lesquelles un récit d'expérimentation qui tourne uniquement autour de l'apprentissage n'est pas une position pratique à adopter.

Je pense que c'est vraiment cool d'obtenir tous ces apprentissages du côté de l'engagement, mais pour que votre propriétaire d'entreprise puisse vous savoir pour continuer à créer des ressources pour le programme et obtenir un budget pour cela, vous savez que vous devez vous assurer que vous êtes capable de montrer au moins que, d'un point de vue commercial, la valeur en dollars de l'expérience que le programme vous apporte.

Donc, je pense que pour beaucoup d'expérimentation, c'est plus autour de la méthode scientifique générale de tout ce que vous essayez de faire, c'est d'apprendre, c'est que vous savez que ce n'est pas autant de gain/perte que d'hypothèse prouvée euh vous savez prouvé ou rejeté euh alors qu'avec ce que nous faisons bien, la plupart d'entre nous sommes du côté du marketing et donc naturellement nous devons être capables de communiquer un certain type de gain ou de valeur de revenu pour pouvoir continuer.

Tim Mehta, directeur du marketing de croissance chez Lucid Software

Sur un plan plus pratique, les métriques maintiennent l'apprentissage. Exécuter des tests plats dos à dos ? Cela peut être un problème lié à la manière dont vous collectez les données (problème axé sur l'instrument) ou à la manière dont vous concevez les expériences. Les métriques vous aident à trouver l'aiguille dans la botte de foin et à faire mieux.

TL&DR ; Les mesures aident les testeurs à capturer diverses facettes de l'expérimentation et à distribuer son impact aux parties prenantes dans un langage qu'elles comprennent, apprécient et apprécient. La stratégie des métriques va bien au-delà des "objectifs" et de l'enjeu du terrain par rapport auquel les variations de gains et les pertes sont évaluées.

Grâce à des métriques, les programmes d'expérimentation vivent, mûrissent, évoluent et réussissent (ou échouent).

Intrant, Output & Outcome Metrics : Déconstruire les programmes d'expérimentation avec Ben Labay et Alex Birkett

Il existe de nombreuses définitions concernant les métriques primaires, secondaires et de garde-corps. Mais quiconque a mené un programme d'expérimentation sait qu'il doit y avoir un cadre pour définir les différents niveaux d'objectifs.

Nous avons donc posé cette question à Ben Labay, directeur général de Speero, et Alex Birkett, co-fondateur d'Omniscient :

Quel est votre cadre de métriques de référence pour mapper les variables mesurées à l'impact de l'expérimentation à plusieurs niveaux ?

Cadre de Ben

1. Catégories de mesures du programme

Ce "par étape" est à prendre à la légère. Vous voulez surveiller tout cela tout le temps, mais le FOCUS est un peu différent selon l'étape du programme.

2. Commencez avec une taxonomie de métriques de haut niveau, voici la mienne :

Ensuite, pour chacun,

3. Exemples de métriques d'objectif :

Alors

4. Exemples de métriques de pilote

Alors

5. Métriques du garde-corps du programme

Alors…. ALORS vous avez les ingrédients pour une stratégie métrique :

Remarque : l'expérimentation à un stade précoce doit se concentrer sur les métriques d'entrée, mais vous devez faire face à la pression de produire des résultats qui ne se matérialiseront pas si vous n'avez pas la bonne formation, les bonnes personnes et les bons processus.

C'est un cycle autodestructeur. De plus, les mesures de résultats ne doivent pas être célébrées d'emblée, surtout si vous projetez des « revenus ».

La meilleure façon de comprendre cela est de regarder comment Airbnb est passé à une stratégie métrique :

"Les clients devaient d'abord demander la permission aux hôtes de rester dans leur Airbnb, et les hôtes pouvaient décider s'ils aimaient la demande de réservation. Cela a créé une tonne de frictions, a été une expérience terrible pour les invités et a ouvert la porte à des préjugés inappropriés pour entrer dans le processus.

Une stratégie d'expédition de produit aurait dicté un tas de fonctionnalités à expédier. Mais Airbnb a mis en place une équipe solide avec une stratégie métrique : faire en sorte qu'Airbnb atteigne 100 % de réservation instantanée.

Le résultat a été une stratégie riche en expériences qui a modifié le marché de manière cumulative. Les modifications apportées au produit ont porté sur le classement de recherche, l'intégration des hôtes et les fonctionnalités de base de l'hôte (par exemple, les contrôles des invités, les règles de la maison, les paramètres de délai, etc.) qui ont permis aux hôtes de réussir dans un monde où les invités réservent leur logement instantanément.

Erik Bernhardsson

Le cadre de référence d'Alex

Mon cadre de référence pour cartographier les métriques d'expérimentation est simple : les métriques d'entrée et de sortie .

Les parties prenantes se soucient des mesures de sortie. Ceux-ci sont utilisés dans les calculs de retour sur investissement et prouvent la valeur du programme - des choses comme le taux de conversion du site Web, le taux de conversion de l'entonnoir, les prospects de haute qualité, etc.

Personnellement, je pense que ceux-ci sont surestimés au niveau programmatique et sous-estimés au niveau de l'expérience. J'entends par là que si vous suivez le taux de conversion de vos pages Web d'un trimestre à l'autre, l'expérimentation ne sera pas la seule chose qui se soit produite pendant cette période. Collecte de fonds, tendances macroéconomiques, changement de canaux d'acquisition - tout cela peut être d'énormes facteurs de confusion. Vous pouvez contourner certains d'entre eux en ayant des ensembles de retenues ou en retestant la version de base de votre expérience numérique.

Ils sont sous-estimés par expérience parce que les gens ont tendance à ne pas réfléchir à leur KPI d'expérience de base, optant plutôt pour inclure une variété d'objectifs et choisir celui qui correspond à leur récit. C'est vraiment difficile d'avoir un objectif composite, un critère d'évaluation global, pour définir son expérience. Les mesures d'entrée sont un meilleur moyen pour moi d'obtenir une jauge sur notre programme. Les trois principaux que je regarde sont
a) vitesse expérimentale
b) le taux de réussite des tests et
c) gain moyen par expérience.

Si je déplace l'aiguille sur l'un de ces éléments, je suis susceptible de déplacer l'aiguille sur mes mesures de sortie

Objectifs, moteurs et garde-fous : métriques par champ d'application

Ben Labay utilise l'analogie d'une voiture pour expliquer ces paramètres :

L'essentiel est que vous avez des métriques à long terme comme les métriques d'objectif et c'est votre GPS ou votre système de navigation, c'est-à-dire les métriques de l'étoile du nord (NSM).

Cela contraste avec les métriques du conducteur qui sont les métriques à court terme, c'est-à-dire votre indicateur de vitesse. Par exemple, l'optimisation du taux de conversion pour la valeur moyenne des commandes (AOV).

Mettez cela en contraste avec vos mesures d'alerte et d'alignement, comme votre tachymètre ou votre jauge de chaleur ; ce sont vos métriques de garde-corps.

PS Regardez cette vidéo de Ben pour mieux comprendre ces catégories :

Métriques d'objectif ou d'étoile polaire

Une métrique North Star ou une métrique retardée ou à large portée telle que définie par Ben est de nature plus stratégique que tactique.

Par exemple, les tests A/B de Netflix ne sont pas conçus pour améliorer l'engagement, ils sont conçus pour augmenter la rétention. S'ils fidélisent les clients, cela signifie que les abonnés s'engagent et trouvent de la valeur dans le produit. Ainsi, la rétention englobe plusieurs mesures tactiques comme le pourcentage d'utilisateurs qui paient ou regardent plus de 3 éléments de contenu.

Métriques du pilote

Ces indicateurs avancés sont ce sur quoi vous vous concentrez à court terme, c'est-à-dire votre taux de rebond et votre taux de conversion. Parfois, avoir une seule métrique n'est pas suffisant pour évaluer un résultat. C'est là que le critère d'évaluation globale ou OEC entre en jeu.

Également connue sous le nom de réponse ou variable dépendante, variable de résultat ou mesure de performance, l'OEC est essentiellement une combinaison de KPI pondérés différemment en un seul KPI principal.

Une seule métrique oblige à faire des compromis une seule fois pour plusieurs expériences et aligne l'organisation sur un objectif clair. Un bon OEC ne doit pas être axé sur le court terme (par exemple, les clics) ; au contraire, il devrait inclure des facteurs qui prédisent les objectifs à long terme, tels que la valeur à vie prévue et les visites répétées.

Ronny Koavi

Métriques de garde-corps

Selon Ronny Kohavi,

Les métriques de garde-corps sont des métriques critiques conçues pour alerter les expérimentateurs d'une hypothèse violée. Les mesures de garde-corps fournissent ce que Spitzer (2007) appelle la « capacité d'inciter à une action éclairée ». Lorsqu'un effet de traitement déplace de manière inattendue une métrique de garde-corps, vous pouvez souhaiter réduire la confiance dans les résultats ou arrêter une expérience dans les cas où un préjudice pourrait être causé aux utilisateurs ou à l'organisation.

Il existe deux types de métriques de garde-fou : les métriques de garde-corps liées à la confiance et les métriques de garde-corps organisationnels. Nous commençons par ce que nous pensons être la métrique de garde-fou la plus importante que chaque expérience devrait avoir : le taux d'échantillonnage, puis un suivi avec d'autres métriques de garde-corps et des métriques de garde-corps organisationnels.

Ratio d'échantillon = Dans une expérience contrôlée, le ratio d'échantillon est égal au ratio d'allocation de la taille de l'échantillon entre les différents groupes de test : contrôle et variantes

Une approche philosophique des métriques : les 5 W

Sumantha Shankaranarayana, fondatrice d'EndlessROI, considère les métriques différemment.

Une autre approche des mesures vient d'Avinash Kaushik, évangéliste du marketing numérique chez Google.

Dans un récent numéro de sa newsletter, The Marketing <> Analytics Intersect, il recommande d'ignorer les métriques de vanité comme les likes et les followers et les faux dieux comme les pages vues et "l'engagement".

Au lieu de cela, concentrez-vous sur les micro-résultats tels que les inscriptions à la newsletter et les taux d'achèvement des tâches, les macro-résultats numériques tels que les revenus de conversion et les revenus, et les mesures ayant un impact sur les résultats tels que le profit et la valeur à vie.

Une autre vision des mesures vient de Simon Girardin de Conversion Advocates :

Choisir des métriques qui font la différence avec un arbre de pilotes

L'élaboration d'une stratégie de métriques solides revient à comprendre ce qu'est un arbre de pilotes.

Un arbre des pilotes est une carte de la façon dont les différents indicateurs et leviers d'une organisation s'imbriquent. À l'extrême gauche, vous avez une métrique globale que vous souhaitez piloter. C'est l'objectif ultime vers lequel vous voulez que toutes les équipes travaillent.

Au fur et à mesure que vous vous déplacez vers la droite, vous devenez plus précis quant à la manière dont vous souhaitez atteindre cet objectif. Chaque branche vous donne un indicateur des composants qui composent le "quoi" au-dessus d'eux.

Curtis Stanier, directeur de produit chez Delivery Hero

L'arborescence des pilotes, lorsqu'elle est associée à des métriques, peut aider à identifier les domaines d'opportunité potentiels et vous guider vers la solution.

Curtis explique cela avec un exemple. Par exemple, si votre objectif est d'augmenter le nombre d'inscriptions par e-mail. Supposons que seulement la moitié des clients cliquent avec succès sur le lien de confirmation par e-mail que vous leur avez envoyé. Il existe deux scénarios possibles ici : soit les clients ne reçoivent pas l'e-mail, soit ils ne cliquent pas dessus. Ces moteurs peuvent avoir différents facteurs d'influence.

Lorsque vous mappez le flux de processus sur l'arborescence des pilotes, vous pouvez accéder à la cause première. Le fournisseur de messagerie que vous utilisez a peut-être un taux d'erreur de 10 %, ce qui signifie que l'e-mail n'a jamais été envoyé. Ce problème spécifique devient une opportunité pour votre équipe de le résoudre.

Voici un exemple spécifique fourni par Bhavik Patel, responsable de l'analyse des produits chez Hopin, pour illustrer comment vous pouvez mapper un objectif tel que la vitesse de test, c'est-à-dire le nombre de tests exécutés sur les métriques du conducteur et du garde-corps.

Suivez ces 3 étapes pour lancer votre programme d'expérimentation

1. Choisissez l'objectif de votre programme d'expérimentation

Impliquez le HiPPO, c'est-à-dire votre C-suite, afin de ne pas chasser une métrique d'étoile polaire dont la direction se désintéresse. Sinon, votre programme d'expérimentation ne verra jamais le jour. Boucle chez les personnes qui comprennent que les gros problèmes nécessitent des solutions innovantes, et non la sécurité.

En règle générale, Ben Labay dit que l'objectif à long terme de votre programme d'expérimentation peut être l'une des trois choses suivantes : revenus, client ou processus d'expérimentation .

Par exemple, Booking.com a la qualité des expériences comme métrique de l'étoile du nord. Voici pourquoi:

Ce qui compte vraiment pour nous, ce n'est pas le nombre de décisions concernant les produits, ni la rapidité avec laquelle elles sont prises, mais la qualité de ces décisions.

Bien que l'utilisation de l'expérimentation dans le cadre du développement de produits et de la prise de décision soit une pratique courante de nos jours, elle ne garantit pas, en soi, que de bonnes décisions soient prises. L'exécution correcte d'expériences peut être difficile, et les données obtenues à partir d'une expérience ne sont aussi fiables que l'exécution de l'expérience elle-même. Exécuter de mauvaises expériences n'est qu'un moyen très coûteux et compliqué de prendre des décisions peu fiables.

Christophe Perrin, Chef de Produit Groupe chez Booking.com

2. Établir un journal des mesures de garde-corps acceptables

Tim Mehta recommande d'avoir la vitesse de test comme métrique de garde-corps avec une mise en garde, c'est-à-dire uniquement si l'intégrité de votre test est bonne ou répond à la norme. Si vous n'exécutez pas de tests de qualité, toute métrique que vous choisissez finit par être une métrique de vanité.

Comme Tim, Ben Labay suggère également d'avoir la vitesse de test avec ces autres métriques comme un ensemble de métriques de garde-corps :

3. Choisissez vos Driver Metrics au cas par cas

Toutes les métriques ne sont pas de bonnes métriques. Après avoir exécuté des milliers de tests A/B, Microsoft a identifié six propriétés clés d'une bonne métrique A/B :

1. Sensibilité
2. Fiabilité
3. Efficacité
4. Débogage
5. Interprétabilité et actionnabilité
6. Inclusivité et équité

Vous pouvez utiliser STEDII pour affiner les métriques pour suivre et mesurer les changements.

Max Bradley, Senior Web Optimization Manager chez Zendesk, estime que vous devez être flexible sur les métriques des pilotes afin de pouvoir penser à l'intérieur ou à l'extérieur de la boîte :

Nous avons remarqué que le champ de création de sous-domaine (illustré ci-dessous) était, de loin, le champ de formulaire le plus difficile de notre flux d'inscription d'essai pour les visiteurs. Le taux d'abandon dans ce domaine était considérablement plus élevé que dans tout autre domaine.

Surtout, nous avions mis en place un suivi qui nous permettait d'examiner en détail les performances du formulaire en premier lieu. Si vous débutez, il est peu probable que ce niveau de suivi soit réalisable à court terme, mais je vous encourage à «entrer dans les mauvaises herbes» avec votre suivi au fil du temps.

Lorsque le problème a été identifié, nous avons entrepris diverses étapes pour déterminer l'approche que nous souhaitions tester. Nous avons examiné ce que faisaient d'autres entreprises lorsqu'un sous-domaine était impliqué, je suggérerais de regarder au-delà de vos concurrents ici. Nous pensions que l'utilisateur n'avait pas besoin de se préoccuper de la création d'un sous-domaine, cela introduisait un autre domaine dans lequel l'utilisateur pouvait faire une pause et réfléchir, augmentant ainsi sa charge cognitive. Nous pouvons créer leur sous-domaine à partir du nom de leur entreprise qu'ils ont déjà fourni et masquer le champ du sous-domaine aux utilisateurs.

Nous nous attendions naturellement à ce que ce changement augmente le nombre d'utilisateurs s'inscrivant avec succès à un essai, nous avons pu estimer l'augmentation attendue en raison du suivi mentionné.

Cependant, ce que nous ne savions pas à ce stade, c'était l'impact global que cela aurait sur l'entreprise. Nous nous attendions à voir une augmentation des conversions d'essai, mais cela se traduirait-il tout au long de l'entonnoir de conversion vers Win ?

De plus, en masquant le champ de sous-domaine et en générant automatiquement le sous-domaine pour l'utilisateur, nous voulions nous assurer de ne pas simplement transmettre ce problème à un autre domaine de l'entreprise. Cela impliquait d'impliquer dès le départ la défense des clients et le support client.

Les principaux domaines qui, selon nous, seraient importants pour déterminer l'impact de cette expérience étaient les suivants :

• Taux d'inscription à l'essai pour les visiteurs du formulaire
• Prospects, MQL, opportunités et gains
• Modifications apportées par les utilisateurs au nom de sous-domaine lors de l'inscription à la publication du produit
• Nombre de tickets reçus par la défense des clients pour les changements de nom de sous-domaine. »

En fonction de l'objectif que vous choisissez et de la manière dont vous approchez systématiquement vos conducteurs, votre personnalité d'expérimentation et votre trajectoire de programme peuvent suivre plusieurs voies différentes. Jetez un œil à ce tableau de Ben Labay :

Modèles mentaux : comment les pros choisissent leurs métriques dans les expériences du monde réel

Nous avons demandé à des experts de nous guider à travers un exemple où ils ont vu le problème, conçu l'hypothèse, puis choisi les mesures pour mesurer le succès et consolider l'apprentissage.

Voici ce qu'ils ont dit :

Ben Labay et la cartographie des objectifs

Soyez clair sur la direction que prend l'entreprise et pourquoi.

Quelle est la stratégie de croissance de l'entreprise ? Augmenteront-ils de 20 % l'année prochaine en acquérant plus d'utilisateurs ? Vont-ils se concentrer sur de nouveaux produits ou sur la monétisation de la base d'utilisateurs existante ? Avec ces informations, vous savez où orienter le programme d'optimisation, vous devez savoir où dans l'entonnoir ou sur quels canaux principaux vous concentrer.

Pour de nombreuses entreprises de commerce électronique en 2021, il s'agissait d'acquérir et de convertir de nouveaux utilisateurs. À la fin de 2022, il est centré sur l'AOV, qui se concentre sur la rentabilité et l'efficacité des acquisitions.

• Avec le SaaS au cours des dernières années, il y a eu une tendance à se concentrer sur la croissance axée sur les produits, donc à se concentrer sur les essais et l'intégration, en particulier pour les segments de marché en baisse.

Obtenez une compréhension claire du comportement du client (abandons, schémas de navigation, etc.) et des perceptions (motivations vs FUD, peurs, incertitudes et doutes).

Nous avons un excellent modèle de données à ce sujet, ResearchXL, qui non seulement collecte des données sur les comportements et les perceptions, mais qui fait passer les données à travers les informations en informations qui établissent une feuille de route hiérarchisée.

Combinez les étapes 2 et 3 et reliez les thèmes de problèmes/opportunités que vous créez à partir de la recherche client aux objectifs commerciaux dans l'arborescence des objectifs.

Voici un gros plan de cette arborescence d'objectifs où vous pouvez voir les expériences associées à une métrique de progression de la page de paiement, qui était un point central pour ce client de commerce électronique :

Quand j'étais chez Workato, nous voulions en apprendre le plus possible sur la construction d'une visite interactive du produit. Étant donné que nous n'avions pas de version freemium, de nombreux prospects voulaient avoir un aperçu du fonctionnement réel du produit.

Ce que nous espérions apprendre a déterminé le KPI pour chaque expérience ici.

Dans une expérience, nous voulions juste voir si, contrairement à d'autres boutons CTA de site Web de base comme "demander une démo", les gens étaient même intéressés par le concept d'une visite du produit. C'était une sorte de test de «porte peinte», bien que nous ayons déjà construit une tournée de produits minimale viable. Dans cette expérience, nous avons juste suivi la proportion de clics sur la visite du produit et utilisé une expérience de non-infériorité sur les prospects (nous ne voulions tout simplement pas qu'ils baissent).

Ensuite, pour optimiser la visite elle-même, nous avons utilisé le macro KPI principal du taux de conversion du site Web (prospects) et segmenté ceux qui ont cliqué sur la visite du produit pour voir s'il y avait également une corrélation élevée ainsi qu'une macro amélioration de notre KPI de base. .”

Comment Deborah O' Malley a aidé à augmenter le CTR

Les mesures sont souvent axées sur le client. Habituellement, ils sont liés aux revenus. Parfois, cependant, les clients souhaitent simplement accroître leur engagement.

Dans cet exemple, un client du secteur de l'éducation souhaitait augmenter les taux de clics (CTR) d'une page expliquant un programme éducatif à une page où les étudiants potentiels pouvaient en savoir plus sur le programme et postuler.

Sur la base d'une analyse basée sur les données, l'hypothèse était qu'il y avait tellement d'informations concurrentes sur la page que les utilisateurs ne savaient pas exactement comment procéder ni où cliquer pour en savoir plus.

En appliquant le cadre en 5 étapes décrit ci-dessus, il a été décidé qu'une notification pop-up formatée et chronométrée de manière optimale fonctionnerait mieux pour informer les visiteurs sur où cliquer pour en savoir plus.

Une série d'expériences ont donc été menées pour déterminer le format et le moment optimaux d'une fenêtre de notification. Les taux de clics ont été mesurés.

Comme le montrent les résultats de ces études de cas (test 1, test 2), l'optimisation du placement et du timing de la fenêtre contextuelle a eu un impact extrêmement positif sur les conversions CTR.

Cependant, bien que les résultats se soient avérés positifs, en fin de compte, les candidatures soumises ont été la mesure qui a vraiment fait bouger l'aiguille pour l'école. Des tests supplémentaires doivent donc être effectués pour déterminer la manière optimale d'augmenter les soumissions de candidatures.

L'enseignement clé de cet exemple est que les clients ont souvent une idée de ce qu'ils veulent améliorer. En tant qu'expérimentateur, votre travail consiste à répondre à leurs attentes, mais à aller plus loin. L'augmentation des CTR est agréable. Mais visez à augmenter les conversions plus profondément dans l'entonnoir. Poussez aussi loin que possible dans les mesures lucratives de l'entonnoir final, comme les applications terminées ou les achèvements de paiement. Mesurez les réalisations et quantifiez votre succès.

Pourquoi Justin Christianson ajoute des points de données secondaires

Nous basons nos buts sur des objectifs. Vous ne pouvez pas simplement penser aux ventes et aux revenus. Généralement, notre principale mesure sera à la fois les conversions de ventes et le RPV, mais cela ne brosse pas toujours le tableau le plus large de la façon dont les visiteurs interagissent.

Pour cela, nous aimons définir des points de données secondaires tels que l'ajout au panier, les clics sur les éléments, les visites sur certaines pages telles que le panier ou le paiement. Les objectifs secondaires changent légèrement selon la page ou le type de test. Parfois, les ventes et les revenus ne sont pas ce que vous essayez de viser en termes de résultat.

Nous utilisons notre expérimentation pour vraiment aider à comprendre ce qui intéresse les visiteurs, quels éléments ont du poids dans l'UX globale, puis à construire la stratégie basée sur ces résultats. Notre hypothèse pose généralement toujours la question, pourquoi ou quoi dans la situation. Cela pourrait être quelque chose d'aussi simple que de déplacer une section sur une page d'accueil, nos objectifs seraient alors les clics sur cette section, les ventes, les revenus, les visites sur les pages de produits. Ensuite, comment interpréter les données serait que si les visiteurs montraient un engagement plus élevé en déplaçant la section, alors cette section a du poids, donc les visiteurs préfèrent ce chemin global. Un exemple de ceci serait de présenter une ventilation des collections par rapport à l'affichage de blocs de produits réels sur une page pour un magasin de commerce électronique.

CXO : Le summum de l'apprentissage d'abord l'expérimentation ?

Le taux de conversion n'est pas une mesure de vanité. C'est devenu un terme étroit cependant.

Annika Thompson, directrice des services à la clientèle chez Speero

Le problème, explique Annika, n'est pas que le CRO est sans importance, mais qu'il vient avec une tonne de bagages. Ce n'est qu'un instantané dans le temps et sans contexte, cela peut être hors de propos et carrément dangereux.

D'autre part, le CXO ou l'optimisation de l'expérience client se concentre sur l'extraction d'informations de qualité sur les préférences et les comportements des clients - alimentant tout, des expériences de rupture de blocs de conversion à une stratégie commerciale robuste. C'est juste plus rentable pour vos tests.