Vous avez besoin d'un référentiel d'apprentissage de tests A/B pour exécuter des expériences basées sur l'expérience (selon les experts)

Votre programme de test vous semble-t-il manquer de structure ou d'impact ?

Vous exécutez des tests sans plan d'attaque et vous ne savez pas quoi prioriser ou où travailler ensuite ?

Peut-être vous perdez-vous en essayant de vous souvenir des tests que vous avez déjà essayés, de ceux qui ont fonctionné et de ceux qui ont échoué ?

Ou peut-être venez-vous de rejoindre un programme existant et n'avez aucune idée de ce qu'il a déjà exécuté, comment il a fonctionné ou par où commencer ?

Il peut être facile de se perdre dans les mauvaises herbes lors des tests A/B, mais heureusement, il existe un moyen simple de résoudre tout cela.

Nous avons récemment interrogé 5 CRO professionnels et une chose est immédiatement ressortie : si vous souhaitez mener des expériences basées sur l'expérience et développer votre culture de test, vous devez disposer d'un référentiel centralisé d'informations.

Qu'est-ce qu'un référentiel d'apprentissage ?

En termes simples, il s'agit d'un emplacement unique pour stocker toutes les informations sur les tests passés que vous avez exécutés.

• La page cible,
• L'hypothèse et ce que vous avez mis en œuvre,
• Les éléments de test et les variantes,
• Les résultats,
• Son impact sur les métriques importantes, etc.

Cela peut être aussi basique qu'un dossier sur un ordinateur portable ou un projet Asana, mais un référentiel d'apprentissage est bien plus qu'un simple système de classement glorifié…

Un « référentiel d'apprentissage de l'expérimentation » permet à l'ensemble de l'entreprise et des parties prenantes de voir quelles expériences ont été menées à ce jour et quels enseignements ont été acquis. Le référentiel offre au lecteur la possibilité de consommer le contenu à son rythme et à sa vitesse, ce qui est important dans une entreprise mondiale.

– Max Bradley, responsable de l'expérimentation Web chez Zendesk

Cela signifie un accès facile à toute votre équipe à tous vos tests passés, ce qui peut réellement vous aider à développer cette culture de test.

Comment?

Plus les gens sont impliqués dans les tests et voient les tests se dérouler, plus ils adoptent rapidement l'état d'esprit.

En voyant quels tests ont déjà été exécutés et leurs résultats, cela peut susciter de nouvelles idées et de nouveaux angles pour quiconque a accès à ces informations. Cela peut alors conduire à un aha! moment dans différents domaines de l'entreprise en dehors de l'équipe de test, qu'ils peuvent ensuite tester par eux-mêmes ou présenter à l'équipe de test.

Par exemple, si le service des publicités payantes a identifié le langage le plus efficace qui a été amélioré dans les tests de page, il peut vouloir l'essayer dans sa copie publicitaire, sa recherche payante ou ses réseaux sociaux, car cela résonne clairement avec le public.

Non seulement l'accès aux tests passés ouvre de nouvelles idées avec les membres externes de l'équipe, mais il réduit également le temps passé à essayer de trouver des informations importantes.

Cependant, un référentiel d'apprentissage ne se limite pas à un accès à l'échelle de l'entreprise et à un gain de temps :

Les apprentissages sont le principe fondamental de la création de produits significatifs et efficaces, et la seule façon de collecter des apprentissages significatifs et validés consiste à exécuter des expériences et à collecter tous ces apprentissages dans un référentiel central. Les apprentissages de ce référentiel peuvent être utilisés dans de nombreux exercices comme par exemple : les arbres d'opportunité/solution, où vous travaillez vers un certain objectif utilisateur avec plusieurs approches de solution différentes.

La clé pour mener des expériences basées sur l'expérience est d'avoir un référentiel central accessible, structuré, consultable et correctement mis à jour/géré. Faire cela avec succès peut avoir un effet exponentiel sur la productivité et la qualité de la sortie globale du programme d'expérimentation .

– Matthias Mandiau, spécialiste de l'expérimentation et de l'analyse de données chez H&M Group

Comme le dit Matthias, plus nous comprenons notre public, mieux nous pouvons lui fournir des produits et des services.

Nous n'obtiendrons peut-être pas la perspicacité tout de suite, mais cela peut nous mettre sur la bonne voie, et à partir de là, nous pouvons encore nous améliorer et offrir le meilleur produit et la meilleure expérience utilisateur.

Mieux encore?

Continuer à apprendre et à gérer les résultats de nos tests peut nous aider à éviter des erreurs coûteuses…

Vous avez fait des expériences, évitez maintenant ces erreurs

Avoir un endroit pour stocker et accéder aux données passées est formidable, mais ce n'est pas le seul avantage.

En fait, au cours de nos entretiens, nous avons trouvé un certain nombre d'erreurs de programme de test courantes dont on parlait encore et encore - qui ont presque toutes été corrigées en disposant d'un référentiel d'apprentissage.

Ne pas respecter les données « chères » de l'entreprise

L'un des arguments les plus convaincants en faveur d'un référentiel d'apprentissage est le simple fait que toutes les données des tests sont la propriété de l'entreprise.

Vous consacrez un temps et de l'argent précieux à la collecte de ces données. La dernière chose que vous voulez faire est de ne pas le stocker ou l'utiliser, ou pire, ne jamais y revenir pour vous aider à planifier de nouveaux tests et apprendre des précédents :

Pourquoi investir autant d'argent dans un programme d'expérimentation alors que le principal résultat de celui-ci (les apprentissages) n'est pas pris en compte ?

Une bonne vue d'ensemble est essentielle pour comprendre ce sur quoi on a déjà travaillé, ce sur quoi on devrait maintenant se concentrer et ce sur quoi on devrait bientôt travailler. De cette façon, la connaissance ne dépend pas des personnes, car les personnes vont et viennent dans les entreprises.

En plus de cela, cela permet un meilleur partage des connaissances, une meilleure intégration, la préparation de meilleures analyses de rentabilisation, une meilleure recherche…

– Matthias Mandiau

Avoir une vue d'ensemble de votre programme de test peut vous aider non seulement à mieux tester, mais aussi à former de nouveaux employés ou même des chefs d'équipe. (Et contournez le problème de la perte de toutes les informations lorsque le responsable CRO quitte l'entreprise).

Comment?

Eh bien, maintenant, les nouveaux membres peuvent voir ce qui a été essayé auparavant, ce qui a fonctionné et peut-être ce qui avait le potentiel de fonctionner mais n'a pas été mis en œuvre correctement ou pourrait être itéré plus loin…

Passer à côté du développement d'un « instinct instinctif » à l'échelle de l'entreprise qui s'appuie sur l'expérience (et les données)

Il n'y a rien de mal à utiliser votre instinct pour trouver des idées de test. Parfois, vous avez simplement une intuition à partir de données ou d'expériences qui peuvent vous aider à formuler une hypothèse et à faire un test initial.

Cependant, vous devez faire attention à toujours vous fier à cet instinct et à ne pas prêter attention à la recherche et aux données à la place.

Une chose que je dis à mon équipe (chez Bouqs) est que… lorsque vous n'avez pas de données (apprentissage enregistré/artefacts des tests), vous devez prendre des décisions en fonction de votre instinct ou de l'instinct des parties prenantes. Une base de données des apprentissages crée un
instinct pour nous tous que nous pouvons utiliser comme contrôle intestinal, mais qui n'est pas seulement le nôtre ou biaisé.

– Natalia Contreras-Brown, vice-présidente de la gestion des produits chez The Bouqs

Les plus grandes entreprises avec les programmes CRO les plus matures sont presque toutes axées sur les données. Ils font des choix en fonction de ce que les données leur disent être le plus important et c'est souvent pourquoi ils deviennent les leaders du marché.

Ne devenez pas coupable de tester uniquement sur des choix et des opinions instinctifs, et ne vous concentrez pas uniquement sur les métriques. Prenez le temps de trouver les informations contextuelles de chaque résultat de test. Suivez les informations et, surtout, suivez et enregistrez ce qui s'est passé et pourquoi vous pensez que cela s'est produit, afin de ne pas commettre l'erreur d'oublier ce que vous avez essayé et pourquoi cela a fonctionné.

Répétition des tests qui ont été exécutés auparavant

Nous avons déjà fait allusion à cela, mais sans suivre ce que vous faites, il devient très facile de relancer une idée de test que vous avez déjà essayée ou de manquer une idée de test parce que vous pensez qu'elle a déjà été exécutée.

Un référentiel d'apprentissage permet d'éviter de refaire des expériences qui ont été menées précédemment. Cela réduit également le temps passé à répondre aux questions sur les résultats et les apprentissages des parties prenantes pour l'équipe d'expérimentation.

-Max Bradley

Soyez gentil avec vous-même et votre future équipe et gardez une trace de ce que vous avez couru et de tous les détails de chaque test.

Il se peut que vous souhaitiez exécuter quelque chose de similaire, mais sans les détails de ce que vous avez essayé auparavant, il peut être facile de passer à côté ou de passer encore 30 jours à obtenir des données que vous auriez dû enregistrer.

Mauvaise communication ou manque d'accès à l'information

L'une des plus grandes différences entre les équipes CRO matures est leur capacité à communiquer ou à accéder aux informations rapidement et facilement. Pas seulement dans la facilité d'accès, mais dans l'efficacité avec laquelle ils peuvent fournir les bonnes informations.

Avoir un référentiel d'apprentissage bien documenté et organisé peut réduire les barrières de communication et même aider à ne pas mettre de côté les workflows de test, pendant que vous recherchez des informations et que vous mettez les choses en pause.

(Un référentiel d'expérimentation) est un système de gestion des connaissances qui contient toutes les données à un degré détaillé, et est accessible par l'équipe en général, mais facilite surtout la production d'artefacts de communication (couche de communication) pour les bonnes personnes dans le bon format à la bon moment.

Il s'agit de la « couche de données » dans le flux de travail de test, comme on le voit ici :

– Ben Labay, directeur général / CRO & Experimentation @ Speero by CXL

Laisser l'apprentissage (et l'argent) sur la table

N'oubliez pas que la majorité des tests échouent. Ce n'est que par l'itération et l'apprentissage des tests passés que vous vous améliorez et obtenez ces gains affectant le retour sur investissement.

Sans garder une trace de ce que vous avez couru et où vous avez été, il devient très difficile d'avancer et de voir des progrès, ou même de se sentir confiant dans votre processus de test.

Stefan Thomke l'a bien dit "bien qu'inondé d'informations venant de toutes parts, les managers d'aujourd'hui opèrent dans un monde incertain où ils manquent des bonnes données pour éclairer les décisions stratégiques et tactiques". L'expérimentation valide et la validation nous aide à apprendre . Il est essentiel de rassembler ces apprentissages dans un référentiel facilement accessible pour examiner ces apprentissages en vue de décisions futures.

– David Mannheim, vice-président du CRO, BrainLabs

Voici une représentation visuelle du processus idéal de Ruben de Boer :

Apprendre et s'améliorer à chaque test que vous exécutez est extrêmement important. Non seulement cela est directement lié au succès de vos futurs tests, mais cela peut même vous aider à étendre les gains actuels à d'autres domaines ou même à d'autres sites.

Presque toutes les autres expériences que nous menons chez H & M dans notre équipe produit sont soutenues par un apprentissage documenté d'une expérience précédente ou d'une autre méthodologie de recherche.

– Matthias Mandiau

Cette habitude d'apprendre et de répéter revient sans cesse chez presque toutes les personnes que nous avons interrogées.

Chez Brainlabs, environ 40 à 50 % de nos expériences pour Flannels, un magasin de vêtements pour hommes bien connu, étaient des itérations les unes des autres. Cela a démontré la puissance des apprentissages au sein d'une seule expérience et comment cela peut évoluer vers autre chose ; parce que nous apprenons toujours de la façon dont un stimulus pratique peut avoir un impact sur une variable .

–David Mannheim

Donnons-nous un autre exemple.

Supposons que vous ayez une page de capture de prospects et que la mise en page que vous utilisez fonctionne bien pour une page. Vous pouvez ensuite l'adapter à d'autres sur votre site pour voir si cela augmente également la portance.

Et si vous êtes une agence avec plusieurs clients dans des créneaux similaires ?

Les idées et les gains d'une entreprise pourraient mener à des idées et des conceptions qui pourraient également fonctionner pour vos autres clients…

Ce qui a fonctionné une fois, a de fortes chances de ne pas encore être pleinement exploité :

• Il peut fonctionner à nouveau avec une plus grande intensité (pour le même client)
• Cela peut fonctionner à nouveau ailleurs (pour le même client)
• Cela peut fonctionner à nouveau pour quelqu'un de complètement différent

En d'autres termes, les victoires passées ont un potentiel prédictif qui peut accélérer l'optimisation (plus de victoires, plus grande probabilité de succès, plus grande ampleur des effets).

– Jakub Linowski, GOODUI.org

Drip Agency a fait exactement cela avec 2 de leurs clients.

Ils ont pris les conceptions de mise en page gagnantes d'un client, puis les ont testées sur un autre pour augmenter immédiatement les conversions.

GoodUI a fait quelque chose de similaire. Ils ont pris des idées de test gagnantes et des informations d'un client et les ont utilisées comme base pour tester d'autres pages du site.

Cela leur a valu une augmentation de 42 % des conversions !

Ils ont ensuite fait un pas de plus.

Plutôt que de simplement mettre en œuvre des conceptions gagnantes pour un client, ils ont mené une étude de cas pour voir si vous pouvez prédire les tests gagnants en fonction des campagnes précédentes sur plusieurs sites Web.

La théorie étant que certaines conceptions UX peuvent fonctionner dans d'autres industries.

Ainsi, ils ont effectué 51 tests en utilisant les mises en page de conception gagnantes précédentes et ont obtenu un taux de réussite de 71 % en utilisant les gagnants précédents pour aider à concevoir de nouveaux tests sur d'autres sites.

Plutôt cool, non ?

Eh bien, voici une autre raison pour laquelle un référentiel d'apprentissage est si utile et c'est pourquoi les bons testeurs regardent les anciens gagnants.

Si vous y réfléchissez, GoodUI est essentiellement un type de référentiel d'apprentissage, en ce sens qu'il s'agit d'une base de données des tests passés et des gagnants sur plusieurs sites et industries.

Le fait est qu'ils verront souvent des conceptions réutilisées sur d'autres sites et remarqueront que des modèles particuliers donneront de l'élan. Peut-être que quelqu'un d'autre a fait le test mais cela a fonctionné, etc.

Étant les cookies intelligents qu'ils sont, GoodUI utilise ces modèles particuliers comme source d'inspiration pour les tests à exécuter pour les nouveaux clients…

Et c'est logique, non ? Une fois que vous avez résolu les problèmes techniques et décidé d'une page à tester, cela ne fait pas de mal de regarder les éléments de test passés sur des pages similaires et ce qui a fonctionné.

Vous pouvez utiliser d'autres sites pour vous inspirer au début, mais tous les experts sont d'accord. Vous devez commencer à créer votre propre référentiel dès que vous le pouvez.

Investir dans un référentiel d'expérimentation

Jakub Linowski a déclaré sur LinkedIn que si vous examiniez des professions telles que les médecins, les ingénieurs, les athlètes et les militaires, vous verriez que la plupart de leurs succès et de leur croissance reposent sur les apprentissages qu'ils ont générés lors d'expériences passées.

Avec cette image mentale, vous pouvez imaginer à quelle vitesse le domaine CRO peut se développer dans son ensemble lorsque les expériences ne doivent pas toujours commencer au niveau 0. Mais sans référentiel d'apprentissage, c'est exactement le cas.

Et de nombreuses équipes CRO internes en sont coupables.

Si vous rapprochez cette idée de chez vous, il est clair que s'appuyer sur ce que vous savez déjà est un moyen solide de renforcer les efforts de votre programme d'expérimentation.

Référentiel = Plus de chances de réussite de l'expérience

Ce n'est que lorsque vous avez l'état d'esprit des tests d'apprentissage (et des tests passés) que vous appréciez réellement ce que l'expérimentation offre, c'est-à-dire une idée de ce qui fonctionne et de ce qui ne fonctionne pas, compte tenu du contexte et des circonstances.

20 "bonnes décisions" en UX, UI, Produit, Marketing (grâce à l'expérimentation) peuvent aider à assouplir les muscles décisionnels et à aiguiser l'instinct. Plus vous voyez vos opinions rejetées ou validées, plus vous avez une boussole pour découvrir ce qui fonctionne et ce dont votre public a besoin.

Ceux qui testent pour des raisons de taux de conversion passent à côté de cette vue d'ensemble. Il s'agit d'apprendre ce dont votre public a besoin, et non d'avoir raison.

Montrons comment :

Comment structurer votre référentiel d'apprentissage

Un référentiel d'apprentissage est destiné à éliminer les silos de données, à favoriser la collaboration et à renforcer la communication.

Si le vôtre n'est pas structuré correctement, il sera extrêmement difficile de répondre à ces exigences de base. Mais la chose à propos de la structuration de votre référentiel d'apprentissage est qu'il existe des options. Ils fonctionnent différemment pour différentes organisations.

Ce n'est pas un problème car nous vous décrirons les 3 modèles et vous pourrez ensuite imaginer ce qui s'alignerait parfaitement avec votre équipe, votre département ou votre organisation. Mieux encore, les experts recommandent un modèle spécifique.

Il semble y avoir un gagnant en termes de structure d'équipe d'expérimentation : le Centre d'Excellence.

1. Un Centre d'Excellence (CoE) habilite et équipe les équipes d'expérimentation départementales

Dans ce modèle, l'équipe d'expérimentation est le centre d'excellence du programme d'expérimentation de l'ensemble de l'organisation.

Donc, ils sont une sorte de concierge pour quiconque dans d'autres départements qui veut faire des expériences. Vous passez par eux et ils vous aident à le mettre en place.

Ensuite, ils supervisent l'intégrité de ces expériences et veillent à ce que tout soit aligné sur les objectifs généraux d'expérimentation de l'organisation.

Structurer de cette façon aujourd'hui supprimera les problèmes de downline demain. Parce que tout est maintenu sur la même voie, facile à surveiller et que la création d'un référentiel d'apprentissage de cette manière est facile à coordonner.

Le principal défi ici est qu'il ne serait pas aussi accessible qu'un modèle décentralisé.

2. Les unités décentralisées siègent dans tous les départements et embarquent tout le monde

Des unités décentralisées se trouvent dans divers départements et exécutent les tests réels. C'est une excellente stratégie car ils ont le plus de savoir-faire de leurs propres boucles et mesures de croissance, ils sont donc les mieux placés pour concevoir et exécuter des expériences à fort impact.

Dans ce modèle, tout le monde peut exécuter des tests, quel que soit son département et son niveau d'expérience en matière d'expérimentation. Combiné avec le CoE, il attire quelques admirateurs…

Je suis un grand fan de l'expérimentation décentralisée, travaillant aux côtés d'un centre d'excellence pour contrôler la qualité et évangéliser les tests AB. D'après mon expérience, ces structures fonctionnent mieux pour les cultures qui embrassent vraiment le pouvoir de l'expérimentation. En termes de référentiel d'apprentissage, cela devrait suivre le mouvement; les membres de l'équipe doivent être habilités à mener des expériences et à mettre en évidence les enseignements tirés des fruits de leur travail .

–David Mannheim

La responsabilité de maintenir le référentiel d'apprentissage suit donc également le mouvement.

3. Géré par une seule personne pour collecter et maintenir les apprentissages de l'expérimentation

Cependant, contrairement au modèle CoE seul, le référentiel d'apprentissage du modèle décentralisé est plus difficile à coordonner.

Il est utile d'avoir un rôle désigné qui est responsable de documenter et de maintenir les apprentissages. Et il y a quelque chose de bénéfique à ce sujet :

Géré par le responsable de programme/projet (suivi) et le stratège de test principal (qui saisit les « histoires »), mais s'il est correctement effectué, il peut avoir des entrées à toutes les étapes, car les entrées sont transmises sous forme d'entrées de formulaire telles que des formulaires de problème, de nouveaux trackers de campagne, nouvelles idées de solutions de test, etc .

– Ben Labay , directeur général / CRO & Expérimentation @ Speero by CXL

Matthias Mandiau est d'accord avec Ben.

Je préfère un hybride entre centralisé/décentralisé :

Le référentiel doit toujours être accessible (cloud).

Nécessité de pouvoir combiner différentes méthodologies de recherche pour créer des hypothèses solides.

La configuration et la gestion du référentiel et la propriété doivent être confiées à 1 équipe/responsable (centralisé). Bon pour suivre les KPI de performance des macro-expériences de haut niveau au niveau central.

Chaque équipe de produit qui travaille avec l'expérimentation devrait avoir une partie prenante (analyste de données/CRO) qui a la responsabilité de prendre soin de tous les apprentissages collectés qui sont téléchargés dans le bon format vers le référentiel central. Il est également bon de suivre les KPI de performance des micro-expériences au niveau de l'équipe produit au sein de l'équipe décentralisée. Il peut s'agir d'un tableau de bord lié à GA ou au référentiel par exemple .

Chez Zendesk, un responsable est en charge de la maintenance du référentiel, mais les entrées proviennent des « propriétaires de tests » :

Actuellement, nous avons le référentiel géré par une équipe au sein de l'entreprise avec une personne qui en assume la propriété globale. Les « propriétaires » de test sont priés d'ajouter les apprentissages après la fin du test dans la zone correspondante du référentiel.

-Max Bradley

Et c'est ainsi qu'une personne (ou une petite équipe) gérant un modèle de type décentralisé peut maintenir l'efficacité et la qualité du référentiel d'apprentissage par expérimentation.

C'est similaire à ce que fait GoodUI - en s'appuyant sur les apprentissages de tous les secteurs verticaux et de tous les clients pour créer une excellente ressource d'informations sur l'expérimentation.

Ainsi, même si vous ne disposez pas encore d'un référentiel d'apprentissage, vous disposez d'un puits de connaissances dans lequel puiser. Les plans de Convert sont livrés avec un abonnement à prix réduit GoodUI.

Comment documenter vos apprentissages

Comme tout système de classement organisé, votre dépôt d'apprentissage ne peut pas être un endroit où stocker des données. Il doit y avoir une manière précise et appropriée de documenter les apprentissages afin que cela soit utile à tout le monde.

Cela se traduira par une représentation visuelle intuitive des données, des récits de données sans jargon et une méthode simple pour localiser des tests spécifiques en cas de besoin.

Voici comment.

Capturez et enregistrez toutes les métadonnées des tests

La première étape évidente consiste à collecter les données des tests. Mais quelles données collectez-vous ? Il est facile de dire tout collecter, mais cela peut facilement devenir écrasant et décourageant.

Alors, quelles sont les données à inclure dans votre référentiel d'expérience ?

Il s'agit des métadonnées complètes d'un concept de test. Et il devrait principalement suivre les entrées en fonction des questions à poser, qui sont standard dans les catégories :

• Types d'essais
• pages
• Points de touche
• Publics
• Surfaces de croissance

Mais pas standard DANS ces catégories, par exemple, les audiences différeront selon l'entreprise, mais toutes les entreprises testeront sur différents segments d'audience.

–Ben Labay

Et à quoi cela ressemble-t-il ?

Explorons chacune de ces catégories afin d'obtenir une image plus claire :

• Types d'essais

Quel genre de test était-ce? Test A/B ? MVT ? Tests A/B/n ?

• pages

Ici, vous spécifiez la ou les pages de votre site où le test a eu lieu. Est-ce la page d'accueil ? Une page produit spécifique ? La page de tarification de votre marque SaaS ?

• Points de touche

Les points de contact sont des zones du parcours de vos clients où ils interagissent avec votre marque. Il peut s'agir d'une publicité, d'un catalogue de produits, d'un article de blog, d'e-mails marketing, de votre application, etc.

• Publics

Quel est votre public cible pour le test ? Ciblez-vous des segments spécifiques en fonction de critères ? Données comportementales ? Buts? Origine des visiteurs ? Géolocalisation ? Ou ils sont tous choisis au hasard ?

• Surfaces de croissance

Il s'agit d'une interaction ou d'une fonctionnalité qui encourage les utilisateurs à rester sur votre site ou à approfondir leur relation avec votre marque. C'est donc une sorte de crochet qui augmente la valeur de chaque visiteur. Cela peut être une offre d'essai gratuite ou une démo.

Pour enrichir vos métadonnées, vous souhaitez également inclure :

• Rendez-vous
• URL/Regex
• Itération sur le test précédent — lien vers un test précédent qui est la base du test sur lequel vous faites rapport.

Et vous scellez cela avec des informations plus percutantes. Comprendre…

• Captures d'écran de A et B
• Isolé ou non (# de changements)
• % d'impact avec intervalles de confiance
• Type de métrique

–Jakub Linowski

Plus il y en a, mieux c'est. Mais gardez-le pertinent et utile.

Voici un autre exemple de Max Bradley de Zendesk :

Pour un rapport de suivi ou un référentiel de base, le rapport de Convert vous montrera également le gagnant et ce que vous avez testé.

Respecter les différents styles d'apprentissage tout en préservant les informations

Vous devez faire appel aux différentes façons dont les gens préfèrent consommer les informations lors du stockage des données d'expérimentation.

Il y a certaines choses à garder à l'esprit lorsque vous faites cela…

Nous avons essayé beaucoup de méthodes différentes. En tant qu'agence, nous traitons à tout moment avec plusieurs parties prenantes différentes de différentes entreprises. C'est là que réside le défi – les gens assimilent les connaissances et apprennent différemment. Sont-ils des apprenants visuels, auditifs ou kinesthésiques ? Où sont-ils sur la clé Myers-Briggs ? La manière de communiquer avec vos parties prenantes est presque aussi importante que le contenu dans lequel vous communiquez. De mon expérience, j'ai appris qu'un référentiel d'apprentissage devrait être deux choses pour réussir :

• Thémable et mémo pour qu'il soit facilement filtré
• Succinct pour les apprentissages scannables.

–David Mannheim

Vous pouvez fournir autant d'informations que possible sur l'expérience signalée. Et le faire dans différents formats. C'est pourquoi vous avez besoin de captures d'écran, d'enregistrements vidéo et d'une histoire pour donner un contexte à tous les chiffres.

N'oubliez pas de le garder pertinent, concis et analysable .

Étiquetez vos tests pour maximiser les apprentissages

Le marquage de vos tests permet d'accéder facilement à tout.

Il vous aide également à comprendre le but d'un test en un coup d'œil.

Si votre référentiel se développe régulièrement, un jour, vous aurez des milliers de tests enregistrés et des centaines de personnes l'utiliseront pour balayer des idées, extraire des informations et éclairer des décisions.

Les apprentissages seront plus utiles si les gens peuvent avoir une idée de la position de chaque test dans le spectre de solutions de votre organisation.

Comment communiquer vos apprentissages pour un effet maximal

Votre référentiel d'apprentissage ne profitera à votre programme d'expérimentation que lorsque les gens l'utiliseront réellement.

Donc, en plus de le rendre accessible, présentez-le au reste de votre équipe et de votre organisation d'une manière qui a du sens et suscite l'intérêt pour l'expérimentation.

Mais comment fais-tu cela? Ce sont des chiffres et certains termes spécifiques à l'industrie qui pourraient être mal compris. Comment faites-vous pour que les gens de diverses disciplines apprécient les apprentissages que vous avez accumulés ?

La communication des tests A/B peut être délicate, mais si vous suivez ces étapes, vous éliminerez ces obstacles et tirerez le meilleur parti de votre référentiel d'apprentissage.

Faites-en une habitude

Tout d'abord, si l'expérimentation est un concept étranger là où vous vous trouvez, prendre l'habitude de passer par des apprentissages peut prendre un certain temps. Alors, faites preuve de patience avec vous dans ce voyage.

Votre mission ici est d'en faire une partie de vos activités hebdomadaires habituelles. Cela pourrait faire partie de la partie inspiration du brainstorming ou d'un jeu auquel vous jouez pour clôturer les réunions. Par exemple, votre propre version de "quel test a gagné?"

Cela fait partie du grand tableau de la construction d'une culture où l'expérimentation est une norme…

Prenez l'habitude de parcourir les apprentissages avec l'équipe de manière cohérente, amusante et inspirante. Cela doit faire partie du business as usual. Au moins une fois par semaine, il devrait y avoir une réunion pour passer en revue les hypothèses et les résultats des expériences. Chaque sprint doit contenir au moins 1 ou 2 expériences et faire de l'expérimentation une habitude crée une culture positive.

– Matthias Mandiau

En plus de les présenter dans les réunions d'équipe, les tests du référentiel sont également très faciles à partager dans les newsletters d'apprentissage. Avoir l'habitude de les ajouter ici facilite également l'adoption de l'expérimentation sur l'ensemble du site.

Soyez humble et transparent pour établir la confiance

Cela peut sembler cool de convaincre les gens que l'expérimentation a toutes les réponses, mais ce sera trompeur. Aidez vos collègues à comprendre comment tout cela fonctionne, ce que les chiffres représentent et la confiance que vous pouvez accorder à une certaine idée que vous avez tirée.

Ne présentez pas les informations comme si elles étaient fournies avec une certitude à 100 %. Au lieu de cela, montrez-leur que c'est l'une des meilleures façons de prendre des décisions, par opposition au « sentiment instinctif » et aux meilleures pratiques.

Faire le contraire leur fera perdre confiance dans le référentiel d'apprentissage que vous avez construit et il pourrait être abandonné pour ramasser la poussière.

Voici quelques conseils supplémentaires de Ben Labay de Speero sur la façon de communiquer les résultats :

Ne cachez pas les tests perdus. Au lieu de cela, utilisez cela comme une opportunité de montrer le double avantage des tests.

Si vous avez gagné, vous avez un aperçu de ce qui fonctionne. S'il perd, vous avez appris ce qui ne fonctionne pas, vous évitez donc de faire un changement qui nuit aux mesures clés.

Dans les deux cas, vous avez appris quelque chose qui peut être amélioré.

Lorsque vous présentez, structurez-la dans une histoire qui montre l'application réelle des idées et invitez les parties prenantes à participer à l'écriture de l'histoire, exactement comme le fait Max :

Nous présentons les apprentissages les plus récents toutes les deux semaines à notre équipe élargie et tous les mois à l'ensemble de l'entreprise. Nous essayons d'être le plus transparent possible en présentant autant les épreuves qui ont perdu que celles qui ont gagné. En plus de cela, nous demandons à tous les évaluateurs de soumettre leurs idées ou de poser toutes les questions qu'ils ont sur notre canal Slack dédié. Dans la mesure du possible, nous cherchons également à démontrer l'avantage en termes réels en plus du pourcentage d'augmentation, ce qui le rend plus percutant pour les lecteurs.

-Max Bradley

Ne bloquez pas l'apprentissage, impliquez tout le monde

L'expérimentation n'est pas réservée aux équipes de marketing, d'optimisation, de production et/ou de croissance. Être une organisation axée sur les données signifie saturer l'essentiel des processus de prise de décision avec des informations extraites de tests bien faits.

Et votre référentiel d'apprentissage se trouve en plein milieu de toute la mission.

Alors, embarquez tout le monde.

Oui, les gens auront différents niveaux d'expérience dans le domaine, mais ne laissez pas cela nuire au programme. Tant que chaque équipe a quelqu'un ou des personnes ayant une expérience plus approfondie de l'expérimentation, vous avez quelque chose en cours.

C'est aussi encourageant d'avoir dans l'équipe des personnes qui connaissent mieux l'expérimentation et d'autres qui en ont moins l'expérience. Avoir au moins 2 ou 3 personnes dans l'équipe qui ont l'expérience de l'expérimentation fait une grande différence .

– Matthias Mandiau

L'influence se propage naturellement de cette façon.

Investissez dans une nouvelle paire d'yeux et dans la pollinisation croisée des idées

Parfois, une perspective différente vous donnera des idées auxquelles vous n'aviez pas pensé. Alors, ne laissez pas vos apprentissages d'expérimentation reposer dans une bulle.

Soyez prêt à le partager avec d'autres experts dans votre domaine et voyez ce que vous pouvez apprendre de leurs commentaires.

Peut-être y a-t-il quelque chose qui n'a pas fonctionné sur un segment de clientèle, mais il existe une version légèrement différente qui peut fonctionner pour un autre ?

Ou peut-être êtes-vous tombé sur quelque chose dont tout le monde débat et maintenant vous pouvez rejoindre la conversation pour en savoir plus ?

Vous serez ravi de ce que vous pourrez découvrir lorsque vous impliquerez d'autres experts CRO. Même les appels de coaching peuvent faire partie de votre stratégie pour obtenir un point de vue différent.

Coaching – www.goodui.org/coaching – un ou deux appels mensuels avec les équipes d'expérimentation pour : examiner les plans de test, fournir des commentaires sur les conceptions de test et faire ressortir ce qui a fonctionné pour les autres.
–Jakub Linowski

Rendre l'apprentissage partageable

Certaines personnes utilisent Notion, d'autres utilisent Google Slides, et certains experts CRO suggèrent d'utiliser des tableaux Miro, mais le but est le même…

Communiquer les données de test et les idées avec le reste de l'équipe (ou toute autre partie prenante) afin de s'assurer que les apprentissages ont une portée suffisante.

Lorsque vous utilisez ces outils en ligne comme Notion, Google Slides, Miro et tout autre que vous trouvez attrayant pour votre équipe, vous facilitez l'accès au référentiel à partir de n'importe quel appareil et de n'importe où.

C'est idéal pour les équipes distantes et pour obtenir la nouvelle paire d'yeux dont nous avons parlé plus tôt.

Il est portable et peut facilement être partagé. Maintenant, vous donnez vraiment des ailes à vos apprentissages d'expérimentation pour qu'ils aient un impact total.

Utiliser Insights pour planifier des tests

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

Alors décomposons tout ça…

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

Ses fonctionnalités incluent :

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• Progress reports
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

Pourquoi?

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

Commencez le référentiel dès le premier jour. Commencez à éduquer les parties prenantes sur le fait que l'expérimentation est une question de validation et d'apprentissage, pas nécessairement d'argent. Plus vous démontrez « nous avons appris X de ce test » ou « Y de ce test », plus vous et vos parties prenantes serez alignés.

–David Mannheim

3. Construire l'adhésion avec preuve

Si personne ou seulement quelques personnes ne documentent leurs tests et partagent des informations entre les départements, vous devrez montrer pourquoi tout le monde doit se joindre à l'effort.

Démontrer avec succès les avantages d'un référentiel d'apprentissage pour le support des C-suites n'est que la première étape. La prochaine chose que vous devrez faire est de communiquer également ces avantages aux autres parties prenantes.

Matthias a partagé une façon fantastique de s'y prendre :

Commencez petit, maigre et agile. Exécutez des expériences, collectez des apprentissages et consacrez beaucoup d'efforts à les documenter. Faites un rapport décent après chaque expérience et ayez également des envois fréquents (mensuels, trimestriels, annuels). Concentrez-vous sur les expériences sur les gros poissons avec un impact positif et des apprentissages solides au début. Les résultats positifs motivent les gens à se lancer.

Une fois que vous avez recueilli quelques enseignements forts et percutants, il peut également être utile de montrer des résultats négatifs et d'expliquer quel impact négatif il y aurait eu si nous avions mis cela en œuvre sans expérience. Expliquez ensuite à quel point ces apprentissages sont importants pour les entreprises et pour prendre de meilleures décisions concernant les produits.

4. Une fois que cela fonctionne, commencez à regarder des outils spécifiques (apprenez et agissez d'abord, achetez plus tard)

Lorsque vous avez configuré un référentiel simple sur Google Slides ou sur la plate-forme gratuite de votre choix et que vous avez terminé les étapes 2 et 3, vous pouvez investir de l'argent dans un outil.

Ne sautez pas le pas et n'injectez pas d'argent dans un référentiel d'apprentissage jusqu'à ce que vous soyez sûr qu'il y a un retour sur investissement encourageant à réaliser.

Conclusion

S'il y a une grande chose à retenir de cet article, c'est que vous devriez commencer à considérer les apprentissages de l'expérimentation comme un atout pour l'entreprise. Cet atout vous fera gagner du temps et de l'argent. Et cela alimentera un programme d'optimisation davantage axé sur les données dans votre organisation.

Ne vous contentez pas d'exécuter un test, d'obtenir une victoire ou d'échouer, puis de vous dépêcher de passer à votre prochaine idée. Prendre le temps de communiquer et de structurer ce que vous avez découvert dans votre référentiel d'apprentissage donnera une structure à votre parcours d'expérimentation.

De plus, c'est le moyen le plus simple de passer le relais, d'évaluer l'impact des tests et de promouvoir une culture d'expérimentation passionnante.

Et comment commencez-vous à obtenir tout cela?

Faites comme les experts disent : commencez simplement.