Comment organiser une réunion d'expérimentation qui transformera votre entreprise (et comment je le fais chez Workato)

Pour la plupart, je déteste les réunions.

Je l'ai dit à plusieurs reprises, dans des articles, des Tweets et à mes collègues.

Surtout, je n'aime pas quand les gens utilisent les réunions comme une béquille pour éviter de faire le travail, ou quand les gens dirigent mal les réunions et font perdre du temps à tout le monde.

Mais en tant que leader, je reconnais l'importance de certaines réunions. Particulièrement, dans mon cas, la réunion hebdomadaire d'expérimentation.

C'est vrai - la pierre angulaire du programme d'expérimentation chez Workato est juste une réunion. Nous ne faisons pas de standups quotidiens (nous les faisons de manière asynchrone sur Slack) ; au lieu de cela, une seule réunion au début de la semaine avec d'autres artefacts et rituels parsemés pour faire avancer la machine.

Ce sera mon premier et unique article plongeant profondément dans les détails de la façon dont je dirige cette réunion, pourquoi je la dirige de cette façon et comment je l'équilibre avec d'autres outils du programme d'expérimentation (comme les e-mails, les bases de données de partage des connaissances et les lectures).

Avant de vous présenter le procès-verbal, j'aimerais commencer par poser une question de haut niveau : pourquoi cette réunion en premier lieu ?

A quoi sert une réunion d'équipe d'expérimentation ?

Chaque réunion a besoin d'un but. Si cela n'a pas de but, cela ne devrait pas arriver.

Les trois utilités de mon rendez-vous hebdomadaire d'expérimentation sont les suivantes :

• Apprentissage et partage d'idées
• Priorisation des initiatives
• Identification et élimination des goulots d'étranglement du processus

Cela signifie que nous éliminons la plupart des autres points de discussion qui ne tiennent pas compte de ceux-ci de la réunion.

L'expérimentation est accélérée par l'apprentissage

Lorsque vous commencez à construire un programme d'expérimentation, vous devez faire le dur travail de jeter les bases.

• Obtenir un outil de test approprié.
• Assurez-vous qu'il est intégré à votre outil d'analyse et que vous suivez les données de manière appropriée.
• Communiquer avec les cadres pour définir des attentes appropriées pour l'expérimentation.

Cependant, une fois que vous avez commencé à mettre à l'échelle l'expérimentation, ce que vous apprenez sur chaque expérience agira comme un potentialisateur pour le reste de votre programme.

Au fur et à mesure que vous réussissez 5 à 10 expériences par mois, la façon dont vous apprenez des gagnants, des perdants et des non concluants affectera le taux de réussite du prochain lot d'expériences que vous exécuterez. Et tout cela devrait être essentiel pour influencer la façon dont vous priorisez votre feuille de route.

Cela peut sembler une perte de temps, mais ce n'est pas le cas. Brian Balfour, fondateur de Reforge, souligne également l'importance des apprentissages dans la conduite d'une réunion de croissance :

Nous passons donc une grande partie de notre réunion à parcourir les apprentissages et à partager des idées.

Ceci est particulièrement utile si votre réunion est interfonctionnelle ou si des membres d'autres équipes sont à l'appel, car vous obtenez souvent des perspectives que vous n'auriez pas normalement.

Par exemple, lors de notre réunion d'expérimentation, nous invitons souvent des spécialistes du marketing produit à participer et à partager les découvertes récentes issues de la recherche client ou à partager les changements narratifs stratégiques à venir.

Les choses changent; la priorisation est agile

Lors de ma réunion, je veux préciser où nous visons, quelles mesures nous prenons pour y arriver, et qui est responsable de quoi.

C'est la suite de la réunion.

Découlant de ce que nous avons appris vient la question, "qu'allons-nous faire ensuite?"

Notre test de page d'accueil a été perdu. Qu'avons-nous donc appris et que ferons-nous ensuite ?

Une grande partie de la priorisation est en fait effectuée de manière asynchrone et sur une base trimestrielle - au moins les plus grandes expériences et les catégories thématiques les plus larges de nos projets.

Mais nous laissons beaucoup de marge de manœuvre pour de petits changements et itérations de la feuille de route en fonction des changements stratégiques et de ce que nous avons appris des expériences passées, et nous utilisons une partie de la réunion pour déplacer les choses afin de refléter cela.

Identification et élimination des goulots d'étranglement du processus

Enfin, il est important de découvrir les goulots d'étranglement du processus, surtout si vous êtes dans la phase de mise à l'échelle d'un programme d'expérimentation.

Cela nécessite une réflexion systémique, et c'est le travail principal du chef d'équipe ou du gestionnaire de programme. En effet, vous devrez identifier et mesurer chaque étape du processus d'expérimentation, de l'idée jusqu'à la production.

Quelles étapes prennent le plus de temps, ou plutôt, plus de temps que prévu ? Et comment pouvez-vous utiliser cette réunion hebdomadaire pour identifier ces retards et décalages afin de vous assurer que le reste du processus n'est pas trop affecté ?

C'est une partie essentielle de la réunion hebdomadaire, et plus encore, d'une manière générale, pour maintenir votre train d'expérimentation sur les rails.

Ce qu'il faut éviter dans les réunions d'expérimentation

Vous pouvez organiser vos réunions comme vous le souhaitez, mais pour la réunion hebdomadaire d'expérimentation de l'équipe, deux choses ont tendance à être une énorme perte de temps.

• Extraction de données ad hoc ou demande à quiconque de le faire
• Brainstorming et idéation non structurés

Lorsque vous extrayez des données ad hoc ou demandez à quelqu'un de le faire, notez-le. Si vous demandez à plusieurs reprises un peu de données, ajoutez-les à votre liste de contrôle de processus. Cela ne devrait pas être quelque chose qui revient à chaque réunion (cela fait perdre beaucoup de temps et de concentration). C'est là que les tableaux de bord et les rapports sont utiles.

En ce qui concerne le brainstorming non structuré, je ne déteste pas cela en général.

Mais il y a un temps et un lieu et généralement une méthode à la folie.

Lorsque vous passez un temps démesuré à trouver des idées lors de votre réunion hebdomadaire, vous réduisez le temps passé à identifier les goulots d'étranglement du processus et à vous assurer que vous exécutez les bonnes expériences.

Si une bonne idée au hasard surgit, c'est très bien. Si cela se transforme en une séance de remue-méninges peu structurée, vous devez poser votre pied et le mettre hors ligne.

Comment je dirige mes réunions hebdomadaires d'équipe d'expérimentation

D'accord, alors comment organiser ma réunion hebdomadaire de l'équipe d'expérimentation ?

Je devrai masquer certains détails concernant les expériences réelles que nous menons et les résultats, bien sûr, mais je couvrirai chaque partie avec autant de détails que possible.

les personnes

Tout d'abord, les personnes présentes chaque semaine font partie des fonctions centrales d'expérimentation stratégique. Il s'agit d'un petit groupe qui comprend des analystes, des spécialistes du marketing de performance, des développeurs Web et des chefs de produit. Mon manager assiste également de temps en temps, mais pas à chaque appel.

J'ai des réunions séparées avec notre équipe de conception car ils sont un centre d'excellence dans notre entreprise.

Ces personnes assistent régulièrement, puis j'invite de temps en temps des «invités» d'équipes adjacentes comme la conception, le marketing de marque ou le marketing de produit. De plus, pour ces appels d'invités, nous organisons généralement une session distincte, car son objectif est généralement d'introduire de nouvelles idées, d'améliorer la communication d'équipe ou de faire un remue-méninges.

Pour rendre cela plus générique, dans la plupart des cas, votre réunion d'expérimentation devrait inclure des personnes qui prennent des décisions sur la stratégie et des personnes qui exécutent cette stratégie. Typiquement, c'est :

• Responsable / responsable de programme
• Chef de produit
• Développeurs
• Créateurs
• Analystes

L'horaire

Je dirige cette réunion tous les lundis à 15 heures, heure centrale. Les lundis matins sont parfaits pour se préparer et faire un travail approfondi, ou régler les détails de la semaine précédente. L'après-midi, l'équipe est bien préparée pour discuter de la semaine à venir. Cela nous permet également de savoir sur quoi nous sommes censés travailler et prioriser tout au long de la semaine.

Ensuite, tout au long de la semaine, nous aurons des bilans asynchrones et des réunions 1:1 pour discuter des détails de ce sur quoi nous avons décidé de travailler lors de la réunion d'équipe de lundi.

Nous n'utilisons pas de jeu de diapositives pour le moment, mais nous pouvons l'incorporer. Si tel est le cas, je garderai les sections individuelles liées à nos délais indiqués ci-dessus, et le jeu sera envoyé le vendredi de la semaine précédente (dans le but de ne pas passer plus de 20 minutes le lundi matin à assembler la section de chaque personne) . Pour le moment, nous parcourons principalement notre base de données Airtable, que nous utilisons pour la gestion de projet.

L'agenda

Voici mon programme exact :

Durée de la réunion : 45 minutes

• Rattrapage informel : 5-10 minutes
• Apprentissages des expériences/recherches conclues : <10 minutes
• Hiérarchisation/nettoyage du backlog : <10 minutes
• Identification des goulots d'étranglement / bloqueurs : reste du temps (10-15 minutes)

Nous avons déjà parcouru chacune des sections ci-dessus et leur objectif.

Je vais vous donner quelques outils et cadres qui peuvent également vous aider avec chacun des éléments ci-dessus.

Enseignements tirés des expériences/recherches conclues.

La principale chose dont vous avez besoin ici est un bon système de documentation.

Avant qu'une expérience ne soit exécutée, j'exige qu'un document d'expérience soit rempli avec les sections suivantes :

• Arrière plan
• Objectif d'apprentissage
• Hypothèse
• Prédiction (qui est différente d'une hypothèse).
• Conception d'expériences (quantitatives et créatives)
• Suivi (ce qui se passe après la conclusion)

Ensuite, après l'exécution de l'expérience, deux autres sections sont remplies :

• Résultats
• Apprentissages

Et lors de notre réunion, nous couvrons brièvement les résultats et couvrons plus profondément la section des apprentissages. Celui qui était le «propriétaire» de l'expérience est celui qui présente les apprentissages, puis il y a une brève discussion sur la façon dont nous pouvons les appliquer. Parfois, cela signifie tester à une échelle plus large ou simplement adapter les apprentissages à des expériences similaires. Parfois, cela signifie itérer de manière significative.

Vos deux outils de choix dans cette étape devraient être :

• Le document d'expérience (cliquez ici pour voler mon modèle)
• Le système de partage des connaissances expérimentales / Wiki

Hiérarchisation/nettoyage du backlog : <10 minutes

Il y a un débat sur l'utilité de cette partie, mais j'aime garder une discussion de groupe car, contrairement à la simple production Web ou à la gestion de produits, l'expérimentation est soumise à de nombreuses pressions externes, des bloqueurs et des caprices.

Par exemple, nous pouvons ne pas avoir le buy-in pour une expérience particulièrement importante que nous avions planifiée, ou nous pouvons avoir un blocage de la conception. Mais nous voulons toujours maintenir notre cadence de test, donc dans ce cas, nous pouvons rester agiles et avancer une idée d'effort moindre à partir du backlog.

Dans certaines organisations, cette prise de décision incombe uniquement au chef d'équipe d'expérimentation. J'aime ouvrir la discussion au groupe.

Pourquoi?

D'abord, je ne veux pas écraser l'équipe sous le poids de mes scores de priorisation. Une partie de la valeur de l'expérimentation réside dans l'apprentissage de choses que vous ne vous attendiez pas à apprendre, et en permettant une autonomie de priorisation par rapport aux autres membres de l'équipe, nous obtenons des idées sur la table que je n'aurais pas mises là. Cela contribue également à améliorer la communication et les relations globales de l'équipe.

Deuxièmement, les gens sont plus enthousiastes à l'idée de travailler sur des choses sur lesquelles ils ont choisi de travailler. Si je commence à attribuer toutes les idées, je limite la passion que les gens peuvent ressentir pour les expériences individuelles (ce qui, à bien des égards, limite le potentiel de réussite de l'expérience).

Donc, dans cette section, nous travaillons essentiellement à partir de deux outils :

• Le kanban de gestion de projet (nous utilisons Airtable - voici un excellent modèle).
• La matrice de priorisation (nous utilisons PXL).

Identifier les goulots d'étranglement / bloqueurs : le reste du temps

Enfin, identifier les goulots d'étranglement.

C'est dur. Au début, il fait deux choses :

• Trouver des tendances dans les retards de livraison
• Poser des questions qualitatives et ouvertes à l'équipe

Dans mon Airtable (que je suis désolé de dire que je ne peux pas partager), j'ai quatre colonnes dans chaque carte :

• Conception due
• Conception livrée
• Développement dû
• Développement livré

Ceci s'ajoute aux étapes Kanban que nous suivons :

• Idée
• Document d'expérimentation en cours
• Document d'expérience en cours d'examen
• En développement
• Assurance qualité
• QA'd et prêt à être lancé
• Fonctionnement
• Conclu
• Poussé à la production

Cela me permet de voir où les choses prennent du retard. Si, par exemple, nous avons exécuté 10 tests et qu'aucun d'entre eux n'a été implémenté, nous avons un problème de production. Ou peut-être que nos expériences stagnent dans l'assurance qualité et que nous avons un arriéré d'expériences prêtes à publier en attente de lancement.

Dans la phase de développement, nous voulons également voir si nous attendons la conception ou les développeurs pour créer l'expérience. Si nous prenons du retard à plusieurs reprises, cela signifie que nous devons refactoriser les priorités de ces équipes ou éventuellement augmenter les effectifs.

Les questions qualitatives ressemblent à ceci :

• Quelqu'un a-t-il besoin d'aide de ma part cette semaine ?
• Y a-t-il des obstacles potentiels à l'accomplissement de nos objectifs cette semaine ?

Les réponses à ces questions devraient à la fois vous permettre de résoudre ces goulots d'étranglement à court terme et également d'identifier les modèles lorsqu'ils se répètent pour être corrigés à long terme.

Combler les lacunes : autres outils utiles du programme d'expérimentation

La réunion d'équipe d'expérimentation n'est pas le seul outil qui devrait figurer dans la boîte à outils de votre manager.

En fait, la plus grosse erreur que je vois faire par les responsables de l'expérimentation est d'essayer de tout faire en une seule réunion.

Vous souhaitez plutôt répartir vos rituels et vos artefacts afin d'utiliser le meilleur outil pour chaque travail que vous souhaitez accomplir.

La réunion de l'équipe d'expérimentation accomplit trois choses :

• Apprentissages et idées
• Priorisation et répartition du travail
• Identification et correctifs des bloqueurs.

Les autres objectifs du programme d'expérimentation qui pourraient vous intéresser sont les suivants :

• Obtenir des idées d'autres équipes
• Tenir les dirigeants et les parties prenantes informés du retour sur investissement et des résultats
• Partager les résultats avec d'autres équipes pour diffuser les connaissances en dehors de l'expérimentation

Selon votre organisation, vous devrez peut-être travailler davantage, comme tenir des tableaux de bord d'expérimentation ou travailler avec des scientifiques des données pour mettre en œuvre le processus DataOps afin d'automatiser certaines parties de l'analyse ou votre plateforme.

Mais pour les objectifs ci-dessus, je trouve que ces outils demandent peu d'efforts et sont très efficaces :

• L'e-mail d'examen de l'expérimentation
• La réunion de restitution de l'expérimentation transverse
• L'archive des expérimentations / outil de partage des connaissances

L'e-mail d'examen de l'expérimentation

Votre réunion d'équipe d'expérimentation ne devrait pas être consacrée à passer en revue les résultats, pour la plupart. Cela devrait être fait efficacement dans un tableau de bord et un e-mail hebdomadaire que vous, le responsable du programme, envoyez au reste de l'équipe et à toutes les parties intéressées.

Il devrait inclure :

• Expériences passées qui ont conclu + résultats
• Expérimentations en cours
• Expériences futures

Toutes les analyses et tous les tableaux de bord en libre-service peuvent également être inclus ici. J'aime créer des tableaux de résultats visuellement attrayants et des liens vers plus de détails pour les ringards du groupe. Mais dans l'ensemble, votre vice-président ne se souciera pas beaucoup des statistiques détaillées de chaque test individuel. Cet e-mail vise donc à gagner en visibilité sur vos efforts et à partager des résultats et des apprentissages de haut niveau.

La réunion de restitution de l'expérimentation transverse

Les équipes d'expérimentation ne doivent jamais agir comme un silo territorial. Vous limitez la diffusion des connaissances acquises par votre équipe et vous limitez également l'afflux d'idées perturbatrices.

Donc, chaque trimestre, j'aime organiser une lecture d'expérimentation interfonctionnelle où nous passons en revue toutes les expériences que nous avons menées et les apprentissages de haut niveau, puis nous ouvrons le microphone au reste des équipes pour commenter et proposer des idées.

Cela donne aux autres équipes – pour moi, généralement le marketing produit, la marque, le produit et la génération de la demande – un aperçu de ce que nous avons appris. Peut-être peuvent-ils l'utiliser pour influencer leur travail, leurs messages et leur conception.

Cela leur permet également de mettre sur notre radar des choses dont nous n'avions peut-être pas connaissance - une campagne à venir, une expérience menée sur le flux d'intégration, etc.

L'archive des expérimentations / outil de partage des connaissances

Enfin, l'outil le plus sous-estimé dans un programme d'expérimentation est un endroit où stocker tous vos résultats et apprentissages. De préférence, il s'agit d'un outil doté d'une bonne fonctionnalité de recherche et de marquage.

Cela permet aux parties très intéressées et engagées de simplement regarder par elles-mêmes ce qui a été exécuté.

Personnellement, j'utilise une combinaison d'Airtable et de Google Docs. Mais vous pouvez utiliser Notion, Confluence ou un outil d'archivage de tests A/B dédié comme Effective Experiments.

Conclusion

La réunion de l'équipe d'expérimentation est un rituel important qui peut faire ou défaire l'efficacité de votre équipe (vitesse et qualité de l'expérimentation) et l'efficacité (la visibilité et le respect de votre équipe dans l'organisation).

Traitez la réunion et les participants avec respect et restez fidèle à son objectif. Évitez les distractions et la dérive de la portée - il existe d'autres outils de brainstorming et de reporting. Et rapidement, vous constaterez qu'au lieu de redouter une autre réunion, vous attendez celle-ci avec impatience car elle est très productive. C'est là que nous avons atterri de toute façon.