Métriques d'entrée vs de sortie dans l'expérimentation : comment choisir ce qu'il faut mesurer

Les mesures que vous définissez et suivez pour votre programme d'expérimentation sont extrêmement importantes.

Ce que vous mesurez détermine votre concentration. Ils disent "vous ne pouvez pas gérer ce que vous ne mesurez pas".

Et même si c'est tout à fait vrai (vous pouvez certainement perdre du poids même si vous ne regardez pas de balance), c'est directionnel et pratiquement vrai (il est beaucoup plus facile de perdre du poids si vous regardez une balance).

J'ai passé une tonne de temps à réfléchir à ce qui compte dans l'expérimentation.

Plus important encore, j'ai passé beaucoup de temps à réfléchir à la fois aux métriques d'entrée et aux métriques de sortie.

Quelle est la différence entre les métriques d'entrée et de sortie ?

Les métriques d'entrée sont des indicateurs avancés, des choses que vous pouvez contrôler directement. En règle générale, ils suivent l'effort, l'allocation des ressources et l'efficacité opérationnelle.

L'idée des métriques d'entrée est qu'elles sont corrélées aux métriques de sortie.

Bien que vous ne puissiez pas prédire très précisément quel sera votre taux de conversion global, vous pouvez facilement contrôler le nombre d'expériences que vous exécutez, votre efficacité à pousser les gains vers la production et, dans une certaine mesure, votre taux de réussite. et la taille moyenne des gains sont.

Ces éléments peuvent et doivent correspondre à vos métriques de sortie, qui sont généralement des métriques commerciales numériques dont les parties prenantes se soucient. Ce sont les chiffres qui montrent si tous les efforts que vous consacrez à l'expérimentation sont réellement payants du point de vue du retour sur investissement.

Étant donné que les métriques de sortie se concentrent sur les résultats commerciaux, je vais d'abord les parcourir - la raison étant que vos métriques de sortie doivent déterminer vos métriques d'entrée.

En termes simples, vos métriques de sortie sont ce qui compte pour l'entreprise, et vos métriques d'entrée sont les leviers que vous pouvez contrôler pour obtenir ces résultats.

Métriques de sortie d'expérimentation

Les métriques de sortie sont ce que vous montrez à votre patron. Ils sont liés à la valeur de votre programme d'expérimentation et montrent que, dans l'ensemble, vous produisez un retour sur investissement positif.

De manière réaliste, une métrique de sortie d'expérimentation peut être n'importe quoi de quantitatif que vous pouvez mesurer. Dans la plupart des cas, il s'agit d'une mesure discrète ou binaire comme le taux de conversion, mais parfois c'est une mesure continue comme le revenu par visiteur.

Dans tous les cas, vous souhaitez cartographier votre métrique de sortie qui représente le plus de valeur pour votre entreprise.

La meilleure façon de diviser les statistiques d'expérimentation est en deux catégories : les micro-conversions et les macro-conversions (également appelées statistiques principales et secondaires) .

Micro-conversions vs macro-conversions (et métriques de surveillance)

Le conseil commun dans l'espace de test A/B est d'optimiser les macro-conversions.

Les macro-conversions, bien que définies par vous et votre entreprise, sont celles qui sont les plus proches de l'argent. En e-commerce, c'est l'achat ou le revenu par visiteur. En B2B, il peut s'agir de conversions de prospects de haute qualité ou peut-être d'inscriptions de produits pour un logiciel freemium.

Quel que soit le cas, vous pouvez mapper les micro-conversions directement sur les revenus. Ainsi, le retour sur investissement de ces expériences est facile à mesurer et à justifier des efforts.

Les micro-conversions sont les actions qui mènent à la macro-conversion et ont tendance à être fortement corrélées avec les achèvements de la macro-conversion.

Dans le commerce électronique, les micro-conversions peuvent être des ajouts aux paniers, des clics sur des bannières ou même des inscriptions à des listes de diffusion. En B2B, il peut s'agir de clics sur la page de tarification, de clics CTA ou d'inscriptions à une liste de diffusion.

Il existe également des métriques de surveillance ou des métriques de garde-corps . Ce sont des indicateurs de qualité que vous ne visez peut-être pas à améliorer, mais à ne pas nuire. Ainsi, si un test augmente le taux de conversion, mais également le taux de retour ou de remboursement des produits, vous ne pouvez pas pousser ce test en production.

Il n'y a pas de division universelle et objective entre les deux catégories, bien qu'il existe des lignes de faille évidentes. À savoir, la conversion génère-t-elle directement des revenus pour votre entreprise ?

Je vais parcourir 18 métriques de sortie ici, en les divisant en macro et micro-conversions. À la fin, nous discuterons de la manière de choisir les bons objectifs de production pour votre entreprise.

Macro-conversions

Mesures du taux de conversion (de tout type)

Le taux de conversion est la mesure de sortie la plus courante, mais il peut signifier beaucoup de choses pour de nombreux types d'entreprises.

À un niveau fondamental, cela signifie simplement que vous essayez d'augmenter la proportion de ceux qui voient une expérience, puis de terminer une action souhaitée après avoir visionné cette expérience.

1. Taux de conversion des prospects

L'un des types de taux de conversion les plus courants est le taux de conversion des prospects.

Il s'agit de la proportion de visiteurs de votre site Web qui s'inscrivent pour devenir un prospect. La définition d'un "lead" dépend bien sûr de votre activité. Dans certains cas, c'est quelqu'un qui s'inscrit pour demander une démo.

Parfois, les entreprises creusent davantage et ne comptent que les prospects «qualifiés», ce qui est basé sur l'enrichissement des données ou le filtrage de diverses dimensions pour déterminer si quelqu'un convient ou non au produit.

D'autres entreprises compteront les prospects qualifiés pour le marketing, tels que les visiteurs qui s'inscrivent à un webinaire ou téléchargent un livre blanc.

2. Inscriptions ou achats de produits

Les inscriptions de produits sont des macro-conversions claires. Si vous vendez des biens physiques, c'est quelqu'un qui les achète. Si vous êtes une entreprise SaaS freemium, il s'agit de quelqu'un qui entre dans votre produit pour la première fois.

Il est difficile d'imaginer un programme d'expérimentation marketing qui ne suive pas cela comme un KPI d'expérimentation de base.

3. Taux d'activation

En ce qui concerne l'expérimentation de produits, l'une des premières choses à garder à l'esprit pour une entreprise en croissance axée sur les produits est le taux d'activation.

Une fois que quelqu'un s'est inscrit, quelle est la première action significative dans le produit qui montre que l'utilisateur est engagé ?

Certaines entreprises ont défini cela pour une action ou un nombre d'actions spécifiques (Facebook avait la fameuse règle des 7 amis en 7 jours).

Ce moment est généralement appelé le «moment aha», le moment ou l'action qui amène l'utilisateur à comprendre la valeur du produit. Ce moment est généralement découvert à la fois grâce à des commentaires qualitatifs et à la capacité quantitative de corréler cette action avec une rétention plus longue ou de meilleurs taux de monétisation.

4. Taux de monétisation

Comme le taux d'activation, le taux de monétisation est couramment utilisé dans les entreprises de croissance axées sur les produits avec de nombreux utilisateurs freemium, ou au moins plusieurs niveaux de produits croissants.

Dans les modèles freemium, cette métrique est discrète - l'utilisateur gratuit passe-t-il la barrière pour devenir un utilisateur payant ou non ? Dans d'autres modèles, cette métrique peut être continue - par exemple, si une entreprise facture en fonction de l'utilisation comme AWS, ce n'est pas aussi simple que de faire la distinction entre les comptes "payés" et "non payés".

5. Inscriptions à la liste de diffusion

La plupart des entreprises réalisent à ce stade la valeur du marketing par e-mail et de la création d'une liste de diffusion solide. Surtout pour les spécialistes du marketing de contenu et les blogueurs, la macro-conversion la plus intéressante peut être la conversion des lecteurs en abonnés par e-mail.

Peindre cela avec une valeur en dollars nécessitera un travail d'analyse, mais si vous disposez de suffisamment de données historiques, vous pouvez généralement attribuer une valeur de revenu moyenne à un e-mail donné que vous collectez.

6. Taux d'activation des e-mails

Le taux d'activation des e-mails est une mesure marketing sous-estimée. Ce n'est pas parce qu'une personne s'inscrit à votre liste de diffusion qu'elle est engagée ou précieuse.

C'est comme la version « haut de gamme » du marketing par e-mail.

Vous pouvez définir "l'activation" ici comme vous le souhaitez, mais beaucoup incluront quelque chose comme "a ouvert l'un des trois premiers e-mails" ou une autre manière de montrer que la personne lit et ouvre réellement vos e-mails.

Mesures de la valeur client

Les métriques de valeur client sont généralement des variables continues, ce qui les rend un peu plus difficiles à utiliser comme métriques de test. Mais ils sont presque toujours l'approximation la plus proche de la valeur commerciale réelle, et ils peuvent agir comme d'excellents indicateurs retardés de votre travail.

7. Revenu par visiteur

Le revenu par visiteur est l'une des meilleures mesures composites pour le commerce électronique. Tout le monde n'achètera pas quelque chose, mais certains le feront. Et certains de ceux qui achètent achèteront une grande quantité de produit.

Le revenu par visiteur place une valeur moyenne sur chaque visiteur du site Web, vous incluez donc à la fois la taille de l'achat ainsi que le nombre de clients qui achètent dans cette équation.

8. Valeur moyenne des commandes

La valeur moyenne des commandes calcule, parmi ceux qui ont acheté, quelle est la taille moyenne des achats. Ceci est pertinent, encore une fois, pour les sites de commerce électronique où vous pouvez acheter directement sur place. Il pourrait également s'agir d'ASP (prix de vente moyen) dans les transactions B2B.

9. Nombre d'achats

Une sorte de mesure de rétention pour le commerce électronique, vous pouvez suivre le nombre d'achats sur une période donnée (mois, trimestre, année).

Cela permet de suivre les achats répétés et indique à la fois les caractéristiques du site Web ainsi que les canaux de marketing pour attirer davantage d'acheteurs réguliers (généralement le marketing par e-mail et la publicité payante). Il s'agit d'une métrique holistique qui cherche non seulement à optimiser la vente, mais également la deuxième et la troisième vente.

10. Conservation

Dans les produits SaaS, la fidélisation des clients est la clé de la croissance. Vous pouvez amener des milliers d'utilisateurs à s'inscrire, mais s'ils ne paient pas et continuent de payer, votre entreprise perdra des revenus au fil du temps.

Bien que de nombreux facteurs aient un impact sur la rétention au-delà du produit lui-même, les expériences peuvent également aider à déplacer l'aiguille sur la rétention. Cependant, le suivi de la rétention en tant que KPI d'expérience devient quelque peu difficile pour de nombreuses entreprises, car il s'agit d'un long cycle de rétroaction.

11. Valeur vie client

Enfin, le sommet mystique de la pyramide en matière de mesures composites : la valeur vie client.

Cela prend en compte toutes les mesures précédentes telles que la monétisation ou le prix de vente moyen, la rétention (combien de temps quelqu'un reste un client payant), ainsi que les taux de conversion moyens, puis crée une mesure composite à l'aide de formules de valeur à vie du client pour estimer combien, en moyenne, un client vaut pour votre entreprise.

C'est évidemment une chose très difficile à mesurer par expérience, mais en tant que KPI commercial, il est important de le savoir.

Cela vous permet de trouver des moyens d'augmenter la valeur du produit et de montrer à quel point certains canaux de marketing et campagnes publicitaires pourraient être réalisables.

Micro-conversions

1. Taux de clics (de nombreux types)

Le taux de clics est le principal type de micro-conversion. Que ce soit de l'annonce à la page de destination ou de la page de destination à la page de demande de démonstration.

Dans le commerce électronique, cela est souvent suivi comme un taux de clics vers la page du produit, ou peut-être même une action « ajouter au panier » ou l'affichage du panier. Cela pourrait également être quelque chose comme les taux d'ouverture des e-mails ou les taux de clics des e-mails pour les spécialistes du marketing par e-mail. Votre outil de marketing par e-mail devrait vous donner facilement ces informations ainsi que la possibilité de tester différentes versions A/B.

Bien sûr, vous devez cliquer à partir d'un emplacement pour accéder au suivant, de sorte que le taux de clics doit être en corrélation avec un volume d'achat ou de conversion plus élevé.

Mais si vous suivez uniquement le taux de clics en tant que KPI d'expérience, vous pouvez souvent le jouer par copie ou ruse UX.

Comme le dit Lukas Vermeer,

Le CTR est terrible pour optimiser les réservations d'hôtel (par exemple, EMK avec le sujet "BIÈRE GRATUITE" améliorera le CTR, mais réduira probablement les ventes une fois que les clients auront compris qu'il n'y a pas de bière sur votre site, certainement pas de bière gratuite).

Andrew Chen appelle cela la conservation de l'intention et postule que c'est l'une des raisons pour lesquelles les résultats des tests A/B ne se traduisent pas en premier.

2. Clics sur les liens

Les clics sur les liens sont exactement ce que cela ressemble - le nombre de personnes qui cliquent sur un lien donné. Il s'agit d'une autre mesure du taux de clics, mais pour certaines entreprises (c'est-à-dire les affiliés), cliquer sur un lien sortant est un indicateur d'intention important.

Je configure toujours le suivi des clics sur les liens sur les sites Web avec lesquels je travaille, principalement parce qu'il peut indiquer le comportement des utilisateurs du site Web et les opportunités d'optimisation.

Certaines expériences sont également mises en place dans le but de changer la direction du comportement de l'utilisateur (parfois en mappant sur une macro-conversion, mais parfois simplement en voyant s'ils peuvent générer plus de clics vers un nouveau module).

3. La vidéo joue

Si vous avez une vidéo sur une page de destination, il est important de savoir combien de personnes regardent réellement la vidéo ou la lisent.

Cependant, j'ai vu des expériences où le simple fait d'ajouter une vidéo augmente les conversions sans que de nombreux visiteurs voient la vidéo elle-même. Donc, si vous suivez cela, je vous recommande toujours de mapper vos expériences vers la macro-conversion sur la page.

4. Complétions vidéo

Il y a combien de personnes ont joué la vidéo et jusqu'où les gens regardent la vidéo. Les achèvements vidéo ou le taux d'achèvement vidéo vous montrent jusqu'où la personne moyenne passe à travers la vidéo.

Encore une fois, cela peut être important, en particulier sur les pages éducatives, mais je vous conseillerais tout de même de choisir un KPI commercial plus approprié, comme le taux de conversion des prospects. Vous pouvez toujours suivre l'achèvement des vidéos, et vous devriez probablement le faire, mais ce n'est pas parce qu'une personne regarde une vidéo entière qu'elle est plus susceptible de convertir.

5. Vues de la visite du produit

Pour de nombreuses entreprises B2B qui n'ont pas de plan d'essai gratuit ou freemium, une visite interactive limitée du produit est un excellent moyen de montrer aux visiteurs à quoi ressemble réellement le produit.

Voici un exemple de la visite guidée du produit de Pendo :

En tant que KPI, vous devez traiter cela comme des vues de vidéos ou toute sorte de vues de modules promotionnels. Bien qu'ils puissent et sont souvent corrélés avec un KPI plus centré sur l'entreprise comme le taux de conversion, ils ne le font pas toujours. Suivez donc ces éléments, mais mesurez également votre macro-conversion en tant que KPI principal de l'expérience.

6. Taux d'achèvement de la visite du produit

Encore une fois, il y a ceux qui regardent une visite de produit et rebondissent tout de suite, et ces visiteurs sont différents de ceux qui regardent une visite de produit et la terminent. Il existe peut-être une corrélation entre les taux d'achèvement des tournées de produits et le taux de conversion, mais il se peut aussi qu'il n'y en ait pas.

Si vous traitez la visite du produit comme un produit en soi, il est bien sûr important de voir combien de personnes la complètent. C'est une bonne métrique UX pour la visite du produit.

7. Vues de la page de tarification

La plupart des acheteurs B2B visiteront la page de tarification avant d'acheter, même si le moment où ils visitent cette page dans le parcours client est important. De nombreux spécialistes du marketing suivront le taux de clics vers la page de tarification en tant que micro-conversion.

C'est un peu comme la version d'ajout au panier qui existe dans l'optimisation du commerce électronique.

Métriques d'entrée d'expérimentation

Les mesures d'entrée dans votre programme d'expérimentation sont définies au niveau du programme. Ils ne suivent pas directement les revenus, mais ce sont des actions qui sont en corrélation avec les améliorations de vos métriques de sortie.

Dans la plupart des cas, vos métriques d'entrée d'expérimentation tenteront soit d'augmenter le retour de vos expériences, soit de réduire le coût de l'exécution des expériences (grâce à une efficacité accrue).

Je vais passer en revue 6 métriques d'entrée d'expérimentation ici.

1. Vitesse d'expérimentation

La vélocité des expériences mesure le nombre d'expériences que vous lancez au cours d'une période donnée.

En règle générale, les trois mesures d'entrée qui constituent la base de votre retour sur investissement sont le nombre d'expériences que vous exécutez, le pourcentage d'entre elles qui sont gagnantes et le gain moyen.

En termes simples, exécuter plus d'expériences (ou plus de variantes par expérience) augmente les chances d'obtenir un gagnant (à condition qu'il s'agisse d'expériences de bonne qualité).

L'augmentation de la vitesse de l'expérience est également excellente en tant que fonction de forçage ; il vous aide à voir où se produisent les goulots d'étranglement de développement et de production et où vous avez besoin de ressources supplémentaires.

2. Taux concluant

Pour moi, il n'y a rien de plus décourageant qu'une série d'expériences non concluantes. Je préférerais parfois voir une perte concluante plutôt qu'un test non concluant, car au moins je peux insinuer que ce que je teste est important pour l'expérience utilisateur.

Par conséquent, certaines personnes commencent à suivre les taux concluants - le nombre d'expériences concluantes sur toutes les expériences que vous exécutez.

Si votre programme en est à un stade antérieur ou si vous semblez exécuter de nombreuses expériences non concluantes avec peu d'apprentissage, cela pourrait être une bonne mesure pour vous forcer à sortir de cette ornière.

3. Taux de victoire

Nous voulons tous mener des expériences gagnantes. Une partie de l'expérimentation consiste à accepter qu'ils ne seront pas tous gagnants (s'ils l'étaient, vous devez vous demander combien de fruits à portée de main vous vous attaquez par rapport à essayer de nouvelles choses innovantes).

Le taux de réussite vous montre, parmi les expériences que vous exécutez, combien d'entre elles sont gagnantes ?

Si vous augmentez le nombre d'expériences et maintenez votre taux de réussite, votre retour sur investissement augmente (en supposant des coûts marginaux pour exécuter plus d'expériences). Si vous maintenez votre vitesse d'expérimentation mais augmentez votre taux de réussite, votre retour sur investissement augmente également.

C'est un levier clé pour améliorer le ROI des expériences.

4. Augmentation moyenne par victoire

Enfin, parmi les expériences gagnantes que vous menez, quelle est l'amélioration moyenne par laquelle elles gagnent ?

C'est très difficile à contrôler, car si nous pouvions prédire l'ampleur d'une expérience, eh bien, nous n'aurions pas besoin de l'exécuter.

Cependant, il est bon de le suivre, car, comme la vitesse d'expérimentation et le taux de réussite, il s'agit d'un indicateur avancé clair de la valeur de votre programme d'expérimentation.

De plus, l'incitation à des gains plus importants peut souvent amener les spécialistes du marketing et les spécialistes du marketing de produits à sortir des sentiers battus et à essayer des expériences plus importantes et plus innovantes.

5. Temps de développement

Je décompose mon processus d'expérimentation en étapes distinctes.

En règle générale, le flux de travail ressemble à ceci :

Idée d'expérience > document d'expérience > structure filaire > conception > développement > AQ > test d'exécution > analyse > document > mise en production

Je fixe des dates d'échéance estimées pour chaque étape au stade de la planification, puis je calcule le delta entre la date d'échéance prévue et la date réelle. S'il y a une trop grande différence, cela me montre que nous pouvons avoir un goulot d'étranglement de processus.

Le plus souvent, cela se produira au stade de la conception ou du développement.

Si vous pouvez améliorer ces étapes, vous pouvez augmenter le débit de votre expérience, qui est l'un des KPI d'entrée clés que nous examinons.

6. Délai de fabrication

Semblable au temps de développement, le temps de production mesure une étape du processus d'expérimentation : le temps qu'il faut pour passer de l'analyse d'une expérience gagnante à sa mise en œuvre en direct dans le produit ou sur votre site Web.

Cette étape est souvent sous-estimée. Les expérimentateurs célébreront une victoire et passeront ensuite à la suivante, mais la rapidité avec laquelle vous implémentez quelque chose est importante. D'une part, cela réduit les regrets - le temps pendant lequel vous travaillez avec une variante sous-optimale.

Deuxièmement, l'amélioration à ce stade vous permet de consacrer de plus en plus de temps de développement à la mise en place d'expériences ultérieures.

Paramètres de composition et critère d'évaluation global

Il existe un concept dans l'expérimentation connu sous le nom de critère d'évaluation global. On pourrait aussi l'appeler une métrique North Star.

Il s'agit d'une métrique qui prend en compte les métriques de garde-corps (c'est-à-dire les métriques à surveiller et à prendre en compte qui peuvent impliquer des dommages ou des pertes d'expérience utilisateur). Les métriques Guardrail peuvent inclure des éléments tels que le taux de rebond, le taux de sortie ou même des scores d'attitude tels que NPS ou CSAT.

L'évaluation globale combine aussi parfois quelques métriques de sortie différentes en une seule métrique de réussite.

Ces mesures ne sont presque jamais des indicateurs à court terme comme les clics, mais plutôt un suivi d'un objectif macro-commercial.

Ronny Kohavi a donné ces exemples, "les unités achetées, les revenus, les bénéfices, la valeur à vie attendue ou une combinaison pondérée de ceux-ci".

Bien que la création d'un critère d'évaluation global soit souhaitable, cela demande généralement beaucoup de travail d'ingénierie des données, en particulier si votre modèle commercial est un marché ou quelque chose de moins simple que le commerce électronique (bien que même dans ce cas, il soit difficile de suivre la valeur à vie du client sur une base par expérience).

Le point plus large, cependant, est le suivant : plus vous vous rapprochez de la formation d'un indicateur de réussite complet - un qui prend en compte la valeur commerciale à long terme ainsi que les mesures de garde-corps - plus votre programme d'expérimentation et ses objectifs seront clairs.

Comment choisir les objectifs d'expérimentation et les KPI

D'accord, nous avons parcouru une douzaine de métriques de sortie et plusieurs métriques d'entrée.

La question est donc de savoir comment vous et votre entreprise choisissez sur quoi vous concentrer - parce que c'est * un * choix, et de ce choix découleront toutes sortes d'incitations, de comportements et d'actions.

La meilleure façon que j'ai trouvée pour choisir vos métriques, objectifs et KPI est de créer un arbre d'objectifs.

Speero a un excellent exemple de visualisation d'arbre d'objectifs ici :

Dans ce document, ils commencent par des objectifs au niveau de l'entreprise, qui incluent des mesures de satisfaction client. Cela se traduit par des objectifs au niveau de l'équipe, qui se concentrent sur le développement réussi des fonctionnalités. Ensuite, il ralentit vers des objectifs de niveau personnel, qui se concentrent sur les tests et la conception de nouvelles propositions de fonctionnalités.

Je crois que tous les objectifs d'équipe et personnels doivent refléter et contribuer directement aux objectifs de l'entreprise. Il s'agit d'alignement, et lorsque vous obtenez des résultats qui contribuent aux objectifs de l'entreprise, vous aurez beaucoup plus d'enthousiasme pour votre programme car vous montrez un réel retour sur investissement par rapport à la mission de l'entreprise.

La façon dont cela se présentera dans votre entreprise dépend de nombreux facteurs. L'important est de faire cet exercice et de réfléchir de manière critique aux objectifs que vous choisissez.

Conclusion

La façon dont vous définissez vos objectifs dans l'expérimentation affecte presque toutes les actions en aval de ces objectifs.

En théorie, il existe des milliers de mesures que vous pouvez suivre à la fois au niveau de la sortie et de l'entrée. Choisir les bonnes mesures, non seulement pour suivre mais aussi pour évaluer l'efficacité de vos expériences ou de votre programme, est d'une importance cruciale pour le succès de votre programme.

Donc, en réalité, je pense que vous devriez choisir de vous concentrer sur le moins de métriques possible. Cela permet de se concentrer, mais cela vous donne également le temps de les améliorer au fil des mois ou des années.

J'aime diviser mes objectifs en deux catégories : les métriques d'entrée et de sortie. Les métriques de sortie sont ce que je juge de mes expériences individuelles ou des résultats de mon programme d'expérimentation. C'est ce que je signale à l'équipe et aux dirigeants.

Les métriques d'entrée m'aident à construire un programme plus efficace. C'est sur eux que je juge mes propres efforts et ceux de mon équipe.

Comment définissez-vous les métriques d'expérimentation pour votre programme ? Vous concentrez-vous sur les mesures d'entrée ou uniquement sur les sorties et les résultats ?