Tester la série de cartes mentales : comment penser comme un professionnel de la CRO (Partie 14)

Entretien avec John Ostrowski "positif" (Expériences positives)

Un bon jugement et des compétences décisionnelles sont essentiels pour réussir en CRO. Pour John Ostrowski, l'optimisation consiste à comprendre le problème, à connaître votre public et à faire de la croissance un effort d'équipe.

Il croit que n'importe quelle métrique de résultat peut être améliorée dans une certaine mesure par l'expérimentation – mais cela n'en vaut pas toujours la peine. Vous ne pouvez pas simplement regarder les chiffres dans le vide - vous devez tenir compte des coûts d'opportunité, des risques et d'autres facteurs. Savoir quand "le jus en vaut la peine" (c'est-à-dire la priorisation) est l'un des plus grands défis auxquels les expérimentateurs sont confrontés. C'est là que les données qualitatives et quantitatives doivent être utilisées pour accroître la confiance dans les décisions.

John propose une nouvelle approche du CRO qui ne ressemble à rien d'autre que vous avez lu auparavant.

Plongeons dedans…

Jean, parlez-nous de vous. Qu'est-ce qui vous a poussé à vous lancer dans les tests et l'optimisation ?

Du Brésil aux États-Unis, en passant par la Hongrie et la Pologne. D'ingénieur en mécanique à analyste de données, expérimentateur et mentor de croissance.

J'ai été un optimiseur, peu importe où ou ce que je faisais.

Les outils ont évolué.

Le Lean Manufacturing est devenu Lean Startup.

Six Sigma est devenu un cadre de croissance des produits.

L'amélioration continue, Kaizen, est restée le dénominateur commun.

Le point de basculement pour passer au numérique complet a été une vision que j'avais en Hongrie : "Imaginez un monde où je travaille devant un ordinateur portable, de n'importe où, sans me rendre à l'usine…"

Depuis combien d'années optimisez-vous ? Quelle est la ressource que vous recommandez aux testeurs et optimiseurs en herbe ?

Avec les journées de l'industrie, environ neuf ans d'optimisation de quelque chose. Exécution d'efforts d'optimisation en ligne, en particulier, pendant environ 5 ans.

La première expérience dont je me souviens était entre deux machines d'estampage à froid avec des configurations différentes pour en savoir plus sur les différentes tolérances entre les lignes de production. Des moments de plaisir.

En ce qui concerne les ressources, je recommanderai un cours, un livre, un podcast et une newsletter.

Cours en ligne:

L'Experimentation Deep Dive de Reforge amène le jeu d'optimisation à un niveau stratégique.

Livre:

Je ne saurais trop recommander les expériences dignes de confiance en ligne de Ronny Kohavi. Il vous donne des super pouvoirs rien qu'en le lisant.

Podcast:

D'innombrables pépites d'or dans le café CRO de Guido.

Bulletin:

Plug sans vergogne pour la newsletter Positive Experiments, mon coin d'internet où je partage mes réflexions sur les expériences de croissance, la liberté financière et la positivité

Réponse en 5 mots ou moins : Qu'est-ce que la discipline de l'optimisation pour vous ?

L'extraction de jus vaut la peine d'être pressée.

— Notez que définir ce que la valeur signifie pour votre entreprise est un exercice en soi.

Quelles sont les 3 principales choses que les gens DOIVENT comprendre avant de commencer à optimiser ?

"Si j'avais une heure pour résoudre un problème, je passerais 55 minutes à réfléchir au problème et 5 à réfléchir aux solutions."

1. Comprendre le problème. Qu'essayez-vous de résoudre et pourquoi est-ce important ? Comment contribue-t-il à la croissance de l'entreprise ? Quelle est l'histoire que vous racontez ?
2. Connaissez votre auditoire . La dynamique du pouvoir est la force invisible dans les organisations à laquelle vous n'êtes pas exposé lors de l'intégration. Comment les parties prenantes réagissent-elles aux données et quels types de données préfèrent-elles ? Qu'est-ce qui les motive ? Connaissez votre public. Être un champion.
3. La croissance est un effort d'équipe et un jeu à long terme . Pour moi, les "hacks de croissance" appartiennent à la même catégorie que "devenir riche rapidement". Vous entendez des histoires sur ceux qui réussissent, et tous les autres millions qui ont échoué sont supprimés. Biais de survie. Les plateformes WYSIWYG permettent aux contributeurs individuels de faire beaucoup. Sachez ce qui est sous votre contrôle et ce qui ne l'est pas. Apprenez à trouver un effet de levier, qu'il s'agisse de main-d'œuvre ou de capital.

Comment traitez-vous les données qualitatives et quantitatives afin qu'elles racontent une histoire impartiale ?

Mon approche décisionnelle de la recherche est un mélange de Behzod Sirjani et de Douglas Hubbard.

Pour moi, la vie, les affaires et les investissements sont une question de bon jugement et de prise de décision.

Par conséquent, qual et quant deviennent des éléments de preuve pour une décision qui comporte un risque.

Je pense à travers les cinq étapes de l'économie appliquée de l'information (DDCMM):

1. Définir la décision.
2. Déterminez ce que vous savez maintenant.
3. Calculez la valeur des informations supplémentaires par rapport au coût de ne pas décider. (Si aucun, passez à l'étape 5.)
4. Mesurez là où la valeur de l'information est élevée. (Retournez aux étapes 2 et 3 jusqu'à ce que d'autres mesures ne soient plus nécessaires.)
5. Prenez une décision et agissez en conséquence.

Le choix de la méthode de recherche (étape 4) est une étape de priorisation en soi.

Connaissez votre public et quelles preuves augmenteront la confiance pour prendre la décision, puis définissez la meilleure méthode.

Évitez de choisir par défaut « lançons la méthode de recherche X » sans d'abord définir quel type de preuve sera le plus utile à votre décision.

Soyez conscient de votre public – parfois, une partie prenante répondra mieux aux entretiens avec les clients ou aux anecdotes.

Il convient de mentionner que mes expériences les plus percutantes étaient des hypothèses issues de recherches qualitatives, plus particulièrement des entretiens d'utilisateurs heureux.

Quel type de programme d'apprentissage avez-vous mis en place pour votre équipe d'optimisation ? Et pourquoi avez-vous adopté cette approche spécifique ?

Notre chapitre d'expérimentation est un groupe de 10 personnes soucieuses de la croissance, des étudiants permanents qui aiment se faire prouver le contraire par les données.

Soixante-dix années d'expérience combinées en optimisation, toutes issues d'horizons multiples.

En plus de ce que vous pouvez attendre des cérémonies de chapitre et de l'examen par les pairs, nous avons Reforge pour notre équipe.

Nous demandons à tous de suivre à la fois les séries Experimentation Deep Dive et Growth.

Avoir une langue commune est une superpuissance sous-estimée pour les équipes performantes.

Quel est le mythe d'optimisation le plus ennuyeux que vous souhaiteriez voir disparaître ?

Expérimentation? Euh... vous voulez dire CRO, n'est-ce pas ?

Voici comment je réfléchis, en quatre étapes :

1. Il existe des éléments de base (stratégie, outils et technologie, processus, personnes)
2. Qui contribuent à façonner la structure de gouvernance (hybride, centralisée, décentralisée)
3. Cela doit être en place pour qu'une culture d'expérimentation s'épanouisse (volant d'inertie des tests AB)
4. Et en fonction de la structure de votre organisation (par exemple, dirigée par le produit), différents flux de travail sont définis - pour iTech Media, les initiatives OKR, CRO et Safety Net, en savoir plus ici.

En tant qu'industrie, nous ferions mieux de nous éloigner de cette fausse dichotomie.

Nous pouvons faire mieux.

Espérons que notre entretien avec John vous aidera à orienter votre stratégie d'expérimentation dans la bonne direction !

Quel conseil vous a le plus marqué ?

Assurez-vous de rester à l'écoute pour notre prochaine entrevue avec un expert CRO qui nous guidera à travers des stratégies encore plus avancées ! Et si vous ne l'avez pas déjà fait, découvrez nos interviews avec Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Andra Baragan , Rich Page , Ruben de Boer , Abi Hough et nos dernières avec Alex Birkett .