Tester la série de cartes mentales : comment penser comme un CRO Pro (Partie 22)

Entretien avec Nils Koppelmann

Nils Koppelmann est un ardent défenseur des avantages de l'expérimentation et de la prise de décision basée sur les données. Il comprend qu'un test A/B réussi ne consiste pas seulement à découvrir si quelque chose fonctionne, mais pourquoi cela fonctionne - et il est là pour dissiper deux mythes courants à propos de cette pratique.

Que les tests A/B présentent des risques et que les petites entreprises ne peuvent pas tester efficacement. Au contraire, Nils pense que les tests A/B peuvent aider à réduire les risques en fournissant des informations sur ce qui fonctionne et ce qui ne fonctionne pas. Et même si les petites entreprises peuvent avoir moins de trafic que les grandes entreprises, elles peuvent en fait tester plus audacieusement car il y a moins d'enjeux.

Alors la prochaine fois que vous pensez que les tests A/B semblent trop risqués ou trop chers, lisez cet entretien avec Nils pour obtenir des conseils sur la façon de tester efficacement sur votre site sans introduire de risques inutiles.

Nils, parlez-nous de vous. Qu'est-ce qui vous a poussé à vous lancer dans les tests et l'optimisation ?

Au cours des 8 dernières années, j'ai créé des sites Web et des boutiques en ligne pour aider les clients, petits et grands, à "optimiser" leur présence en ligne.

Il y a quelque temps, mes réflexions se sont tournées vers la manière de garantir que nos conceptions aient vraiment l'impact souhaité.

Lorsque j'ai rencontré pour la première fois le terme optimisation du taux de conversion il y a environ 3 ans et demi, je me suis demandé pourquoi ce n'était pas quelque chose sur lequel nous nous concentrions déjà. À partir de ce moment-là, j'ai déplacé mon objectif de la conception et de la technologie vers la fourniture d'informations et de résultats.

Le monde de l'optimisation a tellement de potentiel qui est encore largement inexploré par la majorité des entreprises en ligne. Nous devons tirer parti de la grande quantité de données disponibles et en tirer des enseignements afin de pouvoir nous améliorer en permanence.

L'une des choses les plus frappantes pour moi, c'est à quel point c'est amusant d'apprendre à nouveau. Je n'aurais jamais pensé que j'ouvrirais volontairement un livre sur les statistiques (merci à Georgi Georgiev et son excellent livre Statistical Methods of Online A/B Testing) et que je le lirais réellement. Ceci et bien d'autres aspects continuent de m'inspirer à tester pour apprendre.

Depuis combien d'années optimisez-vous ?

Le désir d'optimiser découle du fait d'être insatisfait du statu quo, de la curiosité de savoir ce qu'il y a de plus et de la certitude que tout peut être amélioré.

Dans un contexte professionnel, j'optimise depuis environ 8 ans maintenant. Au départ, construire et optimiser des projets parallèles et aider les entreprises à améliorer leurs sites Web et leurs boutiques en ligne. Aujourd'hui, nous aidons les entreprises nouvelles et établies à créer une culture d'expérimentation et à utiliser le pouvoir des expérimentations pour contribuer à leur croissance.

En y repensant, je ne me souviens pas de ne jamais avoir optimisé. Déjà enfant, je remettais toujours en question la façon dont les choses étaient faites. Je me souviens que mon père disait que j'avais posé « trop » de questions, ce que, rétrospectivement, je suis vraiment content d'avoir fait et de faire encore.

Même dans ma vie personnelle, je suis connu pour suivre et optimiser la plupart des aspects de ma vie.

Quelle est la ressource que vous recommandez aux testeurs et optimiseurs en herbe ?

Il existe de nombreuses ressources que je recommanderais à quelqu'un qui débute, mais rendons cela un peu plus pratique.

Pour commencer, voici quelques suggestions :

1. Soyez plus curieux et commencez à vous demander pourquoi quelque chose est fait comme ça. Cela seul ouvrira une toute nouvelle vision du monde.
2. Passez plus de temps à réfléchir au problème qu'à trouver des solutions. Vous devez d'abord bien comprendre le problème, ensuite les solutions viendront plus facilement.
   
   Comme l'a dit Albert Einstein, "Si j'avais une heure pour résoudre un problème, je passerais 55 minutes à réfléchir au problème et 5 minutes à réfléchir aux solutions."
   
   Cela dit, il est important de sortir des sentiers battus, ce qui signifie non seulement penser à l'intérieur des paramètres du problème, mais aussi envisager des angles et des possibilités extérieurs.
   
   La clé est de trouver un équilibre entre les deux.
3. Apprenez à poser de meilleures questions. C'est l'un des outils les plus utiles qu'un optimiseur puisse avoir dans son arsenal, car il permet et exploite la curiosité.

De plus, je partage des articles, des ressources et des outils intéressants dans mon bulletin d'information hebdomadaire sur l'expérimentation, qui s'adresse aux débutants comme aux vétérans de l'expérimentation.

Réponse en 5 mots ou moins : Qu'est-ce que la discipline de l'optimisation pour vous ?

Testez pour apprendre. Amélioration continue. Expérimentation. Systèmes de construction.

Quelles sont les 3 principales choses que les gens DOIVENT comprendre avant de commencer à optimiser ?

Cherchez d'abord, puis testez. Avant de commencer à optimiser, assurez-vous d'étayer vos hypothèses avec des données, qualitatives et quantitatives. Ensuite, créez des hypothèses solides basées sur cela.

Ne vous contentez pas d'optimiser pour les améliorations à court terme - bien qu'il soit d'une importance vitale pour le programme d'avoir un retour sur investissement positif, il ne doit pas se concentrer uniquement sur cela, mais également prendre en compte l'énorme éventail d'opportunités d'apprentissage et le plafonnement des risques qu'apporte l'expérimentation.

Les efforts d'optimisation ne doivent pas viser à prouver que vous avez raison ou tort, mais à déterminer pourquoi - dans les deux cas. Il ne sert à rien d'optimiser quoi que ce soit si vous ne comprenez pas comment vous y êtes arrivé et comment répliquer pour y arriver. Pour un succès à long terme dans les tests A/B, il est crucial d'avoir de bons systèmes en place.

Comment traitez-vous les données qualitatives et quantitatives afin qu'elles racontent une histoire impartiale ?

Il n'y a pas de données impartiales, mais afin de minimiser les biais envers tout type de données, il est important de comprendre comment les données ont été collectées, comment elles sont interprétées et quelles conclusions en sont tirées.

Pour classer la fiabilité des données dont vous parlez, vous devriez consulter la hiérarchie des preuves.

Nous utilisons des données quantitatives pour pré-filtrer, puis utilisons des données qualitatives et des ressources scientifiques pour approfondir, puis à nouveau des données quantitatives pour prouver ou réfuter les suppositions et hypothèses initiales.

Au sommet de nos efforts se trouve la soi-disant méta-analyse, qui nous permet de rechercher des modèles dans les expériences précédentes et d'aligner d'autres efforts de recherche et d'expérimentation.

Un autre bon moyen d'éliminer les biais est de créer une déconnexion entre la personne qui crée l'expérience et celle qui évalue ses résultats. Cela minimise le biais vers le succès d'une expérience.

Quel est le mythe d'optimisation le plus ennuyeux que vous souhaiteriez voir disparaître ?

Je voudrais dissiper deux mythes :

1. Ce test introduit des risques, alors qu'en fait il diminue les risques lorsqu'il est effectué correctement
2. Que les petites entreprises ne peuvent pas tester, alors qu'en fait les petites entreprises avec peu de trafic peuvent tester plus audacieusement car il y a moins de risques associés / moins d'enjeux.

Espérons que notre entretien avec Nils vous aidera à orienter votre stratégie d'expérimentation dans la bonne direction !

Quel conseil vous a le plus marqué ?

Et si vous ne l'avez pas déjà fait, consultez nos entretiens passés avec les légendes CRO Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Deborah O'Malley , Andra Baragan , Rich Page , Ruben de Boer , Abi Hough , Alex Birkett , John Ostrowski , Ryan Levander , Ryan Thomas , Bhavik Patel , Siobhan Solberg , Tim Mehta , Rommil Santiago , et notre dernier avec Steph Le Prevost .