Tester la série de cartes mentales : comment penser comme un professionnel CRO (Partie 6)

Entretien avec Jakub Linowski de GoodUI

Vous êtes-vous déjà demandé pourquoi certaines personnes semblent avoir un talent pour le CRO ?

Ce n'est pas seulement parce qu'ils sont doués pour mettre en place des expériences. Ils savent aussi comment penser les choses d'une manière différente, ce que cette série vous aidera également à faire. Nous examinerons de près les mentalités qui constituent une CRO réussie et comment vous pouvez les appliquer à votre stratégie.

Si vous pouvez vous mettre dans le bon état d'esprit, le succès sera beaucoup plus facile que si vous essayez sans d'abord comprendre où pourraient se trouver vos angles morts. En fin de compte, la série Testing Mind Maps est destinée à vous aider à mieux planifier votre stratégie d'optimisation et à exécuter des tests avec plus de confiance !

Dans cet article, Jakub Linowski de GoodUI partage le fait que le pouvoir de l'expérimentation réside non seulement dans sa capacité en tant que méthode utile, mais également dans la génération d'informations puissantes pouvant éclairer de meilleures décisions.

Jakub, parlez-nous de vous. Qu'est-ce qui vous a poussé à vous lancer dans les tests et l'optimisation ?

J'ai été attiré par le monde de l'expérimentation vers 2014 lorsque mon expérience en design m'a conduit dans cette voie. Alors que les gens commençaient à partager des exemples de bonnes listes d'interface utilisateur et de «meilleures pratiques», moi aussi, et c'est ainsi que GoodUI.org est né. Cependant, il ne m'a pas fallu longtemps pour réaliser que toutes mes suggestions et modèles d'interface utilisateur étaient plus proches d'hypothèses visuelles que de tout ce qui était étayé par des preuves. Je voulais vraiment gagner en confiance et mieux filtrer les bonnes idées des mauvaises.

Donc, quand j'ai entendu parler des tests A/B, cela m'a plutôt excité (même si je n'avais aucune idée de ce qu'était un intervalle de confiance). J'ai embauché un développeur front-end et nous avons lancé une petite agence d'optimisation. Nous avons commencé à tester toutes les idées que nous lisons sur les blogs, entendues par nos clients, ainsi que par notre propre bibliothèque de modèles GoodUI émergente. La plupart de nos clients nous autorisant à publier ouvertement des tests a/b, il est devenu évident que certains modèles étaient meilleurs que d'autres. Certains n'ont pas fait grand-chose. D'autres ont bien reproduit. Et d'autres ont eu des résultats négatifs.

Il fallait maintenant peser ces expériences.

Et donc GoodUI.org a rapidement commencé à se transformer en un référentiel d'expériences similaires et comparables avec une boucle de rétroaction complète. Les éléments qui fonctionnaient mieux avec une fréquence et un impact plus élevés ont été mis en évidence au sommet (en utilisant des données agrégées médianes). Alors que les résultats des tests pour des modèles similaires ont été renvoyés dans notre base de données, corrigeant nos prédictions et augmentant la précision.

Alors oui, j'apprécie l'expérimentation à la fois pour la merveilleuse méthode qu'elle est, mais aussi comme une puissante source de connaissances professionnelles qui nous permet de faire de meilleures prédictions.

Depuis combien d'années optimisez-vous ? Quelle est la ressource que vous recommandez aux testeurs et optimiseurs en herbe ?

Nous avons effectué notre premier test de saut a/b en mai 2014 sur une page de destination de devis pour une grande compagnie d'assurance. La variation comprenait tout ce que nous savions à ce moment-là sur l'amélioration des formulaires, les formulaires de copie et de plomb basés sur notre propre expérience limitée. Le résultat était une augmentation relative de +53 % des dérivations (±28, p-val 0,0002). C'est ma première expérience qui m'a rendu accro.

En tant que ressource, j'aime apprendre de ce que les autres testent. Il est particulièrement intéressant et précieux de rechercher des expériences de grands acteurs comme Netflix, Airbnb et Amazon dont nous savons qu'ils ont une bonne taille d'échantillon et effectuent de nombreux tests. Dans l'ensemble, je pense que c'est toujours une bonne idée d'apprendre des gens qui ont une longueur d'avance sur nous (comme suggéré par beaucoup, y compris dans Mastery de Robert Greene).

Réponse en 5 mots ou moins : Qu'est-ce que la discipline de l'optimisation pour vous ?

L'optimisation signifie que nous améliorons les choses.

(Les résultats sont essentiels à l'optimisation. Par exemple, une centaine de résultats d'expérience plats ou indésirables ne sont pas assez bons. Vous pourriez en apprendre une tonne, oui. Mais pour que nous puissions optimiser quelque chose, nous devons déplacer l'aiguille dans la direction que nous voulons .)

Quelles sont les 3 principales choses que les gens DOIVENT comprendre avant de commencer à optimiser ?

EXPLORATION – générer autant d'idées que possible.

EXPLOITATION - hiérarchiser les idées avec les résultats antérieurs pour une plus grande rapidité.

EXPÉRIMENTATION – ouvrir nos idées pour qu'elles soient falsifiées ou validées.

Comment traitez-vous les données qualitatives et quantitatives afin qu'elles puissent vous raconter une histoire impartiale ?

Je suis d'accord avec l'idée de valider les résultats des tests a/b. En général, plus nous avons de mesures cohérentes, plus nos expériences peuvent devenir fiables et dignes de confiance.

Lorsqu'il s'agit de comparer les résultats, il existe plusieurs façons de le faire :

• Comparaison de plusieurs métriques de la même expérience (par exemple, cohérence de l'effet entre : ajouts au panier, ventes, revenus, retours d'achats, etc.)
• Comparaison des données historiques entre des expériences distinctes (par exemple, cohérence de l'effet entre deux expériences distinctes exécutées sur 2 sites Web distincts)

Quel type de programme d'apprentissage avez-vous mis en place pour votre équipe d'optimisation ? Et pourquoi avez-vous adopté cette approche spécifique ?

Je crois fermement que la réplication d'expériences est un élément essentiel pour améliorer la prédiction des résultats des tests (génération de connaissances professionnelles).

Par conséquent, dans notre propre plate-forme, nous regroupons des expériences similaires et agrégeons des métriques similaires.

Lors de la construction d'une base de connaissances à partir d'expériences, l'autre chose importante est de minimiser les biais de publication . C'est-à-dire, conserver un enregistrement de toutes les expériences indépendamment de leurs résultats (y compris les résultats positifs, négatifs, significatifs et insignifiants).

Quel est le mythe d'optimisation le plus ennuyeux que vous souhaiteriez voir disparaître ?

Plus récemment, j'ai été ennuyé par des gens qui prétendaient que l'expérimentation n'avait aucun inconvénient (bien illustré par ce merveilleux fil LinkedIn). Cela se manifeste parfois de manière subtile par des déclarations similaires à "il n'y a pas de tests perdants, seulement des apprentissages".

Cela pourrait être vrai dans les mondes de la tour d'ivoire où l'apprentissage est l'objectif clé et où l'expérimentateur est protégé des coûts.

Cependant, en tant que profession, lorsque nous utilisons l'expérimentation comme outil d'optimisation des sites Web des clients, il n'y a pas de repas gratuit. La réalisation d'expériences comporte ses coûts, ses risques, ses inconvénients et ses avantages. Sous cet angle, je pense qu'il est extrêmement sain de suivre et d'admettre les résultats pour ce qu'ils sont vraiment (y compris être à l'aise d'admettre des séries de tests négatifs et de ne pas les blanchir). Toutes les professions ont besoin de boucles de rétroaction positives et négatives pour continuer à s'améliorer.

Espérons que notre entretien avec Jakub vous aidera à orienter votre stratégie de conversion dans la bonne direction ! Quel conseil vous a le plus marqué ?

Assurez-vous de rester à l'écoute pour notre prochaine entrevue avec un expert CRO qui nous guidera à travers des stratégies encore plus avancées ! Et si vous ne l'avez pas déjà fait, consultez nos entretiens avec Gursimran Gujral d'OptiPhoenix , Haley Carpenter de Speero , Rishi Rawat de Frictionless Commerce , Sina Fak de ConversionAdvocates et Eden Bidani de Green Light Copy !