Comment traiter les données qualitatives et les données quantitatives pour gagner des tests A/B ?

Si nous le décomposons en ses concepts de base, le CRO concerne moins les conversions que la compréhension de votre public et la manière dont il interagit avec votre site Web.

Plus vous les comprenez, ce qu'ils veulent et comment ils agissent sur votre site, meilleure sera l'expérience client et les offres que vous pourrez proposer.

Cela signifie que notre objectif principal en tant que testeurs est de trouver autant d'informations que possible . Plus nous avons de données, mieux nous pouvons planifier les tests et essayer de voir une augmentation des résultats.

Le problème?

Nous ne sommes pas toujours doués pour collecter ou comprendre ces données. Peut-être ne connaissons-nous pas les outils à utiliser, les processus pour trouver les informations, ou peut-être n'analysons-nous pas et n'obtenons-nous pas des informations précises, soit par manque d'expérience, soit pire, en ajoutant notre propre biais qui corrompt les résultats.

C'est ce que nous allons couvrir dans le guide d'aujourd'hui : comment collecter des informations sur votre public, les comprendre et les utiliser. Nous allons même approfondir et examiner d'autres testeurs et leurs processus afin que vous puissiez glaner encore plus d'idées et d'informations pour vos nouveaux tests.

Continuez à lire pour en savoir plus, ou cliquez ici pour apprendre "comment utiliser les données pour conduire des tests A/B gagnants".

Lorsqu'il s'agit de tester et de trouver des informations pour votre site ou votre application, nous souhaitons examiner deux types de données.

Des exemples d'analyse de données quantitatives pourraient être :

• Mesurer le trafic vers une page
• Le taux de rebond de ce trafic
• Le CTR
• Tarif abonné
• Taux de vente
• Valeur de vente moyenne.

La plupart des programmes de test commenceront à la fois par une analyse technique pour obtenir des données sur ce qui fonctionne ou ne fonctionne pas sur un site Web, puis par une analyse quantitative pour obtenir une référence sur les performances actuelles du site, avant de passer à une analyse qualitative.

Des exemples de données qualitatives sont

• Recherche d'utilisateurs
• Faire défiler les cartes
• Suivi des clics
• Cartographie thermique
• Enquêtes.

L'objectif est simplement de mieux comprendre le public et la façon dont il interagit, afin que nous puissions repérer les problèmes potentiels d'utilisation du site ou apprendre tout problème externe susceptible d'affecter ses actions sur le site.

Par exemple, bien que nous sachions qu'un CTA n'obtient pas beaucoup de clics, ce n'est que par le biais d'entretiens avec des clients que nous découvrons que le langage n'est pas clair ou ne résonne pas avec le public.

Quelle est la bonne façon d'utiliser les données dans les tests A/B ?

Bien qu'il semble que nous suivions uniquement des événements de conversion spécifiques ou surveillons le comportement des utilisateurs, l'objectif est de combiner des données quantitatives et qualitatives . Peut-être pour trouver des défauts techniques ou des problèmes communs, mais idéalement, nous les combinons afin de pouvoir nous informer et d'avoir une vision plus globale de notre public.

Nous ne voulons pas seulement des informations immédiates non plus. Nous voulons savoir pourquoi les choses se produisent, puis aller plus loin pour trouver la cause profonde.

Disons que nous faisons des recherches quantitatives et que nous constatons que le taux de conversion sur une page est faible. L'offre ou le produit n'est-il tout simplement pas recherché ? Ou devons-nous améliorer le processus?

Nous exécutons ensuite une carte thermique sur la page de destination et constatons que la majorité de l'audience ne clique pas sur un CTA spécifique, et nous pouvons donc supposer pourquoi. Peut-être que la langue n'est pas claire ?

Mais ensuite, lors d'une inspection plus approfondie, nous voyons que pour certains appareils, il est simplement hors écran, tandis que sur d'autres, il ne ressort pas assez pour être même clair qu'il s'agit d'un bouton sur lequel appuyer.

• Si nous ne regardions que les données qualitatives, nous penserions simplement qu'il s'agit d'un faible CTR.
• Si nous ne regardions que les données qualitatives, nous pourrions supposer que les gens ne cliquent tout simplement pas.

Mais en les combinant, on peut voir beaucoup plus profond. (C'est ainsi que nous comprenons vraiment les données dans les tests A/B.)

Le vieil adage est vrai dans la mesure où « ce qui est mesuré est géré ». La clé, bien sûr, est de s'assurer que nous ne prenons pas de décisions basées sur des ensembles de données limités ou erronés, alors regardez TOUJOURS plusieurs sources de données.

Apprendre à ralentir, à demander pourquoi et à laisser les données pénétrer vous aidera à devenir un bien meilleur testeur et résolveur de problèmes.

Plutôt que d'essayer de trouver la réponse immédiatement, demandez-vous si vous avez suffisamment d'informations :

• Vos utilisateurs ont-ils un problème facilement réparable (bouton cassé ou CTA faible) ou pourrait-il y avoir plus à cela qui pourrait également être amélioré ?
• Avez-vous un préjugé inhérent ou une expérience antérieure qui affecte vos idées initiales ?
• Pourriez-vous d'abord en savoir plus sur votre public ?

Et si, en approfondissant ce problème de CTA et de mise en page, vous constatiez que la majorité de votre public utilise des appareils mobiles obsolètes avec des résolutions d'écran et des vitesses de chargement différentes ? Il se peut qu'il leur manque la plupart de votre contenu et de vos interactions, et pas seulement votre CTA et vos pages de vente. Même le contenu de vos médias sociaux et de votre blog pourrait être affecté !

Allez encore plus loin. Pourquoi ont-ils ces appareils ? Ne peuvent-ils pas se permettre un appareil plus cher ? N'est-ce pas important pour eux? Si non, alors qu'est-ce que c'est ?

N'essayez pas seulement de prendre toutes vos décisions en fonction de ce que vous avez jusqu'à présent. Prenez votre temps, réfléchissez et plongez plus profondément avec n'importe quel résultat que vous obtenez. Trouvez la raison.

Grosses erreurs à éviter lors de la collecte et de l'analyse des données

Maintenant, ne vous inquiétez pas si vous êtes le type de testeur qui essaie de trouver un aperçu immédiat de sa recherche initiale car vous n'êtes pas seul dans ce cas.

Ce n'est là qu'un des rares problèmes récurrents que la plupart des gens rencontrent lorsqu'ils essaient de collecter ou de comprendre leurs données…

Problème #1 : Collecter des données pour prouver une opinion

Utilisez-vous des données pour découvrir de nouvelles informations ? Ou utilisez-vous des données pour valider des idées actuelles ?

Il est normal d'utiliser des données pour valider une idée. C'est le but de l'hypothèse. Nous avons une idée de ce qui ne va pas et comment y remédier, et nous essayons donc de le prouver avec le test et ses résultats.

Mais n'oubliez pas la méthode scientifique ! Nous ne pouvons pas nous attacher à nos idées et à nos opinions. Nous devons faire confiance aux données et trouver la vraie raison. C'est ce qui nous importe. Il n'y a rien de mal à se « tromper » avec une hypothèse. Découvrir un aperçu différent d'un test raté vous en apprend simplement plus sur votre public !

Méfiez-vous simplement des données qui vous disent une chose, mais que vous déformez pour essayer de prouver autre chose.

Problème n° 2 : Parrainer une analyse sans articuler clairement le problème

Un problème courant dans les tests (et même dans la plupart des entreprises) est que la personne qui analyse les données n'est pas toujours l'analyste.

Au lieu de cela, l'analyste est utilisé comme moyen d'extraire des informations dans des rapports pour un tiers qui tente de résoudre un problème. (Ils deviennent presque un tableau de bord glorifié.)

Voici un exemple :

• Votre patron a un objectif et un problème.
• Ils ont une idée approximative de la solution et de la cause, et demandent donc à l'analyste des données sur XYZ, mais sans contexte. Ils essaient de comprendre si ce problème et cette solution pourraient fonctionner.
• Habituellement, il y a des allers-retours pour demander plus de données. Soit cette demande soutient faussement l'idée, soit aucune autre compréhension ne s'est produite.
• Et donc de nouveaux tests ou idées sont proposés, et le problème reste non résolu.

Pas génial, non ?

Mais imaginez si le patron venait voir l'analyste avec le contexte du problème particulier et qu'ils travaillaient ensemble pour articuler le problème et trouver la cause profonde ?

Cela pourrait à la fois accélérer la compréhension et les nouveaux tests pour le résoudre.

Problème n°3 : S'appuyer sur une seule source de données sans s'immerger dans différentes perspectives

Nous y avons déjà fait allusion, mais il est si important de ne pas s'en tenir à une seule source de données, car vous limitez considérablement votre compréhension et vos solutions et idées de test potentielles.

Plus vous avez de sources, mieux vous pouvez brosser un tableau de ce qui se passe et pourquoi.

Oui, cela prend du temps, mais l'optimisation du taux de conversion consiste à comprendre ce public. Faites le travail et apprenez autant que vous le pouvez.

Plus vous en savez, mieux c'est !

par GIPHY

Problème #4 : Ne pas prioriser la pensée critique en tant que compétence

Nos cerveaux sont bizarres. Nous fonctionnons sur un système d'impulsions de base, de moteurs émotionnels et d'expériences antérieures. Le but étant de nous maintenir en vie, de procréer et de prendre des décisions sans trop gaspiller d'énergie.

Sachant cela, il est toujours judicieux pour les testeurs (et tout propriétaire d'entreprise) d'être conscients du processus de la pensée critique et des biais cognitifs et de la manière dont ils affectent notre compréhension et nos décisions…

Qu'est-ce que la pensée critique ?

La pensée critique est la capacité d'analyser des faits et des données pour former un jugement sans parti pris .

Il y a des centaines de choses différentes qui entrent dans notre prise de décision, dont l'une est le biais des décisions basées sur des expériences ou des situations de vie antérieures. Nous appelons ces biais cognitifs .

Ceux qui pratiquent la pensée critique le comprennent, ils utilisent donc un processus spécifique pour les aider à porter des jugements impartiaux :

• Identification . Trouvez le problème.
• Recueillir des données . Assurez-vous d'utiliser plusieurs sources. Assurez-vous de ne pas ajouter de biais à la sélection de la source.
• Analyse . Pouvez-vous faire confiance à ces sources ? Sont-ils fiables ? L'ensemble de données est-il suffisamment grand pour être vrai ?
• Interprétation + Inférence. Quels modèles pouvez-vous voir à partir de ces données ? Qu'est-ce qu'il vous dit jusqu'à présent ? Quel est le plus significatif ? Voyez-vous une causalité ou une corrélation ?
• Explication . Pourquoi pensez-vous que cela se passe?
• Autorégulation . Avez-vous des biais cognitifs affectant cette analyse et ces hypothèses de test ? Faites-vous des suppositions erronées ? Passez-les en revue pour être sûr.
• Ouverture d'esprit et résolution de problèmes. Avec votre compréhension actuelle, comment pouvez-vous résoudre ce problème ? Avez-vous besoin d'en savoir plus d'abord?

Comme vous pouvez le voir, il est extrêmement important d'avoir un processus pour analyser ces informations. Même dans ce cas, vous devriez examiner tous les préjugés inconscients qui pourraient affecter la façon dont vous prenez des décisions et analysez ces données.

Que sont les biais cognitifs ?

Les biais cognitifs sont des codes de triche permettant à notre cerveau d'économiser de l'énergie sur les décisions en utilisant la reconnaissance de formes. Le problème est bien sûr que nos préjugés ne sont pas toujours corrects et qu'ils peuvent affecter nos décisions et nos actions, positivement ou négativement. Ik Ceci est particulièrement visible lorsqu'il s'agit de tests.

Voici quelques exemples:

• Action Bias : La tendance à vouloir agir même lorsque les données suggèrent qu'aucune amélioration ne peut être apportée ?
• Biais d'ancrage : la tendance à fonder les décisions sur des informations acquises antérieurement.
• Préjugé d'autorité : la tendance à accorder une plus grande valeur aux opinions des postes d'autorité.

Pouvez-vous voir comment ceux-ci pourraient affecter votre analyse de données et vos idées de test ?

Il y en a beaucoup trop pour que je les couvre ici (certains estiment environ 150 au total). Je vous recommande fortement de faire votre propre liste. Ensuite, vous pouvez essayer d'intégrer un processus de réflexion critique pour analyser vos données comme nous l'avons décrit précédemment et « lister de contrôle » tous les biais potentiels qui pourraient affecter votre analyse.

Problème #5 : Prendre la corrélation comme causalité

Cela renvoie presque à un biais cognitif, en ce sens que nous voyons des modèles dans les données qui peuvent exister, mais qui peuvent ne pas être la cause du résultat.

Ils se produisent simplement ensemble souvent comme un sous-produit ou une simple coïncidence.

Par exemple, la plupart des surfeurs ne travaillent pas en milieu de matinée et surfent à la place. (C'est quand vous avez le meilleur vent offshore pour les vagues).

Pour la personne qui regarde sur la plage, vous supposeriez que ces personnes n'avaient peut-être pas d'emploi ou qu'elles étaient malades. Cependant, après avoir eu plusieurs conversations dans l'océan, il est devenu clair que presque tout le monde surfer travaillait pour lui-même et pouvait donc choisir ses heures.

Maintenant, certains d'entre eux ont commencé à surfer parce qu'ils avaient cette flexibilité et ce temps libre (Corrélation), mais d'autres ont choisi des professions où ils pouvaient avoir cette flexibilité pour pouvoir aller surfer (Causation).

Plutôt cool, non ?

Le fait est cependant que même après les recherches initiales et les «entretiens», il serait facile d'obtenir une vue inexacte de l'ensemble de données. Assurez-vous de regarder vos données avec un esprit ouvert et plongez plus profondément pour trouver la véritable cause.

Différentes méthodes de collecte de données qualitatives et quantitatives

Que pouvons-nous utiliser pour collecter ces données ?

Pour la collecte de données quantitatives, nous examinons généralement deux types d'outils :

• Un outil d'analyse tel que Google Analytics ou un fournisseur tiers pour obtenir des résultats actuels.
• Un outil de test A/B tel que Convert Experiences pour mesurer l'évolution numérique des performances entre les variations et le contrôle.

Ces deux éléments nous donneront des données numériques brutes.

(Consultez notre guide de comparaison des outils de test A/B ici afin de voir lequel vous convient le mieux.)

Pour la recherche qualitative, nous envisageons une sélection plus large, car nous testons plusieurs éléments différents :

• Cartographie thermique
• Suivi des clics
• Suivi de l'oeil
• Enregistrements d'utilisateurs
• Enquêtes sur site, et
• Enquêtes directes auprès des clients.

Le suivi oculaire a tendance à être l'outil le plus coûteux en raison de ses exigences matérielles. Certaines options logicielles peuvent être installées et utilisées en interne, tandis qu'une autre option consiste à engager des sociétés externes qui installent des lunettes ou des caméras de suivi oculaire pour vérifier les mouvements oculaires et les lieux d'intérêt.

Pour la cartographie thermique, le suivi des clics, l'enregistrement utilisateur de base et les enquêtes, vous pouvez utiliser un outil peu coûteux comme Hotjar qui combine toutes ces fonctionnalités. Il vous aide à repérer les problèmes courants et à obtenir un aperçu presque immédiat sans avoir à obtenir l'aide d'un tiers, et * presque * exécute des fonctions similaires à celles du suivi oculaire.

Enfin, vous pouvez également aller plus loin dans l'enregistrement des utilisateurs et embaucher des agences qui amèneront des utilisateurs indépendants à utiliser votre page Web, les amèneront à effectuer des tâches définies, puis enregistreront leurs interactions et vous transmettront les informations.

Remarque :

Bien que nous ne les ayons pas répertoriés dans la section Outils quantitatifs, il y a parfois un chevauchement où les outils qualitatifs peuvent être utilisés pour l'acquisition de données quantitatives.

Vous pouvez utiliser un outil d'enquête et mesurer les réponses d'un nombre X de participants pour obtenir une valeur numérique de leurs réflexions sur la copie des ventes et comment ils pensent qu'ils y répondront.

Cependant… Cela reste subjectif car ce que les gens disent n'est pas toujours ce qu'ils font .

C'est toujours une bonne idée de mesurer leur retour d'information pour une action (ce qu'ils disent), puis de mesurer également la réponse réelle à l'action (l'action qu'ils entreprennent). Parfois, cela peut vous donner une idée plus approfondie de ce qu'il faut fournir et comment l'encadrer.

Comment les professionnels de l'expérimentation abordent-ils les données qualitatives et quantitatives ?

Vous voulez savoir comment les pros collectent et utilisent les données ? Nous avons récemment interviewé 7 professionnels CRO dans le cadre de notre série "Think like a CRO pro".

Je ne gâcherai pas leurs interviews car je vous recommande fortement de les lire, cependant, j'ai extrait quelques informations intéressantes sur leur façon de penser les données ci-dessous, ainsi que mes réflexions sur leurs méthodes…

Gursimran Gurjal – OptiPhoenix

Les données quantitatives sont généralement bonnes pour découvrir les trous de conversion de base pour comprendre où les utilisateurs abandonnent, comment les différents canaux fonctionnent, le CR de différents appareils, où les utilisateurs quittent le site Web, etc., tandis que les données qualitatives nous aident à découvrir les détails de la raison pour laquelle les utilisateurs abandonnent ou prennent une certaine action. .

La combinaison « Où + Pourquoi » et l'expérimentation brossent un tableau complet du comportement des utilisateurs.

L'étude de données qualitatives telles que les cartes thermiques, les enregistrements de session, les résultats d'enquête ou les tests d'utilisabilité demande beaucoup plus de temps pour créer un modèle statistiquement significatif, tandis que les données quantitatives sont plus faciles à analyser. Lorsque vous souhaitez recueillir des informations plus détaillées et significatives, il est important ne pas simplement compter sur GA ou Hotjar pour collecter des données, mais plutôt pousser vos propres événements personnalisés pour rendre les données plus significatives, comme marquer l'enregistrement pour tous les utilisateurs qui obtiennent une erreur dans le processus de paiement, envoyer un événement dans GA pour quel filtre ou l'option de tri est la plus utilisée, etc., afin que vous puissiez tirer le meilleur parti des données disponibles .

L'ajout de balises personnalisées pour obtenir une ligne de données est une idée fantastique. De cette façon, vous pouvez non seulement voir le problème et où il a conduit, mais aussi son origine et la source du trafic.

Haley Carpenter, experte senior en stratégie CRO

Rappelez-vous constamment que nous avons tous des préjugés. Sachez qu'il est de votre devoir de signaler le plus fidèlement et le plus précisément possible. L'intégrité est une valeur clé à maintenir haut.

Vérifiez également votre travail ou demandez à quelqu'un d'autre de le revoir si vous n'êtes pas sûr de quelque chose. Une deuxième paire d'yeux peut parfois être extrêmement bénéfique, surtout si vous fixez quelque chose depuis des heures, des jours ou des semaines.

Une fois, j'ai suivi un cours d'anthropologie où nous devions transcrire des enregistrements. Le professeur a souligné qu'il était de la plus haute importance de garder les transcriptions fidèles à la personne qui prononçait les mots. Nous ne devions même pas faire quelque chose d'aussi petit que couper un mot de deux lettres ou corriger une petite erreur grammaticale.

J'ai retenu cette leçon avec moi jusqu'à ce jour et je l'applique à l'analyse de données… en particulier aux enregistrements de tests d'utilisateurs. Il est important que votre analyse reste aussi fidèle que possible aux données d'origine.

Avoir plusieurs yeux sur la recherche et les résultats est un excellent moyen de ne manquer aucun problème, d'éliminer les préjugés potentiels et d'obtenir différents points de vue. Cela peut souvent conduire à des informations qu'un seul testeur aurait manquées.

Rishi Rawat – Commerce sans friction

Mon point de vue sur les données quantitatives :

Les données sont les données. Ne plissez pas les yeux pour lui donner un sens. Ne soyez pas émotionnellement lié à cela. Énoncez votre hypothèse avant le début de la collecte de données. Si les données contredisent vos instincts, reconcevez un nouveau test et lancez-le. Les données sont les données. Respectez-le.

Mon avis sur les données qualitatives :

Nous avons une opinion controversée sur ce sujet. Nous ne croyons pas à la recherche sur les utilisateurs finaux, ce qui signifie que je ne parle pas aux personnes qui ont acheté le produit. Ce n'est pas que je ne pense pas que ce type de recherche soit important, ça l'est; c'est juste cher. Je préfère obtenir toutes mes données qualitatives auprès du fondateur ou de l'inventeur du produit sur lequel je travaille.

Alors que l'expérience utilisateur de l'acheteur final n'est qu'un instantané de l'achat effectué à ce moment précis, l'inventeur dispose d'un contexte sur l'ensemble du parcours. Je veux obtenir mon "sens" quantitatif du fondateur. Le fondateur/inventeur a tellement de connaissances institutionnelles qu'il vous fera tourner la tête. C'est juste qu'ils ont été au « milieu » si longtemps qu'ils ne savent pas par où commencer. C'est là que les compétences de questionnement de l'optimiseur entrent en jeu. L'optimiseur aide le créateur avec la vue extérieure. J'accorde beaucoup de valeur à ce type de données qualitatives

Maintenant, c'est une idée intéressante…

En CRO, nous avons tendance à nous concentrer sur l'utilisateur pour comprendre le parcours client. Le problème est que les clients ne savent parfois pas ce qui ne va pas ou comment l'exprimer.

De même, cependant, le propriétaire de l'entreprise peut connaître le produit de fond en comble mais ne pas le communiquer. Pour eux, c'est évident parce qu'ils ont toute l'expérience, mais pour le client, ce message peut manquer quelque chose. Dans un monde idéal, si vous exécutez des tests pour une autre entreprise, vous voulez parler à la fois au public et au propriétaire.

Si vous manquez de temps ou de ressources, parlez-en au propriétaire de l'entreprise. Comme le dit Rishi, ils ont souvent toutes ces connaissances qui peuvent être extraites. Notre travail en tant que testeurs consiste alors à trouver où cela manque et comment cela pourrait se connecter avec le client.

Sina Fak - Les défenseurs de la conversion

La réalité est que toutes les données sont biaisées.

Tout, de la manière dont les données ont été collectées aux échantillons de données utilisés pour l'analyse, en passant par la personne qui examine les données et exécute l'analyse, il existe un élément de biais que nous ne pouvons pas entièrement contrôler.

Les données seules ne vous donneront pas toute l'histoire. Cela ne vous donnera qu'un point de départ pour comprendre une partie de l'histoire et en tirer des enseignements. La seule façon de traiter les données d'une manière qui raconte une histoire impartiale est de les mettre à l'épreuve et de mener une expérience avec elles

Cela rejoint ce que nous disions plus tôt.

Chaque test et chaque recherche a un biais. Nous pouvons essayer de nier une partie de cela avec des processus de réflexion et d'analyse critiques, mais cela peut toujours s'infiltrer.

Testez l'idée, découvrez et testez encore plus. N'oubliez pas la méthode scientifique. Nous pouvons « échouer » et trouver également les réponses que nous recherchons.

Jakub Linowski – GoodUI

En général, plus nous avons de mesures cohérentes, plus nos expériences peuvent devenir fiables et dignes de confiance.

Lorsqu'il s'agit de comparer les résultats des tests A/B, nous pouvons le faire de plusieurs manières :

● Comparaison de plusieurs métriques d'une même expérience (par exemple, cohérence de l'effet entre les ajouts au panier, les ventes, les revenus, les retours d'achat, etc.)

● Comparaison des données historiques entre des expériences distinctes (par exemple, cohérence de l'effet entre deux expériences distinctes exécutées sur 2 sites Web distincts

N'oubliez pas que l'analyse des données quantitatives et qualitatives est tout aussi importante après le test que dans notre planification initiale.

Avoir un processus en place pour lister les problèmes potentiels et les emplacements pour le « moment aha » peut donner de bien meilleurs résultats qu'un coup d'œil initial.

(Parfois, les données sont juste là et nous les manquons.)

Eden Bidani – Copie du feu vert

J'essaie de travailler autant que possible avec les deux types de données côte à côte devant moi. Pour moi, cela aide à équilibrer l'image complète.

Les données qualitatives donnent de la profondeur et du sens au quant, et les données quantiques fournissent la direction générale quant aux éléments des données qualitatives qui devraient recevoir plus de poids .

Le meilleur moyen d'analyser et de comprendre ce qui se passe est d'avoir les deux ensembles de données ensemble afin de pouvoir comparer et contraster.

Cela rejoint ce que nous disions auparavant sur le fait d'avoir un seul ensemble de données pour trouver les problèmes et les solutions. Si tout ce que nous avions était un, nous arriverions à des conclusions différentes. Utilisez les deux pour essayer de trouver cette corrélation.

Shiva Manjunath – Speero

La façon dont j'essaie d'aborder l'analyse Quant + Qual est comme un interrogatoire de police. Il y a un motif ou une hypothèse, mais vous ne pouvez pas présumer que la personne que vous avez amenée pour interrogatoire est innocente ou coupable. La personne amenée (données d'expérience) est supposée innocente, et c'est votre travail de prouver sa culpabilité au-delà de tout doute raisonnable (signification statistique).

Ainsi, vous pouvez consulter les données vous-même, interroger d'autres personnes (données qualitatives) et peut-être consulter les relevés bancaires ou consulter les journaux des heures d'arrivée et de départ de quelqu'un pour voir si son alibi est vérifié (données quantitatives).

Peut-être pas le meilleur exemple, mais il faut toujours l'aborder objectivement. Et corroborez les sources de données (par exemple, des cartes thermiques avec des sondages sur le site avec des données quantitatives) pour proposer une histoire et voir si cela soutient ou non l'hypothèse. Avec une rigueur statistique, évidemment !

J'adore cette analogie et elle me rappelle Sherlock Holmes et est directement liée aux tests.

Je n'ai pas encore de données. (Ou pas assez). C'est une erreur capitale de théoriser avant d'avoir des données. Insensiblement, on commence à tordre les faits pour les adapter aux théories, au lieu des théories pour les adapter aux faits.

En tant qu'expérimentateurs, nous devons supprimer tous les biais. Soit expérimenté, soit simplement parce que nous avons formulé l'hypothèse. Au lieu de cela, nous devons traiter les résultats équitablement et trouver la vérité.

Notre but n'est pas d'avoir raison. Il s'agit de trouver ce qui fonctionne pour pouvoir construire dessus !

Quelle est la meilleure façon d'utiliser les données pour concevoir des tests gagnants ?

Si vous testez depuis un certain temps, vous savez que la plupart des tests ne créent pas de gagnants. En fait, seuls environ 3/10 gagneront, tandis que les autres sont considérés comme des échecs.

La terminologie de gagner ou d'échouer n'est pas géniale cependant. Oui, le test n'a pas fourni d'ascenseur, mais il nous donne des données que nous pouvons utiliser pour nous améliorer et découvrir pourquoi.

Rappelles toi:

Nous ne nous concentrons pas sur un seul test. Même s'il gagne, nous utilisons toujours un processus itératif d'apprentissage et d'améliorations. Nous testons, apprenons, émettons des hypothèses et testons à nouveau.

Cela nous aide à créer une boucle de rétroaction de nouvelles données pour soutenir ou réfuter des idées.

• Nous testons et échouons mais nous apprenons.
• Nous prenons ces apprentissages et les testons jusqu'à ce que nous gagnions et obtenions une amélioration.
• Et puis nous continuons à tester jusqu'à ce que nous atteignions les maxima locaux et que nous ne puissions plus nous améliorer.

Ne vous concentrez pas sur le fait d'essayer d'obtenir un gagnant tout de suite. C'est la voie rapide pour affirmer que CRO ne fonctionne pas pour vous. Au lieu de cela, transformez les données en informations et apprenez-en davantage à chaque fois.

Vous pourriez être proche d'un gagnant, mais il a juste besoin d'une meilleure exécution.

Ou vous pourriez être proche d'un moment aha qui peut changer fondamentalement l'ensemble de votre message. Tenez-vous-y et continuez à apprendre à chaque test !

Intégrez cette boucle de rétroaction dans votre processus de traitement et de test des données.

Mais le plus important ? Assurez-vous que vous pouvez accéder aux données que vous collectez et les comprendre, que vous les utilisez correctement et que vous pouvez leur faire confiance !…

Comment améliorer l'accessibilité des données dans l'organisation

C'est très bien d'avoir des données avec lesquelles travailler, mais c'est inutile si vous n'y avez pas accès pour en tirer des leçons !

Certaines entreprises auront souvent un goulot d'étranglement dans leur flux de données en n'ayant accès à leurs données que via leur data scientist. Si vous avez besoin d'informations, vous devez soit y accéder, soit travailler directement avec eux, ce qui cause des problèmes.

Un excellent moyen de contourner ce problème consiste à démocratiser l'accès aux données :

• Autoriser l'accès aux données pour les outils traditionnellement à rôle unique (GA, etc.) aux équipes qui en ont besoin,
• Envisagez d'utiliser des outils en libre-service dotés de fonctionnalités de rapport de données intégrées que toute l'équipe peut utiliser,
• Créez un référentiel d'apprentissage centralisé des résultats de données. Cela permet à l'ensemble de l'organisation d'obtenir des informations sur les données, et pas seulement à l'équipe de test directe.

Pourquoi se soucier de l'accès aux données ?

Parce que l'accès aux données augmente le nombre de décisions qui peuvent être prises et qui peuvent affecter le retour sur investissement de votre entreprise.

L'astuce est bien sûr de s'assurer qu'une fois que vous y avez accès, vous pouvez trouver ce que vous voulez…

Comment améliorer la convivialité des données en collectant des données fiables

L'utilisabilité des données fait référence à la facilité avec laquelle les données peuvent être utilisées pour répondre aux questions.

Si nous le regardons d'un point de vue général, l'objectif avec vos données devrait être :

• Pour trouver des informations qui affectent le retour sur investissement de l'entreprise . Sans cela, ce ne sont que des données d'information sans objectif.
• Pour les trouver rapidement et ne pas avoir à lutter pour obtenir les informations.
• Et d'utiliser ces informations pour prendre des décisions rapides et fiables . Soit parce que les données sont fiables, soit parce que vous comprenez et ne manipulez pas les résultats ou ne recevez pas de faux positifs.

Comme vous pouvez le deviner, il peut y avoir des problèmes ici, selon les systèmes et les processus que vous avez en place.

Nous avons déjà discuté de l'importance de pouvoir accéder à ces informations et des avantages d'avoir des outils ou des processus dotés de capacités en libre-service pour ouvrir des rapports de données à l'échelle de l'entreprise.

Mais maintenant que nous avons accès à ces données, nous devons nous assurer que nous pouvons à la fois trouver les informations que nous voulons et pouvoir leur faire confiance.

Idéalement, vous devez exécuter des processus de manière proactive pour organiser vos ensembles de données :

• Rendre les métriques les plus importantes facilement trouvables.
• Utilisez des modèles de référence et des objectifs pour trouver des ensembles de données spécifiques que les outils traditionnels peuvent ne pas suivre.
• Assurez la synchronisation entre les sources de données afin que les mises à jour, les modifications et les nouvelles informations ne disparaissent pas.
• Et permettez à votre équipe de science des données de traiter vos mégadonnées afin que vous puissiez facilement trouver toutes ces informations et leur faire confiance !

Une fois que vous avez cet objectif final à l'esprit pour vos données, il devient alors plus facile de commencer à élaborer des processus de préparation à l'avance pour les nouveaux ensembles de données entrants. (Il est beaucoup plus facile de se rappeler de marquer des actions spécifiques à l'avance lorsque vous savez que vous voulez être pouvoir les retrouver plus tard).

Comment effectuer une analyse de données impartiale pour générer des informations qui éclairent les hypothèses

Alors, comment utilisons-nous ces données pour obtenir des informations et des idées ?

Eh bien, alerte spoiler, nous avons en fait couvert cela tout au long de ce guide jusqu'à présent.

• Essayez d'utiliser plusieurs sources de données pour obtenir une image plus large.
• Essayez d'utiliser des processus impartiaux pour collecter ces données. Si possible, ne vous limitez pas à des données démographiques ou à des appareils spécifiques.
• Utilisez la pensée critique pour évaluer les informations.
• Examinez les biais cognitifs et comment ils peuvent affecter votre analyse.
• Assurez-vous d'étudier chaque source de données combinée. (Technique, Quantitatif et Qualitatif ensemble).

Autoriser l'apprentissage à partir des tests pour inspirer plus de tests

Vous devez traiter vos tests comme une boucle de rétroaction pour une amélioration ultérieure. Cela peut être sur votre test actuel pour continuer à vous améliorer et à obtenir plus d'amélioration, ou vous pouvez même l'appliquer à des tests plus anciens où vos nouvelles informations pourraient vous aider encore plus.

Quoi qu'il en soit, l'objectif devrait être de tester, d'apprendre, de s'améliorer et de répéter jusqu'à ce que vous ne puissiez plus vous soulever.

Mais… Comment allons-nous réellement apprendre de ces résultats de test ?

Eh bien, la bonne nouvelle est que nous avons rédigé un guide en 7 étapes pour apprendre de vos résultats de test A/B que vous pouvez consulter ici.

Si vous n'avez pas le temps en ce moment, voici un bref récapitulatif :

• Commencez par vous assurer que vous pouvez faire confiance à vos résultats. Sont-ils exacts ? Sont-ils significatifs ? Avez-vous confiance en eux? Le test a-t-il duré assez longtemps ? Des facteurs externes les ont-ils influencés ?
• Allez micro et macro. Juste parce qu'un test a gagné ou échoué, vous devez voir comment cela affecte vos métriques de garde-corps. Ironiquement, une augmentation du CTR peut signifier une baisse des ventes si elle attire le mauvais public. De même, une baisse du CTR peut entraîner une augmentation des ventes, car elle n'attire peut-être que le meilleur public actuellement. Vérifiez donc vos mesures, pas seulement vos résultats de test.
• Allez plus loin et segmentez vos résultats. Tous les publics, canaux de trafic et appareils n'auront pas les mêmes performances. Certains canaux peuvent être interrompus. Cela peut alors fausser les résultats là où cela semble bon ou mauvais, car vous n'avez pas d'image détaillée. (Cela peut également vous donner un aperçu des variantes qui fonctionneront le mieux sur certains canaux, vous aidant à segmenter votre diffusion pour une augmentation plus élevée).
• Vérifiez les performances et le comportement des utilisateurs. Just because we ran a qualitative and quantitative data analysis before, doesn't mean you should skip it after the test. In fact, this is the best way to understand what happened and how you got these results.
• Learn from the failures. What went wrong? How can you fix this?
• Learn from the winners and improve further. Did you get a new aha moment? Do you have more ideas of how to improve the page again after the QA and Qual analysis? Keep pushing for more lift!
• Don't forget what you did! Get in the habit of creating and using a learning repository. This way you can see past tests, learn from them, train new staff and even go back and apply new insights to old ideas.

Conclusion

Alors voilà. Our entire guide to using technical, quantitative, and qualitative data to create winning tests.

It doesn't matter if it's A/B, split URL, or multivariate testing. You can use this same methodology to learn more from every test you run, so go ahead. Run those tests, learn from those mistakes, analyze that data and then let us know how much lift you got!