Tous les différents types de tests que vous pouvez exécuter sur votre site (+ Quand les exécuter)
Publié: 2022-09-20Le monde de l'expérimentation a largement dépassé les simples tests A/B de couleur de bouton.
Ils peuvent avoir leur place dans le portefeuille d'expériences que vous menez, mais j'espère qu'à ce stade, ils ne sont pas synonymes d'expérimentation ou de CRO.
L'expérimentation peut être tellement plus grande.
À l'aide de différents types d'expériences, nous pouvons en apprendre davantage sur la variance sur nos sites Web, tester de nouvelles expériences, découvrir de nouveaux chemins de page, faire de grands sauts ou de petits pas et identifier la combinaison optimale d'éléments sur une page.
Ce que vous espérez apprendre d'une expérience doit se refléter dans sa conception, et la conception des expériences va bien au-delà du simple test de A contre B en utilisant une hypothèse concrète.
En fait, il existe tout un sous-domaine d'étude connu sous le nom de conception d'expériences (DoE) qui couvre cela.
- Conception d'expériences : une introduction à la conception expérimentale
- 16 types d'expériences courantes
- 1. Test A/A
- 2. Test A/B simple
- 3. Test A/B/n
- 4. Test multivarié
- 5. Test de ciblage
- 6. Test des bandits
- 7. Algorithmes évolutionnaires
- 8. Test de chemin de page fractionné
- 9. Test d'existence
- 10. Essai de porte peinte
- 11. Épreuve de découverte
- 12. Test itératif
- 13. Test innovant
- 14. Test de non-infériorité
- 15. Drapeau de fonctionnalité
- 16. Quasi-expériences
- Conclusion
Conception d'expériences : une introduction à la conception expérimentale
La conception d'expériences (DoE) est une méthode scientifique utilisée pour déterminer la relation entre les facteurs affectant un processus et le résultat de ce processus.
Le plan d'expériences est un concept popularisé par le statisticien Ron Fisher dans les années 1920 et 1930.
DoE nous permet de comprendre comment différentes variables d'entrée affectent une sortie de processus en modifiant systématiquement les entrées et en observant les changements résultants dans la sortie. Cette approche peut être utilisée pour optimiser un processus, développer de nouveaux produits ou fonctionnalités, ou apprendre quels éléments fonctionnent le mieux les uns avec les autres.
En marketing, nous utilisons DoE pour améliorer notre compréhension de la façon dont les différents éléments d'une page (les facteurs) affectent les taux de conversion (la sortie). En concevant efficacement des expériences, nous pouvons identifier les éléments qui ont le plus d'impact sur les taux de conversion.
Il existe de nombreux types d'expériences, et chaque type peut être utilisé pour apprendre différentes choses sur votre site Web ou votre application.
Dans cet article, je couvrirai 16 types d'expériences.
Les tatillons pourraient noter que ce ne sont pas tous des modèles expérimentaux fondamentalement différents ; au contraire, certains sont différents «types» en raison de la façon dont vous générez votre hypothèse ou des cadres qui sous-tendent vos raisons de mener l'expérience.
Certaines, en outre, ne sont pas tout à fait des « expériences », mais plutôt des règles d'optimisation basées sur des modèles d'apprentissage automatique.
Pourtant, chacun des éléments suivants a un objectif distinct et peut être considéré comme un outil unique dans la boîte à outils d'un expérimentateur.
16 types d'expériences courantes
Il existe de nombreux types d'expériences contrôlées que vous pouvez exécuter sur votre site Web, mais voici 16 des plus courantes :
1. Test A/A
2. Test A/B simple
3. Test A/B/n
4. Test multivarié
5. Test de ciblage
6. Test des bandits
7. Algorithmes évolutionnaires
8. Test de chemin de page fractionné
9. Test d'existence
10. Essai de porte peinte
11. Épreuve de découverte
12. Test incrémental
13. Test innovant
14. Test de non-infériorité
15. Indicateur de fonctionnalité
16. Quasi-expériences
1. Test A/A
Un test A/A est un concept simple : vous testez deux versions d'une page qui sont identiques.
Pourquoi voudriez-vous faire cela?
Il existe de nombreuses raisons, principalement dans la poursuite de l'étalonnage et de la compréhension des données sous-jacentes, du comportement des utilisateurs et des mécanismes de randomisation de votre outil de test. Les tests A/A peuvent vous aider à :
- Déterminer le niveau de variance de vos données
- Identifiez les erreurs d'échantillonnage dans votre outil de test
- Établissez des taux de conversion et des modèles de données de base.
Exécuter des tests A/A est étrangement controversé. Certains ne jurent que par ça. Certains disent que c'est une perte de temps.
Mon avis ? Cela vaut probablement la peine d'en exécuter un au moins une fois, pour toutes les raisons susmentionnées. Une autre raison pour laquelle j'ADORE exécuter des tests A/A est d'expliquer les statistiques aux débutants en matière de tests.
Lorsque vous montrez à quelqu'un une expérience "significative" avec deux jours de données collectées, pour révéler plus tard qu'il s'agissait d'un test A/A, les parties prenantes comprennent généralement pourquoi vous devriez mener une expérience jusqu'à son terme.
Si vous voulez en savoir plus sur les tests A/A (c'est un sujet énorme, en fait), Convert propose un guide détaillé à leur sujet.
Cas d'utilisation : étalonnage et détermination de la variance des données, vérification des bogues de la plate-forme d'expérimentation, détermination du taux de conversion de base et des exigences en matière d'échantillons.
2. Test A/B simple
Tout le monde sait ce qu'est un test A/B simple : vous testez deux versions d'une page, une avec un changement et une sans.
Les tests A/B sont le pain quotidien de l'expérimentation. Ils sont simples à mettre en place et faciles à comprendre, mais ils peuvent également être utilisés pour tester de grands changements.
Les tests A/B sont le plus souvent utilisés pour tester les changements sur une interface utilisateur, et l'objectif d'un test A/B simple est presque toujours d'améliorer le taux de conversion sur une page donnée.
Le taux de conversion, soit dit en passant, est une mesure générique qui couvre toutes sortes de proportions, telles que le taux d'activation des nouveaux utilisateurs de produits, les taux de monétisation des utilisateurs freemium, les taux de conversion des prospects sur le site Web et les taux de clics.
Avec un simple test A/B, vous avez une hypothèse singulière et changez un élément à la fois afin d'en apprendre le plus possible sur les éléments causals de votre changement. Cela peut être quelque chose comme un changement de titre, un changement de couleur ou de taille de bouton, l'ajout ou la suppression d'une vidéo, ou vraiment n'importe quoi.
Lorsque nous disons "test A/B", nous utilisons principalement un terme générique pour englober la plupart des autres types d'expériences que je vais énumérer dans cet article. Il est généralement utilisé comme terme générique pour signifier "nous avons changé *quelque chose* - des éléments importants, petits ou nombreux - afin d'améliorer une métrique".
Cas d'utilisation : nombreux ! Habituellement pour tester un changement singulier d'une expérience numérique informé par une hypothèse concrète. Les tests A/B sont généralement exécutés dans le but d'améliorer une métrique, mais aussi pour en savoir plus sur tout changement qui se produit dans le comportement de l'utilisateur avec l'intervention.
3. Test A/B/n
Les tests A/B/n sont très similaires aux tests A/B, mais au lieu de tester deux versions d'une page, vous testez plusieurs versions.
Les tests A/B/n sont similaires, à certains égards, aux tests multivariés (que j'explorerai ensuite). Plutôt qu'un test "multivarié", cependant, je considérerais ces tests comme un test multivariant.
Les tests multivariés sont utiles pour comprendre les relations entre les différents éléments d'une page. Par exemple, si vous souhaitez tester différents titres, images et descriptions sur une page de produit, et que vous souhaitez également voir quelles combinaisons semblent interagir le mieux, vous utiliserez un test multivarié.
Les tests A/B/n sont utiles pour tester plusieurs versions d'un même élément et ne se soucient pas autant des effets d'interaction entre les éléments.
Par exemple, si vous souhaitez tester trois titres différents sur une page de destination, vous utiliserez un test A/B/n. Ou, vous pouvez simplement tester sept versions complètement différentes de la page. C'est juste un test A/B avec plus de deux expériences testées.
Les tests A/B/n sont des choix solides lorsque vous avez beaucoup de trafic et que vous souhaitez tester efficacement plusieurs variantes. Bien sûr, les statistiques doivent être corrigées pour plusieurs variantes. Il y a aussi beaucoup de débats sur le nombre de variantes à inclure dans un test A/B/n.
Souvent, vous pouvez proposer des variantes plus originales et créatives lorsque vous testez plusieurs expériences à la fois, plutôt que de manière itérative sur plusieurs tests A/B simples.
Cas d'utilisation : lorsque vous avez le trafic disponible, plusieurs variantes sont idéales pour tester un large éventail d'expériences ou plusieurs itérations d'un élément.
4. Test multivarié
Un test multivarié est une expérience avec plusieurs changements. Lorsqu'un test A/B/n teste les versions composites de chaque variante les unes par rapport aux autres variantes, un test multivarié vise également à déterminer les effets d'interaction entre les éléments testés.
Imaginez, par exemple, que vous reconcevez une page d'accueil. Vous avez effectué des recherches sur la conversion et découvert des problèmes de clarté avec votre titre, mais vous avez également des hypothèses sur le niveau de contraste et de clarté de votre CTA.
Non seulement vous souhaitez améliorer chacun de ces deux éléments isolément, mais la performance de ces éléments dépend également probablement. Par conséquent, vous voulez voir quelle combinaison de nouveaux titres et CTA fonctionne le mieux.
La conception des expériences devient beaucoup plus compliquée lorsque vous entrez dans un territoire multivarié. Il existe différents types de configurations d'expériences multivariées, y compris la conception factorielle complète, la conception factorielle partielle ou fractionnelle et les tests de Taguchi.
Et juste pour une question de bon sens statistique, les tests multivariés nécessitent presque certainement plus de trafic que les simples tests A/B. Chaque élément ou expérience supplémentaire que vous modifiez augmente la quantité de trafic dont vous avez besoin pour un résultat valide.
Cas d'usage : les expériences multivariées semblent particulièrement intéressantes pour optimiser une expérience en ajustant plusieurs petites variables. Chaque fois que vous souhaitez déterminer la combinaison optimale d'éléments, des tests multivariés doivent être envisagés.
5. Test de ciblage
Les tests de ciblage, mieux connus sous le nom de personnalisation, consistent à montrer le bon message à la bonne personne au bon moment.
Avec un test de ciblage, vous pouvez créer différentes versions d'une page et montrer chaque version à un groupe de personnes différent. L'objectif est généralement d'augmenter les taux de conversion en montrant un contenu pertinent à chaque utilisateur.
Notez que personnalisation et expérimentation ne sont pas synonymes. Vous pouvez personnaliser une expérience sans la traiter comme une expérience. Par exemple, vous pouvez décider, sans aucune donnée ou intention de collecter des données, d'utiliser un jeton de prénom dans vos e-mails pour personnaliser les messages avec le nom du destinataire.
Personnalisation? Oui. Expérimentation? Non.
Mais vous pouvez également exécuter des expériences ciblant des segments spécifiques d'utilisateurs. Ceci est particulièrement courant dans l'expérimentation de produits, où vous pouvez isoler des cohortes en fonction de leur niveau de tarification, de l'heure d'inscription, de la source d'inscription, etc.
Les mêmes statistiques s'appliquent aux expériences de personnalisation, il est donc important de choisir des segments significatifs à cibler. Si vous devenez trop précis, par exemple en ciblant les utilisateurs mobiles de Chrome dans les zones rurales du Kansas qui ont entre 5 et 6 sessions, non seulement il sera impossible de quantifier l'impact statistiquement, mais il est également peu probable qu'il s'agisse d'un impact commercial significatif.
La personnalisation est généralement considérée comme une extension naturelle des tests A/B simples, mais à bien des égards, elle introduit une tonne de nouvelle complexité. Pour chaque nouvelle règle de personnalisation que vous employez, il s'agit d'un nouvel « univers » que vous avez créé pour que vos utilisateurs puissent le gérer, le mettre à jour et l'optimiser.
Les outils de personnalisation prédictive vous aident à identifier les segments cibles ainsi que les expériences qui semblent mieux fonctionner avec eux. Sinon, les règles de personnalisation sont souvent identifiées en faisant une segmentation post-test.
Cas d'utilisation : isolez les traitements de segments spécifiques de votre base d'utilisateurs.
6. Test des bandits
Un test de bandit, ou utilisant des algorithmes de bandit, est un peu technique. Mais fondamentalement, ils diffèrent des tests A/B car ils apprennent et changent constamment la variante présentée aux utilisateurs.
Les tests A/B sont généralement des expériences à « horizon fixe » (avec la mise en garde technique d'utiliser des tests séquentiels), ce qui signifie que vous prédéterminez une période d'essai lorsque vous exécutez le test. Une fois terminé, vous décidez soit de déployer la nouvelle variante, soit de revenir à l'original.
Les tests de bandit sont dynamiques. Ils mettent constamment à jour l'allocation du trafic à chaque variante en fonction de ses performances.
La théorie est la suivante : vous entrez dans un casino et tombez sur plusieurs machines à sous (bandits à plusieurs bras). En supposant que chaque machine a des récompenses différentes, le problème du bandit aide à "décider quelles machines jouer, combien de fois jouer à chaque machine et dans quel ordre les jouer, et s'il faut continuer avec la machine actuelle ou essayer une autre machine".
Le processus de décision ici est décomposé en "exploration", dans laquelle vous essayez de collecter des données et des informations, et en "exploitation", qui capitalise sur ces connaissances pour produire des récompenses supérieures à la moyenne.
Ainsi, un test de bandit sur un site Web chercherait à trouver, en temps réel, la variante optimale et à envoyer plus de trafic vers cette variante.
Cas d'utilisation : expériences courtes avec une « périssabilité » élevée (ce qui signifie que les enseignements tirés des résultats ne s'étendront pas très loin dans le futur) et optimisation dynamique à plus long terme « réglez-la et oubliez-la ».
7. Algorithmes évolutionnaires
Les algorithmes évolutionnaires sont en quelque sorte une combinaison entre des tests multivariés et des tests de bandit. Dans le cadre d'expérimentations marketing, les algorithmes évolutifs permettent de tester un grand nombre de variantes en même temps.
Le but d'un algorithme évolutif est de trouver la combinaison optimale d'éléments sur une page. Ils fonctionnent en créant une « population » de variantes, puis en les testant toutes les unes par rapport aux autres. La variante la plus performante est ensuite utilisée comme point de départ pour la génération suivante.
Comme son nom l'indique, il utilise des itérations évolutives comme modèle d'optimisation. Vous avez une tonne de versions différentes de titres, de boutons, de corps de texte et de vidéos, et vous les fusionnez pour créer de nouvelles mutations, et essayez dynamiquement de tuer les variantes faibles et d'envoyer plus de trafic vers les variantes fortes.
C'est comme les tests multivariés sur les stéroïdes, mais avec moins de transparence dans les effets d'interaction (donc, un potentiel d'apprentissage plus faible).
Ces expériences nécessitent également un peu de trafic sur le site Web pour bien fonctionner.
Cas d'utilisation : tests multivariés massifs, assemblage de plusieurs versions de créations et recherche du gagnant émergent parmi toutes les combinaisons.
8. Test de chemin de page fractionné
Un test de chemin de page fractionné est également un type de test A/B très courant.
Au lieu de modifier un élément sur une seule page, vous modifiez l'intégralité du chemin parcouru par un utilisateur sur votre site Web.
Avec un test de chemin de page fractionné, vous testez essentiellement deux versions différentes de votre site Web, de votre produit ou de votre entonnoir. L'objectif est généralement de trouver la version qui génère le plus de conversions ou de ventes. Cela peut également aider à identifier les points de chute dans l'entonnoir, ce qui peut diagnostiquer les zones de concentration pour une optimisation supplémentaire.
Fondamentalement, au lieu de changer la copie sur un bouton, vous modifiez la page suivante vers laquelle les boutons vous envoient si vous cliquez dessus. C'est un moyen puissant d'expérimenter le parcours client.
Cas d'utilisation : identifiez et améliorez les chemins de page et les entonnoirs d'utilisation dans un produit ou sur un site Web.
9. Test d'existence
Le test d'existence est un concept intéressant. Ce que vous essayez de faire, c'est de quantifier l'impact (ou son absence) d'un élément donné dans votre produit ou votre site Web.
Selon un article de CXL, "En termes simples, nous supprimons des éléments de votre site et voyons ce qu'il advient de votre taux de conversion."
En d'autres termes, vous testez pour voir si un changement a un effet quelconque.
Stratégiquement, c'est une stratégie tellement sous-estimée. Nous supposons souvent, soit par nos propres heuristiques, soit par une recherche qualitative, quels éléments sont les plus importants sur une page.
Certes, la vidéo de démonstration du produit est importante. Le test d'existence est un moyen de remettre en question cette croyance et d'obtenir rapidement une réponse.
Vous venez de supprimer la vidéo et de voir ce qui se passe.
Hausse ou baisse du taux de conversion ? Intéressant - cela signifie que l'élément ou le bien immobilier qu'il occupait a un impact d'une certaine manière.
Aucun impact? C'est intéressant aussi. Dans ce cas, je mettrais l'accent de mon équipe sur d'autres parties de l'expérience numérique, sachant que même la suppression complète de l'élément n'affecte en rien nos KPI.
Cas d'utilisation : "Mappage du signal de conversion". Essentiellement, cela peut vous indiquer l'élasticité des éléments de votre site Web, c'est-à-dire qu'ils sont suffisamment importants pour concentrer vos efforts d'optimisation ?
10. Essai de porte peinte
Un test de porte peinte est similaire à un test d'existence en quelque sorte. Ils sont très courants pour tester de nouvelles offres ainsi que pour tester la demande de nouvelles fonctionnalités de produits.
Fondamentalement, un test de porte peinte est une expérience pour voir si les gens utiliseront réellement une nouvelle fonctionnalité ou non. Vous ne passez pas réellement le temps et les ressources pour *créer* la nouvelle offre ou fonctionnalité. Au lieu de cela, vous créez une « porte peinte » pour voir si les gens qui passent par là essaieront même de l'ouvrir (c'est-à-dire que vous créez un bouton ou une page de destination et voyez si les gens cliquent même dessus, ce qui en déduit l'intérêt).
Le but d'un test de porte peinte est de savoir s'il existe une demande pour la chose que vous testez. Si les gens utilisent réellement la nouvelle fonctionnalité, vous savez que cela vaut la peine d'être poursuivi. Si ce n'est pas le cas, vous savez que cela ne vaut pas votre temps et que vous pouvez abandonner l'idée.
Ils sont également connus sous le nom de tests de fumée .
Les tests de portes peintes sont un excellent moyen de tester de nouvelles idées sans investir beaucoup de temps ou d'argent.
Étant donné que vous n'avez pas réellement d'offre ou d'expérience dans la création, vous ne pouvez généralement pas utiliser d'indicateurs de performance clés comme le taux de conversion. Au lieu de cela, vous devez modéliser votre seuil minimum de valeur attendue. Par exemple, la création d'une fonctionnalité X coûtera Y, donc compte tenu de nos données de base existantes, nous aurons besoin de voir le taux de clics Y pour garantir la création de la "vraie" expérience.
Une liste d'attente avant le lancement est, à certains égards, un test de porte peinte (le célèbre exemple étant les rasoirs de Harry).
Cas d'utilisation : prouvez l'analyse de rentabilisation pour investir du temps et des ressources dans la création d'une nouvelle fonctionnalité, offre ou expérience.
11. Épreuve de découverte
Les tests de découverte, que j'ai tirés de la méthodologie de test basée sur la discipline d'Andrew Anderson, visent tous à augmenter la gamme d'options possibles.
Il s'agit presque toujours d'une version des tests A/B/n avec plusieurs variantes, mais ils ne doivent pas nécessairement être conçus de cette façon. Le but plus large de ceux-ci est de tester des options en dehors de la plage de ce que vous auriez normalement considéré comme raisonnable. Cela atténue votre propre biais, ce qui peut limiter la portée des options que vous envisagez.
Au lieu de définir étroitement une hypothèse, vous espérez sortir de vos propres préjugés et potentiellement apprendre quelque chose de complètement nouveau sur ce qui fonctionne avec votre public.
Pour faire un test de découverte, vous prenez un élément immobilier sur votre produit ou votre site Web et générez un tas de variantes différentes. L'objectif est que chaque variante soit assez différente de la précédente, vous offrant un large éventail d'options différentes. Le but est de trouver quelque chose qui fonctionne, même si vous ne savez pas ce que c'est à l'avance.
Dans les tests de découverte, il est important de mapper votre expérience à votre macro-KPI et de ne pas optimiser les micro-conversions. Il est également important de tester sur des expériences significatives et à fort trafic, car vous aurez besoin d'une puissance statistique appropriée pour découvrir les ascenseurs parmi les nombreuses variantes.
Pour voir un exemple d'expérience comme celle-ci, consultez l'exemple d'Andrew Anderson de Malwarebytes où ils ont testé 11 variantes très différentes.
Cas d'utilisation : libérez vos efforts d'expérimentation des hypothèses biaisées et trouvez des solutions originales qui, bien qu'elles puissent aller à l'encontre de votre intuition, génèrent en fin de compte des résultats commerciaux.
12. Test itératif
Il existe un concept connu en informatique sous le nom de "problème d'escalade". Fondamentalement, les algorithmes d'escalade cherchent à trouver le point le plus élevé d'un paysage en commençant par le bas et en remontant constamment.
Le même concept peut être appliqué aux expériences de marketing.
Avec un test itératif, vous commencez par un petit changement, puis continuez à l'agrandir jusqu'à ce que vous atteigniez le point de rendements décroissants. Ce point de rendements décroissants est appelé le « maximum local ». Un maximum local est le point le plus élevé du paysage accessible depuis votre point de départ.
Le but d'un test itératif est de trouver le maximum local pour un changement donné. Cela peut être un moyen très efficace de tester des choses comme les changements d'offre ou les changements de prix, ainsi que tout élément que vous avez trouvé impactant par le biais de recherches ou de tests d'existence.
Fondamentalement, vous savez que l'élément X est important, et vous savez qu'il existe une marge de manœuvre supplémentaire pour améliorer le KPI Y en améliorant l'élément X. Vous prenez donc plusieurs petits coups itératifs pour modifier l'élément X jusqu'à ce qu'il apparaisse que vous ne pouvez plus améliorer la métrique (ou c'est extrêmement difficile à faire).
Un exemple simple de test itératif provient de mon propre site Web. Je lance des popups d'aimant de plomb. Je sais qu'ils génèrent des e-mails, et il y a probablement un point de rendements décroissants, mais je ne pense pas l'avoir encore atteint. Donc, tous les quelques mois, je change une variable - soit le titre, l'offre elle-même, ou l'image, dans l'espoir d'obtenir un petit coup de pouce.
Cas d'utilisation : optimisez les éléments ou expériences ciblés en testant consécutivement plusieurs petites itérations de l'expérience pour atteindre un maximum local.
13. Test innovant
Contrairement aux tests itératifs, les tests innovants cherchent à trouver de toutes nouvelles collines à gravir.
Selon un article de CXL, les tests innovants sont "conçus pour explorer un territoire inexploré et trouver de nouvelles opportunités".
Les tests innovants consistent à essayer quelque chose de complètement nouveau. Elles sont généralement un peu plus risquées que d'autres types d'expériences, mais elles peuvent aussi être très enrichissantes. Si vous recherchez de grandes victoires, des tests innovants sont la voie à suivre.
Les refontes complètes de la page d'accueil ou de la page de destination entrent dans cette catégorie. Les tests de découverte sont une forme de test innovant. Les tests de couleur des boutons seraient l'exact opposé d'un test innovant.
Un test innovant devrait vous mettre vous ou vos parties prenantes légèrement mal à l'aise (mais rappelez-vous, la beauté des expériences est qu'elles sont d'une durée limitée et limitent vos inconvénients).
CXL a donné un exemple d'un test innovant qu'ils ont exécuté pour un client ici :
Cas d'utilisation : faites un grand swing et trouvez une nouvelle "colline" à gravir. Enveloppez plusieurs hypothèses et changez radicalement une expérience.
14. Test de non-infériorité
Un test de non-infériorité permet de déterminer si un nouveau traitement n'est pas pire que le traitement standard.
Le but d'un test de non-infériorité est de montrer que le nouveau traitement est au moins aussi efficace que le traitement standard.
Pourquoi exécuter un test comme celui-ci ?
De nombreuses raisons. La meilleure solution à laquelle je peux penser est si vous avez une variante qui est "meilleure" dans une autre dimension (c'est moins cher à entretenir, mieux adhère aux normes de la marque, etc.), mais vous voulez vous assurer qu'elle ne nuit pas à votre KPI cœur de métier.
Ou dans le cadre d'essais cliniques médicaux, imaginez qu'un médicament a été développé qui coûte 1/10 du prix du médicament couramment prescrit. Tant qu'il n'est pas * pire * que le médicament existant, son prix abordable signifie qu'il s'agit d'une bien meilleure option à déployer.
Une autre raison pour laquelle je les gère est que le traitement est fortement favorisé par un cadre ou une partie prenante. Je déteste vous le dire, mais ce n'est pas parce que nous avons accès aux données en tant que professionnels de l'expérimentation que nous évitons le désordre de la pensée biaisée et de la politique humaine.
Je suis heureux de passer le test occasionnel soumis par HiPPO et de le faire passer par un seuil de certitude inférieur, comme un test de non-infériorité. Tant qu'il ne gâche pas *mes* KPI, il n'y a pas de mal à le déployer, et il gagne la faveur politique.
Cas d'usage : plafonner l'inconvénient des expérimentations où une autre dimension est supérieure (coût, préférence des parties prenantes, expérience utilisateur, marque, etc.).
15. Drapeau de fonctionnalité
Les indicateurs de fonctionnalité sont une technique de développement logiciel qui vous permet d'activer ou de désactiver certaines fonctionnalités ou fonctionnalités et de tester de nouvelles fonctionnalités en production.
Sans entrer dans une tonne de détails techniques, ils vous permettent de tester des fonctionnalités en production ou de les déployer lentement à de plus petits sous-ensembles d'utilisateurs, tout en conservant la possibilité de réduire rapidement ou de supprimer la fonctionnalité si elle ne fonctionne pas.
À bien des égards, il s'agit d'une méthodologie d'assurance qualité. Mais encore une fois, à bien des égards, les tests A/B le sont aussi.
Le terme « drapeau de fonctionnalité » est en quelque sorte un terme générique qui inclut de nombreuses fonctionnalités « à bascule » connexes, telles que les versions Canary, les tests en production, le développement continu, les restaurations et les portes de fonctionnalités.
Cas d'utilisation : testez de nouvelles fonctionnalités ou expériences avant de déployer un nouveau code en production.
16. Quasi-expériences
Enfin, la catégorie d'expériences la plus compliquée, la plus large et la plus difficile à définir : les quasi-expériences.
Les quasi-expériences sont souvent utilisées lorsqu'il n'est pas possible d'affecter au hasard des utilisateurs à des groupes de test.
Par exemple, si vous testez une nouvelle fonctionnalité sur votre site Web, vous pouvez exécuter un test A/B, un indicateur de fonctionnalité ou même un bras de personnalisation.
Mais que se passe-t-il si vous voulez tester un tas de changements SEO et voir leurs effets sur le trafic ? Ou encore plus, leur impact sur les conversions de blog ? Et si vous vouliez tester l'efficacité des panneaux publicitaires extérieurs ?
Dans un nombre étonnamment élevé de cas, il est difficile, voire impossible, de mettre en place une expérience étroitement organisée et véritablement contrôlée.
Dans ces cas, nous concevons des quasi-expériences pour nous débrouiller avec ce que nous avons.
Dans le cas des changements SEO, nous pouvons utiliser des outils comme Causal Impact pour quantifier les changements sur une série temporelle. Surtout si nous contrôlons notre expérience sur la base de pages ou d'une autre dimension identifiable, cela nous donnera une bonne idée longitudinale de savoir si notre intervention a fonctionné ou non.
Dans le cas des publicités à la radio ou sur les panneaux d'affichage, nous pouvons essayer de sélectionner des géolocalisations représentatives et quantifier l'effet dans le temps en utilisant des statistiques bayésiennes similaires.
Il s'agit d'un sujet complexe, je vais donc créer un lien vers deux excellentes ressources :
- Comment Netflix mène des quasi-expériences
- Comment Shopify exécute des quasi-expériences
Cas d'utilisation : quantification de l'impact lorsqu'un essai contrôlé randomisé n'est pas possible ou réalisable.
Conclusion
J'espère que cela vous a convaincu que les tests A/B vont bien au-delà de la modification de votre titre ou de votre bouton CTA pour optimiser les taux de conversion.
Lorsque vous élargissez votre ouverture sur ce que l'expérimentation peut accomplir, vous réalisez que c'est un outil d'apprentissage incroyable.
Nous pouvons cartographier les éléments percutants sur une page de destination, identifier la combinaison optimale d'éléments, déterminer un chemin de page utilisateur nouveau et amélioré, développer de nouvelles fonctionnalités et expériences sans risquer une dette technique ou une mauvaise expérience utilisateur, et même tester de nouveaux canaux marketing. et interventions en dehors de notre site Web ou en dehors de notre produit.