Comment réduire la pollution de la taille de l'échantillon pour des résultats de test A/B précis

Vous avez passé des heures à élaborer des stratégies pour votre test.

Votre équipe crée une hypothèse.

Vous lancez le test et attendez les résultats.

Mais vous constatez que votre test a échoué. Les résultats ont été entachés. Mais comment?

Ne vous culpabilisez pas. Il y a un sale petit secret dans le monde des tests qui s'appelle la pollution par la taille de l'échantillon .

La pollution de votre échantillon d'audience peut, sans le savoir, faire échouer les tests avant même qu'ils ne commencent.

Il existe une longue liste de raisons potentielles pour lesquelles les tests échouent, mais l'une des plus frustrantes est la pollution de la taille de l'échantillon.

Cet article vous aidera à comprendre :

• Pourquoi la pollution de la taille de l'échantillon se produit.
• Comment savoir si votre test est pollué.
• Mesures à prendre pour minimiser la pollution de la taille de l'échantillon.

Regardons…

Taille de l'échantillon 101

Définition de la taille de l'échantillon

Vous pouvez utiliser des outils comme le calculateur de durée de test A/B de Convert, qui propose un calculateur de taille d'échantillon ou un calculateur de taille d'échantillon CXL.

La plupart des calculatrices en ligne sont simples à utiliser. Avec la calculatrice de Convert, il vous suffit de saisir trois valeurs :

• Taux de conversion existant
• Amélioration attendue
• Un niveau de confiance

Exemple:

Si le taux de conversion existant est de 3 % et que l'amélioration attendue est de 20 % tout en testant deux variantes à un niveau de confiance de 95 %, vous auriez besoin d'un échantillon de 42 034 pour obtenir des résultats fiables. À 2 000 visiteurs quotidiens de ce groupe de test, cela prendrait 22 jours selon notre calculateur de durée.

Déterminez qui sera dans votre échantillon

La façon la plus simple de répondre à cette question « QUI ? » ou le segment, consiste à examiner les données démographiques et les sources des visiteurs actuels de votre site Web. Exploitez les données existantes pour obtenir des indices. Qui sont-ils? D'où viennent-ils ?

Des outils tels que Convert Experiments vous permettent en fait de tester un segment spécifique des visiteurs de votre site Web et de créer des audiences personnalisées.

Plusieurs facteurs peuvent vous aider à découvrir le « qui » :

• Type de trafic
  Recevez-vous du trafic saisonnier? Vous attendez-vous à un afflux de visiteurs à l'approche des vacances ? Vos chiffres de trafic fluctuent-ils selon le jour de la semaine ?
  
• Origine du trafic
  D'où vient votre trafic ? Les gens se comportent différemment selon la source à partir de laquelle ils accèdent à votre site. Par exemple, un visiteur de LinkedIn peut ne pas interagir avec votre site de la même manière qu'une personne venant de Facebook.
  
  Examinez Google Analytics pour obtenir un aperçu de l'engagement des visiteurs en fonction de la source.

• Nouveau contre ancien
  Les statistiques montrent que les visiteurs qui reviennent restent sur votre site plus longtemps que les nouveaux visiteurs. Pensez à la façon dont cela affectera votre test.

L'objectif de cette étape de réflexion est de vous aider à constituer des échantillons représentatifs .

L'Encyclopedia of Survey Research Methods définit les échantillons représentatifs comme suit :

Un échantillon représentatif est un échantillon qui a une forte validité externe par rapport à la population cible que l'échantillon est censé représenter. Ainsi, les résultats de l'enquête peuvent être généralisés avec confiance à la population d'intérêt.

Pour vous assurer d'avoir un échantillon représentatif, Convert suggère d'effectuer un test pendant au moins un cycle économique. Cela garantit que votre test a le temps de tenir compte de la variance des visiteurs qui peut se produire au cours d'un cycle.

Qu'est-ce que la pollution par taille d'échantillon ?

Maintenant que vous comprenez quelle est la taille de l'échantillon, vous pouvez explorer les facteurs qui peuvent corrompre la taille de votre échantillon et gâcher votre test. C'est ainsi que la taille de l'échantillon affecte la validité. Les facteurs de taille d'échantillon qui affectent négativement les résultats des tests sont connus sous le nom de pollution de la taille de l'échantillon.

Invespcro définit la pollution des échantillons comme :

"... les facteurs qui invalident vos données de test A/B en influençant les échantillons ou les données utilisés lors de la réalisation de votre test."

Ce problème est plus courant. Regardez cette plainte :

Échantillon biaisé

Dans la plupart des cas, vous souhaitez un échantillonnage aléatoire, ce qui signifie que chaque visiteur de votre site Web a la même chance de voir une variation particulière avant qu'il ne soit classé. Une fois placé dans un bucket, l'utilisateur verra la même variante pendant toute la durée du test.

Cependant, si vous utilisez un outil de test A/B qui n'effectue pas bien la randomisation, la randomisation n'est pas garantie et peut invalider le test.

Un moyen simple de lutter contre l'échantillonnage biaisé consiste à utiliser un bon outil de test A/B comme Convert qui effectue correctement la randomisation et le bucketing. Commencez votre test avec un test A/A pour vérifier si la randomisation fonctionne correctement.

Vous voulez être conscient du potentiel de biais de l'échantillon lorsque vous examinez les détails de votre test.

Sources qui causent la pollution de la taille de l'échantillon

Il existe quatre types courants de pollution des échantillons : le temps, l'appareil, le navigateur et les cookies.

Regardons chacun d'eux…

Horaire

La durée de votre test influence la validité de vos résultats. Il n'est donc pas surprenant que "combien de temps dois-je exécuter mon test A/B" est une question courante.

Les professionnels du CRO ont des idées contradictoires sur ce qu'est une référence acceptable. En fait, vos variables de test doivent déterminer la longueur appropriée de votre test.

Une solution simple peut sembler être simplement de permettre à votre test de s'exécuter et de s'exécuter et de s'exécuter. Mais cela aussi peut causer des problèmes. Un temps supplémentaire signifie une augmentation de la pollution potentielle due à des facteurs externes.

Vous voulez trouver le sweet spot.

Une autre erreur courante concernant la durée des tests est d'arrêter un test trop tôt. Cela peut ne pas conduire à une pollution de la taille de l'échantillon, mais cela peut affecter négativement votre test.

Il en va de même si vous arrêtez le test lorsque vous atteignez la signification statistique. Pour un test valide, il doit également atteindre la taille de votre échantillon calculé pour votre MDE (effet minimum détectable) souhaité.

Dans le même ordre d'idées, n'arrêtez jamais une variante d'un test en cours d'exécution. Cela entraînera une pollution catastrophique . Vous seriez incapable de comparer la variante « arrêtée » à la commande « en cours d'exécution à tout moment ». Vous n'auriez aucun moyen de comparer "des pommes avec des pommes". N'arrêtez jamais et ne redémarrez jamais une variante dans un test.

N'interrompez pas vos tests jusqu'à ce que les données soient cohérentes pour la taille de l'échantillon.

Pollution des cookies

Les cookies peuvent causer la forme la plus insidieuse de pollution de la taille de l'échantillon.

Selon la définition de Techopedia, les cookies sont :

Un cookie est un fichier texte qu'un navigateur Web stocke sur la machine d'un utilisateur. Les cookies sont un moyen pour les applications Web de maintenir l'état de l'application. Ils sont utilisés par les sites Web pour l'authentification, le stockage des informations/préférences du site Web, d'autres informations de navigation et tout ce qui peut aider le navigateur Web lors de l'accès aux serveurs Web. Les cookies HTTP sont connus sous de nombreux noms différents, y compris les cookies de navigateur, les cookies Web ou les cookies HTTP.

En tant que marketeurs, les cookies vous permettent de suivre le comportement de vos visiteurs sur votre site.

La durée de vie des cookies est volatile. Les visiteurs peuvent les supprimer au moindre caprice.

Plus votre test est long, plus vous êtes vulnérable à la suppression des cookies, ce qui conduit à nouveau à une autre forme de pollution de la taille de l'échantillon. Pour atténuer ce phénomène, Convert conseille aux clients d'effectuer des tests pendant 90 jours maximum.

Pollution des appareils

Les visiteurs visitent votre site à partir de plusieurs appareils : mobiles, ordinateurs portables, tablettes, ordinateurs de bureau et même des montres connectées.

Pensez simplement à votre comportement de navigation. Vous pouvez repérer quelque chose sur votre appareil mobile lorsque vous êtes dans les gymnases. Plus tard dans la journée, vous pourrez revisiter le site Web sur votre ordinateur de bureau.

Si cela se produit dans le cadre de votre test A/B, il peut sembler que deux personnes différentes ont visité votre site alors qu'en fait c'est la même personne qui navigue depuis deux appareils différents.

Encore plus dangereux pour vos efforts de test, cette même personne peut voir une variante différente sur chaque appareil.

Il y a un exemple inverse de cela. Que se passe-t-il lorsque deux personnes utilisent le même appareil pour visiter votre site Web ?

Imaginez que deux frères vivent dans la même maison. Ils partagent un ordinateur de bureau. Tous deux se préparent pour les vacances et doivent commander de nouveaux t-shirts et chaussures. Si un test A/B est en cours sur le site de commerce électronique au moment de leur visite, les données montreront ces deux personnes comme un seul utilisateur, ce qui corrompra à nouveau la taille de votre échantillon.

Pollution du navigateur

Lorsque la personne moyenne se connecte, elle ne tient pas compte de la ramification que l'utilisation de différents navigateurs pour visiter le même site Web aura sur un test A/B. Mais aller sur le même site Web d'un navigateur à un autre, comme Safari puis Chrome, peut entraîner une pollution de taille d'échantillon similaire qui se produit avec plusieurs appareils.

Cependant, cette forme spécifique de pollution est rare, car la plupart des gens s'en tiennent à un navigateur préféré par appareil.

Nouveaux dangers

Les navigateurs, le type d'appareil, les cookies et la durée des tests sont les polluants de taille d'échantillon les plus courants, mais il semble qu'un nouveau polluant entre dans la conversation. Les professionnels de l'industrie se plaignent que les robots créent une pollution de la taille de l'échantillon.

Heureusement, chez Convert, nous avons de solides mesures d'atténuation des bots intégrées dans notre outil afin que cela ne soit pas un problème.

Conseils sur la façon de réduire la pollution de la taille de l'échantillon

Étant donné que la pollution de la taille de l'échantillon est un problème majeur, de nombreuses entreprises ont proposé des solutions créatives, comme placer les utilisateurs dans différents compartiments en fonction de leur emplacement.

Mais de telles tactiques peuvent éliminer les tests du « caractère aléatoire de l'utilisateur » et peuvent réduire votre confiance dans la validité des résultats des tests.

Voici quelques mesures que vous pouvez prendre pour réduire les risques de pollution des échantillons :

• Exécutez le test pour des appareils distincts.
• Exécutez le test pour des navigateurs distincts.
• Identifiez les modèles. À quoi ressemblaient vos données dans le passé ? Il devrait être similaire lors des tests - cohérence des données.

Voici quelques éléments supplémentaires à considérer…

Comprendre la variance

La variance et l'écart type vont de pair avec la cohérence. Essentiellement, ils vous diront à quel point vos chiffres sont éloignés de la moyenne. Une faible variance signifie que vos données sont cohérentes avec la moyenne, ce qui vous expose à un risque de pollution moindre.

Vous pouvez faire le calcul à la main vous-même ou simplement utiliser un simple calculateur d'écart type.

Soyez conscient des problèmes d'échantillonnage potentiels

Il existe des problèmes inhérents aux tests A/B, notamment la possibilité d'une pollution de la taille de l'échantillon.

La connaissance des problèmes potentiels de taille d'échantillon vous permet de faire de meilleurs choix lorsque vous choisissez vos objectifs de test, créez des traitements et exécutez des expériences.

Vous pouvez maintenant vaincre la pollution des échantillons

De bonnes pratiques de test signifient que vous démarrez vos projets avec une compréhension complète de ce qui peut mal tourner.

La pollution de la taille de l'échantillon est un sous-produit négatif qui se produit lorsque vous exécutez des tests A/B. Votre travail consiste à réduire autant que possible ces effets négatifs afin de réussir votre test.

N'oubliez pas que l'atténuation se produit avant le début de votre test.

Utilisez un outil robuste comme Convert qui vous donne la possibilité de segmenter les tests, de combattre les robots embêtants, d'utiliser de bonnes techniques de randomisation, le tout dans une plate-forme simple qui prend en charge des tests complexes.

Votre stratégie d'expérimentation et la puissance de votre logiciel feront la différence dans la façon dont vous minimisez la pollution de la taille de l'échantillon.

Maintenant que vous connaissez cet angle mort potentiel dans vos tests, il ne peut plus vous surprendre.