Le guide des entrepreneurs sur les tests A/B dans les magasins Shopify (+ 9 entrepreneurs Shopify partagent leurs histoires de tests A/B avec des résultats)

Vous avez donc entendu parler des tests A/B via la vigne.

Peut-être que votre concurrent l'a mentionné avec désinvolture sur un podcast ou que votre équipe marketing pense que c'est une excellente idée. Ou l'agence de croissance avec laquelle vous êtes en pourparlers souhaite effectuer des tests A/B.

Développer une entreprise n'est pas facile. Tu le sais. Après être arrivé jusqu'ici, il doit y avoir eu plusieurs occasions où vous avez eu du mal à comprendre si une décision commerciale était la bonne.

Ne serait-ce pas bien si, au lieu de parier sur ce que vous pensez que votre public voudra, vous aviez un moyen de le savoir avec certitude ?

C'est ce que font les tests A/B.

Bien sûr, les avantages des tests A/B transcendent la prise de décisions basées sur les données, mais à la base, c'est la sauce secrète pour débloquer la croissance à grande échelle.

Donc, que vous essayiez de faire du bricolage ou d'externaliser vos besoins, voici tout ce qu'un entrepreneur Shopify comme vous devrait savoir sur les tests A/B.

Qu'est-ce qu'un test A/B e-commerce ?

Les tests A/B sont un processus par lequel vous pouvez comprendre ce que votre public recherche avant qu'il ne devienne un client.

Habituellement, les tests A/B sont pensés en termes de modifications mineures telles que le changement de couleur du bouton d'appel à l'action (CTA) ou l'ajout d'un nouveau titre, mais c'est plus profond que cela.

Il vous permet de déterminer quelle copie, conception et fonctionnalité (UX) résonnent avec vos visiteurs en opposant une version de votre page ou élément sur une page avec une variante pour voir ce qui fonctionne.

Et nous ne faisons que commencer !

Vous pouvez prendre le concept de test A/B et l'appliquer à chaque canal que vous utilisez et à chaque interaction que vous avez avec votre public.

Mais il est important de comprendre que les tests A/B du commerce électronique sont différents par rapport à d'autres secteurs verticaux comme le SaaS B2B.

1. Le temps nécessaire pour réaliser des revenus est plus court
   
   Les tests A/B peuvent révéler l'impact sur les revenus beaucoup plus rapidement que le B2B traditionnel. En B2B, les transactions sont multithreads, ont plusieurs décideurs qui font que les cycles de vente s'étendent sur des mois, voire des trimestres.
   
   Bien que vous deviez idéalement utiliser les tests A/B pour la recherche et l'atténuation des risques et pas seulement pour l'augmentation des revenus, le moteur de toute entreprise est le revenu, il y a donc une bonne raison d'introduire les tests A/B dans le mix de croissance.
2. Les processus de paiement sont complexes (donc plus de place pour les tests)
   
   Bien que les entonnoirs d'achat du commerce électronique ne soient pas compliqués comme le B2B, le processus de paiement n'est pas unidimensionnel.
   
   Ruben De Boer, l'auteur de Psychology of Buying , explique que payer fait littéralement mal. Dans une étude de 2007 visant à étudier comment les gens évaluent les facteurs pour prendre des décisions d'achat, les participants ont vu des images de produits, puis le prix. Leurs cerveaux ont été analysés par des appareils d'IRMf pour voir quelles voies neuronales s'allumeraient.
   
   Comme prévu, voir des images de produits a illuminé le centre de récompense dans leur cerveau.
   
   Mais le prix ? La partie du cerveau associée à la douleur physique et sociale s'est illuminée comme un arbre de Noël, aidant les chercheurs à conclure que le compromis entre gain et douleur doit avoir un sens pour que les consommateurs ouvrent leur portefeuille.
   
   Cela ne signifie pas que vous devez baisser vos prix, car les prix indiquent également la qualité du produit. Vous pouvez essayer une police plus petite, proposer un prépaiement, afficher les remises dans une police plus grande ou éviter le langage monétaire dans votre copie.
   
   Donc, réduire la douleur de l'achat signifie que vous devez comprendre le mélange de motivations, de désirs et de frustrations humaines, ce qui est impossible sans les tests A/B. Vous pouvez tester votre messagerie, les éléments de l'interface utilisateur ou réviser le processus de paiement, le tout en temps réel.

   Dans certains cas, vous ne pourrez peut-être pas apporter de modifications radicales au panier et au flux de paiement en raison des limitations imposées par votre plateforme de commerce électronique, mais ce n'est pas une raison pour abandonner des tests ambitieux. Vous pouvez toujours tester des changements plus petits qui vous donnent une idée du potentiel d'ajustements plus importants.

   Jonny Longden, directeur de la conversion chez Journey Further, recommande de vous poser une question :
   
   Quelle est la chose la plus petite/la plus simple que nous puissions tester pour commencer à le prouver et à en apprendre davantage ?
   
   Ne tombez pas dans le piège du « ne testera que de petits changements » ou si vous avez fait des changements plus importants « l'argent a déjà coulé, donc nous ne le testerons pas ».
3. L'exploration minière peut être transformée en science
   
   La recherche de conversion basée sur des données qualitatives est un élément essentiel de tout type de test A/B, mais dans le commerce électronique, les données qualitatives telles que l'extraction d'avis peuvent être transformées en une science qui vous aide à comprendre :
   
   
   • USP du produit à mettre en avant
   • Avantages que vous pouvez tester dans votre copie
   • Comment les clients perçoivent les concurrents
   • Copier les angles pour les histoires de produits
   • Points douloureux que vous avez abordés
   • Problèmes non résolus à l'origine de l'abandon du panier Lorenzo Carreri, CRO & Experimentation Consultant, recommande de penser comme un détective. Tout comme un détective doit découvrir l'histoire d'un crime, vous pouvez utiliser des critiques pour dévoiler de nombreuses histoires.
     

     Les gens ont déjà pris une décision d'achat et maintenant, sans que nous les embêtions avec un sondage de sortie ou un widget, ils partagent en fait leur expérience de manière organique.

     En fait, l'analyse du pouls de Carreri pour différentes industries révèle un thème commun : les gens n'ont pas tendance à partager leurs idées sur leur expérience sur place. Ainsi, peu importe la question que vous posez ou la façon dont vous la posez.
     
     Mais avec l'extraction d'avis, en particulier sur Amazon, les gens ont tendance à partager leurs idées. Plus vous recueillez d'informations, plus vos données deviennent significatives, ce qui vous aide à formuler une meilleure hypothèse pour les tests.
4. Pas de pénurie de trafic pour le e-commerce
   
   Un obstacle important avec les tests A/B est de ne pas avoir suffisamment de trafic, ce qui signifie que les résultats peuvent être biaisés.
   
   Mais ce n'est pas un problème pour les magasins de commerce électronique. Un magasin Shopify à 7 chiffres reçoit facilement des centaines de milliers de visiteurs, mais une entreprise de série D B2B obtiendrait probablement 1/4 de ce trafic.

Pourquoi les entrepreneurs Shopify devraient-ils (sérieusement) envisager les tests A/B ?

Le commerce électronique est mûr pour les tests A/B. La possibilité de voir des résultats rapidement avec un grand nombre de visiteurs et beaucoup d'espace pour jouer est une raison suffisante pour adopter une culture de test A/B.

Mais peut-être n'en êtes-vous pas encore là. Une augmentation de votre trafic en ce moment génère une augmentation des revenus.

La question est, combien de temps pouvez-vous garder cela?

Plus de trafic ≠ plus de revenus au-delà d'un point. Cette voie vous oblige à dépenser plus en publicités tout en réduisant simultanément vos marges bénéficiaires avec des remises.

Et lorsque vous regardez les géants du commerce électronique comme Amazon, eBay ou Etsy, vous remarquerez qu'ils ont des tests A/B intégrés dans leur ADN. C'est la raison même pour laquelle ils prospèrent. Sans oublier que c'est le fil conducteur que tous les magasins Shopify à succès partagent.

Il est facile de comprendre pourquoi les tests A/B stimulent la croissance. Regardez à quel point les tests exécutés par Amazon sont granulaires :

Mais en fin de compte, les tests A/B ne sont pas seulement un moyen de rester compétitif, c'est une bonne décision commerciale.

Pourquoi? Parce que vos stratégies actuelles ne fonctionnent probablement pas en votre faveur.

1. Votre ROAS chute grâce à iOS 14
   Vous dépensez probablement plus d'argent qu'avant d'essayer d'attirer l'attention sur votre produit, mais le monde post-ATT a perturbé le fonctionnement des conversions basées sur les pixels. Et le reciblage et les audiences similaires ? Ils ne sont plus aussi efficaces. Si vous obtenez des conversions, soyez prêt à gérer les écarts entre le gestionnaire de publicités et votre backend Shopify.

2. Vos taux d'ouverture sont faussés
   Les numéros de courriel ne sont plus exacts. Mail Privacy Protection (MPP) s'en est assuré. Et vos listes basées sur l'engagement peuvent avoir un ciblage douteux et des conversions plus faibles.

3. Votre équation manque de rétention
   Chasser le trafic froid est une mauvaise décision commerciale. 40% de vos revenus proviennent de clients fidèles. Le trafic attire les acheteurs dans votre entonnoir, mais la rétention augmente la valeur à vie (LTV) de ces acheteurs.

4. Votre attribution marketing craint
   Les outils ne peuvent pas vous fournir de données utilisables et votre équipe ne peut pas attribuer de revenus à des modifications spécifiques. Vous ne pouvez pas appuyer sur tous les boutons en espérant voir la croissance. Vous avez besoin d'être précis ou de construire une entreprise à 8 chiffres est hors de question.

Les tests A/B renversent l'ancien livre de jeu et vous donnent la possibilité d'utiliser une approche scientifiquement valide qui est reproductible, fiable et rentable.

Voici pourquoi OLIPOP, une entreprise alternative aux sodas DTC, s'en tient aux tests A/B :

Les tests A/B améliorent l'engagement du contenu, réduisent les taux de rebond, augmentent votre taux de conversion et minimisent les risques, tout en fournissant des données faciles à analyser. En exécutant un test A/B, vous êtes en mesure de déterminer quel contenu résonne avec votre public cible. Vous pouvez ensuite utiliser ces données pour influencer votre stratégie marketing. Ces tests vous aident également à identifier les données non pertinentes et les zones où vos utilisateurs rencontrent des difficultés sur votre site Web, réduisant ainsi votre taux de rebond une fois que vous avez apporté les modifications nécessaires.

Une fois que vous aurez identifié la variation qui améliore votre expérience client, vous constaterez une augmentation du temps que les utilisateurs passent sur votre site, ce qui entraînera un taux de conversion plus élevé. Enfin, les tests A/B minimisent les risques car vous prenez des décisions basées sur des données précises au lieu de suppositions éclairées. Il vous permet d'apporter des modifications minimes sans compromettre l'ensemble de votre site Web. Votre retour sur investissement augmentera avec les tests A/B .

Steven Vigilante, responsable du développement des nouvelles affaires d'OLIPOP

Effectuez facilement de petits (ou grands) changements

L'optimisation, la science qui consiste à améliorer les choses, est facile avec les tests A/B. Vous pouvez introduire des modifications pour trouver la version qui crée une meilleure expérience d'achat et convertit une partie de votre trafic PPC.

Réduire le coût de l'échec

Le coût de l'échec est parfois bien trop élevé et freine sans surprise l'innovation. Mais avec les tests A/B, vous pouvez tester vos idées dans un environnement contrôlé sans avoir à créer ou à implémenter quoi que ce soit.

Jetez un coup d'œil au futur

Rien ne peut garantir le succès. Pas votre instinct, les suggestions de l'agence ou même la recherche solide de concurrents. Mais si vous voulez prendre des décisions basées sur les données, les tests A/B sont votre ami. Les meilleures versions d'un test ne sont pas choisies en fonction de la validité statistique, ce qui vous permet d'avoir un aperçu de votre potentiel de revenus.

Laisser peu de place aux mauvaises interprétations

Les tests A/B vous permettent de vraiment écouter votre public en collectant des données sur les changements sur le taux de conversion, l'abandon de panier, la valeur moyenne des commandes (AOV), les revenus et les bénéfices.
Au lieu d'estimer les effets de vos modifications, les résultats sont transparents et laissent peu de place à une mauvaise interprétation.

Problèmes avec les tests A/B sur Shopify (+ Solutions)

Pendant que vous envisagez de placer les tests A/B au cœur de votre stratégie, il est important de résoudre les problèmes potentiels auxquels vous pourriez être confronté lors de l'exécution de tests A/B sur Shopify.

Problème n°1 : l'anti-clickjacking de Shopify peut interférer avec votre QA mobile

Le détournement de clics incite les utilisateurs à cliquer sur du contenu exploitable sur un site leurre. Pour éviter que cela ne se produise, Shopify utilise une technologie anti-clickjacking. Mais cela empêche les outils de test A/B de fonctionner de manière optimale.

Problème n° 2 : les tests ne sont pas un problème, mais la mise en œuvre l'est

La mise en œuvre des résultats d'un test n'est pas quelque chose qu'une application ou un plug-in peut faire, cela nécessite une personnalisation. Même si vous trouvez des plugins qui fonctionnent pour vous, un trop grand nombre d'entre eux peut ralentir votre site, ce qui annule efficacement le gain potentiel.

Problème n°3 : Vous avez une boutique Shopify standard limitant ce que vous pouvez tester

Les magasins Shopify standard ne peuvent pas accéder à la plupart des fonctionnalités de Shopify Plus, ce qui signifie que vous ne pouvez pas exécuter de tests comme le test fractionné des thèmes. Des tests moins complexes ont un impact moindre sur vos revenus.

Un guide rapide sur les bases des tests A/B

Maintenant que vous vous êtes familiarisé avec les tests A/B, il est temps d'entrer dans le vif du sujet.

Faites une pause et répondez oui ou non à ces questions avant de faire défiler vers le bas pour voir la réponse.

• Le test A/B est identique au test fractionné
• Les tests A/B et les tests multivariés sont différents
• Vous ne pouvez apporter que des modifications mineures avec les tests A/B
• Vous n'avez pas besoin d'apprendre les statistiques pour exécuter des tests A/B
• Vous ne pouvez pas exécuter de tests A/B sur d'autres canaux
• Vous devriez arrêter les tests A/B une fois que vous voyez les résultats

Test A/B vs test fractionné

Avec les tests A/B, vous pouvez tester un ou plusieurs éléments sur une page. Vous créez essentiellement une version similaire de la page d'origine pour voir l'impact sur le taux de conversion.

Le test d'URL fractionnée est différent du test A/B. Le trafic est divisé en deux et envoyé à deux versions complètement différentes pour voir quelle page Web vous aide à atteindre vos objectifs spécifiques.

Quand exécuter des tests fractionnés ou des tests A/B : test de thème

Un bon exemple de quand choisir les tests fractionnés plutôt que les tests A/B est lorsque vous voulez tester des thèmes Shopify. Votre thème peut avoir un impact sur le CX et, en fin de compte, sur les revenus, il est donc essentiel de le tester à l'aide d'un outil comme l'option d'URL fractionnée de Convert.

Convert utilise l'inférence fréquentiste pour comprendre quel thème surpasse l'autre. Nous vous recommandons d'exécuter ce type de test pendant au moins deux semaines, sauf si vous avez un trafic inhabituellement élevé sur votre site.

PS Vous ne pouvez tester les thèmes que si vous êtes un utilisateur de Shopify Plus.

Test A/B vs test multivarié

Dans les tests A/B, vous opposez des pages presque identiques à l'original.

Au lieu de modifier un élément à la fois, comme dans les tests A/B, le test multivarié est un processus dans lequel vous testez plusieurs modifications dans un seul test. L'objectif des tests multivariés est de déterminer quelle combinaison de changements donne les meilleurs résultats.

Exemples de tests A/B à exécuter sur les boutiques Shopify

Demandez à Internet ce que vous devriez tester A/B, et on vous dira souvent d'essayer un autre CTA ou une couleur de bouton ou de changer un titre.

Non pas que ce soit sans importance, mais le monde est votre terrain de jeu, et vous ne jouez dans votre propre petit bac à sable que si vous vous limitez. Sortir des sentiers battus est essentiel à l'esprit d'expérimentation.

Nous avons contacté 8 entrepreneurs Shopify et leur avons demandé ceci :

Quels tests A/B avez-vous exécutés, pourquoi avez-vous choisi de mener cette expérience et quels ont été les résultats

#1. AOV boosté, commandes en légère baisse

Nous utilisons Shopify dans toutes nos boutiques en ligne et avons testé le regroupement ou le regroupement de nos produits pour augmenter l'AOV. Le test est un panier qui a des ventes incitatives, ou des offres groupées, par rapport à un panier qui ne contient que le produit initial. Les résultats ne sont pas encore tout à fait connus, mais jusqu'à présent, il semble que l'AOV ait augmenté tandis que le nombre total de commandes a légèrement baissé. Nous allons l'exécuter pendant quelques semaines supplémentaires avant de procéder à une analyse complète et nous pourrions tester d'autres configurations pour essayer de générer des améliorations à la fois en termes d'AOV et de conversions .

Sylvia Kang, Mira

#2. Optimisé chaque élément du site pour CX

En tant qu'entreprise Shopify, nous avons effectué une multitude de tests A/B, pour des fonctionnalités telles que le chat en direct, les CTA, les images de produits, le placement de vente incitative, les pages de destination, les menus de navigation, etc. Par exemple, nos tests A/B nous ont aidés à trouver l'équilibre entre les ventes croisées et les ventes incitatives sans irriter les consommateurs ni ajouter de friction à leur expérience .

Grâce à de nombreux tests, nous avons découvert que notre public appréciait les suggestions très pertinentes directement sur les pages de produits plutôt que proposées lors du paiement, et ce faisant, nous avons augmenté la valeur d'achat moyenne. Les tests A/B sont cruciaux car ils vous permettent d'identifier exactement quelles fonctionnalités fonctionnent le mieux et offrent les rendements les plus élevés sans perdre de temps et d'énergie à mettre en œuvre des éléments qui ne sont pas optimaux. Ces tests vous fournissent des données précises sur les choix de conception qui conviennent le mieux à votre public, et une meilleure expérience utilisateur est la manière dont les entreprises parviennent à la croissance et à la longévité .

Stephen Light, Matelas Nolah

#3. Utilisation des rediffusions de session pour inclure des vidéos pour de meilleurs résultats

L'un des aspects les plus importants qui peuvent faire ou défaire une conversion est la facilité avec laquelle un utilisateur peut naviguer dans votre boutique et effectuer un achat. Avec les tests A/B sur les rediffusions de session, nous avons réussi à voir comment de vrais utilisateurs ayant l'intention d'acheter naviguaient dans notre boutique, où se situait le problème, ce qui les frustrait, ce qui les avait arrêtés pendant le processus et les avait empêchés de faire un achat. Nous avons réalisé que les listes qui incluaient une vidéo du processus donnaient de meilleurs résultats et que les images de mauvaise qualité ou ne montrant pas plusieurs images entraînaient des hésitations.

Michael Nemeroff, T-shirts de commande urgente

#4. Augmentation des conversions de 2 % grâce aux modifications de conception

Dans ce test A/B, je voulais voir comment une nouvelle mise en page pouvait affecter le taux de conversion de ma boutique Shopify. Le site d'origine fonctionnait depuis six mois et convertissait à 3%, il semblait donc temps d'essayer quelque chose de différent. Mon changement de conception comprenait le déplacement des recommandations de produits sous le pli sur les appareils mobiles au lieu de les aligner sur les produits, ainsi que la suppression des bannières de la navigation supérieure, car elles n'étaient de toute façon pas cliquées. Cela a entraîné une augmentation instantanée des conversions de 2 %.

Jar Kuznecov, Hub des adoucisseurs d'eau

#5. Augmentation des clics relatifs de 14 % en modifiant la couleur du bouton CTA

Bien que nous ayons effectué une multitude de tests A/B au fil des ans, l'un des tests les plus efficaces que nous ayons effectués était également le plus simple : changer la couleur de notre bouton CTA. C'est ça. J'avais entendu dire par un ami qu'en changeant la couleur de ses boutons sur la page, il avait augmenté ses taux de réponse de 16 % (par rapport au nombre de clics qu'il obtenait auparavant). Cela m'a fait réfléchir et j'ai décidé de lancer notre propre test A/B. En fait, c'était en fait un test A/B/C, car nous avons essayé 3 couleurs différentes - notre couleur verte d'origine, ainsi que l'orange et le rouge. Le résultat? Le bouton rouge a donné un taux de réponse supérieur de 8 %, tandis que le bouton orange nous a donné 14 % de meilleurs résultats en termes de clics relatifs. C'est incroyable qu'un changement aussi simple que de rendre un bouton vert orange puisse avoir un effet aussi profond. Ainsi, mon meilleur conseil est que lorsque vous essayez d'amener quelqu'un à ajouter un produit à son panier, ne vous contentez pas de la couleur du bouton CTA. Réfléchissez-y sérieusement – ​​et testez-le .

John Ross, aperçu de la préparation aux tests

#6. Augmentation du CVR et de l'AOV avec Sticky Add-to-cart & Post-sale Upsells

Les tests A/B sont une épée à double tranchant. Cela semble bien d'optimiser votre boutique Shopify et d' augmenter le taux de conversion. Mais vous devez savoir ce que chaque test A/B ajoute une couche de complexité et utilise vos ressources. Ce qu'il faut tester est aussi important que la façon dont vous testez .

J'ai testé différentes commandes de photos de produits. À chaque fois, j'ai constaté que l' image la plus simple convertit toujours le mieux. Sur les pages produits, votre client doit comprendre exactement ce qu'est votre produit sans avoir à réfléchir.

Un ajout collant au panier est un gagnant connu. Avoir le bouton également à l'écran, à portée de main, était une augmentation facile de 8% de mon CVR.

N'oubliez pas les ventes incitatives après-vente. Il a été facile d'augmenter la valeur moyenne de ma commande de 24 $ à 40 $. Vous seriez surpris de voir à quel point il est facile de vendre plus à des personnes qui achètent déjà .

Matt Phelps, spécialiste CRO et fondateur de STEEL.

Vous vous sentez inspiré ? Voici plus de 20 éléments avec lesquels les débutants en test A/B peuvent jouer sur leur site e-commerce :

• Offrir la livraison gratuite
• Images de héros vs carrousels
• Taille de l'incitation à l'action
• Couleur de l'incitation à l'action
• Emplacement de l'incitation à l'action
• Copie de l'incitation à l'action
• Images humaines vs pas d'images
• Copie du titre
• Taille de police
• Hauteur de la ligne
• Personnalisation vs aucune
• Notification de retour en stock
• Descriptions de produits axées sur les avantages
• Conseil d'expert sur la page du produit
• Mise en avant des remises et offres
• Paiement sur une seule page ou sur plusieurs pages
• Assistance lors du paiement
• Menus de navigation simples
• Aperçu rapide du produit
• Vidéos de produits
• Vente incitative vs vente croisée
• Balises sur les images d'aperçu
• Contenu généré par l'utilisateur

D'après la liste des éléments que vous pouvez tester A/B, il est évident que les pages de produits sont le meilleur endroit pour commencer.

Mais d'autres pages de votre site sont également des candidats parfaitement viables pour les tests A/B.

Voyons quelles pages vous pouvez mettre à l'épreuve avec quelques exemples concrets de marques :

1. Page d'accueil
   
   
   • Salty Captain a changé la couleur de la barre d'annonce sur sa page d'accueil et a obtenu 234,54 % de clics supplémentaires et a augmenté le CVR de 13,39 %
   • Legendary Wall Art a expérimenté la section héros et la copie CTA et a augmenté son engagement de 325,39 % et ses revenus de 30,07 %
   • byBiehl a ajouté un curseur pour présenter ses produits importants, ce qui a entraîné une augmentation des visites de pages de catégorie (5,87 %), des revenus par utilisateur (3,25 %) et du CVR (19,73 %)
2. Page de catégorie
   
   
   • Copycat Fragrances a ajouté sa version des histoires d'Instagram sur ses pages de catégorie, augmentant l'engagement de 4 % et les revenus par utilisateur de 18 %
   • Iceshaker a modifié sa page de catégorie pour inclure l'histoire de son produit répondant aux objections courantes et a obtenu une augmentation de 15,95 % des conversions.
   • Oliver Cabell s'est concentré sur l'expérience mobile de son utilisateur en modifiant la mise en page et en améliorant la conception, ce qui a entraîné une augmentation de 14,86 % du trafic et une augmentation de 5,49 % du trafic sur la page de paiement.
3. Page de paiement
   
   
   • Oflara a recommandé d'autres articles aux acheteurs lors de leur paiement avec un bouton Ajouter au panier, ce qui a entraîné une amélioration significative des revenus globaux.
   • Conscious Items a éliminé les frictions du processus de paiement avec un panier collant, ce qui a entraîné une augmentation de 10 % des revenus par utilisateur et une augmentation de 10 % du CVR.
   • Homeware a noté que les utilisateurs n'avaient acheté qu'un seul article sur leur boutique Shopify. Ils ont donc simplifié le processus de paiement pour rediriger directement les utilisateurs vers la page de paiement, ce qui a entraîné une augmentation de 47,7 % du CVR et une augmentation de 71,4 % des revenus par visiteur sur mobile.

Conseil d'expert : Concentrez-vous sur les modifications importantes

Mon meilleur conseil pour les nouveaux entrepreneurs qui effectuent des tests A/B pour la première fois est de se concentrer sur les grands changements. Par exemple, une refonte complète d'une page produit. Il est peu probable que de petits changements comme changer les couleurs des boutons déplacent l'aiguille de manière significative .

En faisant une refonte complète de la page et en ajoutant des gifs d'explication de produit à nos pages de produits, nous avons pu augmenter le taux de conversion de 40 % .

Philip Pages, fondateur de PostPurchaseSurvey.com et marque Shopify de commerce électronique à 7 chiffres.

Concepts de statistiques à connaître lorsque vous exécutez des tests A/B

Bien que les tests A/B soient utilisés pour comparer deux versions de votre site Web, il n'est pas utile de ne regarder que les chiffres, car cela ne tient pas compte de la signification statistique des données. Vous finirez par mal interpréter les résultats et nuire à vos ventes.

Ainsi, que votre équipe interne dirige le projet ou que vous embauchiez une agence CRO, il est important que vous vous familiarisiez avec les concepts de statistiques de test A/B dont vous entendrez beaucoup parler.

Échantillon et population

Tous les visiteurs qui arrivent sur votre site sont considérés comme une population tandis qu'un échantillon est le nombre de visiteurs qui participent à un test A/B.

Moyenne, médiane et mode

Moyenne = moyenne

Médiane = valeur au milieu

Mode = valeur répétée

Variance et écart type

La variance est la variabilité moyenne des données. Plus la variabilité est élevée, moins la moyenne est précise en tant que prédicteur d'un point de données individuel.

L'écart type est la racine carrée de la variance et est exprimé dans les mêmes unités que les valeurs d'origine, ce qui le rend intuitivement plus facile à comprendre. D'autre part, la variance est exprimée dans le carré de l'unité d'origine mais reste importante pour les résultats de vos tests A/B.

Signification statistique

Lorsqu'un tableau de bord de test A/B indique qu'il y a « 95 % de chances de battre l'original » ou « 90 % de probabilité de signification statistique », il pose la question suivante : en supposant qu'il n'y a pas de différence sous-jacente entre A et B, à quelle fréquence allons-nous voir une différence comme nous le faisons dans les données juste par hasard ?

Evan Miller, développeur de logiciels statistiques (Source)

Le niveau de signification doit être le plus petit possible. 1 % est idéal, car il équivaut à un niveau de confiance de 99 %. Et des résultats insignifiants peuvent signifier que ce que vous voyez est en fait un faux positif, il est donc important d'attendre la signification statistique, mais pas seulement.

Vous devez calculer une taille d'échantillon qui correspond à un ascenseur minimum de votre choix (MDE - Effet minimum détectable), vous aurez un changement accru de faire un faux positif.

Valeur P

La valeur p est la probabilité d'obtenir des résultats au moins aussi extrêmes que les résultats observés d'un test d'hypothèse statistique, en supposant que l'hypothèse nulle est correcte.

Mais ce que vous devez vraiment savoir sur la valeur p, c'est ceci : « À quel point ce résultat est-il surprenant ?

Combien de temps devez-vous exécuter un test A/B sur une boutique Shopify ?

Il y a deux erreurs courantes que vous rencontrerez souvent :

• Terminez le test A/B lorsque vous atteignez la signification statistique
• Surveillez les valeurs p et déclarez le gagnant dès que vous atteignez la cible.

L'arrêt d'un test doit être basé sur la taille de l'échantillon. Mais même si vous ne devez pas mettre fin à votre expérience plus tôt, elles ne doivent pas durer indéfiniment. Si après 3 mois, vous n'avez toujours pas atteint la signification, il est préférable d'essayer d'autres changements de votre côté, de préférence plus audacieux.

Convert et Shopify recommandent de laisser vos tests s'exécuter pendant au moins deux cycles économiques ou 14 jours.

Avid Faruz, PDG de Faruzo est d'accord :

Les nouveaux entrepreneurs doivent savoir que dans les tests A/B, le délai compte beaucoup. Plus vous exécutez vos tests A/B longtemps, plus vous obtiendrez des tests précis. En effet, vos tests utiliseront plus de points de données pour dériver des résultats. Les spécialistes du marketing expérimentés effectuent leurs tests pendant deux semaines. Je conseillerais à tous les spécialistes du marketing et aux entrepreneurs de fixer un délai en fonction du niveau de trafic que leurs sites Web obtiennent .

C'est la raison pour laquelle notre plateforme propose un essai gratuit de 14 jours afin que vous puissiez tester votre hypothèse.

Processus en 4 étapes pour exécuter des tests A/B sur une boutique Shopify

Prêt à lancer des tests ?

Utilisez ce processus de test A/B en 4 étapes pour créer de meilleurs tests et comprendre leur impact.

#1. Mener des recherches qualitatives et quantitatives

La recherche de conversion est la première et la plus importante étape. Cela vous permet de construire des hypothèses que vous pouvez tester A/B. Également connue sous le nom de phase de découverte, c'est à ce moment que vous mettez votre hypothèse de fonctionnement au repos et que vous laissez les données vous guider.

Vous vous retrouverez avec deux types de données, quantitatives et qualitatives.

Commencez par recueillir des données quantitatives. Ceux-ci constituent les faits froids et durs que vous ne pouvez pas contester et que les moteurs d'analyse comme Google Analytics, Amplitude ou Mixpanel peuvent cracher.

Par exemple, vous voudrez peut-être consulter les taux de rebond, le nombre total de conversions ou les pages vues/session.

Une fois que vous avez accumulé les données quantitatives, récupérez les données qualitatives. Comme cela est subjectif, il est possible que des préjugés inconscients s'infiltrent, mais l'interprétation de vos conclusions est la seule façon de répondre au "Pourquoi".

Utilisez Hotjar pour générer des cartes thermiques et enregistrer les sessions des visiteurs. Les réponses que vous pouvez trouver ne sont pas définitives, mais elles introduisent de nouvelles possibilités contribuant à une meilleure hypothèse dans l'ensemble.

Mais avant de vous lancer là-dedans, il est important d'examiner les données qualitatives et quantitatives en tandem pour avoir une compréhension globale. L'analyse équivaut à l'interrogation des données et à la pensée critique.

#2. Créer des hypothèses crédibles

Suivre la méthode scientifique signifie que vous devez créer une hypothèse crédible - une solution proposée dont la validité nécessite une évaluation.

Matt Beischel, fondateur de CorvusCRO, partage les 3 principaux composants d'une hypothèse : la compréhension, la réponse et le résultat.

Voici un exemple de ce à quoi cela ressemblerait :

Pour vous aider à simplifier et standardiser la création d'hypothèses, nous avons un générateur d'hypothèses de test A/B.

À ce stade, vous souhaitez également comprendre la taille de votre échantillon et calculer un point d'arrêt pour le test en fonction de cela. Utilisez notre calculateur d'importance des tests A/B pour cela.

Conseil d'expert :

Une fois que vous connaissez la taille de votre échantillon et la durée pendant laquelle vous devez exécuter votre test, vous devez définir vos priorités de test. Vous pouvez choisir de tester différentes parties du processus comme une seule page, un site Web entier, des popups ou des publicités payantes. Il est préférable de se concentrer sur une partie du processus à la fois, afin d'obtenir des réponses claires sur les changements qui améliorent l'expérience client et les taux de conversion .

Allan Borch, fondateur de DotcomDollar.com

Priorisez votre hypothèse

L'expérimentation a une tonne d'avantages, c'est pourquoi vous verrez souvent des experts qui préconisent de tout tester. Cependant, vous devez hiérarchiser les tests que vous devez exécuter maintenant et les expériences qui peuvent attendre, car les ressources sont limitées, quelle que soit la taille de votre entreprise.

Les expérimentateurs se rabattent donc sur des modèles de priorisation comme RICE, PIE, ICE ou PXL. Mais David Mannheim, consultant en personnalisation, suggère que ces modèles sont défectueux :

Ils manquent d'alignement sur le contexte plus large de l'entreprise. La hiérarchisation doit être descendante, en se concentrant d'abord sur la mission commerciale, sur les objectifs commerciaux ensuite, et ainsi de suite. La plupart des modèles de hiérarchisation se concentrent sur "l'exécution", c'est-à-dire la toute dernière chose dans un schéma triangulaire d'exécution sur la base, le concept, le problème de l'utilisateur, les objectifs du produit, les objectifs commerciaux et la mission au sommet .

Ces modèles utilisent également « l'effort » comme facteur de notation, ce qui signifie que vous vous retenez vraiment de créer des fonctionnalités qui ont potentiellement le plus d'impact, car elles sont complexes. Au final, ces modèles manquent d'objectivité.

Andrea Saez, Senior Product Marketing Manager chez Product School, déclare :

Il n'y a aucun moyen de connaître la portée, l'impact ou l'effort sur la plupart des choses sans avoir correctement vérifié si vous travaillez même sur les bonnes choses, encore moins si vous n'en avez parlé à personne. Alors, comment pourriez-vous avoir confiance ?.

La réponse ici est de construire votre propre modèle de priorisation.

Étape 1 : Inspirez-vous des exemples

Étape 2 : Tenez compte de facteurs tels que l'alignement avec les objectifs commerciaux, le potentiel d'itération, l'apprentissage spécifique à l'entreprise et l'investissement en ressources.

Étape 3 : Attribuez une pondération aux tests que vous souhaitez exécuter

Étape 4 : Rincez et répétez jusqu'à ce que vous trouviez un acronyme qui vous convient.

#3. Déployer le test

Vous avez votre recherche en place et construit une hypothèse crédible. Il est maintenant temps d'aller au bâton.

Un déploiement réussi nécessite 3 choses : la bonne plateforme de test A/B, la bonne équipe pour coder les tests, et l'assurance qualité et le débogage.

Commençons par le premier.

Qu'est-ce qui fait une bonne plateforme de test A/B pour Shopify ?

Idéalement, vous voulez un outil unique qui vous permette de tester les thèmes, les prix, les menus, les collections de produits, les pages de recherche, d'exécuter des tests multivariés et de suivre les revenus.

De nombreux plugins peuvent vous aider à réaliser une ou plusieurs de ces choses, mais nous savons déjà que les plugins provoquent un gonflement du code, ce qui n'est pas une bonne nouvelle pour votre référencement ou vos conversions.

Une plate-forme de test dédiée comme Convert Experiences s'intègre de manière transparente à votre boutique Shopify, vous permet d'exécuter toutes sortes de tests que vous souhaitez et dispose d'une application de test Shopify A/B personnalisée que vous pouvez utiliser, éliminant ainsi les éventuelles surcharges de code.

Ensuite, vous voulez avoir la bonne équipe en place pour coder les tests.

Remarque : Il existe une différence entre les codeurs et les codeurs qui travaillent avec des équipes de test A/B.

Ultimately, testing is incomplete without QA and debugging. Without QA, variation errors can crop up, causing statistical errors—a false positive or a false negative. Not to mention, you may end up collecting the wrong data that delivers zero value to your visitors.

Here are 4 best practices for QA of A/B tests:

• Develop a QA strategy
• Identify what to QA
• Focus on page experience
• Align QA with conversion goals

Pro Tip: Avoid these rookie A/B testing mistakes:

• You only test industry best practices
• You keep peeking at your “results”
• You give up after one test
• You fail to iterate and improve on wins
• You mess up revenue tracking

#4. Analyze & Learn From Your A/B Tests

Whether you have a winner or loser on your hands, analyzing what worked and learning from it to influence future A/B tests is crucial.

Because while A/B testing is a strategy to boost your revenue, you're also effectively “buying data” on your audience.

Here's a 7 step process to learn from A/B tests –

• Make sure your data is accurate, valid, and significant
• Check your micro, macro, and guardrail metrics
• Segment your results
• Check user behavior
• Continue to improve on winners
• Create a learning repository for future tests

The last step allows you to run tests in the future that are backed by your previous experiments' learnings.

Expert Tip: Be prepared to fail.

It is difficult to predict the conversion rate for your website even if you think you've created the perfect A/B test. As a new entrepreneur, I almost succumbed to the frustrations of seeing no success in the first few months. I am not used to failure and many entrepreneurs are like this. The focus should be to give the users the best experience and leave room for the unexpected .

Leslie Radka, Founder & Hiring Manager at GreatPeopleSearch

A/B Testing in Other Realms That Can Compound Your Shopify Store Gains

Don't stick to just your website. A/B testing can and should be applied to other channels and realms where customer engagement occurs.

A/B Testing Pop-Ups (with Privy)

Those pop-ups you have on your website? You can A/B test them too with tools like Privy. Experiment with your headline, offer, form, CTA, or images.

Privy's Convert tool allows you to present the pop-up in different formats and target visitors based on rulesets.

A/B Testing Emails

When it comes to email marketing, 3 core areas of improvement emerge—delivery, open rates, and CTR.

You can test your emails in this order:

• First, the subject lines to improve the open rate
• Then the body copy to make sure it's relevant
• Finally, the CTAs to get more clicks

What else can you test in your email? Check out our complete guide to A/B testing emails.

Here's how 2 Shopify entrepreneurs used A/B testing to grow their email marketing channel: [h5] #1. Grew Email List 3x Using Split Testing

The most effective strategy for testing content is A/B testing. A/B testing has proven, measurable, immediate results that tell us whether one or another content base is more effective at converting customers to sign up for emails, make a purchase, etc.

In retail, vanity metrics like direct traffic to your website are least effective for measuring content success, while A/B testing (ie, tracking conversion rate, user engagement, email funnels) is the most effective. We tested our email subscription CTA with split-testing and grew our email list over three times in one campaign. The better you know your ICP, the more effective your brand strategy will convert. Use A/B tests to understand your target demographic better, and spoon-feed them the content they respond best to .

Zach Goldstein, Public Rec

#2. Increased email open rate by 25% with emojis in subject lines

After seeing a study, I wanted to test out open rates using an emoji in the subject line vs. not using one. The study implied that using an emoji would help to enhance open rates, but I felt that it could come off as unprofessional and spammy.

I use the ActiveCampaign email platform alongside Shopify, and I actually integrate the two together to maximize customer communication. ActiveCampaign allows users to run many A/B tests so they can see what jives with their target audience. When the results were in, I had to admit that I was wrong because the emails with an emoji in the subject received a 25% higher open rate. It's safe to say that I've been pretty liberal with my emoji keyboard ever since, and I've noticed a spike in conversion rates, too .

Stephanie Venn-Watson, fatty15

A/B Testing on Social Media

Like paid ads, you can test your organic content on social to improve engagement. The heading, copy, images, and CTA can all be A/B tested.

When doing this manually, stagger the release of your posts to have a reasonable gap which will allow you to gather meaningful data.

Or you can use scheduling tools like Later, Buffer, or MeetEdgar to automate the publishing.

Ecommerce A/B Testing Pitfalls to Avoid

Our need for instant gratification also seeps into A/B testing. Jon Ivanco, Co-founder of Formtoro, believes most A/B testing is reactionary:

Brands want a quick fix that's cost-effective; they hate the idea of investing in long-term outlooks and gains. The only time they look at these things is when things aren't going well .

There are “experts” that are anything but experts, bad advice presented as best practices, and experiments designed to pick the low-hanging fruit.

Ivanco instead recommends getting the basics right:

– All tests to landing pages
– All tests from specific audiences
– Test one variable at a time
– Don't test unless you have a clearly articulated hypothesis and you can learn from if something goes right or if it fails
– Do all tests from the perspective of the customer journey
– Small things are part of a larger chain, try to isolate things as much as you can one step at a time

Give Privacy a Thought

No one wants to become a lab rat inadvertently.

The backlash to Facebook 2014's emotional contagion study is proof. Even Apple's privacy updates signal that users care about their privacy and don't want to be manipulated into buying products.

Laws around privacy—existing and upcoming—will continue to evolve. Each time a significant change is brought about, it will hurt your business unless you start thinking user-first and bake ethical A/B testing into your strategy.

So what does that mean for you?

• Take data privacy seriously when collecting data
• Rule out manipulative tactics
• Store and process data securely
• Respect user consent and allow them to opt-out of experiments

Do that and you will future-proof your A/B testing and build a better relationship with your audience.