La guida per gli imprenditori ai test A/B sui negozi Shopify (+ 9 imprenditori di Shopify condividono le loro storie di test A/B con risultati)

Quindi hai sentito parlare di test A/B attraverso la vite.

Forse il tuo concorrente l'ha menzionato casualmente in un podcast o il tuo team di marketing pensa che sia un'ottima idea. Oppure l'agenzia di crescita con cui sei in trattative vuole eseguire test A/B.

Far crescere un'impresa non è facile. Lo sai. Essendo arrivato così lontano, ci devono essere state diverse occasioni in cui hai faticato a capire se una decisione aziendale è quella giusta.

Non sarebbe bello se invece di scommettere su ciò che pensi che il tuo pubblico vorrà, tu avessi un modo per saperlo con certezza?

Questo è ciò che fa il test A/B.

Certo, i vantaggi dei test A/B trascendono le decisioni basate sui dati, ma in fondo è la salsa segreta per sbloccare la crescita su larga scala.

Quindi, sia che tu tenti di fare il fai-da-te o esternalizzare le tue esigenze, ecco tutto ciò che un imprenditore Shopify come te dovrebbe sapere sui test A/B.

Che cos'è il test A/B dell'e-commerce?

Il test A/B è un processo attraverso il quale puoi capire cosa sta cercando il tuo pubblico prima che diventi un cliente.

Di solito, i test A/B sono pensati in termini di piccole modifiche come cambiare il colore del pulsante di invito all'azione (CTA) o aggiungere un nuovo titolo, ma è più profondo.

Ti consente di determinare quale copia, design e funzionalità (UX) risuonano con i tuoi visitatori inserendo una versione della tua pagina o elemento su una pagina con una variazione per vedere cosa funziona.

E abbiamo appena iniziato!

Puoi prendere il concetto di test A/B e applicarlo a ogni canale che usi e all'interazione che hai con il tuo pubblico.

Ma è importante capire che i test A/B dell'e-commerce sono diversi rispetto ad altri verticali come B2B SaaS.

1. Il tempo per realizzare le entrate è più breve
   
   I test A/B possono rivelare l'impatto sulle entrate molto più rapidamente rispetto al tradizionale B2B. Nel B2B, le offerte sono multi-thread, hanno più decisori che prendono le decisioni in cicli di vendita che abbracciano mesi se non trimestri.
   
   Sebbene idealmente dovresti utilizzare i test A/B per la ricerca e la mitigazione del rischio e non solo per aumentare le entrate, la linfa vitale di qualsiasi azienda sono le entrate, quindi c'è una buona ragione per introdurre i test A/B nel mix di crescita.
2. I processi di pagamento sono complessi (quindi più spazio per i test)
   
   Sebbene le canalizzazioni di acquisto e-commerce non siano complicate come il B2B, il processo di pagamento non è unidimensionale.
   
   Ruben De Boer, l'autore di Psychology of Buying , spiega che pagare fa letteralmente male. In uno studio del 2007 per indagare su come le persone valutano i fattori per prendere decisioni di acquisto, ai partecipanti sono state mostrate le immagini del prodotto e quindi il prezzo. I loro cervelli sono stati analizzati da macchine fMRI per vedere quali percorsi neurali si sarebbero illuminati.
   
   Come previsto, vedere le immagini dei prodotti ha illuminato il centro di ricompensa nel loro cervello.
   
   Ma il prezzo? La parte del cervello associata al dolore fisico e sociale si è illuminata come un albero di Natale aiutando i ricercatori a concludere che il compromesso tra guadagno e dolore deve avere un senso affinché i consumatori aprano i loro portafogli.
   
   Ciò non significa che devi abbassare i prezzi perché il prezzo indica anche la qualità del prodotto. Puoi provare un carattere più piccolo, offrire il pagamento anticipato, mostrare sconti con un carattere più grande o evitare il linguaggio del denaro nella tua copia.
   
   Quindi abbassare il dolore dell'acquisto significa che devi capire il miscuglio di motivazioni, desideri e frustrazioni umane che è impossibile senza il test A/B. Puoi testare la messaggistica, gli elementi dell'interfaccia utente o rivedere il processo di pagamento, tutto in tempo reale.

   In alcuni casi, potresti non essere in grado di apportare modifiche sostanziali al carrello e al flusso di pagamento a causa delle limitazioni imposte dalla tua piattaforma di e-commerce, ma questo non è un motivo per abbandonare test ambiziosi. Puoi sempre testare modifiche più piccole che ti danno un'idea delle potenziali modifiche più grandi che potrebbero avere.

   Jonny Longden, Direttore delle conversioni di Journey Further, consiglia di porsi una domanda:
   
   Qual è la cosa più piccola/semplice che possiamo testare per iniziare a dimostrarlo e impararlo?
   
   Non cadere nella trappola di "testerà solo piccole modifiche" o se hai apportato modifiche più grandi "i soldi sono già stati affondati, quindi non li testeremo".
3. Il mining di recensioni può essere trasformato in una scienza
   
   La ricerca di conversione basata su dati qualitativi è un punto fermo in qualsiasi tipo di test A/B ma, nell'e-commerce, i dati qualitativi come il review mining possono essere trasformati in una scienza che ti aiuta a capire:
   
   
   • USP del prodotto da evidenziare
   • Vantaggi che puoi testare nella tua copia
   • Come i clienti percepiscono i concorrenti
   • Copia angoli per storie di prodotti
   • Punti deboli che hai affrontato
   • Punti deboli non affrontati che causano l'abbandono del carrello Lorenzo Carreri, CRO & Experimentation Consultant, consiglia di pensare come un detective. Proprio come un detective deve scoprire la storia dietro un crimine, puoi usare le recensioni per svelare molte storie.
     

     Le persone hanno già preso una decisione sull'acquisto e ora senza che le infastidiamo con un exit poll o un widget, stanno effettivamente condividendo organicamente la loro esperienza.

     In effetti, l'analisi del polso di Carreri per diversi settori rivela un tema comune: le persone non tendono a condividere informazioni sulla propria esperienza in loco. Quindi non importa quale domanda fai o come la poni.
     
     Ma con il mining di recensioni, in particolare su Amazon, le persone tendono a condividere le proprie conoscenze. Più approfondimenti raccogli, più significativi diventano i tuoi dati, il che ti aiuta a formulare un'ipotesi migliore per i test.
4. Nessuna carenza di traffico per l'e-commerce
   
   Un ostacolo significativo con i test A/B è non avere abbastanza traffico, il che significa che i risultati possono essere distorti.
   
   Ma questo non è un problema per i negozi di e-commerce. Un negozio Shopify a 7 cifre riceve facilmente centinaia di migliaia di visitatori, ma un'azienda B2B di serie D otterrebbe probabilmente 1/4 di quel traffico.

Perché gli imprenditori di Shopify dovrebbero (seriamente) considerare i test A/B?

L'e-commerce è maturo per i test A/B. La possibilità di vedere rapidamente i risultati con un ampio bacino di visitatori e molto spazio con cui giocare è una ragione sufficiente per adottare una cultura del test A/B.

Ma forse non ci sei ancora. Un aumento del tuo traffico in questo momento produce un aumento delle entrate.

La domanda è: per quanto tempo puoi continuare così?

Più traffico ≠ più entrate oltre un punto. Questo percorso richiede di spendere di più per gli annunci e allo stesso tempo di intaccare i margini di profitto con sconti.

E quando guardi i giganti dell'e-commerce come Amazon, eBay o Etsy, noterai che hanno un test A/B integrato nel loro DNA. È la vera ragione per cui prosperano. Per non parlare del fatto che è il filo conduttore comune a tutti i negozi Shopify di successo.

È facile capire perché i test A/B spingono la crescita. Guarda quanto sono granulari i test eseguiti da Amazon:

Ma quando si arriva al punto, il test A/B non è solo un modo per rimanere competitivi, è una buona decisione aziendale.

Come mai? Perché le tue strategie attuali probabilmente non stanno funzionando a tuo favore.

1. Il tuo ROAS sta precipitando grazie a iOS 14
   Probabilmente stai spendendo più soldi di prima cercando di attirare l'attenzione sul tuo prodotto, ma il mondo post-ATT ha incasinato il modo in cui funzionano le conversioni basate sui pixel. E il retargeting e il pubblico simile? Non sono più così efficaci. Nella remota possibilità di ottenere alcune conversioni, preparati a gestire le discrepanze tra Ad Manager e il tuo Shopify back-end.

2. I tuoi tassi di apertura sono distorti
   I numeri di posta elettronica non sono più accurati. Mail Privacy Protection (MPP) si è assicurato di questo. E i tuoi elenchi basati sul coinvolgimento potrebbero avere un targeting discutibile e conversioni inferiori.

3. La tua equazione manca di ritenzione
   Inseguire il traffico freddo è una mossa sbagliata. Il 40% delle tue entrate proviene da clienti fedeli. Il traffico attira gli acquirenti nella tua canalizzazione, ma la fidelizzazione aumenta il lifetime value (LTV) di questi acquirenti.

4. La tua attribuzione di marketing fa schifo
   Gli strumenti non possono fornirti dati utilizzabili e il tuo team non può attribuire entrate a modifiche specifiche. Non puoi premere tutti i pulsanti sperando di vedere una crescita. Devi essere specifico o costruire un business a 8 cifre è fuori questione.

Il test A/B capovolge il vecchio playbook e ti dà la possibilità di utilizzare un approccio scientificamente valido che sia ripetibile, affidabile e redditizio.

Ecco perché OLIPOP, un'azienda alternativa alla soda DTC, sostiene i test A/B:

Il test A/B migliora il coinvolgimento dei contenuti, riduce le frequenze di rimbalzo, aumenta il tasso di conversione e riduce al minimo i rischi, il tutto fornendo dati facili da analizzare. Eseguendo un test A/B, sei in grado di capire quale contenuto risuona con il tuo pubblico di destinazione. Puoi quindi utilizzare questi dati per influenzare la tua strategia di marketing. Questi test ti aiutano anche a identificare i dati irrilevanti e le aree in cui i tuoi utenti stanno riscontrando difficoltà sul tuo sito web, riducendo così la frequenza di rimbalzo una volta apportate le modifiche necessarie.

Una volta identificata la variazione che migliora l'esperienza del cliente, noterai un aumento del tempo che gli utenti trascorrono sul tuo sito, portando a un tasso di conversione più elevato. Infine, il test A/B riduce al minimo il rischio perché prendi decisioni basate su dati accurati anziché su ipotesi plausibili. Ti consente di apportare modifiche minime senza compromettere l'intero sito web. Il tuo ROI aumenterà con i test A/B .

Steven Vigilante, Head of New Business Development di OLIPOP

Apporta facilmente piccole (o grandi) modifiche

L'ottimizzazione, la scienza per migliorare le cose, è facile con i test A/B. Puoi apportare modifiche per trovare la versione che crea una migliore esperienza di acquisto e converte parte del tuo traffico PPC.

Riduci il costo del fallimento

Il costo del fallimento a volte è troppo alto e non sorprende che inibisca l'innovazione. Ma con i test A/B, puoi testare le tue idee in un ambiente controllato senza dover creare o implementare nulla.

Sbircia nel futuro

Niente può garantire il successo. Non il tuo istinto, i suggerimenti dell'agenzia o anche la solida ricerca sulla concorrenza. Ma se vuoi prendere decisioni basate sui dati, i test A/B sono tuoi amici. Le migliori versioni in un test non vengono scelte in base alla validità statistica che ti consente di avere un'idea del tuo potenziale di guadagno.

Lascia poco spazio a interpretazioni errate

Il test A/B ti consente di ascoltare veramente il tuo pubblico raccogliendo dati sulle modifiche su tasso di conversione, abbandono del carrello, valore medio dell'ordine (AOV), entrate e profitto.
Invece di stimare gli effetti delle modifiche, i risultati sono trasparenti e lasciano poco spazio a interpretazioni errate.

Problemi con i test A/B su Shopify (+ Soluzioni)

Mentre stai pensando di rendere i test A/B centrali per la tua strategia, è importante affrontare i potenziali problemi che potresti incontrare durante l'esecuzione di test A/B su Shopify.

Problema n. 1: l'anti-clickjacking di Shopify può interferire con il QA mobile

Il clickjacking induce gli utenti a fare clic su contenuti utilizzabili su un sito esca. Per evitare che ciò accada, Shopify utilizza la tecnologia anti-clickjacking. Ma impedisce agli strumenti di test A/B di funzionare in modo ottimale.

Problema n. 2: il test non è un problema, ma l'implementazione lo è

L'implementazione dei risultati di un test non è qualcosa che un'app o un plug-in può fare: richiede la personalizzazione. Anche se trovi plug-in che funzionano per te, troppi di essi possono rallentare il tuo sito, annullando efficacemente il potenziale guadagno.

Problema n. 3: hai un negozio Shopify standard che limita ciò che puoi testare

I negozi Shopify standard non possono accedere alla maggior parte delle funzionalità di Shopify Plus, il che significa che non puoi eseguire test come test divisi dei temi. I test di complessità inferiore si traducono in un impatto minore sulle entrate.

Una guida rapida alle basi del test A/B

Ora che hai avvolto la tua mente attorno ai test A/B, è tempo di entrare nel nocciolo della questione.

Fermati un momento e rispondi sì o no a queste domande prima di scorrere verso il basso per vedere la risposta.

• Il test A/B è lo stesso del test diviso
• Il test A/B e il test multivariato sono diversi
• Puoi apportare solo piccole modifiche con i test A/B
• Non è necessario imparare le statistiche per eseguire i test A/B
• Non è possibile eseguire test A/B su altri canali
• Dovresti interrompere i test A/B una volta che vedi i risultati

Test A/B vs. Split Test

Con il test A/B puoi testare uno o più elementi in una pagina. Fondamentalmente crei una versione simile della pagina originale per vedere l'impatto sul tasso di conversione.

Il test dell'URL diviso è diverso dal test A/B. Il traffico viene suddiviso a metà e inviato a due versioni completamente diverse per vedere quale pagina web ti aiuta a raggiungere i tuoi obiettivi specifici.

Quando eseguire split test e test A/B: test dei temi

Un ottimo esempio di quando scegliere il test diviso rispetto al test A/B è quando vuoi testare i temi Shopify. Il tuo tema può influire sulla CX e, in definitiva, sulle entrate, quindi è essenziale testarlo utilizzando uno strumento come l'opzione URL diviso di Converti.

Convert utilizza l'inferenza frequentista per capire quale tema supera l'altro. Ti consigliamo di eseguire questo tipo di test per almeno due settimane, a meno che tu non abbia un traffico insolitamente elevato in arrivo al tuo sito.

PS Puoi testare i temi solo se sei un utente Shopify Plus.

Test A/B vs. test multivariato

Nei test A/B, stai confrontando pagine quasi identiche con l'originale.

Invece di modificare un elemento alla volta, come nei test A/B, il test multivariato è un processo in cui si verificano più modifiche in un unico test. L'obiettivo del test multivariato è scoprire quale combinazione di modifiche produce risultati migliori.

Esempi di test A/B da eseguire sui negozi Shopify

Chiedi a Internet cosa dovresti eseguire il test A/B e spesso ti verrà detto di provare un altro CTA o un colore di un pulsante o cambiare un titolo.

Non che non sia importante, ma il mondo è il tuo parco giochi e stai giocando nella tua piccola sandbox solo se ti limiti. Pensare fuori dagli schemi è fondamentale per lo spirito di sperimentazione.

Abbiamo contattato 8 imprenditori di Shopify e abbiamo chiesto loro questo:

Quali test A/B hai eseguito, perché hai scelto di condurre questo esperimento e quali sono stati i risultati

# 1. AOV potenziato, ordini in lieve calo

Usiamo Shopify in tutti i nostri negozi online e abbiamo testato il raggruppamento o il raggruppamento dei nostri prodotti per aumentare l'AOV. Il test è un carrello che ha upsell, o pacchetti, rispetto a un carrello che contiene solo il prodotto iniziale. I risultati non sono ancora del tutto disponibili, ma finora sembra che l'AOV sia aumentato mentre il numero totale di ordini è leggermente diminuito. Lo eseguiremo per qualche altra settimana prima di eseguire un'analisi completa e potremmo testare altre configurazioni per provare a generare miglioramenti sia nell'AOV che nelle conversioni .

Sylvia Kang, Mira

#2. Ottimizzato ogni elemento del sito per CX

Come azienda Shopify, abbiamo eseguito una moltitudine di test A/B, per funzionalità come chat dal vivo, CTA, immagini di prodotti, posizionamento di upselling, pagine di destinazione, menu di navigazione e altro ancora. Ad esempio, i nostri test A/B ci hanno aiutato a trovare l'equilibrio tra cross-selling/upselling senza irritare i consumatori o aggiungere attrito alla loro esperienza .

Attraverso numerosi test, abbiamo scoperto che il nostro pubblico apprezzava i suggerimenti altamente rilevanti direttamente sulle pagine dei prodotti anziché offerti durante il checkout e, così facendo, abbiamo aumentato il valore medio di acquisto. Il test A/B è fondamentale perché consente di individuare esattamente quali funzionalità offrono le migliori prestazioni e offrono i rendimenti più elevati senza sprecare tempo ed energie nell'implementazione di elementi non ottimali. Questi test forniscono dati accurati su quali scelte progettuali si adattano meglio al tuo pubblico e un'esperienza utente più forte è il modo in cui le aziende ottengono crescita e longevità .

Stephen Light, Materasso Nolah

#3. Utilizzate le riproduzioni delle sessioni per includere video per risultati migliori

Uno degli aspetti più importanti che possono creare o interrompere una conversione è la facilità con cui un utente può navigare nel tuo negozio ed effettuare un acquisto. Con i test A/B sui replay delle sessioni, siamo riusciti a vedere come gli utenti reali con l'intento di acquistare navigavano nel nostro negozio, dove era il problema, cosa li ha frustrati, cosa li ha fatti fermare durante il processo e impedire loro di effettuare un acquisto. Ci siamo resi conto che gli elenchi che includevano video del processo producevano risultati migliori e le immagini di scarsa qualità o che non mostravano più immagini portavano a esitazione.

Michael Nemeroff, Magliette Rush Order

#4. Conversioni aumentate del 2% con modifiche al design

In questo test A/B, volevo vedere come un nuovo layout potrebbe influenzare il tasso di conversione del mio negozio Shopify. Il sito originale era in esecuzione da sei mesi e registrava una conversione del 3%, quindi sembrava giunto il momento di provare qualcosa di diverso. La mia modifica al design includeva lo spostamento dei consigli sui prodotti below the fold sui dispositivi mobili anziché in linea con i prodotti, nonché la rimozione dei banner dalla navigazione in alto poiché comunque non venivano cliccati. Ciò ha comportato un aumento istantaneo delle conversioni del 2%.

Jar Kuznekov, hub addolcitori d'acqua

#5. Clic relativi aumentati del 14% modificando il colore del pulsante CTA

Sebbene nel corso degli anni abbiamo eseguito una moltitudine di test A/B, uno dei test più efficaci che abbiamo eseguito è stato anche il più semplice: cambiare il colore del nostro pulsante CTA. Questo è tutto. Avevo sentito da un amico che cambiando il colore dei suoi pulsanti sulla pagina aveva aumentato i suoi tassi di risposta del 16% (rispetto al numero di clic che riceveva in precedenza). Questo mi ha fatto riflettere e ho deciso di eseguire il nostro test A/B. In effetti, si trattava in realtà di un test A/B/C, poiché abbiamo provato 3 colori diversi: il nostro colore verde originale, oltre all'arancione e al rosso. Il risultato? Il pulsante rosso ha prodotto un tasso di risposta superiore dell'8%, mentre il pulsante arancione ci ha fornito risultati migliori del 14% in termini di clic relativi. È sorprendente che un cambiamento semplice come rendere arancione un pulsante verde possa avere un effetto così profondo. Pertanto, il mio miglior consiglio è quando stai cercando di convincere qualcuno ad aggiungere un prodotto al carrello, non limitarti a leggere il colore del pulsante CTA. Pensaci seriamente e prova .

John Ross, Approfondimento sulla preparazione del test

#6. CVR e AOV aumentati con l'aggiunta al carrello e gli upsell post-vendita

Il test A/B è un'arma a doppio taglio. Sembra bello ottimizzare il tuo negozio Shopify e aumentare il tasso di conversione. Ma devi sapere che cosa ogni test A/B aggiunge un livello di complessità e utilizza le tue risorse. Cosa testare è importante quanto come testare .

Ho testato diversi ordini di foto dei prodotti. Ogni volta, ho scoperto che l' immagine più semplice converte sempre la migliore. Nelle pagine dei prodotti, il tuo cliente deve capire esattamente qual è il tuo prodotto senza dover pensare.

Un componente aggiuntivo appiccicoso è un noto vincitore. Avere il pulsante anche sullo schermo, a portata di mano, è stato un facile aumento dell'8% per il mio CVR.

Non dimenticare gli upsell post-vendita. È stato facile aumentare il valore medio del mio ordine da $ 24 a $ 40. Saresti sorpreso di quanto sia facile vendere di più a persone che stanno già acquistando .

Matt Phelps, specialista CRO e fondatore di STEEL.

Ti senti ispirato? Ecco oltre 20 elementi con cui i principianti del test A/B possono giocare sul loro sito di e-commerce:

• Offri la spedizione gratuita
• Immagini dell'eroe contro caroselli
• Dimensione CTA
• Colore CTA
• Posizionamento CTA
• Copia CTA
• Immagini umane contro nessuna immagine
• Copia del titolo
• Dimensione del font
• Altezza della linea
• Personalizzazione contro nessuna
• Notifica di ritorno in stock
• Descrizioni dei prodotti orientate ai vantaggi
• Suggerimento dell'esperto sulla pagina del prodotto
• Evidenziando sconti e offerte
• Checkout a pagina singola o multipagina
• Assistenza durante il checkout
• Menu di navigazione semplici
• Visualizzazione rapida del prodotto
• Video di prodotti
• Upselling vs. cross-selling
• Tag sulle immagini di anteprima
• Contenuto generato dall'utente

Dall'elenco di elementi che puoi testare A/B, è evidente che le pagine dei prodotti sono il posto migliore per iniziare.

Ma anche altre pagine del tuo sito sono candidate perfettamente valide per i test A/B.

Diamo un'occhiata a quali pagine puoi mettere alla prova con alcuni esempi di vita reale dei marchi:

1. Pagina iniziale
   
   
   • Salty Captain ha cambiato il colore della barra degli annunci sulla loro home page e ha ottenuto il 234,54% di clic in più e ha aumentato il CVR del 13,39%
   • Legendary Wall Art ha sperimentato la sezione degli eroi e la copia CTA e ha aumentato il loro coinvolgimento del 325,39% e le entrate del 30,07%
   • byBiehl ha aggiunto un dispositivo di scorrimento per mostrare i propri prodotti importanti con conseguente aumento delle visite alle pagine di categoria (5,87%), entrate per utente (3,25%) e CVR (19,73%)
2. Pagina di categoria
   
   
   • Copycat Fragrances ha aggiunto la sua versione delle Storie di Instagram nelle pagine delle sue categorie aumentando il coinvolgimento del 4% e le entrate per utente del 18%
   • Iceshaker ha cambiato la pagina della categoria per includere la storia del prodotto che affronta le obiezioni comuni e ha ottenuto un aumento del 15,95% delle conversioni.
   • Oliver Cabell si è concentrato sull'esperienza mobile dei propri utenti modificando il layout e migliorando il design, il che ha comportato un aumento del traffico del 14,86% e un aumento del traffico della pagina di pagamento del 5,49%
3. Pagina di pagamento
   
   
   • Oflara ha consigliato altri articoli agli acquirenti quando stavano effettuando il check-out con un pulsante Aggiungi al carrello, con un conseguente miglioramento significativo delle entrate complessive.
   • Conscious Items ha rimosso l'attrito dal processo di pagamento con un carrello appiccicoso, con un aumento del 10% delle entrate per utente e un aumento del 10% del CVR.
   • Homeware ha notato che gli utenti hanno acquistato solo un articolo sul loro negozio Shopify. Quindi hanno semplificato la procedura di pagamento per reindirizzare gli utenti direttamente alla pagina di pagamento, con un aumento del 47,7% del CVR e un aumento del 71,4% delle entrate per visitatore su dispositivo mobile.

Suggerimento dell'esperto: concentrati sui grandi cambiamenti

Il mio miglior consiglio per gli imprenditori alle prime armi che conducono per la prima volta i test A/B è di concentrarsi su grandi cambiamenti. Ad esempio, una riprogettazione completa della pagina di un prodotto. È improbabile che piccole modifiche come la modifica del colore dei pulsanti spostino l'ago in modo significativo .

Effettuando una riprogettazione completa della pagina e aggiungendo gif esplicative del prodotto alle nostre pagine prodotto, siamo stati in grado di aumentare il tasso di conversione del 40% .

Philip Pages, fondatore di PostPurchaseSurvey.com e marchio Shopify di e-commerce a 7 cifre.

Concetti di statistica con cui familiarizzare quando si eseguono test A/B

Sebbene il test A/B venga utilizzato per confrontare due versioni del tuo sito Web, guardare solo i numeri non è utile poiché non tiene conto della significatività statistica dei dati. Finirai per interpretare male i risultati e danneggiare le tue vendite.

Quindi, sia che il tuo team interno stia gestendo il progetto o che assumi un'agenzia CRO, è importante che tu acquisisca familiarità con i concetti delle statistiche dei test A/B di cui sentirai molto parlare.

Campione e popolazione

Tutti i visitatori che atterrano sul tuo sito sono considerati popolazione mentre un campione è il numero di visitatori che partecipano a un test A/B.

Media, mediana e moda

Media = media

Mediana = valore nel mezzo

Modalità = valore ripetuto

Varianza e Deviazione Standard

La varianza è la variabilità media dei dati. Maggiore è la variabilità, meno precisa è la media come predittore di un singolo punto dati.

La deviazione standard è la radice quadrata della varianza ed è espressa nelle stesse unità dei valori originali, rendendola intuitivamente più facile da capire. D'altra parte, la varianza è espressa nel quadrato dell'unità originale ma è comunque importante per i risultati dei test A/B.

Significato statistico

Quando un dashboard di test A/B dice che c'è una "possibilità del 95% di battere l'originale" o "probabilità del 90% di significatività statistica", sta ponendo la seguente domanda: supponendo che non ci siano differenze di fondo tra A e B, quanto spesso lo faremo vedi una differenza come facciamo nei dati solo per caso ?

Evan Miller, sviluppatore di software statistico (fonte)

Il livello di significatività deve essere il più piccolo possibile. L'1% è l'ideale, poiché equivale a un livello di confidenza del 99%. E risultati insignificanti potrebbero significare che ciò che stai vedendo è in realtà un falso positivo, quindi è importante attendere la significatività statistica, ma non solo.

Devi calcolare una dimensione del campione che corrisponda a un aumento minimo di tua scelta (MDE - Minimum Detectable Effect), avrai una maggiore modifica nel creare un falso positivo.

Valore P

Il p-value è la probabilità di ottenere risultati almeno estremi quanto i risultati osservati di un test di ipotesi statistica, supponendo che l'ipotesi nulla sia corretta.

Ma quello che devi davvero sapere sul valore p è questo: "Quanto è sorprendente questo risultato?"

Per quanto tempo dovresti eseguire un test A/B su un negozio Shopify?

Ci sono due errori comuni in cui ti imbatterai spesso:

• Termina il test A/B quando raggiungi la significatività statistica
• Monitora i valori p e dichiara il vincitore non appena raggiungi l'obiettivo.

L'interruzione di un test dovrebbe essere basata sulla dimensione del campione. Ma anche se non dovresti terminare il tuo esperimento in anticipo, non dovrebbero durare per sempre. Se dopo 3 mesi non hai ancora raggiunto la significatività, è meglio provare altri cambiamenti dalla tua parte, preferibilmente quelli più audaci.

Convert e Shopify consigliano di eseguire i test per almeno due cicli lavorativi o 14 giorni.

Avid Faruz, CEO di Faruzo concorda:

I nuovi imprenditori devono sapere che nei test A/B i tempi sono molto importanti. Più a lungo esegui i test A/B, più test accurati otterrai. Questo perché i tuoi test utilizzeranno più punti dati per derivare i risultati. I marketer esperti eseguono i loro test fino a due settimane. Consiglierei a tutti i marketer e gli imprenditori di impostare un lasso di tempo in base al livello di traffico che ottengono i loro siti web .

Questo è il motivo per cui la nostra piattaforma offre una prova gratuita di 14 giorni in modo da poter testare la tua ipotesi.

Processo in 4 fasi per eseguire test A/B su un negozio Shopify

Pronto per eseguire i test?

Utilizza questo processo di test A/B in 4 fasi per creare test migliori e comprenderne l'impatto.

# 1. Condurre ricerche qualitative e quantitative

La ricerca di conversione è il primo e più importante passo. Ciò ti consente di costruire ipotesi che puoi testare A/B. Conosciuta anche come fase di scoperta, questa è quando metti a riposo la tua ipotesi operativa e lascia che i dati ti guidino.

Ti ritroverai con due tipi di dati: quantitativi e qualitativi.

Inizia con la raccolta di dati quantitativi. Questi costituiscono i fatti freddi e concreti con cui non puoi discutere con i motori di analisi come Google Analytics, Amplitude o Mixpanel che possono sputare.

Ad esempio, potresti voler esaminare le frequenze di rimbalzo, il numero totale di conversioni o le pagine visualizzate/sessione.

Dopo aver raccolto i dati quantitativi, recupera i dati qualitativi. Dal momento che questo è soggettivo, c'è la possibilità che i pregiudizi subconsci si insinuino, ma interpretare le tue scoperte è l'unico modo per rispondere al "Perché".

Usa Hotjar per generare mappe di calore e registrare le sessioni dei visitatori. Le risposte che potresti trovare non sono definitive, ma introduce nuove possibilità contribuendo a una migliore ipotesi nel complesso.

Ma prima di entrare nel merito, è importante esaminare i dati qualitativi e quantitativi in ​​tandem per avere una comprensione olistica. Analisi uguale interrogazione dei dati e pensiero critico.

#2. Crea ipotesi credibili

Seguire il metodo scientifico significa che devi creare un'ipotesi credibile, una soluzione proposta la cui validità richiede una valutazione.

Matt Beischel, fondatore di CorvusCRO, condivide le 3 componenti principali di un'ipotesi: comprensione, risposta e risultato.

Ecco un esempio di come sarebbe:

Per aiutarti a semplificare e standardizzare la creazione di ipotesi, abbiamo un generatore di ipotesi di test A/B.

In questa fase, vuoi anche capire la dimensione del tuo campione e calcolare un punto di arresto per il test sulla base di quello. Usa il nostro calcolatore di significatività del test A/B per questo.

Suggerimento dell'esperto:

Una volta che conosci la dimensione del campione e per quanto tempo dovresti eseguire il test, devi impostare le priorità del test. Puoi scegliere di testare diverse parti del processo come una singola pagina, un intero sito Web, popup o annunci a pagamento. È meglio concentrarsi su una parte del processo alla volta, in modo da poter ottenere risposte chiare su quali modifiche stanno portando a una migliore esperienza del cliente e al tasso di conversione .

Allan Borch, fondatore di DotcomDollar.com

Dai la priorità alla tua ipotesi

La sperimentazione ha un sacco di vantaggi, motivo per cui vedrai spesso esperti che sostengono di testare tutto. Tuttavia, devi dare la priorità a quali test devi eseguire ora e quali esperimenti possono attendere perché le risorse sono limitate, non importa quanto piccola o grande sia la tua azienda.

Quindi gli sperimentatori ricorrono a modelli di priorità come RICE, PIE, ICE o PXL. Ma David Mannheim, consulente per la personalizzazione, suggerisce che questi modelli sono difettosi:

Mancano di allineamento al contesto più ampio dell'azienda. La definizione delle priorità dovrebbe essere dall'alto verso il basso, concentrandosi prima sulla missione aziendale, poi sugli obiettivi aziendali e così via. La maggior parte dei modelli di definizione delle priorità si concentra sull '"esecuzione", ovvero l'ultima cosa all'interno di un diagramma triangolare-y-gerarchia-cosa dell'esecuzione sulla base, concetto, problema dell'utente, obiettivi del prodotto, obiettivi aziendali e missione in alto .

Questi modelli utilizzano anche lo "sforzo" come fattore di punteggio, il che significa che ti stai davvero trattenendo dalla creazione di funzionalità che potenzialmente hanno il maggiore impatto perché sono complesse. In definitiva, questi modelli mancano di obiettività.

Andrea Saez, Senior Product Marketing Manager presso Product School, afferma:

Non c'è modo che tu possa conoscere la portata, l'impatto o lo sforzo sulla maggior parte delle cose senza aver controllato adeguatamente se stai lavorando anche sulle cose giuste, ancor meno se non ne hai parlato con nessuno. Quindi, come potresti avere fiducia ?

La risposta qui è costruire il proprio modello di priorità.

Passaggio 1: lasciati ispirare dagli esempi

Passaggio 2: tenere conto di fattori come l'allineamento con gli obiettivi aziendali, il potenziale di iterazione, l'apprendimento specifico dell'azienda e l'investimento delle risorse.

Passaggio 3: assegna la ponderazione ai test che desideri eseguire

Passaggio 4: risciacquare e ripetere fino a trovare un acronimo che funzioni per te.

#3. Distribuisci il test

Hai messo a punto la tua ricerca e costruito un'ipotesi credibile. Ora è il momento di andare a battere.

Un'implementazione di successo richiede 3 cose: la giusta piattaforma di test A/B, il team giusto per codificare i test, QA e debug.

Cominciamo con il primo.

Cosa rende una buona piattaforma di test A/B per Shopify?

Idealmente, desideri un unico strumento che ti consenta di testare temi, prezzi, menu, raccolte di prodotti, pagine di ricerca, eseguire test multivariati e tenere traccia delle entrate.

Molti plug-in possono aiutarti a ottenere una o più di queste cose, ma sappiamo già che i plug-in causano un rigonfiamento del codice, il che non è una buona notizia per la SEO o le conversioni.

Una piattaforma di test dedicata come Convert Experiences si integra perfettamente con il tuo negozio Shopify, ti consente di eseguire tutti i tipi di test che desideri e dispone di un'app di test A/B Shopify personalizzata che puoi utilizzare, eliminando il possibile sovraccarico del codice.

Successivamente, vuoi avere il team giusto in atto per codificare i test.

Nota: esiste una differenza tra programmatori e programmatori che lavorano con i team di test A/B.

Ultimately, testing is incomplete without QA and debugging. Without QA, variation errors can crop up, causing statistical errors—a false positive or a false negative. Not to mention, you may end up collecting the wrong data that delivers zero value to your visitors.

Here are 4 best practices for QA of A/B tests:

• Develop a QA strategy
• Identify what to QA
• Focus on page experience
• Align QA with conversion goals

Pro Tip: Avoid these rookie A/B testing mistakes:

• You only test industry best practices
• You keep peeking at your “results”
• You give up after one test
• You fail to iterate and improve on wins
• You mess up revenue tracking

#4. Analyze & Learn From Your A/B Tests

Whether you have a winner or loser on your hands, analyzing what worked and learning from it to influence future A/B tests is crucial.

Because while A/B testing is a strategy to boost your revenue, you're also effectively “buying data” on your audience.

Here's a 7 step process to learn from A/B tests –

• Make sure your data is accurate, valid, and significant
• Check your micro, macro, and guardrail metrics
• Segment your results
• Check user behavior
• Continue to improve on winners
• Create a learning repository for future tests

The last step allows you to run tests in the future that are backed by your previous experiments' learnings.

Expert Tip: Be prepared to fail.

It is difficult to predict the conversion rate for your website even if you think you've created the perfect A/B test. As a new entrepreneur, I almost succumbed to the frustrations of seeing no success in the first few months. I am not used to failure and many entrepreneurs are like this. The focus should be to give the users the best experience and leave room for the unexpected .

Leslie Radka, Founder & Hiring Manager at GreatPeopleSearch

A/B Testing in Other Realms That Can Compound Your Shopify Store Gains

Don't stick to just your website. A/B testing can and should be applied to other channels and realms where customer engagement occurs.

A/B Testing Pop-Ups (with Privy)

Those pop-ups you have on your website? You can A/B test them too with tools like Privy. Experiment with your headline, offer, form, CTA, or images.

Privy's Convert tool allows you to present the pop-up in different formats and target visitors based on rulesets.

A/B Testing Emails

When it comes to email marketing, 3 core areas of improvement emerge—delivery, open rates, and CTR.

You can test your emails in this order:

• First, the subject lines to improve the open rate
• Then the body copy to make sure it's relevant
• Finally, the CTAs to get more clicks

What else can you test in your email? Check out our complete guide to A/B testing emails.

Here's how 2 Shopify entrepreneurs used A/B testing to grow their email marketing channel: [h5] #1. Grew Email List 3x Using Split Testing

The most effective strategy for testing content is A/B testing. A/B testing has proven, measurable, immediate results that tell us whether one or another content base is more effective at converting customers to sign up for emails, make a purchase, etc.

In retail, vanity metrics like direct traffic to your website are least effective for measuring content success, while A/B testing (ie, tracking conversion rate, user engagement, email funnels) is the most effective. We tested our email subscription CTA with split-testing and grew our email list over three times in one campaign. The better you know your ICP, the more effective your brand strategy will convert. Use A/B tests to understand your target demographic better, and spoon-feed them the content they respond best to .

Zach Goldstein, Public Rec

#2. Increased email open rate by 25% with emojis in subject lines

After seeing a study, I wanted to test out open rates using an emoji in the subject line vs. not using one. The study implied that using an emoji would help to enhance open rates, but I felt that it could come off as unprofessional and spammy.

I use the ActiveCampaign email platform alongside Shopify, and I actually integrate the two together to maximize customer communication. ActiveCampaign allows users to run many A/B tests so they can see what jives with their target audience. When the results were in, I had to admit that I was wrong because the emails with an emoji in the subject received a 25% higher open rate. It's safe to say that I've been pretty liberal with my emoji keyboard ever since, and I've noticed a spike in conversion rates, too .

Stephanie Venn-Watson, fatty15

A/B Testing on Social Media

Like paid ads, you can test your organic content on social to improve engagement. The heading, copy, images, and CTA can all be A/B tested.

When doing this manually, stagger the release of your posts to have a reasonable gap which will allow you to gather meaningful data.

Or you can use scheduling tools like Later, Buffer, or MeetEdgar to automate the publishing.

Ecommerce A/B Testing Pitfalls to Avoid

Our need for instant gratification also seeps into A/B testing. Jon Ivanco, Co-founder of Formtoro, believes most A/B testing is reactionary:

Brands want a quick fix that's cost-effective; they hate the idea of investing in long-term outlooks and gains. The only time they look at these things is when things aren't going well .

There are “experts” that are anything but experts, bad advice presented as best practices, and experiments designed to pick the low-hanging fruit.

Ivanco instead recommends getting the basics right:

– All tests to landing pages
– All tests from specific audiences
– Test one variable at a time
– Don't test unless you have a clearly articulated hypothesis and you can learn from if something goes right or if it fails
– Do all tests from the perspective of the customer journey
– Small things are part of a larger chain, try to isolate things as much as you can one step at a time

Give Privacy a Thought

No one wants to become a lab rat inadvertently.

The backlash to Facebook 2014's emotional contagion study is proof. Even Apple's privacy updates signal that users care about their privacy and don't want to be manipulated into buying products.

Laws around privacy—existing and upcoming—will continue to evolve. Each time a significant change is brought about, it will hurt your business unless you start thinking user-first and bake ethical A/B testing into your strategy.

So what does that mean for you?

• Take data privacy seriously when collecting data
• Rule out manipulative tactics
• Store and process data securely
• Respect user consent and allow them to opt-out of experiments

Do that and you will future-proof your A/B testing and build a better relationship with your audience.