La guida per gli imprenditori ai test A/B sui negozi Shopify (+ 9 imprenditori di Shopify condividono le loro storie di test A/B con risultati)

Quindi hai sentito parlare di test A/B attraverso la vite.

Forse il tuo concorrente l'ha menzionato casualmente in un podcast o il tuo team di marketing pensa che sia un'ottima idea. Oppure l'agenzia di crescita con cui sei in trattative vuole eseguire test A/B.

Far crescere un'impresa non è facile. Lo sai. Essendo arrivato così lontano, ci devono essere state diverse occasioni in cui hai faticato a capire se una decisione aziendale è quella giusta.

Non sarebbe bello se invece di scommettere su ciò che pensi che il tuo pubblico vorrà, tu avessi un modo per saperlo con certezza?

Questo è ciò che fa il test A/B.

Certo, i vantaggi dei test A/B trascendono le decisioni basate sui dati, ma in fondo è la salsa segreta per sbloccare la crescita su larga scala.

Quindi, sia che tu tenti di fare il fai-da-te o esternalizzare le tue esigenze, ecco tutto ciò che un imprenditore Shopify come te dovrebbe sapere sui test A/B.

Che cos'è il test A/B dell'e-commerce?

Il test A/B è un processo attraverso il quale puoi capire cosa sta cercando il tuo pubblico prima che diventi un cliente.

Di solito, i test A/B sono pensati in termini di piccole modifiche come cambiare il colore del pulsante di invito all'azione (CTA) o aggiungere un nuovo titolo, ma è più profondo.

Ti consente di determinare quale copia, design e funzionalità (UX) risuonano con i tuoi visitatori inserendo una versione della tua pagina o elemento su una pagina con una variazione per vedere cosa funziona.

E abbiamo appena iniziato!

Puoi prendere il concetto di test A/B e applicarlo a ogni canale che usi e all'interazione che hai con il tuo pubblico.

Ma è importante capire che i test A/B dell'e-commerce sono diversi rispetto ad altri verticali come B2B SaaS.

1. Il tempo per realizzare le entrate è più breve
   
   I test A/B possono rivelare l'impatto sulle entrate molto più rapidamente rispetto al tradizionale B2B. Nel B2B, le offerte sono multi-thread, hanno più decisori che prendono le decisioni in cicli di vendita che abbracciano mesi se non trimestri.
   
   Sebbene idealmente dovresti utilizzare i test A/B per la ricerca e la mitigazione del rischio e non solo per aumentare le entrate, la linfa vitale di qualsiasi azienda sono le entrate, quindi c'è una buona ragione per introdurre i test A/B nel mix di crescita.
2. I processi di pagamento sono complessi (quindi più spazio per i test)
   
   Sebbene le canalizzazioni di acquisto e-commerce non siano complicate come il B2B, il processo di pagamento non è unidimensionale.
   
   Ruben De Boer, l'autore di Psychology of Buying , spiega che pagare fa letteralmente male. In uno studio del 2007 per indagare su come le persone valutano i fattori per prendere decisioni di acquisto, ai partecipanti sono state mostrate le immagini del prodotto e quindi il prezzo. I loro cervelli sono stati analizzati da macchine fMRI per vedere quali percorsi neurali si sarebbero illuminati.
   
   Come previsto, vedere le immagini dei prodotti ha illuminato il centro di ricompensa nel loro cervello.
   
   Ma il prezzo? La parte del cervello associata al dolore fisico e sociale si è illuminata come un albero di Natale aiutando i ricercatori a concludere che il compromesso tra guadagno e dolore deve avere un senso affinché i consumatori aprano i loro portafogli.
   
   Ciò non significa che devi abbassare i prezzi perché il prezzo indica anche la qualità del prodotto. Puoi provare un carattere più piccolo, offrire il pagamento anticipato, mostrare sconti con un carattere più grande o evitare il linguaggio del denaro nella tua copia.
   
   Quindi abbassare il dolore dell'acquisto significa che devi capire il miscuglio di motivazioni, desideri e frustrazioni umane che è impossibile senza il test A/B. Puoi testare la messaggistica, gli elementi dell'interfaccia utente o rivedere il processo di pagamento, tutto in tempo reale.

   In alcuni casi, potresti non essere in grado di apportare modifiche sostanziali al carrello e al flusso di pagamento a causa delle limitazioni imposte dalla tua piattaforma di e-commerce, ma questo non è un motivo per abbandonare test ambiziosi. Puoi sempre testare modifiche più piccole che ti danno un'idea delle potenziali modifiche più grandi che potrebbero avere.

   Jonny Longden, Direttore delle conversioni di Journey Further, consiglia di porsi una domanda:
   
   Qual è la cosa più piccola/semplice che possiamo testare per iniziare a dimostrarlo e impararlo?
   
   Non cadere nella trappola di "testerà solo piccole modifiche" o se hai apportato modifiche più grandi "i soldi sono già stati affondati, quindi non li testeremo".
3. Il mining di recensioni può essere trasformato in una scienza
   
   La ricerca di conversione basata su dati qualitativi è un punto fermo in qualsiasi tipo di test A/B ma, nell'e-commerce, i dati qualitativi come il review mining possono essere trasformati in una scienza che ti aiuta a capire:
   
   
   • USP del prodotto da evidenziare
   • Vantaggi che puoi testare nella tua copia
   • Come i clienti percepiscono i concorrenti
   • Copia angoli per storie di prodotti
   • Punti deboli che hai affrontato
   • Punti deboli non affrontati che causano l'abbandono del carrello Lorenzo Carreri, CRO & Experimentation Consultant, consiglia di pensare come un detective. Proprio come un detective deve scoprire la storia dietro un crimine, puoi usare le recensioni per svelare molte storie.
     

     Le persone hanno già preso una decisione sull'acquisto e ora senza che le infastidiamo con un exit poll o un widget, stanno effettivamente condividendo organicamente la loro esperienza.

     In effetti, l'analisi del polso di Carreri per diversi settori rivela un tema comune: le persone non tendono a condividere informazioni sulla propria esperienza in loco. Quindi non importa quale domanda fai o come la poni.
     
     Ma con il mining di recensioni, in particolare su Amazon, le persone tendono a condividere le proprie conoscenze. Più approfondimenti raccogli, più significativi diventano i tuoi dati, il che ti aiuta a formulare un'ipotesi migliore per i test.
4. Nessuna carenza di traffico per l'e-commerce
   
   Un ostacolo significativo con i test A/B è non avere abbastanza traffico, il che significa che i risultati possono essere distorti.
   
   Ma questo non è un problema per i negozi di e-commerce. Un negozio Shopify a 7 cifre riceve facilmente centinaia di migliaia di visitatori, ma un'azienda B2B di serie D otterrebbe probabilmente 1/4 di quel traffico.

Perché gli imprenditori di Shopify dovrebbero (seriamente) considerare i test A/B?

L'e-commerce è maturo per i test A/B. La possibilità di vedere rapidamente i risultati con un ampio bacino di visitatori e molto spazio con cui giocare è una ragione sufficiente per adottare una cultura del test A/B.

Ma forse non ci sei ancora. Un aumento del tuo traffico in questo momento produce un aumento delle entrate.

La domanda è: per quanto tempo puoi continuare così?

Più traffico ≠ più entrate oltre un punto. Questo percorso richiede di spendere di più per gli annunci e allo stesso tempo di intaccare i margini di profitto con sconti.

E quando guardi i giganti dell'e-commerce come Amazon, eBay o Etsy, noterai che hanno un test A/B integrato nel loro DNA. È la vera ragione per cui prosperano. Per non parlare del fatto che è il filo conduttore comune a tutti i negozi Shopify di successo.

È facile capire perché i test A/B spingono la crescita. Guarda quanto sono granulari i test eseguiti da Amazon:

Ma quando si arriva al punto, il test A/B non è solo un modo per rimanere competitivi, è una buona decisione aziendale.

Come mai? Perché le tue strategie attuali probabilmente non stanno funzionando a tuo favore.

1. Il tuo ROAS sta precipitando grazie a iOS 14
   Probabilmente stai spendendo più soldi di prima cercando di attirare l'attenzione sul tuo prodotto, ma il mondo post-ATT ha incasinato il modo in cui funzionano le conversioni basate sui pixel. E il retargeting e il pubblico simile? Non sono più così efficaci. Nella remota possibilità di ottenere alcune conversioni, preparati a gestire le discrepanze tra Ad Manager e il tuo Shopify back-end.

2. I tuoi tassi di apertura sono distorti
   I numeri di posta elettronica non sono più accurati. Mail Privacy Protection (MPP) si è assicurato di questo. E i tuoi elenchi basati sul coinvolgimento potrebbero avere un targeting discutibile e conversioni inferiori.

3. La tua equazione manca di ritenzione
   Inseguire il traffico freddo è una mossa sbagliata. Il 40% delle tue entrate proviene da clienti fedeli. Il traffico attira gli acquirenti nella tua canalizzazione, ma la fidelizzazione aumenta il lifetime value (LTV) di questi acquirenti.

4. La tua attribuzione di marketing fa schifo
   Gli strumenti non possono fornirti dati utilizzabili e il tuo team non può attribuire entrate a modifiche specifiche. Non puoi premere tutti i pulsanti sperando di vedere una crescita. Devi essere specifico o costruire un business a 8 cifre è fuori questione.

Il test A/B capovolge il vecchio playbook e ti dà la possibilità di utilizzare un approccio scientificamente valido che sia ripetibile, affidabile e redditizio.

Ecco perché OLIPOP, un'azienda alternativa alla soda DTC, sostiene i test A/B:

Il test A/B migliora il coinvolgimento dei contenuti, riduce le frequenze di rimbalzo, aumenta il tasso di conversione e riduce al minimo i rischi, il tutto fornendo dati facili da analizzare. Eseguendo un test A/B, sei in grado di capire quale contenuto risuona con il tuo pubblico di destinazione. Puoi quindi utilizzare questi dati per influenzare la tua strategia di marketing. Questi test ti aiutano anche a identificare i dati irrilevanti e le aree in cui i tuoi utenti stanno riscontrando difficoltà sul tuo sito web, riducendo così la frequenza di rimbalzo una volta apportate le modifiche necessarie.

Una volta identificata la variazione che migliora l'esperienza del cliente, noterai un aumento del tempo che gli utenti trascorrono sul tuo sito, portando a un tasso di conversione più elevato. Infine, il test A/B riduce al minimo il rischio perché prendi decisioni basate su dati accurati anziché su ipotesi plausibili. Ti consente di apportare modifiche minime senza compromettere l'intero sito web. Il tuo ROI aumenterà con i test A/B .

Steven Vigilante, Head of New Business Development di OLIPOP

Apporta facilmente piccole (o grandi) modifiche

L'ottimizzazione, la scienza per migliorare le cose, è facile con i test A/B. Puoi apportare modifiche per trovare la versione che crea una migliore esperienza di acquisto e converte parte del tuo traffico PPC.

Riduci il costo del fallimento

Il costo del fallimento a volte è troppo alto e non sorprende che inibisca l'innovazione. Ma con i test A/B, puoi testare le tue idee in un ambiente controllato senza dover creare o implementare nulla.

Sbircia nel futuro

Niente può garantire il successo. Non il tuo istinto, i suggerimenti dell'agenzia o anche la solida ricerca sulla concorrenza. Ma se vuoi prendere decisioni basate sui dati, i test A/B sono tuoi amici. Le migliori versioni in un test non vengono scelte in base alla validità statistica che ti consente di avere un'idea del tuo potenziale di guadagno.

Lascia poco spazio a interpretazioni errate

Il test A/B ti consente di ascoltare veramente il tuo pubblico raccogliendo dati sulle modifiche su tasso di conversione, abbandono del carrello, valore medio dell'ordine (AOV), entrate e profitto.
Invece di stimare gli effetti delle modifiche, i risultati sono trasparenti e lasciano poco spazio a interpretazioni errate.

Problemi con i test A/B su Shopify (+ Soluzioni)

Mentre stai pensando di rendere i test A/B centrali per la tua strategia, è importante affrontare i potenziali problemi che potresti incontrare durante l'esecuzione di test A/B su Shopify.

Problema n. 1: l'anti-clickjacking di Shopify può interferire con il QA mobile

Il clickjacking induce gli utenti a fare clic su contenuti utilizzabili su un sito esca. Per evitare che ciò accada, Shopify utilizza la tecnologia anti-clickjacking. Ma impedisce agli strumenti di test A/B di funzionare in modo ottimale.

Problema n. 2: il test non è un problema, ma l'implementazione lo è

L'implementazione dei risultati di un test non è qualcosa che un'app o un plug-in può fare: richiede la personalizzazione. Anche se trovi plug-in che funzionano per te, troppi di essi possono rallentare il tuo sito, annullando efficacemente il potenziale guadagno.

Problema n. 3: hai un negozio Shopify standard che limita ciò che puoi testare

I negozi Shopify standard non possono accedere alla maggior parte delle funzionalità di Shopify Plus, il che significa che non puoi eseguire test come test divisi dei temi. I test di complessità inferiore si traducono in un impatto minore sulle entrate.

Una guida rapida alle basi del test A/B

Ora che hai avvolto la tua mente attorno ai test A/B, è tempo di entrare nel nocciolo della questione.

Fermati un momento e rispondi sì o no a queste domande prima di scorrere verso il basso per vedere la risposta.

• Il test A/B è lo stesso del test diviso
• Il test A/B e il test multivariato sono diversi
• Puoi apportare solo piccole modifiche con i test A/B
• Non è necessario imparare le statistiche per eseguire i test A/B
• Non è possibile eseguire test A/B su altri canali
• Dovresti interrompere i test A/B una volta che vedi i risultati

Test A/B vs. Split Test

Con il test A/B puoi testare uno o più elementi in una pagina. Fondamentalmente crei una versione simile della pagina originale per vedere l'impatto sul tasso di conversione.

Il test dell'URL diviso è diverso dal test A/B. Il traffico viene suddiviso a metà e inviato a due versioni completamente diverse per vedere quale pagina web ti aiuta a raggiungere i tuoi obiettivi specifici.

Quando eseguire split test e test A/B: test dei temi

Un ottimo esempio di quando scegliere il test diviso rispetto al test A/B è quando vuoi testare i temi Shopify. Il tuo tema può influire sulla CX e, in definitiva, sulle entrate, quindi è essenziale testarlo utilizzando uno strumento come l'opzione URL diviso di Converti.

Convert utilizza l'inferenza frequentista per capire quale tema supera l'altro. Ti consigliamo di eseguire questo tipo di test per almeno due settimane, a meno che tu non abbia un traffico insolitamente elevato in arrivo al tuo sito.

PS Puoi testare i temi solo se sei un utente Shopify Plus.

Test A/B vs. test multivariato

Nei test A/B, stai confrontando pagine quasi identiche con l'originale.

Invece di modificare un elemento alla volta, come nei test A/B, il test multivariato è un processo in cui si verificano più modifiche in un unico test. L'obiettivo del test multivariato è scoprire quale combinazione di modifiche produce risultati migliori.

Esempi di test A/B da eseguire sui negozi Shopify

Chiedi a Internet cosa dovresti eseguire il test A/B e spesso ti verrà detto di provare un altro CTA o un colore di un pulsante o cambiare un titolo.

Non che non sia importante, ma il mondo è il tuo parco giochi e stai giocando nella tua piccola sandbox solo se ti limiti. Pensare fuori dagli schemi è fondamentale per lo spirito di sperimentazione.

Abbiamo contattato 8 imprenditori di Shopify e abbiamo chiesto loro questo:

Quali test A/B hai eseguito, perché hai scelto di condurre questo esperimento e quali sono stati i risultati

# 1. AOV potenziato, ordini in lieve calo

Usiamo Shopify in tutti i nostri negozi online e abbiamo testato il raggruppamento o il raggruppamento dei nostri prodotti per aumentare l'AOV. Il test è un carrello che ha upsell, o pacchetti, rispetto a un carrello che contiene solo il prodotto iniziale. I risultati non sono ancora del tutto disponibili, ma finora sembra che l'AOV sia aumentato mentre il numero totale di ordini è leggermente diminuito. Lo eseguiremo per qualche altra settimana prima di eseguire un'analisi completa e potremmo testare altre configurazioni per provare a generare miglioramenti sia nell'AOV che nelle conversioni .

Sylvia Kang, Mira

#2. Ottimizzato ogni elemento del sito per CX

Come azienda Shopify, abbiamo eseguito una moltitudine di test A/B, per funzionalità come chat dal vivo, CTA, immagini di prodotti, posizionamento di upselling, pagine di destinazione, menu di navigazione e altro ancora. Ad esempio, i nostri test A/B ci hanno aiutato a trovare l'equilibrio tra cross-selling/upselling senza irritare i consumatori o aggiungere attrito alla loro esperienza .

Attraverso numerosi test, abbiamo scoperto che il nostro pubblico apprezzava i suggerimenti altamente rilevanti direttamente sulle pagine dei prodotti anziché offerti durante il checkout e, così facendo, abbiamo aumentato il valore medio di acquisto. Il test A/B è fondamentale perché consente di individuare esattamente quali funzionalità offrono le migliori prestazioni e offrono i rendimenti più elevati senza sprecare tempo ed energie nell'implementazione di elementi non ottimali. Questi test forniscono dati accurati su quali scelte progettuali si adattano meglio al tuo pubblico e un'esperienza utente più forte è il modo in cui le aziende ottengono crescita e longevità .

Stephen Light, Materasso Nolah

#3. Utilizzate le riproduzioni delle sessioni per includere video per risultati migliori

Uno degli aspetti più importanti che possono creare o interrompere una conversione è la facilità con cui un utente può navigare nel tuo negozio ed effettuare un acquisto. Con i test A/B sui replay delle sessioni, siamo riusciti a vedere come gli utenti reali con l'intento di acquistare navigavano nel nostro negozio, dove era il problema, cosa li ha frustrati, cosa li ha fatti fermare durante il processo e impedire loro di effettuare un acquisto. Ci siamo resi conto che gli elenchi che includevano video del processo producevano risultati migliori e le immagini di scarsa qualità o che non mostravano più immagini portavano a esitazione.

Michael Nemeroff, Magliette Rush Order

#4. Conversioni aumentate del 2% con modifiche al design

In questo test A/B, volevo vedere come un nuovo layout potrebbe influenzare il tasso di conversione del mio negozio Shopify. Il sito originale era in esecuzione da sei mesi e registrava una conversione del 3%, quindi sembrava giunto il momento di provare qualcosa di diverso. La mia modifica al design includeva lo spostamento dei consigli sui prodotti below the fold sui dispositivi mobili anziché in linea con i prodotti, nonché la rimozione dei banner dalla navigazione in alto poiché comunque non venivano cliccati. Ciò ha comportato un aumento istantaneo delle conversioni del 2%.

Jar Kuznekov, hub addolcitori d'acqua

#5. Clic relativi aumentati del 14% modificando il colore del pulsante CTA

Sebbene nel corso degli anni abbiamo eseguito una moltitudine di test A/B, uno dei test più efficaci che abbiamo eseguito è stato anche il più semplice: cambiare il colore del nostro pulsante CTA. Questo è tutto. Avevo sentito da un amico che cambiando il colore dei suoi pulsanti sulla pagina aveva aumentato i suoi tassi di risposta del 16% (rispetto al numero di clic che riceveva in precedenza). Questo mi ha fatto riflettere e ho deciso di eseguire il nostro test A/B. In effetti, si trattava in realtà di un test A/B/C, poiché abbiamo provato 3 colori diversi: il nostro colore verde originale, oltre all'arancione e al rosso. Il risultato? Il pulsante rosso ha prodotto un tasso di risposta superiore dell'8%, mentre il pulsante arancione ci ha fornito risultati migliori del 14% in termini di clic relativi. È sorprendente che un cambiamento semplice come rendere arancione un pulsante verde possa avere un effetto così profondo. Pertanto, il mio miglior consiglio è quando stai cercando di convincere qualcuno ad aggiungere un prodotto al carrello, non limitarti a leggere il colore del pulsante CTA. Pensaci seriamente e prova .

John Ross, Approfondimento sulla preparazione del test

#6. CVR e AOV aumentati con l'aggiunta al carrello e gli upsell post-vendita

Il test A/B è un'arma a doppio taglio. Sembra bello ottimizzare il tuo negozio Shopify e aumentare il tasso di conversione. Ma devi sapere che cosa ogni test A/B aggiunge un livello di complessità e utilizza le tue risorse. Cosa testare è importante quanto come testare .

Ho testato diversi ordini di foto dei prodotti. Ogni volta, ho scoperto che l' immagine più semplice converte sempre la migliore. Nelle pagine dei prodotti, il tuo cliente deve capire esattamente qual è il tuo prodotto senza dover pensare.

Un componente aggiuntivo appiccicoso è un noto vincitore. Avere il pulsante anche sullo schermo, a portata di mano, è stato un facile aumento dell'8% per il mio CVR.

Non dimenticare gli upsell post-vendita. È stato facile aumentare il valore medio del mio ordine da $ 24 a $ 40. Saresti sorpreso di quanto sia facile vendere di più a persone che stanno già acquistando .

Matt Phelps, specialista CRO e fondatore di STEEL.

Ti senti ispirato? Ecco oltre 20 elementi con cui i principianti del test A/B possono giocare sul loro sito di e-commerce:

• Offri la spedizione gratuita
• Immagini dell'eroe contro caroselli
• Dimensione CTA
• Colore CTA
• Posizionamento CTA
• Copia CTA
• Immagini umane contro nessuna immagine
• Copia del titolo
• Dimensione del font
• Altezza della linea
• Personalizzazione contro nessuna
• Notifica di ritorno in stock
• Descrizioni dei prodotti orientate ai vantaggi
• Suggerimento dell'esperto sulla pagina del prodotto
• Evidenziando sconti e offerte
• Checkout a pagina singola o multipagina
• Assistenza durante il checkout
• Menu di navigazione semplici
• Visualizzazione rapida del prodotto
• Video di prodotti
• Upselling vs. cross-selling
• Tag sulle immagini di anteprima
• Contenuto generato dall'utente

Dall'elenco di elementi che puoi testare A/B, è evidente che le pagine dei prodotti sono il posto migliore per iniziare.

Ma anche altre pagine del tuo sito sono candidate perfettamente valide per i test A/B.

Diamo un'occhiata a quali pagine puoi mettere alla prova con alcuni esempi di vita reale dei marchi:

1. Pagina iniziale
   
   
   • Salty Captain ha cambiato il colore della barra degli annunci sulla loro home page e ha ottenuto il 234,54% di clic in più e ha aumentato il CVR del 13,39%
   • Legendary Wall Art ha sperimentato la sezione degli eroi e la copia CTA e ha aumentato il loro coinvolgimento del 325,39% e le entrate del 30,07%
   • byBiehl ha aggiunto un dispositivo di scorrimento per mostrare i propri prodotti importanti con conseguente aumento delle visite alle pagine di categoria (5,87%), entrate per utente (3,25%) e CVR (19,73%)
2. Pagina di categoria
   
   
   • Copycat Fragrances ha aggiunto la sua versione delle Storie di Instagram nelle pagine delle sue categorie aumentando il coinvolgimento del 4% e le entrate per utente del 18%
   • Iceshaker ha cambiato la pagina della categoria per includere la storia del prodotto che affronta le obiezioni comuni e ha ottenuto un aumento del 15,95% delle conversioni.
   • Oliver Cabell si è concentrato sull'esperienza mobile dei propri utenti modificando il layout e migliorando il design, il che ha comportato un aumento del traffico del 14,86% e un aumento del traffico della pagina di pagamento del 5,49%
3. Pagina di pagamento
   
   
   • Oflara ha consigliato altri articoli agli acquirenti quando stavano effettuando il check-out con un pulsante Aggiungi al carrello, con un conseguente miglioramento significativo delle entrate complessive.
   • Conscious Items ha rimosso l'attrito dal processo di pagamento con un carrello appiccicoso, con un aumento del 10% delle entrate per utente e un aumento del 10% del CVR.
   • Homeware ha notato che gli utenti hanno acquistato solo un articolo sul loro negozio Shopify. Quindi hanno semplificato la procedura di pagamento per reindirizzare gli utenti direttamente alla pagina di pagamento, con un aumento del 47,7% del CVR e un aumento del 71,4% delle entrate per visitatore su dispositivo mobile.

Suggerimento dell'esperto: concentrati sui grandi cambiamenti

Il mio miglior consiglio per gli imprenditori alle prime armi che conducono per la prima volta i test A/B è di concentrarsi su grandi cambiamenti. Ad esempio, una riprogettazione completa della pagina di un prodotto. È improbabile che piccole modifiche come la modifica del colore dei pulsanti spostino l'ago in modo significativo .

Effettuando una riprogettazione completa della pagina e aggiungendo gif esplicative del prodotto alle nostre pagine prodotto, siamo stati in grado di aumentare il tasso di conversione del 40% .

Philip Pages, fondatore di PostPurchaseSurvey.com e marchio Shopify di e-commerce a 7 cifre.

Concetti di statistica con cui familiarizzare quando si eseguono test A/B

Sebbene il test A/B venga utilizzato per confrontare due versioni del tuo sito Web, guardare solo i numeri non è utile poiché non tiene conto della significatività statistica dei dati. Finirai per interpretare male i risultati e danneggiare le tue vendite.

Quindi, sia che il tuo team interno stia gestendo il progetto o che assumi un'agenzia CRO, è importante che tu acquisisca familiarità con i concetti delle statistiche dei test A/B di cui sentirai molto parlare.

Campione e popolazione

Tutti i visitatori che atterrano sul tuo sito sono considerati popolazione mentre un campione è il numero di visitatori che partecipano a un test A/B.

Media, mediana e moda

Media = media

Mediana = valore nel mezzo

Modalità = valore ripetuto

Varianza e Deviazione Standard

La varianza è la variabilità media dei dati. Maggiore è la variabilità, meno precisa è la media come predittore di un singolo punto dati.

La deviazione standard è la radice quadrata della varianza ed è espressa nelle stesse unità dei valori originali, rendendola intuitivamente più facile da capire. D'altra parte, la varianza è espressa nel quadrato dell'unità originale ma è comunque importante per i risultati dei test A/B.

Significato statistico

Quando un dashboard di test A/B dice che c'è una "possibilità del 95% di battere l'originale" o "probabilità del 90% di significatività statistica", sta ponendo la seguente domanda: supponendo che non ci siano differenze di fondo tra A e B, quanto spesso lo faremo vedi una differenza come facciamo nei dati solo per caso ?

Evan Miller, sviluppatore di software statistico (fonte)

Il livello di significatività deve essere il più piccolo possibile. L'1% è l'ideale, poiché equivale a un livello di confidenza del 99%. E risultati insignificanti potrebbero significare che ciò che stai vedendo è in realtà un falso positivo, quindi è importante attendere la significatività statistica, ma non solo.

Devi calcolare una dimensione del campione che corrisponda a un aumento minimo di tua scelta (MDE - Minimum Detectable Effect), avrai una maggiore modifica nel creare un falso positivo.

Valore P

Il p-value è la probabilità di ottenere risultati almeno estremi quanto i risultati osservati di un test di ipotesi statistica, supponendo che l'ipotesi nulla sia corretta.

Ma quello che devi davvero sapere sul valore p è questo: "Quanto è sorprendente questo risultato?"

Per quanto tempo dovresti eseguire un test A/B su un negozio Shopify?

Ci sono due errori comuni in cui ti imbatterai spesso:

• Termina il test A/B quando raggiungi la significatività statistica
• Monitora i valori p e dichiara il vincitore non appena raggiungi l'obiettivo.

L'interruzione di un test dovrebbe essere basata sulla dimensione del campione. Ma anche se non dovresti terminare il tuo esperimento in anticipo, non dovrebbero durare per sempre. Se dopo 3 mesi non hai ancora raggiunto la significatività, è meglio provare altri cambiamenti dalla tua parte, preferibilmente quelli più audaci.

Convert e Shopify consigliano di eseguire i test per almeno due cicli lavorativi o 14 giorni.

Avid Faruz, CEO di Faruzo concorda:

I nuovi imprenditori devono sapere che nei test A/B i tempi sono molto importanti. Più a lungo esegui i test A/B, più test accurati otterrai. Questo perché i tuoi test utilizzeranno più punti dati per derivare i risultati. I marketer esperti eseguono i loro test fino a due settimane. Consiglierei a tutti i marketer e gli imprenditori di impostare un lasso di tempo in base al livello di traffico che ottengono i loro siti web .

Questo è il motivo per cui la nostra piattaforma offre una prova gratuita di 14 giorni in modo da poter testare la tua ipotesi.

Processo in 4 fasi per eseguire test A/B su un negozio Shopify

Pronto per eseguire i test?

Utilizza questo processo di test A/B in 4 fasi per creare test migliori e comprenderne l'impatto.

# 1. Condurre ricerche qualitative e quantitative

La ricerca di conversione è il primo e più importante passo. Ciò ti consente di costruire ipotesi che puoi testare A/B. Conosciuta anche come fase di scoperta, questa è quando metti a riposo la tua ipotesi operativa e lascia che i dati ti guidino.

Ti ritroverai con due tipi di dati: quantitativi e qualitativi.

Inizia con la raccolta di dati quantitativi. Questi costituiscono i fatti freddi e concreti con cui non puoi discutere con i motori di analisi come Google Analytics, Amplitude o Mixpanel che possono sputare.

Ad esempio, potresti voler esaminare le frequenze di rimbalzo, il numero totale di conversioni o le pagine visualizzate/sessione.

Dopo aver raccolto i dati quantitativi, recupera i dati qualitativi. Dal momento che questo è soggettivo, c'è la possibilità che i pregiudizi subconsci si insinuino, ma interpretare le tue scoperte è l'unico modo per rispondere al "Perché".

Usa Hotjar per generare mappe di calore e registrare le sessioni dei visitatori. Le risposte che potresti trovare non sono definitive, ma introduce nuove possibilità contribuendo a una migliore ipotesi nel complesso.

Ma prima di entrare nel merito, è importante esaminare i dati qualitativi e quantitativi in ​​tandem per avere una comprensione olistica. Analisi uguale interrogazione dei dati e pensiero critico.

#2. Crea ipotesi credibili

Seguire il metodo scientifico significa che devi creare un'ipotesi credibile, una soluzione proposta la cui validità richiede una valutazione.

Matt Beischel, fondatore di CorvusCRO, condivide le 3 componenti principali di un'ipotesi: comprensione, risposta e risultato.

Ecco un esempio di come sarebbe:

Per aiutarti a semplificare e standardizzare la creazione di ipotesi, abbiamo un generatore di ipotesi di test A/B.

In questa fase, vuoi anche capire la dimensione del tuo campione e calcolare un punto di arresto per il test sulla base di quello. Usa il nostro calcolatore di significatività del test A/B per questo.

Suggerimento dell'esperto:

Una volta che conosci la dimensione del campione e per quanto tempo dovresti eseguire il test, devi impostare le priorità del test. Puoi scegliere di testare diverse parti del processo come una singola pagina, un intero sito Web, popup o annunci a pagamento. È meglio concentrarsi su una parte del processo alla volta, in modo da poter ottenere risposte chiare su quali modifiche stanno portando a una migliore esperienza del cliente e al tasso di conversione .

Allan Borch, fondatore di DotcomDollar.com

Dai la priorità alla tua ipotesi

La sperimentazione ha un sacco di vantaggi, motivo per cui vedrai spesso esperti che sostengono di testare tutto. Tuttavia, devi dare la priorità a quali test devi eseguire ora e quali esperimenti possono attendere perché le risorse sono limitate, non importa quanto piccola o grande sia la tua azienda.

Quindi gli sperimentatori ricorrono a modelli di priorità come RICE, PIE, ICE o PXL. Ma David Mannheim, consulente per la personalizzazione, suggerisce che questi modelli sono difettosi:

Mancano di allineamento al contesto più ampio dell'azienda. La definizione delle priorità dovrebbe essere dall'alto verso il basso, concentrandosi prima sulla missione aziendale, poi sugli obiettivi aziendali e così via. La maggior parte dei modelli di definizione delle priorità si concentra sull '"esecuzione", ovvero l'ultima cosa all'interno di un diagramma triangolare-y-gerarchia-cosa dell'esecuzione sulla base, concetto, problema dell'utente, obiettivi del prodotto, obiettivi aziendali e missione in alto .

Questi modelli utilizzano anche lo "sforzo" come fattore di punteggio, il che significa che ti stai davvero trattenendo dalla creazione di funzionalità che potenzialmente hanno il maggiore impatto perché sono complesse. In definitiva, questi modelli mancano di obiettività.

Andrea Saez, Senior Product Marketing Manager presso Product School, afferma:

Non c'è modo che tu possa conoscere la portata, l'impatto o lo sforzo sulla maggior parte delle cose senza aver controllato adeguatamente se stai lavorando anche sulle cose giuste, ancor meno se non ne hai parlato con nessuno. Quindi, come potresti avere fiducia ?

La risposta qui è costruire il proprio modello di priorità.

Passaggio 1: lasciati ispirare dagli esempi

Passaggio 2: tenere conto di fattori come l'allineamento con gli obiettivi aziendali, il potenziale di iterazione, l'apprendimento specifico dell'azienda e l'investimento delle risorse.

Passaggio 3: assegna la ponderazione ai test che desideri eseguire

Passaggio 4: risciacquare e ripetere fino a trovare un acronimo che funzioni per te.

#3. Distribuisci il test

Hai messo a punto la tua ricerca e costruito un'ipotesi credibile. Ora è il momento di andare a battere.

Un'implementazione di successo richiede 3 cose: la giusta piattaforma di test A/B, il team giusto per codificare i test, QA e debug.

Cominciamo con il primo.

Cosa rende una buona piattaforma di test A/B per Shopify?

Idealmente, desideri un unico strumento che ti consenta di testare temi, prezzi, menu, raccolte di prodotti, pagine di ricerca, eseguire test multivariati e tenere traccia delle entrate.

Molti plug-in possono aiutarti a ottenere una o più di queste cose, ma sappiamo già che i plug-in causano un rigonfiamento del codice, il che non è una buona notizia per la SEO o le conversioni.

Una piattaforma di test dedicata come Convert Experiences si integra perfettamente con il tuo negozio Shopify, ti consente di eseguire tutti i tipi di test che desideri e dispone di un'app di test A/B Shopify personalizzata che puoi utilizzare, eliminando il possibile sovraccarico del codice.

Successivamente, vuoi avere il team giusto in atto per codificare i test.

Nota: esiste una differenza tra programmatori e programmatori che lavorano con i team di test A/B.

In definitiva, il test è incompleto senza QA e debug. Senza QA, possono verificarsi errori di variazione, causando errori statistici: un falso positivo o un falso negativo. Per non parlare del fatto che potresti finire per raccogliere i dati sbagliati che offrono valore zero ai tuoi visitatori.

Ecco 4 best practice per il QA dei test A/B:

• Sviluppare una strategia di controllo qualità
• Identifica cosa sottoporre a QA
• Concentrati sull'esperienza della pagina
• Allinea il QA con gli obiettivi di conversione

Suggerimento professionale: evita questi errori di test A/B da principiante:

• Testi solo le migliori pratiche del settore
• Continui a sbirciare i tuoi "risultati"
• Ti arrendi dopo un test
• Non riesci a ripetere e migliorare le vittorie
• Incasini il monitoraggio delle entrate

#4. Analizza e impara dai tuoi test A/B

Che tu abbia tra le mani un vincitore o un perdente, analizzare ciò che ha funzionato e imparare da esso per influenzare i futuri test A/B è fondamentale.

Perché mentre il test A/B è una strategia per aumentare le tue entrate, stai anche effettivamente "acquistando dati" sul tuo pubblico.

Ecco un processo in 7 fasi per imparare dai test A/B:

• Assicurati che i tuoi dati siano accurati, validi e significativi
• Controlla le tue metriche micro, macro e guardrail
• Segmenta i tuoi risultati
• Controlla il comportamento dell'utente
• Continua a migliorare sui vincitori
• Crea un repository di apprendimento per i test futuri

L'ultimo passaggio ti consente di eseguire test in futuro supportati dall'apprendimento dei tuoi esperimenti precedenti.

Il consiglio dell'esperto: preparati a fallire.

È difficile prevedere il tasso di conversione per il tuo sito web anche se pensi di aver creato il test A/B perfetto. Come nuovo imprenditore, ho quasi ceduto alla frustrazione di non vedere alcun successo nei primi mesi. Non sono abituato al fallimento e molti imprenditori sono così. L'obiettivo dovrebbe essere quello di offrire agli utenti la migliore esperienza e lasciare spazio agli imprevisti .

Leslie Radka, fondatrice e responsabile delle assunzioni presso GreatPeopleSearch

Test A/B in altri ambiti che possono aumentare i guadagni del tuo negozio Shopify

Non limitarti solo al tuo sito web. I test A/B possono e devono essere applicati ad altri canali e ambiti in cui si verifica il coinvolgimento dei clienti.

Pop-up di test A/B (con Privy)

Quei pop-up che hai sul tuo sito web? Puoi anche testarli A/B con strumenti come Privy. Sperimenta con il titolo, l'offerta, il modulo, l'invito all'azione o le immagini.

Lo strumento Converti di Privy ti consente di presentare il pop-up in diversi formati e indirizzare i visitatori in base a set di regole.

Email di test A/B

Quando si tratta di email marketing, emergono 3 aree principali di miglioramento: consegna, tassi di apertura e CTR.

Puoi testare le tue email in questo ordine:

• In primo luogo, le righe dell'oggetto per migliorare il tasso di apertura
• Quindi la copia del corpo per assicurarsi che sia pertinente
• Infine, le CTA per ottenere più click

Cos'altro puoi testare nella tua email? Consulta la nostra guida completa alle e-mail di test A/B.

Ecco come 2 imprenditori di Shopify hanno utilizzato i test A/B per far crescere il loro canale di email marketing: [h5] #1. L'elenco di posta elettronica è cresciuto di 3 volte utilizzando il test diviso

La strategia più efficace per testare i contenuti è il test A/B. I test A/B hanno dimostrato risultati misurabili e immediati che ci dicono se l'uno o l'altro contenuto è più efficace nel convertire i clienti a registrarsi per e-mail, effettuare un acquisto, ecc.

Nella vendita al dettaglio, le metriche di vanità come il traffico diretto al tuo sito Web sono meno efficaci per misurare il successo dei contenuti, mentre i test A/B (ad esempio, monitoraggio del tasso di conversione, coinvolgimento degli utenti, canalizzazioni e-mail) sono i più efficaci. Abbiamo testato il nostro CTA in abbonamento e-mail con test divisi e abbiamo ampliato la nostra lista e-mail di oltre tre volte in una campagna. Quanto più conosci il tuo ICP, tanto più efficace sarà la conversione della tua strategia di marca. Usa i test A/B per capire meglio la tua fascia demografica target e dai loro da mangiare il contenuto a cui rispondono meglio .

Zach Goldstein, Pubblico Rec

#2. Aumento del tasso di apertura delle e-mail del 25% con emoji nelle righe dell'oggetto

Dopo aver visto uno studio, volevo testare i tassi di apertura utilizzando un'emoji nella riga dell'oggetto rispetto a non usarne una. Lo studio implicava che l'uso di un'emoji avrebbe aiutato a migliorare i tassi di apertura, ma ho sentito che poteva sembrare poco professionale e spam.

Uso la piattaforma di posta elettronica ActiveCampaign insieme a Shopify e in realtà integro i due insieme per massimizzare la comunicazione con i clienti. ActiveCampaign consente agli utenti di eseguire molti test A/B in modo che possano vedere cosa combini con il loro pubblico di destinazione. Quando sono arrivati ​​i risultati, ho dovuto ammettere che mi sbagliavo perché le e-mail con un'emoji nell'oggetto hanno ricevuto un tasso di apertura superiore del 25%. È sicuro dire che da allora sono stato piuttosto liberale con la mia tastiera emoji e ho notato anche un picco nei tassi di conversione .

Stephanie Venn-Watson, grassa15

Test A/B sui social media

Come gli annunci a pagamento, puoi testare i tuoi contenuti organici sui social per migliorare il coinvolgimento. L'intestazione, la copia, le immagini e l'invito all'azione possono essere tutti testati A/B.

Quando lo fai manualmente, scagliona il rilascio dei tuoi post per avere un divario ragionevole che ti consentirà di raccogliere dati significativi.

Oppure puoi utilizzare strumenti di pianificazione come Later, Buffer o MeetEdgar per automatizzare la pubblicazione.

E-commerce A/B Testing Insidie ​​da evitare

Il nostro bisogno di gratificazione immediata si insinua anche nei test A/B. Jon Ivanco, co-fondatore di Formtoro, ritiene che la maggior parte dei test A/B siano reazionari:

I marchi vogliono una soluzione rapida che sia conveniente; odiano l'idea di investire in prospettive e guadagni a lungo termine. L'unica volta che guardano queste cose è quando le cose non stanno andando bene .

Ci sono "esperti" che sono tutt'altro che esperti, cattivi consigli presentati come buone pratiche ed esperimenti progettati per raccogliere i frutti a bassa quota.

Ivanco consiglia invece di avere le basi giuste:

– Tutti i test sulle pagine di destinazione
– Tutti i test da un pubblico specifico
– Testare una variabile alla volta
– Non testare a meno che tu non abbia un'ipotesi chiaramente articolata e da cui puoi imparare se qualcosa va bene o se fallisce
– Esegui tutti i test dal punto di vista del percorso del cliente
– Le piccole cose fanno parte di una catena più ampia, cerca di isolare le cose il più possibile un passo alla volta

Pensa alla privacy

Nessuno vuole diventare un topo da laboratorio inavvertitamente.

Il contraccolpo dello studio sul contagio emotivo di Facebook 2014 ne è la prova. Anche gli aggiornamenti sulla privacy di Apple segnalano che gli utenti si preoccupano della propria privacy e non vogliono essere manipolati nell'acquisto di prodotti.

Le leggi sulla privacy, esistenti e imminenti, continueranno ad evolversi. Ogni volta che viene apportato un cambiamento significativo, danneggerà la tua attività a meno che non inizi a pensare in primo luogo all'utente e inserisca test A/B etici nella tua strategia.

Allora cosa significa per te?

• Prendi sul serio la privacy dei dati durante la raccolta dei dati
• Escludi tattiche manipolative
• Archivia ed elabora i dati in modo sicuro
• Rispetta il consenso degli utenti e consenti loro di rinunciare agli esperimenti

Fallo e renderai i tuoi test A/B a prova di futuro e costruirai una relazione migliore con il tuo pubblico.