Come presentare le metriche di Shopify in un rapporto di test A/B per fornire un valore chiaro

La creazione di un eccellente rapporto di prova A/B di Shopify ha due aspetti principali: scegliere le metriche giuste e sapere come presentarle.

La scelta delle metriche influisce sull'output del test e definisce l'obiettivo dell'intero programma di ottimizzazione.

PS Non scegliere troppe metriche. Usa la regola Riccioli d'oro: non troppi e non troppo pochi. Troppi e troverai un “vincitore” in ogni esperimento. Troppo pochi e perderai il potenziale apprendimento e potresti avere un impatto negativo su altre metriche chiave.

E quando si tratta di presentare queste metriche nel tuo rapporto Shopify, pensa in modo completo ma snello. Abbina elementi visivi con numeri in modo da evidenziare le modifiche chiave e le tendenze o gli schemi delle metriche che portano al cambiamento.

Senza un rapporto che presenti risultati significativi alla leadership, può essere difficile ottenere il consenso per ulteriori sperimentazioni o dimostrare il ROI dei test A/B.

Forse il tuo apprendimento sono stati tutti i rischi che hai evitato non lanciando cattive idee o intuizioni che hai acquisito quando hai perso una variazione ma un segmento ha mostrato risultati promettenti o una metrica si è mossa in modo inaspettato. E ora devi capire perché è successo attraverso un esperimento e provare la causalità.

Conclusione: creare un report di facile interpretazione e aiutare il team di sperimentazione a trasmettere il valore degli sforzi - vittorie effettive, apprendimento e approfondimenti - alle parti interessate con chiarezza.

Le migliori metriche di Shopify da monitorare nei test A/B e cosa significano

Sebbene le metriche che dovresti monitorare dipendano dalle tue ipotesi, ecco alcune metriche di Shopify che dovresti considerare di tenere sotto controllo

• Ordini totali : il numero di ordini effettuati

• Vendite totali: l'importo totale è classificato in base al canale di vendita
  Formula : Vendite lorde – sconti – rimborsi + spedizione + tasse

• Pagine di destinazione principali: mostra la pagina in cui i clienti iniziano una sessione.
  
• Valore medio dell'ordine : il valore medio di tutti gli ordini (meno i buoni regalo) diviso per il numero totale degli ordini.

• Tasso di conversione del negozio online: la percentuale di sessioni che hanno portato a un ordine
  
  
  • Aggiunto al carrello: il numero e la percentuale di sessioni in cui i clienti hanno aggiunto almeno un articolo al carrello.
    Formula : ((sessioni con articolo del carrello visualizzato) / (sessioni totali))*100
  • Checkout raggiunto: il numero e la percentuale di sessioni in cui gli acquirenti hanno aggiunto almeno un articolo al carrello, raggiunto il checkout ed eseguito un'azione.
  • Sessioni convertite: il numero e la percentuale di sessioni in cui gli acquirenti hanno aggiunto almeno un articolo al carrello, raggiunto la cassa e quindi effettuato un acquisto.
• Tasso di carrello abbandonato: la percentuale di carrelli che i clienti abbandonano prima di raggiungere il checkout.
  Formula : (1 – (Numero di acquisti completati / Numero di vendite avviate))*100

• Frequenza di rimbalzo: la percentuale di sessioni di coinvolgimento singolo
  Formula: Totale sessioni di una pagina / Totale visite d'ingresso

Puoi anche monitorare i nuovi clienti, i clienti di ritorno, il canale di riferimento (SEO, social media, diretto o e-mail) e le vendite per località.

Abbiamo chiesto a oltre 50 ottimizzatori Shopify tramite HARO le metriche che preferiscono monitorare e sono emersi alcuni chiari preferiti:

• Tasso di conversione (CR)
• Percentuale di clic (CTR)
• Valore di conversione
• Tempo sulla pagina
• Frequenza di rimbalzo
• Scorri la profondità
• Coinvolgimento su pagine specifiche, come la pagina del catalogo/categoria
• Profondità di navigazione del sito
• Visualizzazioni di pagina
• Viste degli elementi
• Aggiungi al carrello
• Acquisti netti
• Tempo per il check-out
• AOV
• NPS (post acquisto)
• Entrate medie per visitatore
• Tariffa carrello abbandonato
• Profitto netto

La realtà è che quando si tratta di monitorare le metriche, non esiste una risposta valida per tutti. La metrica più importante da monitorare varia a seconda dei tuoi obiettivi e obiettivi specifici.

Per alcuni negozi Shopify, potrebbe apparire così:

Alcuni dei miei obiettivi preferiti da monitorare nei negozi Shopify sono

1. Aumenta il click-through sugli annunci.
2. Aumentare le vendite di prodotti specifici.
3. Migliora la navigazione della pagina principale.

Jessica Kats, esperta di e-commerce e vendita al dettaglio presso Soxy

Shopify Analytics: le 3 metriche a cui dovresti prestare maggiore attenzione

In Convert, chiediamo ai proprietari dei negozi Shopify di prestare particolare attenzione a 3 metriche:

1. Tasso di conversione (CR) – A rischio di affermare l'ovvio, il tuo tasso di conversione può essere un buon indicatore del successo o del fallimento della tua sperimentazione. In definitiva, vuoi più vendite e maggiori entrate. Ma questa potrebbe non essere la metrica migliore se non stai cercando di misurare l'impatto delle tue azioni sulle persone che intraprendono un'azione sul tuo sito.
   
   Continua a leggere per scoprire quale metrica è la più importante!

2. Valore medio dell'ordine (AOV) : sebbene l'AOV non sia la metrica più completa, dovresti comunque considerare di monitorarla. È un'indicazione della redditività in diversi segmenti, un'ampia metrica che quantifica quanto le persone acquistano da varie categorie.
   Quando lo utilizzi come metrica di eCommerce principale, assicurati di:
   
   
   • L'AOV viene monitorato tra gli SKU
   • Tieni traccia degli ordini dai distributori e dagli ordini all'ingrosso perché può eliminare AOV
   • AOV non indica profitto perché non sottrae il costo della merce venduta che è una spesa significativa.

3. Entrate medie per visitatore (ARPV): a differenza di AOV che ha gli ordini come unità di randomizzazione che rende difficile il test corretto, ARPV utilizza i visitatori come unità di randomizzazione che è pratica.
   
   ARPV è la metrica più importante da monitorare perché è composta da CR e AOV.

E Alex Birkett, co-fondatore di Omniscient Digital, concorda:

L'obiettivo dell'esperimento è estremamente importante sia per la progettazione dell'esperimento che per ciò che effettivamente si finisce per imparare dall'esperimento.

In troppe aziende, la semplice metrica proporzionale del "tasso di conversione" è l'obiettivo universale dell'esperimento. Questo va bene se vuoi sapere se il tuo intervento aumenta la percentuale di persone che intraprendono un'azione, come acquistare *qualsiasi cosa* sul tuo sito web, ma se non è quello che stai cercando di imparare o se non è questo l'ago che stai cercando di muoverti, non è la metrica migliore.

Anche molti dei siti Web di Shopify con cui ho lavorato hanno voluto
a) aumentare l'importo dell'acquisto (o valore medio dell'ordine – AOV) per chi acquista o
b) aumentare il valore medio dei visitatori su un insieme di pagine.

Per il primo, ti consigliamo di impostare AOV e monitoraggio delle entrate. Questi richiedono l'integrazione con il tuo carrello, ma la maggior parte degli strumenti di test, incluso Convert, hanno integrazioni native con Shopify.

Convert ha anche un'intera guida per ottimizzare AOV che puoi controllare.

Quando ottimizzo per AOV, seguo anche il tasso di conversione per assicurarmi di non danneggiare quella metrica.

Ma lo considero una metrica del guardrail.

Se riesco ad aumentare l'AOV mantenendo il mio tasso di conversione di base, spedisco l'esperimento alla produzione. Posso anche calcolare il valore marginale nel caso in cui il tasso di conversione diminuisca leggermente, ma il valore medio dell'ordine lo compensa aumentando il ricavo medio per visitatore dell'esperimento.

Questo mi porta al mio secondo strumento di reportistica post-hoc per Shopify: entrate medie per visitatore.

Questa, secondo alcuni, è l'ultima metrica di ottimizzazione della conversione del negozio eCommerce, in quanto è una metrica composita che può essere influenzata dall'aumento delle conversioni o dall'aumento del valore di ciascuna conversione (ovvero il valore medio dell'ordine).

Il valore medio dell'ordine e il ricavo medio per visitatore dovuto presentano alcune complessità aggiuntive nei rapporti.

Il tasso di conversione è una metrica binaria e può essere trattata come una variabile categoriale (passato/non superato, converti o non farlo) e può essere analizzato utilizzando qualcosa come un test del chi quadrato.

Il valore medio dell'ordine è una variabile continua ed è spesso influenzato da valori anomali (ad esempio, qualcuno entra e acquista 10 volte il volume di un acquisto normale, cosa fai con quel valore anomalo?).

Anche le entrate medie per visitatore sono influenzate da valori anomali ed è una variabile continua, ma le ipotesi alla base del modello tendono a bilanciarsi con dimensioni del campione più elevate.

Queste due metriche sono sottovalutate nei rapporti per la sperimentazione di Shopify, ma presentano alcune nuove sfide per l'analisi al di fuori dei semplici aumenti del tasso di conversione.

La maggior parte degli strumenti di test A/B può tenerne conto, tuttavia, e non avrai troppi problemi con l'inferenza.

Suggerimento: utilizza il calcolatore dell'analisi pre-test Converti per valutare i requisiti di dimensione del campione per la loro tolleranza al rischio e l'effetto che desiderano rilevare sulle metriche importanti sopra elencate.

Quali elementi e approfondimenti dovrebbe includere un ottimo rapporto sui test A/B di Shopify?

Quindi, che aspetto ha un rapporto di test A/B di Shopify stellare? Ci arriveremo in un secondo.

Per prima cosa, immergiti in:

Puoi creare un rapporto di prova valido e prezioso solo se hai iniziato il tuo test da una buona ipotesi

Andra Baragan, Fondatrice di ONTRACK Digital

Se vuoi alcuni suggerimenti su come creare un'ipotesi solida, ti abbiamo coperto.

Ora che abbiamo coperto le nostre basi, ecco altri consigli di Andra Baragan su come costruire un test A/B:

Qualsiasi nuovo test A/B dovrebbe iniziare rispondendo a queste domande:

Problema : qual è il problema che stai cercando di risolvere?

Opportunità : in che modo la tua soluzione risolverà il problema?

Percorso di ottimizzazione : in che modo questo aiuta il nostro cliente a raggiungere i propri obiettivi? Fonte : quali origini dati hai utilizzato per trovare la tua soluzione?

Infine, quando si tratta di reportage, Andra consiglia di tornare indietro e rispondere a queste domande con i numeri.

In ogni rapporto di prova, includiamo quanto segue:

• Durata del test : (per quanti giorni è stato eseguito il test)
• Intervallo di test: (intervallo di tempo in cui è stato eseguito)
• Cosa abbiamo testato: (spiega cosa hai cambiato)
• Approfondimenti : (1-2 righe sul motivo per cui l'hai testato, cosa hai osservato che ti ha fatto desiderare di testarlo)
• Cosa hai imparato dal test? Quali sono i prossimi passi adesso?
• Il test è qualcosa che deve essere implementato sul sito web live? Vuoi ribadire la variazione e riprovare? Qual è l'azione necessaria dopo questo rapporto?

Otteniamo sempre i risultati dei nostri test da Google Analytics: creiamo segmenti personalizzati degli utenti per ogni variazione e quindi possiamo eseguire tali segmenti su tutti i rapporti pertinenti: questo ci offre una visione senza precedenti dell'impatto del test sul comportamento degli utenti.

Nota : se togli le tue analisi dalla dashboard di Shopify e le confronti con Google Analytics, ci saranno alcune discrepanze dovute al modo in cui vengono calcolate le metriche. Ecco ulteriori informazioni sul motivo per cui ciò accade.

Strutturare il Rapporto

La struttura del tuo rapporto può variare in base a chi lo stai presentando: i dirigenti non hanno bisogno di tanti dettagli come fa il tuo team di test. Tuttavia, il tuo rapporto dovrebbe in genere includere questi aspetti:

• Diapositiva 1: Lo scopo del test - Perché hai eseguito il test e qual è stata la tua ipotesi che ti ha portato a progettare questo test specifico?
  
  Per le parti interessate e la tua organizzazione più ampia, puoi mantenere questo livello piuttosto alto. Quando presenti al tuo team di test, includi il contesto dei test precedenti (se applicabile) e immergiti nelle metriche che speravi di spostare.

• Diapositiva 2: I dettagli del test – Mostra le diverse varianti del test e aggiungi una breve nota per spiegare le differenze. Includi quando hai eseguito i test, per quanto tempo sono stati eseguiti e una panoramica del conteggio dei visitatori per variazione.
  
  Quando ti presenti alla leadership o ad altri team, puoi tralasciare i dettagli che non sono rilevanti per gli apprendimenti o le intuizioni. Per il tuo team di test, puoi espandere questa diapositiva o pagina per coprire ogni minimo dettaglio.

• Diapositiva 3: I risultati del test : mostra la percentuale di aumento o perdita, i tassi di conversione delle diverse varianti e la significatività statistica dei test.
  
  Le parti interessate si preoccupano dei risultati, rendendo questo uno degli aspetti più importanti della tua relazione. Evidenzia le vincite e i KPI che si sono mossi nel modo giusto. Rimuovi i valori anomali che non sono rilevanti per il risultato. Ricorda, devi fare appello al loro interesse personale. Dai loro qualcosa che possono farli sembrare belli.
  
  Per il tuo team di test, puoi dedicare più tempo alle perdite e alle metriche che non sono riuscite a muoversi nel modo previsto.

• Diapositiva 4: Le lezioni apprese dal test – Se il test non ha ottenuto vittorie chiare, questa è la tua occasione per utilizzare i dati per raccontare una storia. Spiega agli stakeholder cosa significano i numeri nel tuo report, quali informazioni hai acquisito dall'esecuzione di questi test e come intendi generare nuove ipotesi per i test futuri.
  
  Questo è anche molto importante per il tuo team di test. Le lezioni che impari attraverso i fallimenti possono determinare i prossimi passi per il team.

• Diapositiva 5: L'impatto sulle entrate : se puoi, prova a quantificare gli aumenti percentuali che hai mostrato in precedenza con l'impatto sulle entrate previsto su base annua.
  
  Ricorda che gli stakeholder esecutivi sono interessati alla sperimentazione, devi mostrare loro l'impatto sui profitti dell'azienda. Se non disponi di entrate previste da mostrare, assicurati che le tue conoscenze includano un piano per eseguire test futuri che potrebbero avere un impatto.
  
  

Dal momento che non c'è un modo per farlo bene, abbiamo chiesto ad alcuni esperti di condividere come hanno strutturato i loro rapporti e questo è quello che hanno detto:

Ho un metodo molto standard per strutturare i rapporti che include:

1. Panoramica
   
   Un breve riassunto in linguaggio semplice di ciò che abbiamo testato, perché lo abbiamo fatto, cosa abbiamo osservato e cosa intendiamo fare dopo.

2. Concetto di prova
3. Sperimenta in modo creativo
4. Date e durata
5. Metrica
6. Pagine
7. Ipotesi
8. Analisi
9. Risultati
   
   A mio avviso, è imperativo che ogni rapporto includa i risultati grezzi completi per consentire loro di essere interrogati da altri e anche a beneficio dei posteri.
   
   Possiamo dare per scontato di poter accedere ai risultati nel nostro strumento di test A/B in questo momento, ma che dire tra un anno? Due anni? Tre?

10. Prossimi passi
    
    Sulla base di ciò che abbiamo visto in questo esperimento, cosa faremo dopo?

Oliver Palmer, consulente CRO presso Oliver Palmer

I nostri rapporti sui test A/B includono sempre i seguenti elementi:

1. Una chiara descrizione delle modifiche apportate in ciascuna versione;

2. I risultati dell'esperimento, inclusa la versione con prestazioni migliori; e

3. Raccomandazioni per ulteriori sperimentazioni basate sui risultati del test A/B

Questi rapporti ci aiutano a capire cosa funziona meglio per il nostro negozio e a prendere decisioni informate su come migliorare il nostro tasso di conversione.

Luke Lee, CEO di PalaLeather

1. “ Esperimento visualizzato (pagina) – Quante persone hanno visto l'esperimento?
2. Esperimento visualizzato (elemento) – Se l'esperimento è mostrato solo nella pergamena, quante persone l'hanno visto?
3. Sospensione dell'esperimento: sul desktop, il cursore dell'utente si è posizionato sull'area dell'esperimento?
4. Interazione dell'esperimento: l'utente ha interagito con l'esperimento? (Traccia ogni elemento individualmente)
5. Tempo a pagina
6. È ora di fare il check-out ”

Alex Halliday, fondatore e CEO di AirOps

Ecco un rapido esempio di come appare uno dei rapporti sulle attività di ONTRACK Digital:

( Puoi usarlo come modello per il tuo rapporto.)

Diapositiva 1:

• Marchio
• Nome del rapporto
• Periodo di tempo

Diapositiva 2:

I momenti salienti della prova

• Numero di prove completate
• Numero di test riusciti
• Funzionalità implementate
• Numero di test in corso
• Riepilogo di tutti i test con aggiornamento dello stato

Diapositiva 3:

Panoramica di Google Analytics per un periodo specifico

• Entrate e tasso di conversione
• Transazioni
• AOV

Diapositiva 4:

Test attualmente in corso

• Istantanea dei test attualmente in corso
• Visuale dal software di test A/B per mostrare quale sta emergendo come vincitore
• Metriche di Google Analytics per supportare l'avanzamento del test

Diapositiva 5:

Panoramica dei test futuri

• Tutte le prove in programma

Puoi avere una diapositiva per spiegare ogni test accompagnata da un'immagine.

Obiettivi di copertura e KPI

Obiettivi e KPI vanno nella sezione "dettagli del test" in modo da poter spiegare l'obiettivo dell'esperimento.

Assicurati di aggiungere una nota per spiegare la tua scelta. Potresti essere alla griglia sul motivo per cui hai scelto un obiettivo o un KPI specifico da monitorare rispetto ad altri.

Hai bisogno di aiuto per identificare quali obiettivi e KPI monitorare? Prendi la nostra guida definitiva all'uso degli obiettivi nei test A/B.

Abbiamo anche chiesto ad alcuni esperti di intervenire su quali obiettivi tengono traccia:

Il mio obiettivo preferito da testare sui negozi Shopify è aumentare il coinvolgimento nella pagina del catalogo. I nostri prodotti definiscono il fatturato e la crescita dei clienti all'interno del canale. Concentrarsi su questo obiettivo e testare ci fornisce informazioni utili sul fatto che la pagina sia stata visitata abbastanza volte. Se il coinvolgimento è basso, i test ci aiutano a capire le aree in cui ci mancano, stimolando il rinnovamento degli sforzi di marketing.

Aviad Faruz, CEO di Faruzo

In termini di monitoraggio degli obiettivi, generalmente scelgo una metrica principale dall'elenco seguente e quindi utilizzo le altre come metriche sulla salute o contro metriche. È bene tenere d'occhio più numeri in caso di conseguenze indesiderate.

1. Frequenza di rimbalzo
2. CVR (aumento generale del tasso di conversione)
3. AOV (valore medio dell'ordine)
4. Entrate medie per visitatore (miscela dei due di cui sopra)
5. NPS o simili

Mi piace anche segmentare gli utenti per:

1. Fonte UTM
2. Tipo di dispositivo
3. Posizione
4. Visitatore nuovo o di ritorno”

Alex Halliday, fondatore e CEO di AirOps

A livello di obiettivo, normalmente ci sarà un indicatore principale che stiamo cercando di influenzare direttamente (ad esempio, pagine di prodotto visualizzate o interazioni con un filtro per dimensioni/colore) e quindi quasi sempre Conversione ed entrate per visitatore. Gli obiettivi tracciati dovrebbero essere direttamente correlati all'ipotesi e agli obiettivi commerciali dell'esperimento, quindi raramente è utile tracciarne più di tre o quattro al massimo.

Oliver Palmer, consulente CRO presso Oliver Palmer

Generalmente monitoriamo due obiettivi nei nostri test A/B: tasso di conversione e valore medio dell'ordine . Tuttavia, a seconda della natura dell'esperimento, potremmo anche tenere traccia di altri obiettivi come la percentuale di clic o il tempo trascorso sul sito. Generalmente dipende dall'esperimento. Altri utenti e aziende potrebbero avere criteri diversi per il monitoraggio dei rispettivi obiettivi.

I nostri obiettivi preferiti da testare sui negozi Shopify sono il tasso di conversione e il valore medio dell'ordine. Riteniamo che queste siano le metriche più importanti per il nostro negozio e forniscono maggiori informazioni su come possiamo migliorare il nostro negozio. Tuttavia, ogni negozio è diverso e potresti scoprire che altri obiettivi sono più importanti per la tua attività. Dipende davvero da cosa stai cercando di ottimizzare.

Luke Lee, CEO di Palaleather

Aggiunta di creatività per la narrazione visiva

La maggior parte dei software di test A/B che utilizzi offrirà tabelle e grafici o modelli già pronti di qualche tipo che puoi utilizzare quando esporti i rapporti. Puoi aggiungere quei grafici al tuo rapporto (se sono pertinenti, ovviamente) e prendere in considerazione la creazione di alcuni dei tuoi.

I tuoi numeri raccontano una storia. Usa semplicemente le creatività per rappresentarlo visivamente. Il trucco consiste nell'utilizzare visualizzazioni facili da capire, preferibilmente in una volta sola.

Annemarie Klaassen e Ton Wesseling al CXL avevano intrapreso questa strada cercando metodi diversi per arrivare a una soluzione che funzionasse. Ecco un breve riassunto dei loro consigli:

Suggerimento 1: se non sei sicuro, attieniti alla norma: fogli di calcolo Excel

Puoi vedere subito l'ascensore e l'impatto. Inoltre, puoi codificare a colori il vincitore in modo che tutti possano vedere facilmente quale variante ha vinto.

Suggerimento 2: aggiungi un grafico

Puoi guardare il tasso di conversione giornaliero nel tempo e aggiungere il limite inferiore e superiore della variazione predefinita.

Tuttavia, questo non ti darà una risposta chiara a quale variante ha vinto e come sono stati influenzati i KPI; mostrarti solo che c'è un effetto stabile che non è interessante per le parti interessate.

Suggerimento 3: emula gli statistici

Un altro modo (possibilmente più accurato) è replicare ciò che fanno gli statistici: 2 curve a campana, un valore critico e un'area ombreggiata. Ma il problema è che è troppo difficile spiegarlo con chiarezza.

Quindi Annemarie e Ton hanno escogitato questo:

Due punti chiari per mostrare il tasso di conversione di entrambe le varianti. La linea tratteggiata rappresenta gli intervalli di confidenza.

“Se il tasso di conversione della variazione B è al di fuori della portata dell'intervallo di confidenza di A, la variazione B è significativamente migliore. L'area ombreggiata di verde lo accentua. Un punto nell'area rossa significherebbe che la variazione sta andando significativamente peggio.'

Ci sono voluti ancora qualche tentativo per farlo bene. Ciò che hanno ottenuto è stata una versione più consolidata che avesse un senso per il loro team e sono stati in grado di automatizzare la produzione delle creatività.

Puoi leggere il post completo per vedere cosa sono finiti alla fine.

PS Non devi complicare eccessivamente questo. Assicurati di disporre di creatività che supportino i tuoi risultati e le tue conoscenze e assicurati che sia abbastanza facile da capire per tutti.

Targeting di copertura e progettazione di esperimenti

Il modo in cui hai progettato un esperimento e quale segmento di pubblico è stato preso di mira è importante tanto quanto ciò che hai imparato da esso, soprattutto perché devi utilizzare queste informazioni per costruire test futuri.

Anche questi vanno nella sezione "dettagli". Potresti voler estrarre alcune informazioni che non sono rilevanti per la C-suite o presentarne una versione ridotta.

Ecco come gli esperti affrontano il targeting e la segmentazione:

Esperimenti diversi prenderanno di mira diversi segmenti di utenti, come clienti abituali o individui che hanno visto la pagina principale del tuo prodotto. Puoi rivolgerti ai clienti britannici con l'inglese britannico se hai utenti da tutta l'Anglosfera. Segmentando il tuo pubblico, puoi esporre il tuo esperimento solo al numero specifico di visitatori che soddisfano i tuoi criteri escludendo quelli che non lo fanno.

Prima di eseguire i test A/B nel tuo negozio, devi capire quale sezione del tuo pubblico è adatta alla tua ipotesi. La segmentazione garantisce che l'esperimento corretto venga mostrato ai client corretti.

Lulu Albanna, co-fondatrice di WRC Media

Spiega perché hai fatto queste scelte specifiche. Era il risultato di un precedente esperimento? Oppure sei arrivato a una certa ipotesi basata sulla ricerca di conversione?

Paul Somerville, Technical Manager di Electric Scooter Guide, consiglia anche di condividere dove è stato attivato il test e perché è importante:

Abbiamo condotto numerosi test A/B per funzionalità come chat dal vivo, pulsanti di invito all'azione, immagini di prodotti, posizionamento di upselling, pagine di destinazione, menu di navigazione e altro come azienda Shopify.

Ad esempio, i test A/B ci hanno aiutato a stabilire il giusto equilibrio tra cross-selling e upselling senza fastidio o attrito nell'esperienza del cliente.

Abbiamo notato che il nostro pubblico ha apprezzato immediatamente i suggerimenti altamente pertinenti sulle pagine dei prodotti piuttosto che quelli presentati durante il checkout dopo aver eseguito diversi esperimenti e, di conseguenza, abbiamo aumentato il valore medio della transazione.

Azzeramento sulla segmentazione

Tutti i test non iniziano pensando a un segmento di pubblico. Spesso l'obiettivo del test è scoprire quale segmento risponde meglio a un cambiamento.

Quindi, se intendi definire i segmenti di pubblico dopo che il test è stato completato, assicurati di includere i tuoi risultati nelle sezioni "risultati" e "apprendimenti" del rapporto.

Alcune segmentazioni comuni da includere nel rapporto:

• Geografico
• comportamentale
• Tempo atmosferico
• Tecnografico

Tutto ciò ti aiuterà a perfezionare i risultati che hai per comprendere meglio il tuo pubblico e progettare test superiori.

Tuttavia, dovresti tenere presente che la post-segmentazione può incorrere in tre problemi comuni: avere una dimensione del campione troppo piccola, confrontare più segmenti e concentrarsi su quelli completamente sbagliati.

Nota : puoi anche fare progressi con la tua post-segmentazione: segmenti di pubblico basati su cookie, livello di dati o persino elenchi di HubSpot.

Trasmettere il valore dei test A/B di Shopify, internamente e ai clienti

Ora che sai come dovrebbe essere il tuo rapporto di prova A/B di Shopify, ecco alcuni consigli dei nostri esperti:

• B2C vs. B2B – Mostra loro la strada giusta
  I cicli di acquisto in B2C sono molto più brevi e c'è molto più traffico, quindi idealmente hai il potenziale per eseguire molti test. Tuttavia, scoprirai che la maggior parte dei marchi è ancora concentrata sui canali di acquisizione "provati e testati" che stanno diventando insostenibili a causa dei nuovi aggiornamenti sulla privacy che si traducono in dati scadenti. Il risultato? Un incredibile aumento del costo di acquisizione dei clienti. Spiega ai tuoi clienti/stakeholder che non puoi spendere più di tutti i tuoi concorrenti.

• Gioca per gli interessi della leadership
  Il vero valore dei test A/B risiede nelle informazioni che si ottengono dalla sperimentazione. Ma questi non sono utili al fondatore e alle altre parti interessate. È meno probabile che siano impressionati dagli apprendimenti e più interessati alle "vittorie".

• Non impostare le aspettative sbagliate
  Ovviamente, dovresti provare a mostrare l'impatto sulle entrate, ma la frase chiave qui è: quando possibile. Non proiettare entrate sulla base di un aumento dei tassi di conversione o del valore medio degli ordini.
  Concentrati invece su ciò che è stato testato:
  
  
  • Sii specifico su ciò che hai fatto e crea report visivi e pertinenti.
  • Quali sono stati gli apprendimenti? Questo può derivare da una metrica come CR o ARPV in movimento. Fissare non sul movimento ma se l'ipotesi è stata dimostrata giusta. In tal caso, cosa rivela la relazione causale sui segmenti di pubblico?
  • Cosa farai con questa intuizione? Perfezionirai il posizionamento? O forse migliorare il design del sito?
  • Cosa significa questo per l'azienda nel suo complesso? E può portare il marchio un passo più vicino al raggiungimento degli obiettivi di business?

• Aggiungi contesto ai numeri che hai presentato
  Devi far sapere alle persone, senza mezzi termini, cosa stanno guardando. Ciò potrebbe significare codifica a colori, aggiunta di benchmark del settore, visualizzazione di medie, segmenti di pubblico o persino mostrare quanto costano i diversi canali.

Seguire questo approccio ti assicura di non essere sempre sotto pressione per ottenere vittorie rapide.

Puoi rifocalizzare la tua attenzione su ciò che riguarda la sperimentazione: l'apprendimento. Ma la chiave non è dare la priorità a una cosa rispetto all'altra.

Le migliori agenzie di sperimentazione si concentrano sull'interesse e sul buy-in tanto quanto su ciò che stanno testando. Un vero e proprio gioco di equilibrio tra entusiasmo (Sì! Gli esperimenti possono far crescere gli affari) e fissare aspettative imprecise (il nostro fatturato raddoppierà).

La via da seguire è (*rullo di tamburi, per favore*) l'istruzione. Prendi una copia di "Lavori di sperimentazione", una lettura senza gergo che ti guiderà a eseguire test migliori e condividere informazioni utili.

E se stai cercando uno strumento di test A/B che possa aiutarti a condividere il tuo carico, prova Convert. È gratuito per 15 giorni, non è richiesta la carta di credito.