Come trattare i dati qualitativi e quantitativi per vincere i test A/B?

Se lo scomponiamo nei suoi concetti fondamentali, il CRO riguarda meno le conversioni e più la comprensione del tuo pubblico e di come interagiscono con il tuo sito web.

Più li capisci, cosa vogliono e come agiscono sul tuo sito, migliore sarà l'esperienza del cliente e le offerte che puoi fornire.

Ciò significa che il nostro obiettivo principale come tester è quello di trovare quante più informazioni possibili . Più dati abbiamo, meglio possiamo pianificare i test e cercare di vedere un aumento dei risultati.

Il problema?

Non siamo sempre bravi a raccogliere o comprendere quei dati. Forse non conosciamo gli strumenti da utilizzare, i processi per trovare le informazioni, o forse non stiamo analizzando e ottenendo approfondimenti accurati, o per mancanza di esperienza o peggio, aggiungendo il nostro pregiudizio che corrompe i risultati.

Questo è ciò di cui parleremo nella guida di oggi: come raccogliere informazioni sul tuo pubblico, comprenderle e utilizzarle. Approfondiremo anche altri tester e i loro processi in modo che tu possa raccogliere ancora più idee e approfondimenti per i tuoi nuovi test.

Continua a leggere per saperne di più o fai clic qui per imparare "come utilizzare i dati per vincere i test A/B".

Quando si tratta di testare e trovare informazioni per il tuo sito o app, ci sono due tipi di dati che vogliamo esaminare.

Esempi di analisi dei dati quantitativi potrebbero essere:

• Misurare il traffico verso una pagina
• La frequenza di rimbalzo di quel traffico
• Il CTR
• Tariffa abbonati
• Tasso di vendita
• Valore medio di vendita.

La maggior parte dei programmi di test inizierà sia con un'analisi tecnica per ottenere dati su ciò che funziona o non funziona su un sito Web, sia con un'analisi quantitativa per ottenere una linea di base per le prestazioni attuali del sito, prima di passare a un'analisi qualitativa.

Esempi di dati qualitativi sono

• Ricerca degli utenti
• Scorri le mappe
• Monitoraggio dei clic
• Mappatura del calore
• Sondaggi.

L'obiettivo è semplicemente ottenere una migliore comprensione del pubblico e di come interagiscono, in modo da poter individuare potenziali problemi sull'utilizzo del sito o apprendere eventuali problemi esterni che potrebbero influenzare le loro azioni sul sito.

Ad esempio, sebbene sappiamo che un CTA non sta ricevendo molti clic, è solo attraverso le interviste ai clienti che scopriamo che il linguaggio non è chiaro o non risuona con il pubblico.

Qual è il modo giusto di utilizzare i dati nei test A/B?

Anche se sembra che stiamo solo monitorando specifici eventi di conversione o monitorando il comportamento degli utenti, l'obiettivo è combinare dati quantitativi e qualitativi . Forse per trovare difetti tecnici o problemi comuni, ma idealmente li combiniamo in modo da poterci educare e ottenere una visione più olistica del nostro pubblico.

Non vogliamo nemmeno informazioni immediate. Vogliamo scoprire perché le cose stanno accadendo e poi fare un ulteriore passo avanti per trovare la causa principale.

Diciamo che facciamo ricerche quantitative e vediamo che il tasso di conversione su una pagina è basso. L'offerta o il prodotto semplicemente non sono desiderati? O dobbiamo migliorare il processo?

Quindi eseguiamo una mappa di calore sulla pagina di destinazione e vediamo che la maggior parte del pubblico non fa clic su un CTA specifico, quindi possiamo ipotizzare il perché. Forse la lingua non è chiara?

Ma poi a un esame più approfondito, vediamo che per alcuni dispositivi è semplicemente fuori dallo schermo, mentre su altri non risalta abbastanza da essere nemmeno chiaro che si tratta di un pulsante da premere.

• Se tutto ciò che guardassimo fossero i dati qualitativi, penseremmo semplicemente che si tratta di un CTR basso.
• Se tutto ciò che guardassimo fossero i dati qualitativi, allora potremmo presumere che le persone non stiano semplicemente facendo clic.

Ma combinandoli, possiamo vedere molto più in profondità. (Questo è il modo in cui comprendiamo davvero i dati nei test A/B.)

Il vecchio idioma è vero in quanto "ciò che viene misurato viene gestito". La chiave, ovviamente, è assicurarsi di non prendere decisioni basate su set di dati limitati o difettosi, quindi guardare SEMPRE più origini dati.

Imparare a rallentare, chiedere perché e lasciare che i dati penetrino ti aiuterà a diventare un tester e un risolutore di problemi molto migliori.

Piuttosto che cercare di trovare immediatamente la risposta, chiediti se hai abbastanza informazioni:

• I tuoi utenti hanno un problema facilmente risolvibile (pulsante rotto o CTA debole) o potrebbe esserci dell'altro che potrebbe anche essere migliorato?
• Hai un pregiudizio intrinseco o un'esperienza precedente che sta influenzando le tue idee iniziali?
• Potresti scoprire di più sul tuo pubblico prima?

E se esaminando più a fondo questo problema di CTA e layout, scoprissi che la maggior parte del tuo pubblico utilizza dispositivi mobili obsoleti con risoluzioni dello schermo e velocità di caricamento diverse? Potrebbe essere che manchi la maggior parte dei tuoi contenuti e interazioni e non solo le tue CTA e le pagine di vendita. Anche i contenuti dei tuoi social media e del tuo blog potrebbero risentirne!

Vai di nuovo più a fondo. Perché hanno questi dispositivi? Non possono permettersi un dispositivo più costoso? Non è importante per loro? Se no, allora cos'è?

Non cercare di prendere tutte le tue decisioni in base a ciò che hai finora. Prenditi il ​​tuo tempo, pensa e immergiti più a fondo con qualsiasi risultato tu ottenga. Trova il motivo.

Grandi errori da evitare durante la raccolta e l'analisi dei dati

Ora, non preoccuparti se sei il tipo di tester che cerca di trovare un'intuizione immediata dalla loro ricerca iniziale poiché non sei il solo in questo.

Questo è solo uno dei pochi problemi ricorrenti che la maggior parte delle persone incontra quando cerca di raccogliere o comprendere i propri dati...

Problema n. 1: raccolta di dati per dimostrare un'opinione

Stai utilizzando i dati per scoprire nuove informazioni? O stai usando i dati per convalidare le idee attuali?

È possibile utilizzare i dati per convalidare un'idea. Questo è l'obiettivo dell'ipotesi. Abbiamo un'idea di cosa non va e di come risolverlo, quindi cerchiamo di dimostrarlo con il test e i suoi risultati.

Ma non dimenticare il metodo scientifico! Non possiamo attaccarci alle nostre idee e opinioni. Dobbiamo fidarci dei dati e trovare il vero motivo. Questo è ciò che ci interessa. Va bene sbagliare con un'ipotesi. Scoprire una visione diversa da un test fallito ti insegna semplicemente di più sul tuo pubblico!

Diffida solo dei dati che ti dicono una cosa, ma li distorci per provare a dimostrare qualcos'altro.

Problema n. 2: sponsorizzazione dell'analisi senza articolare chiaramente il problema

Un problema comune nei test (e anche nella maggior parte delle aziende) è che la persona che analizza i dati non è sempre l'analista.

Invece, l'analista viene utilizzato come mezzo per inserire informazioni nei report per una terza parte che sta cercando di risolvere un problema. (Diventano quasi un cruscotto glorificato.)

Ecco un esempio:

• Il tuo capo ha un obiettivo e un problema.
• Hanno un'idea approssimativa della soluzione e della causa, quindi chiedono all'analista i dati su XYZ, ma senza contesto. Stanno cercando di capire se questo problema e la soluzione potrebbero funzionare.
• Di solito, c'è avanti e indietro per richiedere più dati. Questa richiesta o supporta erroneamente l'idea o non si è verificata alcuna ulteriore comprensione.
• E così vengono presentati nuovi test o idee e il problema rimane irrisolto.

Non eccezionale, vero?

Ma immaginate se il capo venisse dall'analista con il contesto del problema particolare e lavorassero insieme per articolare il problema e trovare la causa principale?

Ciò potrebbe sia accelerare la comprensione che i nuovi test per risolverlo.

Problema n. 3: fare affidamento su un'unica fonte di dati senza immergersi in prospettive diverse

Abbiamo accennato a questo in precedenza, ma è così importante non attenersi a una singola fonte di dati, poiché limiti fortemente la tua comprensione e le potenziali soluzioni e idee di test.

Più fonti hai, meglio puoi dipingere un quadro di ciò che sta accadendo e perché.

Sì, ci vuole tempo, ma l'ottimizzazione del tasso di conversione riguarda la comprensione di quel pubblico. Fai il lavoro e impara più che puoi.

Più conosci meglio è!

tramite GIPHY

Problema n. 4: non dare priorità al pensiero critico come abilità

I nostri cervelli sono strani. Lavoriamo su un sistema di impulsi di base, driver emotivi ed esperienze precedenti. L'obiettivo è mantenerci in vita, procreare e prendere decisioni senza sprecare troppe energie.

Sapendo questo, è sempre intelligente per i tester (e qualsiasi imprenditore) essere consapevoli del processo sia del pensiero critico che dei pregiudizi cognitivi e di come influenzano la nostra comprensione e le nostre decisioni...

Che cos'è il pensiero critico?

Il pensiero critico è la capacità di analizzare fatti e dati per formare un giudizio senza pregiudizi .

Ci sono centinaia di cose diverse che entrano nel nostro processo decisionale, una delle quali è il pregiudizio delle decisioni basate su esperienze o situazioni di vita precedenti. Chiamiamo questi pregiudizi cognitivi .

Coloro che praticano il pensiero critico lo capiscono, quindi usano un processo specifico per aiutarli a esprimere giudizi imparziali:

• Identificazione . Trova il problema.
• Raccogli dati . Assicurati di utilizzare più fonti. Assicurati di non aggiungere pregiudizi alla selezione della fonte.
• Analisi . Puoi fidarti di queste fonti? Sono affidabili? Il set di dati è abbastanza grande per essere vero?
• Interpretazione + Inferenza. Quali modelli puoi vedere da questi dati? Cosa ti dice finora? Qual è il più significativo? Vedi causalità o correlazione?
• Spiegazione . Perché pensi che questo stia accadendo?
• Autoregolazione . Hai pregiudizi cognitivi che influenzano questa analisi e ipotesi di test? Stai facendo ipotesi sbagliate? Lavora attraverso di loro per essere sicuro.
• Apertura mentale e risoluzione dei problemi. Con la tua attuale comprensione, come puoi risolvere questo problema? Hai bisogno di saperne di più prima?

Come puoi vedere, avere un processo per analizzare queste informazioni è incredibilmente importante. Anche in questo caso, dovresti considerare eventuali pregiudizi subconsci che potrebbero influenzare il modo in cui prendi decisioni e analizzi questi dati.

Cosa sono i pregiudizi cognitivi?

I pregiudizi cognitivi sono codici cheat per i nostri cervelli per risparmiare energia sulle decisioni utilizzando il riconoscimento di schemi. Il problema ovviamente è che i nostri pregiudizi non sono sempre corretti e possono influenzare le nostre decisioni e azioni, positivamente o negativamente. Ik Questo è particolarmente evidente quando si tratta di test.

Ecco alcuni esempi:

• Action Bias : la tendenza a voler agire anche quando i dati suggeriscono che non è possibile apportare miglioramenti?
• Anchoring Bias: La tendenza a basare le decisioni su informazioni acquisite in precedenza.
• Pregiudizio dell'autorità: la tendenza a attribuire un valore maggiore alle opinioni provenienti da posizioni di autorità.

Riesci a vedere come questi potrebbero influenzare la tua analisi dei dati e le idee di test?

Ce ne sono troppi per me da coprire qui (alcuni stimano circa 150 in totale). Ti consiglio vivamente di fare una tua lista. Quindi puoi provare a costruire un processo di pensiero critico per analizzare i tuoi dati come abbiamo descritto in precedenza e "elencare di controllo" tutti i potenziali pregiudizi che potrebbero influenzare la tua analisi.

Problema n. 5: prendere la correlazione come causa

Questo si ricollega quasi a un pregiudizio cognitivo, in quanto vediamo schemi nei dati che possono esistere, ma potrebbero non essere la causa del risultato.

Si verificano semplicemente insieme spesso come sottoprodotto o per semplice coincidenza.

Ad esempio, la maggior parte dei surfisti non lavora a metà mattina e navigherà invece. (È quando hai il miglior vento offshore per le onde).

Per la persona che guarda sulla spiaggia, daresti per scontato che forse queste persone non hanno un lavoro o si sono ammalate. Tuttavia, dopo aver avuto più conversazioni nell'oceano, è diventato chiaro che quasi tutti i surfisti là fuori lavoravano per se stessi e quindi possono scegliere le proprie ore.

Ora alcuni di loro hanno iniziato a surfare perché avevano questa flessibilità e tempo libero (correlazione), ma altri hanno scelto professioni in cui potevano avere questa flessibilità in modo da poter fare surf (causa).

Abbastanza bello, vero?

Il fatto è però che, anche dopo la ricerca iniziale e le "interviste", sarebbe facile ottenere una visione imprecisa del set di dati. Assicurati di guardare i tuoi dati con una mente aperta e immergiti più a fondo per trovare la vera causa.

Diversi metodi di raccolta di dati qualitativi e quantitativi

Cosa possiamo usare per raccogliere questi dati?

Per la raccolta di dati quantitativi, di solito prendiamo in considerazione due tipi di strumenti:

• Uno strumento di analisi come Google Analytics o un fornitore di terze parti per ottenere risultati aggiornati.
• Uno strumento di test A/B come Convert Experiences in modo da poter misurare la variazione numerica delle prestazioni tra le variazioni e il controllo.

Entrambi ci forniranno dati numerici grezzi.

(Consulta la nostra guida comparativa agli strumenti di test A/B qui in modo da poter vedere quale funziona meglio per te.)

Per la ricerca qualitativa, stiamo esaminando una selezione più ampia, poiché stiamo testando più elementi diversi:

• Mappatura del calore
• Monitoraggio dei clic
• Tracciamento oculare
• Registrazioni utente
• Sondaggi in loco e
• Sondaggi diretti sui clienti.

Il tracciamento oculare tende ad essere lo strumento più costoso a causa dei suoi requisiti hardware. Sono disponibili alcune opzioni software da installare e utilizzare internamente, mentre un'altra opzione consiste nell'assumere società esterne che installano occhiali o telecamere eye-tracking per controllare i movimenti oculari e le posizioni di interesse.

Per la mappatura termica, il monitoraggio dei clic, la registrazione utente di base e i sondaggi puoi utilizzare uno strumento a basso costo come Hotjar che combina tutte queste funzionalità. Ti aiuta a individuare problemi comuni e ottenere informazioni quasi immediate senza dover richiedere assistenza di terze parti e *quasi* esegue funzioni simili al rilevamento degli occhi.

Infine, puoi anche fare un ulteriore passo avanti nella registrazione degli utenti e assumere agenzie che porteranno utenti indipendenti a utilizzare la tua pagina Web, indurli a eseguire attività prestabilite, quindi registrare le loro interazioni e trasmetterti le informazioni.

Nota a margine:

Sebbene non li abbiamo elencati nella sezione Strumenti quantitativi, a volte si verifica una sovrapposizione in cui gli strumenti qualitativi possono essere utilizzati per l'acquisizione di dati quantitativi.

Puoi utilizzare uno strumento di sondaggio e misurare le risposte di un numero X di partecipanti per ottenere un valore numerico dei loro pensieri sul testo di vendita e su come pensano che risponderanno ad esso.

Tuttavia... Questo è ancora soggettivo in quanto ciò che le persone dicono non è sempre ciò che fanno .

È sempre una buona idea misurare il loro feedback per un'azione (cosa dicono) e quindi misurare anche la risposta dell'azione effettiva (l'azione che intraprendono). A volte questo può darti un'idea più profonda di cosa fornire e come inquadrarlo.

In che modo i professionisti della sperimentazione si avvicinano ai dati qualitativi e quantitativi?

Vuoi sapere come i professionisti raccolgono e utilizzano i dati? Di recente abbiamo intervistato 7 professionisti CRO nell'ambito della nostra serie "Pensa come un professionista CRO".

Non rovinerò le loro interviste poiché ti consiglio vivamente di leggerle, tuttavia, ho tirato fuori alcune curiosità interessanti su come pensano ai dati di seguito, così come i miei pensieri sui loro metodi...

Gursimran Gurjal – OptiPhoenix

I dati quantitativi generalmente sono utili per scoprire buchi di conversione di base per capire dove cadono gli utenti, come si comportano i diversi canali, CR da diversi dispositivi, dove gli utenti escono dal sito Web, ecc., mentre i dati qualitativi ci aiutano a scoprire i dettagli del motivo per cui gli utenti abbandonano o intraprendono una determinata azione .

La combinazione di "Where+Why" con la sperimentazione dipinge un quadro completo del comportamento degli utenti.

Lo studio di dati qualitativi come mappe di calore, registrazioni di sessioni, risultati di sondaggi o test di usabilità richiede molto più tempo per creare un modello statisticamente significativo, mentre i dati quantitativi sono più facili da analizzare. Quando si desidera raccogliere informazioni più dettagliate e significative, è importante non solo fare affidamento su GA o Hotjar per raccogliere dati, ma piuttosto spingere i tuoi eventi personalizzati per rendere i dati più significativi, come taggare la registrazione per tutti gli utenti che ottengono un errore nel processo di checkout, inviare un evento in GA per il quale filtro o l'opzione di ordinamento viene utilizzata di più, ecc., in modo da poter sfruttare al meglio i dati disponibili .

L'aggiunta di tag personalizzati per ottenere un flusso di dati è un'idea fantastica. In questo modo puoi non solo vedere il problema e dove ha portato, ma anche da dove ha avuto origine e la fonte di traffico.

Haley Carpenter, esperta di strategia CRO senior

Ricorda costantemente a te stesso che tutti abbiamo dei pregiudizi. Sappi che è tuo compito segnalare nel modo più veritiero e accurato possibile. L'integrità è un valore chiave da tenere alto.

Inoltre, ricontrolla il tuo lavoro o chiedi a qualcun altro di esaminarlo se non sei sicuro di qualcosa. Un secondo paio di occhi può essere estremamente utile a volte, soprattutto se stai fissando qualcosa per ore, giorni o settimane.

Una volta ho seguito un corso di antropologia in cui dovevamo trascrivere le registrazioni. Il professore ha sottolineato che è della massima importanza mantenere le trascrizioni fedeli alla persona che ha pronunciato le parole. Non dovevamo nemmeno fare qualcosa di così piccolo come tagliare una parola di due lettere o correggere un piccolo errore grammaticale.

Ho tenuto questa lezione con me fino ad oggi e la applico all'analisi dei dati... in particolare alle registrazioni dei test degli utenti. È importante mantenere l'analisi il più fedele possibile ai dati originali

Avere più occhi sulla ricerca e sui risultati è un ottimo modo per non perdere alcun problema, rimuovere potenziali pregiudizi e ottenere punti di vista diversi. Questo può spesso portare a informazioni che un singolo tester avrebbe perso.

Rishi Rawat – Commercio senza attrito

Le mie opinioni sui dati quantitativi:

I dati sono i dati. Non strizzare gli occhi per dargli un senso. Non essere emotivamente legato ad esso. Esprimi la tua ipotesi prima che inizi la raccolta dei dati. Se i dati smentiscono il tuo istinto, riprogetta un nuovo test e avvialo. I dati sono i dati. Rispettalo.

Le mie opinioni sui dati qualitativi:

Abbiamo una visione controversa su questo argomento. Non crediamo nella ricerca dell'utente finale, il che significa che non parlo con le persone che hanno acquistato il prodotto. Non è che non penso che questo tipo di ricerca sia importante, lo è; è solo costoso. Preferisco ottenere tutti i miei dati qualitativi dal fondatore o inventore del prodotto su cui sto lavorando.

Laddove l'esperienza dell'utente dell'acquirente finale è semplicemente un'istantanea dell'acquisto effettuato in quel momento, l'inventore ha il contesto dell'intero viaggio. Voglio ottenere la mia "sensazione" quantitativa dal fondatore. Il fondatore/inventore ha così tante conoscenze istituzionali che ti farà girare la testa. È solo che sono nel "mezzo" da così tanto tempo che non sanno da dove cominciare. È qui che entrano in gioco le capacità di porre domande dell'ottimizzatore. L'ottimizzatore aiuta il creatore con la vista esterna. Attribuisco molto valore a questo tipo di dati qualitativi

Ora, questa è un'idea interessante...

In CRO tendiamo a concentrarci sull'utente per comprendere il percorso del cliente. Il problema è che i clienti a volte non sanno cosa c'è che non va o come articolarlo.

Allo stesso modo, tuttavia, l'imprenditore può conoscere a fondo il prodotto ma essere scarso nel comunicarlo. Per loro è ovvio perché hanno tutta l'esperienza, ma per il cliente, a quel messaggio può mancare qualcosa. In un mondo ideale, se stai eseguendo test per un'altra azienda, vuoi parlare sia al pubblico che al proprietario.

Se sei a corto di tempo o risorse, parla con il proprietario dell'attività. Come dice Rishi, spesso hanno tutte queste intuizioni che possono essere tirate fuori. Il nostro lavoro come tester è quindi quello di trovare dove manca e come potrebbe connettersi con il cliente.

Sina Fak – Avvocati della conversione

La realtà è che tutti i dati contengono pregiudizi.

Tutto, dal modo in cui i dati sono stati raccolti, ai dati campione utilizzati per l'analisi, alla persona che rivede i dati ed esegue l'analisi: c'è un elemento di distorsione che non possiamo controllare completamente.

I dati da soli non ti daranno l'intera storia. Ti darà solo un punto di partenza per capire parte della storia e trarre spunti. L'unico modo per trattare i dati in modo da raccontare una storia imparziale è metterli alla prova ed eseguire un esperimento con essi

Questo si collega a ciò che stavamo dicendo prima.

Ogni test e ricerca ha pregiudizi. Possiamo provare a negare parte di ciò con il pensiero critico e i processi di analisi, ma può comunque insinuarsi.

Metti alla prova l'idea, scoprila e provane ancora. Non dimenticare il metodo scientifico. Possiamo "fallire in avanti" e trovare anche le risposte che stiamo cercando.

Jakub Linowski – GoodUI

In generale, più misure coerenti disponiamo, più affidabili e affidabili possono diventare i nostri esperimenti.

Quando si tratta di confrontare i risultati dei test A/B, ci sono alcuni modi in cui possiamo farlo:

● Confronto di più metriche dello stesso esperimento (ad es. coerenza dell'effetto tra aggiunte al carrello, vendite, entrate, acquisti resi, ecc.)

● Confronto dei dati storici tra esperimenti separati (ad es. coerenza dell'effetto tra due esperimenti separati eseguiti su 2 siti Web separati

Non dimenticare che l'analisi dei dati Quant e Qual è altrettanto importante POST TEST come lo è nella nostra pianificazione iniziale.

Avere un processo in atto per controllare i potenziali problemi e le posizioni per "momento aha" può dare risultati di gran lunga migliori di uno sguardo iniziale.

(A volte i dati sono proprio lì e ci mancano.)

Eden Bidani – Copia semaforo verde

Cerco di lavorare il più possibile con entrambi i tipi di dati affiancati di fronte a me. Per me, questo aiuta a bilanciare il quadro completo.

I dati qual danno profondità e significato al quant, e i dati quant forniscono la direzione generale su quali elementi dei dati qual dovrebbero essere dati più peso .

Avere entrambi i set di dati insieme in modo da poter confrontare e confrontare è il modo migliore per analizzare e capire cosa sta succedendo.

Questo si collega a ciò che dicevamo prima sull'avere un unico set di dati per trovare i problemi e le soluzioni. Se tutto ciò che avessimo fosse uno, arriveremmo a conclusioni diverse. Usa entrambi per cercare di trovare quella correlazione.

Shiva Manjunath – Speero

Il modo in cui provo ad avvicinarmi all'analisi Quant+Qual è come un interrogatorio della polizia. C'è un motivo o un'ipotesi, ma non puoi presumere che la persona che hai portato all'interrogatorio sia innocente o colpevole. Si presume che la persona coinvolta (dati dell'esperimento) sia innocente ed è tuo compito dimostrarla colpevole oltre ogni ragionevole dubbio (rilevanza statistica).

Quindi puoi guardare tu stesso i dati, intervistare altre persone (dati qualitativi) e forse guardare gli estratti conto bancari o guardare i registri di quando qualcuno è entrato/uscito per lavoro per vedere se il suo alibi è andato a buon fine (dati quantitativi).

Forse non è l'esempio migliore, ma devi sempre avvicinarti ad esso in modo obiettivo. E corroborare le fonti di dati (ad es. mappe di calore con sondaggi sul sito con dati quantitativi) per inventare una storia e vedere se ciò supporta, o non supporta, l'ipotesi. Con rigore statistico, ovviamente !

Adoro questa analogia e mi ricorda Sherlock Holmes e si collega direttamente ai test.

Non ho ancora dati. (O non abbastanza). È un errore capitale teorizzare prima di avere i dati. Insensibilmente si comincia a distorcere i fatti per adattarli alle teorie, invece delle teorie per adattarli ai fatti.

Come sperimentatori, dobbiamo rimuovere tutti i pregiudizi. O sperimentato o semplicemente perché ci è venuta l'ipotesi. Invece, dobbiamo trattare i risultati in modo equo e trovare la verità.

Il nostro obiettivo non è quello di avere ragione. È per trovare ciò che funziona in modo da poterci costruire!

Qual è il modo migliore per utilizzare i dati per progettare test vincenti?

Se stai testando da un po', allora sai che la maggior parte dei test non crea vincitori. Vinceranno infatti solo circa 3/10, mentre gli altri sono considerati dei falliti.

Tuttavia, la terminologia di vincere o fallire non è eccezionale. Sì, il test non ha fornito un passaggio, ma ci fornisce dati che possiamo utilizzare per migliorare e scoprire perché.

Ricorda:

Non ci concentriamo su un singolo test. Anche se vince, utilizziamo comunque un processo iterativo di apprendimento e miglioramenti. Testiamo, impariamo, ipotesi e testiamo ancora.

Questo ci aiuta a creare un ciclo di feedback di nuovi dati per supportare o smentire le idee.

• Mettiamo alla prova e falliamo, ma impariamo.
• Prendiamo quegli insegnamenti e li testiamo fino a quando non vinciamo e otteniamo un miglioramento.
• E poi continuiamo a testare finché non raggiungiamo i massimi locali e non possiamo migliorare ulteriormente.

Non concentrarti sul tentativo di ottenere subito un vincitore. Questo è il percorso veloce per affermare che il CRO non funziona per te. Invece, trasforma i dati in informazioni dettagliate e scopri di più ogni volta.

Potresti essere vicino a un vincitore, ma ha solo bisogno di una migliore esecuzione.

Oppure potresti essere vicino a un momento aha che può cambiare radicalmente l'intera tua messaggistica. Attaccalo e continua ad imparare ad ogni test!

Costruisci quel ciclo di feedback nel processo di elaborazione e test dei dati.

Ma la cosa più importante? Assicurati di poter accedere e comprendere i dati che stai raccogliendo, di utilizzarli correttamente e di poterti fidare!...

Come migliorare l'accessibilità dei dati nell'organizzazione

Va benissimo avere dati con cui lavorare, ma è inutile se non puoi accedervi per imparare!

Alcune aziende avranno spesso un collo di bottiglia nel flusso di dati avendo accesso ai propri dati solo tramite il proprio data scientist. Se hai bisogno delle informazioni, devi accedervi o lavorare direttamente con esse, causando problemi.

Un ottimo modo per superare questo problema è democratizzare l'accesso ai dati:

• Consenti l'accesso ai dati per gli strumenti tradizionalmente a ruolo singolo (GA ecc.) ai team che ne hanno bisogno,
• Considera l'utilizzo di strumenti self-service che dispongono di funzionalità di reporting dei dati integrate che l'intero team può utilizzare,
• Costruisci un repository di apprendimento centralizzato dei risultati dei dati. Ciò consente all'intera organizzazione di ottenere informazioni dettagliate sui dati, non solo al team di test diretti.

Perché preoccuparsi dell'accesso ai dati?

Perché l'accesso ai dati aumenta il numero di decisioni che possono essere prese che possono influire sul ROI della tua attività.

Il trucco ovviamente è assicurarti che una volta che hai accesso, puoi trovare quello che vuoi...

Come migliorare l'usabilità dei dati raccogliendo dati affidabili

L'usabilità dei dati si riferisce alla facilità con cui i dati possono essere utilizzati per rispondere alle domande.

Se lo guardiamo da una panoramica, l'obiettivo con i tuoi dati dovrebbe essere:

• Per trovare informazioni che influiscono sul ROI aziendale . Senza quello, sono solo dati informativi senza obiettivo.
• Per trovarli velocemente e non dover lottare per ottenere le informazioni.
• E utilizzare queste informazioni per prendere decisioni rapide e affidabili . O perché i dati sono attendibili o perché capisci e non stai manipolando i risultati o ti vengono forniti falsi positivi.

Come puoi immaginare, qui possono esserci alcuni problemi, a seconda dei sistemi e dei processi che hai in atto.

Abbiamo già discusso dell'importanza di poter accedere a tali informazioni e dei vantaggi di disporre di strumenti o processi dotati di funzionalità self-service per aprire report di dati a livello aziendale.

Ma ora che abbiamo accesso a quei dati, dobbiamo assicurarci di poter trovare le informazioni che vogliamo e di poterci fidare.

Idealmente, devi eseguire in modo proattivo i processi per organizzare i tuoi set di dati:

• Rendi facilmente reperibili le metriche più importanti.
• Utilizza modelli di riferimento e obiettivi per trovare set di dati specifici che gli strumenti tradizionali potrebbero non tracciare.
• Garantisci la sincronizzazione tra le origini dati in modo da non perdere aggiornamenti, modifiche e nuove informazioni.
• E consenti al tuo team di data science di elaborare i tuoi big data in modo da poter trovare facilmente tutte queste informazioni e fidarti!

Una volta che hai in mente questo obiettivo finale per i tuoi dati, diventa più facile iniziare a costruire in anticipo processi di preparazione per nuovi set di dati in arrivo. (È molto più facile ricordare di contrassegnare azioni specifiche in anticipo quando sai di voler essere in grado di trovarli in seguito).

Come condurre un'analisi imparziale dei dati per generare approfondimenti che informano ipotesi

Quindi, come utilizziamo questi dati per ottenere approfondimenti e idee?

Bene, avviso spoiler, in realtà lo abbiamo coperto fino in fondo in questa guida finora.

• Cerca di utilizzare più origini dati per un quadro più ampio.
• Prova a utilizzare processi imparziali per raccogliere quei dati. Non limitarti a dati demografici o dispositivi specifici, se possibile.
• Usa il pensiero critico per valutare le informazioni.
• Guarda i pregiudizi cognitivi e come possono influenzare la tua analisi.
• Assicurati di esaminare ogni origine dati combinata. (Tecnico, Quantitativo e Qualitativo insieme).

Consenti all'apprendimento dai test di ispirare più test

Dovresti trattare i tuoi test come un ciclo di feedback per ulteriori miglioramenti. Questo può essere nel tuo test attuale per continuare a migliorare e ottenere più spinta, oppure puoi persino applicarlo a test più vecchi in cui le tue nuove informazioni potrebbero aiutare ulteriormente.

In ogni caso, l'obiettivo dovrebbe essere quello di testare, imparare, migliorare e ripetere fino a quando non puoi più ottenere un aumento.

Ma... Come possiamo effettivamente imparare dai risultati dei test?

Bene, la buona notizia è che abbiamo scritto una guida in 7 passaggi per imparare dai risultati del test A/B che puoi controllare qui.

Se non hai tempo in questo momento, ecco un breve riassunto:

• Inizia assicurandoti di poterti fidare dei tuoi risultati. Sono accurati? Sono significativi? Sei fiducioso in loro? Il test è stato eseguito abbastanza a lungo? C'erano fattori esterni che li influenzavano?
• Vai micro e macro. Solo perché un test ha vinto o fallito, devi vedere come influisce sulle tue metriche di guardrail. Ironia della sorte, un aumento del CTR può significare vendite inferiori se si rivolge al pubblico sbagliato. Allo stesso modo, un calo del CTR può essere un aumento delle vendite, in quanto potrebbe attirare solo il pubblico migliore ora. Quindi controlla le tue metriche, non solo i risultati dei test.
• Vai più in profondità e segmenta i tuoi risultati. Non tutti i segmenti di pubblico, canali di traffico e dispositivi avranno le stesse prestazioni. Alcuni canali potrebbero essere interrotti. Questo può quindi distorcere i risultati dove sembra buono o cattivo, poiché non hai un'immagine dettagliata. (Questo può anche darti informazioni sulle varianti che funzioneranno meglio su determinati canali, aiutandoti a segmentare la tua pubblicazione per un aumento maggiore).
• Verifica le prestazioni e il comportamento degli utenti. Just because we ran a qualitative and quantitative data analysis before, doesn't mean you should skip it after the test. In fact, this is the best way to understand what happened and how you got these results.
• Learn from the failures. What went wrong? How can you fix this?
• Learn from the winners and improve further. Did you get a new aha moment? Do you have more ideas of how to improve the page again after the QA and Qual analysis? Keep pushing for more lift!
• Don't forget what you did! Get in the habit of creating and using a learning repository. This way you can see past tests, learn from them, train new staff and even go back and apply new insights to old ideas.

Conclusione

Così il gioco è fatto. Our entire guide to using technical, quantitative, and qualitative data to create winning tests.

It doesn't matter if it's A/B, split URL, or multivariate testing. You can use this same methodology to learn more from every test you run, so go ahead. Run those tests, learn from those mistakes, analyze that data and then let us know how much lift you got!