Quando cercare il massimo locale e globale con i test A/B

Immagina di scalare l'Everest in una fitta nebbia con amnesia. Puoi vedere solo fino alla tua mano tesa. Non sai dove sei o in che direzione andare, solo che devi raggiungere la vetta. Quali sono le probabilità che fai?

Probabilmente tanto basso quanto è alta la montagna.

Per quanto drammatica sia l'analogia, è stata fatta in riferimento alla fondazione di un popolare metodo di test A/B. Quel picco è la versione migliore della tua pagina di destinazione post-clic e sei confuso, quasi cieco e perso sul fianco della montagna della tua pagina attuale.

Quel che è peggio, probabilmente ti è stata consegnata una mappa errata dai tuoi blogger di marketing preferiti. Potresti pensare che stai testando A/B nel modo giusto, che sei diretto nella direzione di quel picco. È probabile, tuttavia, che presto raggiungerai un vicolo cieco e non troverai mai la variante con le prestazioni più elevate della tua pagina di destinazione post clic.

Il mito del test A/B che confonde i principianti

Alcuni dei blog di marketing più popolari su Internet continuano a perpetuare un mito del test A/B che condanna i principianti fin dall'inizio. Ha vittimizzato anche me quando ho iniziato.

“Non cambiare più di un elemento di pagina per test A/B” continuavo a leggere più e più volte. Non l'ho messo in dubbio perché le fonti erano affidabili e perché soprattutto, beh, aveva senso.

Lo scopo del test A/B è raccogliere dati che puoi utilizzare per ottimizzare una pagina, un'e-mail, una pubblicità o qualunque cosa tu stia testando. Come potevo sapere cosa ha causato la variazione del tasso di conversione alla conclusione del test se ho effettuato più di un aggiustamento tra le versioni "A" e "B"? Che tipo di dati sarebbero?

Quindi, ho testato gli elementi uno alla volta: titolo della pagina di destinazione post clic "A" rispetto al titolo della pagina di destinazione post clic "B". Successivamente, è stato il pulsante blu sulla pagina di destinazione post-clic "A" rispetto al pulsante verde sulla pagina di destinazione post-clic "B". È così che hanno fatto i professionisti, Amazon e Google. Se era abbastanza buono per aziende multimiliardarie, lo era anche per me.

Il problema che ho trascurato, di cui mi sono reso dolorosamente conto mesi dopo, è che non ero Amazon o Google. I loro siti Web generano molto traffico, il che significa che i piccoli aumenti ottenuti da questi frivoli test del colore dei pulsanti possono tradursi in milioni di dollari di entrate.

Per la maggior parte delle persone, tuttavia, sono una perdita di tempo e risorse. Per la maggior parte delle persone, utilizzare questo metodo di test A/B è come scalare l'Everest in una fitta nebbia con amnesia.

L'euristica dell'alpinismo

Nella nostra vita quotidiana, ci sono problemi che incontriamo per i quali la soluzione è chiara. Ma cosa succede quando ti trovi di fronte a un ostacolo sconosciuto e in gran parte unico? Prendi questo labirinto, per esempio:

Non ci sono post sul blog scritti sul modo migliore per navigare in questo particolare labirinto. Il tuo amico (molto probabilmente) non può guidarti attraverso di esso. Non hai una mappa. Quindi, come si va da A a B?

La risposta può essere trovata in un programma per computer chiamato "The General Problem Solver", creato nel 1963 da Newell, Simon e Shaw per studiare l'intelligenza artificiale. La loro ricerca è stata applicata anche alla risoluzione dei problemi umani. Il dottor Russ Dewey spiega:

Newell e Simon hanno definito ogni problema come uno spazio. A un'estremità dello spazio c'è il punto di partenza, dall'altra c'è l'obiettivo. La stessa procedura di risoluzione dei problemi è concepita come un insieme di operazioni per attraversare quello spazio, per arrivare dal punto di partenza allo stato obiettivo, un passo alla volta.

Nel General Problem Solver, il programma testa varie azioni (che Newell e Simon hanno chiamato operatori) per vedere quale lo porterà più vicino allo stato obiettivo. Un operatore è qualsiasi attività che modifica lo stato del sistema. Il General Problem Solver sceglie sempre l'operazione che sembra portarlo più vicino al suo obiettivo. Questa tattica si chiama alpinismo, perché ricorda la tattica di fare sempre un passo verso la cima di una collina o di una montagna.

Nel labirinto sopra, ogni vicolo cieco è uno "spazio" - un problema che devi superare con "operazioni", che sono azioni che ti avvicinano al tuo obiettivo (andare da "A" a "B").

Quindi, inizi da "A" e segui il percorso che pensi ti porterà a "B" il più veloce. Quando raggiungi un vicolo cieco, torni indietro e provi un percorso alternativo. Ripeti il ​​processo finché non hai raggiunto il tuo obiettivo.

Questo è quello che stai facendo quando esegui il test A/B su piccoli elementi. Identifichi un problema, ad esempio un pulsante impercettibile. Quindi, ti avvicini di poco al tuo obiettivo di creare la migliore versione della tua pagina di destinazione post-clic (o almeno così pensi) testando ciò che ipotizzi sia migliore. Se non funziona, provane un altro.

Ad un certo punto, tuttavia, raggiungerai un punto di rendimenti decrescenti chiamato "massimo locale".

Il massimo locale e il massimo globale

Il motivo per cui il metodo di cui sopra è chiamato euristico "hill-climbing" è perché ha una limitazione importante che può farti grattare la testa su una collina guardando in alto verso la cima della montagna, dove si trova la tua migliore pagina di destinazione post-clic. Il dottor Dewey spiega:

L'arrampicata in collina è una strategia semplice, ma non sempre funziona. Una potenziale trappola è il "problema pedemontano". Se stai selezionando qualunque passo ti porti in salita (o in una particolare direzione) potresti finire per scalare una collina che si trova tra te e la montagna, ignorando la procedura molto più efficiente di aggirarla. In altre parole, se vai dritto verso un obiettivo senza flessibilità, potresti pagare un prezzo elevato, sprecare molta energia o causare più lavoro per te stesso senza contribuire all'obiettivo.

In termini di ottimizzazione, questa "pista" è chiamata "massimo locale". È la versione migliore della tua pagina attuale, che quando A/B testata ulteriormente, produrrà rendimenti decrescenti. Il picco della montagna è chiamato il "massimo globale". Questa è la versione migliore della tua pagina di destinazione post-clic. Ecco un grafico utile per illustrare:

Iniziando con una singola pagina di destinazione post clic e testando A/B piccoli elementi uno alla volta per migliorarla, ti stai avvicinando a quel massimo locale, ma questo metodo non ti porterà mai in cima a quella montagna. Quindi, come fai a navigare per arrivarci?

Test A/B per raggiungere il massimo globale

In un post sul blog intitolato "Non cadere nella trappola delle minuzie di test A/B", Rand Fishkin di Moz spiega uno scenario frustrante che potrebbe colpire troppo da vicino:

Diciamo che trovi una pagina/concetto di cui sei relativamente soddisfatto e inizi a testare le piccole cose, ottimizzando attorno al minimo locale. Potresti eseguire test per 4-6 mesi, ottenere un miglioramento del 5% nel tasso di conversione complessivo e sentirti abbastanza bene. Fino a...

Esegui un'altra grande, nuova idea in un test e migliora ulteriormente. Ora sai che hai sprecato il tuo tempo a ottimizzare e perfezionare una pagina il cui concetto generale non è buono come la pagina nuova, grezza e non ottimizzata che hai appena testato per la prima volta.

Invece Fishkin, come altri influenzatori del marketing, raccomanda prima di tutto di testare A/B "revisioni" e "grandi idee" o, in altre parole, testare pagine radicalmente diverse. Di quelle pagine radicalmente diverse, quella con le migliori prestazioni è la più vicina al massimo globale. Questo è quello che dovresti mettere a punto con il test multivariato: pulsante contro pulsante, titolo contro titolo, ecc. Diversi casi di studio supportano questo metodo.

Test A/B per il massimo globale

1.Facebook

Nel 2008, Facebook ha testato un design di navigazione completamente nuovo. Il loro team lo ha spostato dalla parte sinistra della pagina a un menu a discesa sulla destra. Tuttavia, così facendo, hanno reso le app all'interno della navigazione meno visibili agli utenti, il che ha comportato molto meno traffico verso tali app. Dal momento che erano una preziosa fonte di entrate per Facebook, questo era un problema.

Dopo aver tentato di salvare il nuovo design con alcuni trucchi di coinvolgimento, il team di ottimizzazione si è reso conto di aver raggiunto il massimo locale e ha eliminato l'intera cosa. Dallo sviluppatore di prodotti di Facebook, Adam Mosseri:

Quello che stavamo facendo qui è che stavamo ottimizzando per un massimo locale. All'interno di questo quadro, c'era solo così tanto traffico che potevamo incanalare verso le applicazioni. E ciò di cui avevamo bisogno era un cambiamento strutturale. La nostra premessa era spenta. I nostri interessi ci stavano portando sulla strada sbagliata. Non ce ne rendevamo conto […] stavamo ottimizzando qualcosa a livello locale e dovevamo essere in qualche modo dirompenti per uscirne.

2. Moz

Questa variante di pagina, creata da Conversion Rate Experts per Moz, era sei volte più lunga dell'originale. Presentava più infografiche, un titolo diverso e un video, tra gli altri elementi che non erano presenti nella pagina originale. Ha sovraperformato il controllo del 52%.

Se il team avesse lavorato solo per migliorare gli elementi della pagina originale, non avrebbe mai aggiunto il contenuto che ha dimezzato le conversioni. Dai tester:

Nella nostra analisi dell'efficace presentazione faccia a faccia di Rand, abbiamo notato che aveva bisogno di almeno cinque minuti per sostenere il prodotto a pagamento di Moz. La pagina esistente era più simile a un riepilogo di un minuto. Una volta aggiunti gli elementi chiave della presentazione di Rand, la pagina è diventata molto più lunga.

3. Densità del server

La maggior parte dei case study sui test A/B che troverai online hanno a che fare con l'aspetto delle pagine web. Sono il colore del pulsante contro il colore del pulsante o l'immagine contro l'immagine, e il loro numero cresce ogni giorno. Di conseguenza, la maggior parte delle persone che si tuffano nei test A/B presumono che possa essere utilizzato solo per il web design.

Tuttavia, il concetto di test A/B può essere applicato a qualsiasi cosa, inclusa la progettazione del prodotto o persino la struttura dei prezzi, come vedrai con questo esempio di Sever Density.

L'azienda, un servizio di monitoraggio di server e siti Web, ha consentito ai propri clienti di pagare in base al numero di server e siti Web di cui avevano bisogno per essere monitorati:

La struttura aveva lo scopo di ampliare la base del cliente, cosa che ha fatto, ma ora l'obiettivo del team era aumentare le entrate. Quindi, A/B ha testato una revisione completa dei loro prezzi, con un modello confezionato:

La nuova struttura ha effettivamente prodotto meno conversioni, ma il valore di ciascuna è salito alle stelle. Ecco i risultati:

Il valore medio dell'ordine era ora superiore a $ 55 rispetto a quello precedente: $ 19,70. I takeaway ricordano ai tester due cose cruciali:

I test A/B possono essere utilizzati per qualcosa di più di modifiche superficiali al progetto.
Le conversioni non sono tutto. A volte meno conversioni ti danno risultati migliori.

Come trovi il massimo globale e locale?

Ricorda: la forza del test A/B è avvicinarsi il più possibile al massimo globale con grandi cambiamenti. Per trovare il massimo locale, è meglio utilizzare invece il test multivariato.

Sei caduto nella trappola di testare rigorosamente un elemento di pagina alla volta? Apporta più modifiche per test per trovare il massimo globale?

Scopri come fornire la personalizzazione degli annunci 1:1 per ogni pubblico che hai con una demo di Instapage Enterprise oggi.