"Verifica tutto" — Da cartaceo a pratico

Cerchiamo di essere chiari.

Non è mai un errore eseguire più test A/B, anche se non influiscono direttamente sulle vendite e sui ricavi, purché tu li esegua bene e impari dal processo.

Ma…

Ogni test richiede un investimento di tempo, impegno, capitale umano e altro ancora .

Allora perché alcuni esperti consigliano di testare tutto? E qual è la via di mezzo... specialmente per te... sì... stai leggendo questo articolo.

Ora potresti avere un sacco di buone idee per i test e vuoi sapere se dovresti testarle tutte. Ma non è questo il punto! Come menziona Natalia in un'intervista con Ben Labay di Speero:

Ci sono centinaia di grandi idee là fuori, ma non è questo il punto. Il punto è trovare quello giusto su cui lavorare al momento giusto .

Può sembrare allettante iniziare a testare tutto in modo casuale, ma è fondamentale dare la priorità alla verifica dell'ipotesi giusta al momento giusto .

Con la giusta priorità, puoi coltivare una mentalità "testa tutto" . Tuttavia, la maggior parte dei modelli di definizione delle priorità delle ipotesi non sono all'altezza.

Scaviamo un po' più a fondo per capire se dovresti testare tutto A/B, in che modo l'assegnazione delle priorità ti aiuta a prendere decisioni e come creare il tuo modello di assegnazione delle priorità che superi i limiti delle opzioni tradizionali.

Testare tutto: perché è consigliato?

Iniziamo esaminando questo approccio controverso: ha senso testare tutto?

Dai, scegli da che parte stare.

Qual è la tua azione predefinita?

Cosa è "appetibile" per te senza leggere il resto di questo articolo e raccogliere più dati?

Fatto?

Ora vediamo se il nostro ragionamento è in linea con il tuo.

Prima di affrontare l'enigma del "testare tutto", dobbiamo capire cosa implicano i test A/B e i suoi risultati.

Validità statistica

Il test A/B è un modo statisticamente valido per vedere se le modifiche che hai in mente influiscono sui tuoi indicatori chiave di prestazione (KPI).

Ad esempio, se il tuo obiettivo è ottenere più visite al tuo blog, puoi aggiungerlo al menu di navigazione principale. Il nuovo menu non è più una copia del vecchio . Ma questa modifica è inutile se non ha un impatto positivo sul comportamento dei visitatori del tuo sito.

Il semplice fatto che le due versioni siano strutturalmente diverse non ha importanza. Nel complesso, ciò che conta è la realizzazione del risultato desiderato e previsto. Le persone sono più inclini a visitare il blog quando lo vedono nel menu principale rispetto a quando è nascosto nel piè di pagina ?

Il buon senso potrebbe dire SÌ , dovrebbe esserci un effetto (positivo) . Ma il tuo test potrebbe non mostrare alcun cambiamento nelle metriche che hai scelto di monitorare come misura dell'impatto.

Se questo è vero, anche i test A/B riducono il rischio.

Mitigazione del rischio

L'implementazione di modifiche a livello di sito è complessa e un gioco con la palla completamente diverso.

Puoi finire per apportare una modifica e rischiare di sprecare risorse creando funzionalità che gli utenti non desiderano e personalizzando elementi del sito Web che non producono i risultati attesi. Questo è uno dei motivi principali per cui è necessario il test A/B, poiché è il test acido per la soluzione proposta prima che venga effettivamente implementata.

Le build-out di test A/B (in particolare le build lato client) richiedono meno risorse rispetto alle modifiche del sito Web codificate e alle funzionalità ad alta fedeltà. Questo ti dà il via libera per non intraprendere un percorso particolare, soprattutto quando i risultati indicano che i KPI chiave non si stanno muovendo nella giusta direzione.

Senza test, investi in esperienze che semplicemente non funzionano. È un rischio cieco che corri, non sapendo che potresti dover ripristinare il design precedente per proteggere i ricavi e le prestazioni.

Georgi, il creatore di Analytics-toolkit.com, sostiene addirittura che il test A/B sia per sua essenza uno strumento di gestione del rischio:

Perché rischiare quando puoi testare?

(—Ne parleremo più avanti nel blog. Continua a leggere!—)

Analisi delle tendenze

Quando esegui costantemente test dai quali impari , inizi a individuare le tendenze nella risposta del tuo pubblico a input specifici. È meglio non presumere di poter derivare qualcosa di valore da una singola iterazione. Ma la meta-analisi (in un ambiente di test A/B a singola variabile) nel tempo può darti la sicurezza di dare potenzialmente priorità alla verifica di una particolare ipotesi rispetto ad altre.

Alcuni esperti stanno dietro a testare tutto, dato che la sperimentazione ha molti vantaggi.

D'altra parte, molti esperti sostengono almeno di farsi ispirare dai risultati ripetibili di esperimenti precedenti per rispondere alle grandi domande .

Il caporedattore di GoodUI, Jakub Linowski, è tra i più importanti. Sostiene che gli esperimenti generano conoscenza che consente la previsione. Pensa che perseguire la conoscenza, le tattiche, i modelli, le migliori pratiche e l'euristica sia importante.

Le conoscenze acquisite dagli esperimenti ti aiutano a fare previsioni più affidabili. Questo, a sua volta, ti consente di creare ipotesi più accurate e di dare loro una migliore priorità.

A prima vista, queste prospettive possono sembrare contraddittorie. Ma rafforzano lo stesso argomento, " la sperimentazione porta certezza in un mondo incerto ".

O fai le ipotesi sul tuo set di dati o riporti le convinzioni dai test eseguiti per risultati finali desiderati simili, su più verticali e settori.

In Convert, prendiamo ispirazione da entrambi i punti di vista e vediamo come un aspetto costruisce il successivo nei due semplici modi seguenti.

Apprendimento e test: il duo pratico per test ispirati

Poni domande su tutto

Questo è un insegnamento duraturo dei maestri stoici .

Quando metti in discussione tutto ciò che ti circonda, ti rendi conto che sei un composto di ciò che raccogli dalle persone che incontri, dalla cultura in cui vivi e dall'euristica che il tuo cervello sceglie di seguire.

Questo "istinto viscerale" che in genere ci guida di solito non è nostro.

Ad esempio, molti di noi sognano di condurre uno stile di vita sontuoso incentrato sul consumo. Ma questo è davvero venuto da noi? O siamo vittime della pubblicità, dei media e di Hollywood?

I media e la pubblicità hanno iniziato a svolgere un ruolo importante nel plasmare i sogni e i desideri della singola persona per diventare principalmente un consumatore... ed è diventato possibile sedurre la singola persona e fargli credere che ciò che desidera è una decisione libera che nasce dall'interno lui (ma in realtà è prigioniero di centinaia di pubblicità che hanno generato il desiderio che ha detto essere soggettivo e ha creato per lui il desiderio automatico .

Abdel Wahab El-Messiri

Apportare modifiche e decisioni aziendali utilizzando SOLO il tuo "istinto" non è saggio. Se non possiamo essere sicuri che i cambiamenti che vogliamo apportare e le decisioni che vogliamo applicare nella nostra attività provengano da noi, perché ci siamo attaccati a loro?

Mettere in discussione tutto è essenziale . Il tuo istinto, le migliori pratiche, i modelli di definizione delle priorità e così via.

E se mettiamo in discussione tutto, il passo successivo è sottoporlo a verifica matematica attraverso esperimenti. Perché fermarsi a interrogare non chiude il ciclo dall'incertezza alla certezza.

Impara dagli esperimenti

Non puoi imparare se non fai il test.

Assicurati di quantificare correttamente le tue informazioni. Devi sfruttare sia i dati qualitativi che quelli quantitativi nei test A/B per tradurre i tuoi apprendimenti in qualcosa di significativo. Ad esempio, raggruppare l'impatto medio per contesto, tipo di test, posizione del test, KPI monitorati, risultato del test e così via.

Un ottimo esempio di questo approccio metodico è il database GOODUI .

Identifica i modelli che si comportano ripetutamente nei test A/B, aiutando le aziende a ottenere conversioni migliori e più veloci.

GOODUI offre 124 modelli basati su 366 test (solo membri) e aggiunge più di 5 nuovi test affidabili ogni mese. Imparando dagli esperimenti e quantificando tali apprendimenti in schemi, il database GOODUI riduce il noioso processo di test A/B e consente ai clienti di ottenere più vittorie!

Prendi ispirazione da questi modelli:

Modello n. 2: etichette delle icone: https://goodui.org/patterns/2/

Modello n. 20: risposta predefinita: https://goodui.org/patterns/20/

Schema n. 43: Titoli lunghi: https://goodui.org/patterns/43/

Ma concentrati su... Dare priorità alle idee

Dai priorità alle idee che sono in linea con i tuoi obiettivi aziendali generali, considerando i risultati specifici dell'azienda.

Immaginare questo.

Gestisci un'attività con una base di clienti decente. Tuttavia, il tasso di fidelizzazione di questi clienti è inferiore al 15% . Il tuo obiettivo principale è costruire un business sostenibile che fidelizza i clienti a un tasso molto più elevato. Questo obiettivo dovrebbe influenzare la tua priorità.

Supponiamo che tu abbia due idee e desideri sapere quale testare per prima: una che potrebbe aumentare il tasso di fidelizzazione e un'altra che potrebbe aumentare le vendite di nuovi clienti . Probabilmente dovresti dare la priorità alla prima idea nonostante quest'ultima abbia un potenziale di miglioramento molto più elevato.

Questo perché un tasso di fidelizzazione dei clienti più elevato significa un'attività più stabile a lungo termine. Questo si allinea perfettamente con i tuoi obiettivi e la tua strategia aziendale generali.

L'altra idea potrebbe farti ottenere molte più nuove vendite. Ma alla fine, la tua azienda perderà ancora oltre l'85% dei suoi clienti.

I modelli di prioritizzazione per la sperimentazione non tengono sempre conto dell'importanza strategica di ciò che viene testato. Esaminano il probabile impatto, sforzo, ecc., di un'ampia gamma di idee diverse, ma non considerano quale di queste idee si allinea meglio alla strategia e alla direzione aziendale .

Jonny Longden, tramite Prova tutto

Dove falliscono la maggior parte dei modelli di prioritizzazione?

Se sei un appassionato ottimizzatore, potresti avere una lunga lista di idee per i test A/B. Ma non puoi testarli tutti in una volta, anche se decidi di testare tutto, a causa del traffico e delle risorse limitate .

È come avere una lunga lista di cose da fare e sapere che non puoi affrontare tutto allo stesso tempo. Quindi dai la priorità e inizi con quelli con la PRIORITÀ PIÙ ALTA. Questo vale per guidare i profitti con la sperimentazione. Con una corretta definizione delle priorità, il tuo programma di test avrà molto più successo.

Ma la definizione delle priorità nei test A/B, come ha scritto David Mannheim nel suo articolo, è così difficile. Questo è principalmente perché

• Spesso produci idee non focalizzate e allineate con gli obiettivi aziendali.
• Non considerare l'iterazione e l'apprendimento da esperimenti precedenti.
• Usa modelli di prioritizzazione disfunzionali e prova ad aggiungere strutture arbitrarie al problema.

E queste sono anche alcune aree che anche i modelli di definizione delle priorità più popolari tendono a trascurare e a sbagliare. Ma perché? Ecco alcuni elementi critici che contribuiscono alla loro mancanza di una corretta definizione delle priorità.

• Fattori fuorvianti: i fattori utilizzati per selezionare i test sono altamente fuorvianti. Il primo è lo sforzo, che dà l'impressione che le idee a basso sforzo meritino una rapida definizione delle priorità.
• Funzione peso: la maggior parte dei modelli assegna pesi arbitrari ai fattori. Non puoi semplicemente dare priorità casuali; hai bisogno di una ragione per questo.
• Iterazioni complesse: non riescono a distinguere le iterazioni di test esistenti (guidate dall'apprendimento) da idee nuove di zecca ai fini della definizione delle priorità.

Per cominciare, il framework di definizione delle priorità PIE classifica le ipotesi in base a:

• Potenziale di miglioramento
• Importanza
• Sollievo

Ma come si determina oggettivamente il potenziale di un'idea di prova? Se potessimo saperlo in anticipo, come dice Peep Laja, fondatore di CXL, ha spiegato, non avremmo bisogno di modelli di prioritizzazione.

Il modello PIE è molto soggettivo. Inoltre, non si allinea bene con gli obiettivi aziendali e promuove soluzioni a basso rischio. La facilità è fuorviante in quanto suggerisce che le idee a basso sforzo dovrebbero avere la priorità.

Maggiore è il rischio, maggiore è la ricompensa .

E questo vale solo se ti metti alla prova con idee più sofisticate.

Un altro modello popolare, il modello di punteggio ICE (Impact, Confidence e Ease), è molto simile a PIE e presenta gli stessi difetti di PIE .

Il framework PXL è un miglioramento rispetto a questi due e rende qualsiasi valutazione "potenziale" o "impatto" molto più oggettiva. Tuttavia, ha ancora i suoi difetti.

In primo luogo, non considera l'allineamento con gli obiettivi aziendali . In secondo luogo, non distingue le attuali iterazioni di test da idee nuove di zecca.

David Mannheim, Global VP of Conversion Rate Optimization, Brainlabs, ha rivelato che il 50% di tutti gli oltre 200 esperimenti che hanno costruito per un cliente presso la sua precedente società di consulenza, User Conversion, erano ripetizioni l'uno dell'altro. Una volta hanno anche creato un valore migliorato dell'80% rispetto all'ipotesi originale e hanno affermato:

Sapevamo che il "concetto" funzionava, ma alterando l'esecuzione, potrei aggiungere oltre 6 diverse iterazioni, abbiamo visto un guadagno incrementale di oltre l'80% rispetto all'originale .

Nel suo "Rapporto Running Experience Informed Experiments ", Convert ha scoperto che quasi tutti gli esperti intervistati concordano sul fatto che l'apprendimento guida l'ideazione di successo. Questo può essere ulteriormente supportato dalla visione di H&M dei modelli di apprendimento.

Quasi tutti gli altri esperimenti che eseguiamo presso H&M nel nostro team di prodotto sono supportati da un apprendimento documentato di un esperimento precedente o di un'altra metodologia di ricerca .

Mattia Mandiau

Come creare il tuo modello di priorità del test A/B?

La definizione delle priorità incoraggia la mentalità "testa tutto". Infonde fiducia per testare (prima) le idee e le ipotesi che intaccano di più il problema più urgente.

Ma ogni azienda è diversa. Quindi non può esserci un approccio di definizione delle priorità degli esperimenti valido per tutti . Il contesto, come ha sottolineato David, è il re .

In sostanza, tutti i modelli sono sbagliati, ma alcuni sono utili .

George EP Box, uno statistico

Dagli esempi sopra, possiamo dire che tutti i modelli sono difettosi, ma alcuni sono utili. Il segreto è creare il modello più utile e di impatto per il tuo business.

Ecco quattro passaggi per costruire un modello:

1. Lasciati ispirare dagli esempi

Uno dei modi più fruttuosi per sviluppare un buon modello di assegnazione delle priorità è quello di selezionare capacità da modelli diversi, combinare e abbinare e produrre una miscela con un nitpicking limitato.

Ad esempio, puoi trarre ispirazione dall'approccio di valutazione più oggettivo di PXL , che pone domande come "Aggiungere o rimuovere un elemento?" . Allo stesso tempo, puoi considerare l'angolo di impatto di ICE e aggiungerlo.

2. Fai spazio ai fattori che contano

Includi fattori che si allineano con i tuoi obiettivi di business . Questo ti aiuterà a concentrarti maggiormente sui fattori chiave di crescita e sui KPI come il customer lifetime value (LTV) e il tasso di fidelizzazione dei clienti, non solo su metriche e risultati a livello di superficie.

Come accennato in precedenza, anche l'apprendimento specifico dell'azienda è fondamentale quando si dà la priorità agli esperimenti. Alcune soluzioni superano costantemente e storicamente altre per il tuo pubblico?

Inoltre, considera il potenziale di iterazione . Le iterazioni possono aiutare a fare più progressi verso la risoluzione di un particolare problema aziendale e hanno più successo. Se vere, le ipotesi con potenziale di iterazione possono e devono avere la priorità rispetto ai test autonomi. Inoltre, la sperimentazione non è altro che un volano in cui gli sforzi si alimentano a vicenda.

Infine, considera l'investimento in risorse , inclusa la complessità, il tempo, i costi e le misure tradizionali utilizzate per dare priorità agli esperimenti.

3. Il peso è fondamentale

Decidi cosa vuoi ottenere dai test che esegui. Sta esplorando idee nuove e rivoluzionarie ? O sfruttare un'area problematica fino a trovare una soluzione?

Personalizza il sistema di punteggio in base alle tue esigenze. Consideriamo due diversi tipi di esperimenti per capirlo meglio.

1. L'aggiunta del blog al menu di navigazione aumenterà le visite al blog.
2. Diminuendo il riempimento dei moduli nella pagina di pagamento si ridurrà il tasso di abbandono del carrello.

Per questo esempio, supponiamo di aver selezionato solo due fattori per il nostro modello di priorità. Uno è il potenziale di iterazione e l'altro è il potenziale di impatto e valuta ogni ipotesi su una scala da 1 a 5 per ciascun fattore.

Il nostro obiettivo principale per il test ora è risolvere il problema di abbandono della carta per un sito di e-commerce . Dovremmo dare più peso al potenziale dell'iterazione poiché probabilmente non lo risolveremo con un test. Ed è probabile che ripetiamo molte volte all'interno di una singola ipotesi prima di ridurre notevolmente l'abbandono del carrello.

Possiamo valutare il fattore potenziale dell'iterazione raddoppiando il suo punteggio.

Diamo alla prima ipotesi un “4” per il fattore potenziale di impatto. E "2" per il potenziale di iterazione. Quindi, per l'ipotesi di riempimento del modulo, "3" sia per i fattori potenziali di impatto che di iterazione.

Senza l'enfasi sul potenziale di iterazione, sarebbe un pareggio: "4 + 2 = 3 + 3"

Ma dopo aver raddoppiato il punteggio su questo fattore , vince l'ipotesi numero due:

Il punteggio finale per la prima ipotesi : “4 + 2(2) = 8 ”

Il punteggio finale per la seconda ipotesi : “3 + 3(2) = 9 ”

La conclusione è che l'output della definizione delle priorità dello stesso framework dovrebbe cambiare al variare delle considerazioni esterne e interne.

4. Risciacqua e ripeti finché non trovi l'acronimo giusto

Cerca di non aspettarti buoni risultati con una singola iterazione. Continua a modificare fino a quando non avrai il giusto modello di priorità per la tua attività.

Ad esempio, ConversionAdvocates ha creato il proprio framework, IIEA , che sta per:

• Intuizione
• Ideazione
• Sperimentazione
• Analisi

IIEA tenta di risolvere due problemi principali della maggior parte dei modelli elencando gli obiettivi di apprendimento e di business di ogni esperimento prima del lancio.

Qualunque sia l'acronimo che finisci per creare, rivedilo e rivalutalo costantemente. Sina Fak, Head of Optimization presso ConversionAdvocates, ha affermato di aver perfezionato l' IIEA negli ultimi cinque anni.

Dal 2013 hanno utilizzato questo framework personalizzato per aiutare diverse aziende a risolvere problemi critici, come la riduzione dei costi e l'aumento delle conversioni.

Il tuo potrebbe non essere un GHIACCIO o una TORTA conveniente, ma i risultati saranno deliziosi.

Con il tuo nuovo modello di assegnazione delle priorità ultra utile, puoi prendere in prestito dall'apprendimento legacy E potenzialmente "testare tutto" .

Una vittoria per tutti nel nostro libro!