Test della serie di mappe mentali: come pensare come un professionista CRO (parte 6)

Intervista a Jakub Linowski di GoodUI

Ti sei mai chiesto perché alcune persone sembrano avere un talento per il CRO?

Non è solo perché sono bravi a creare esperimenti. Sanno anche come pensare alle cose in un modo diverso, ed è ciò che questa serie ti aiuterà a fare. Daremo un'occhiata da vicino alle mentalità che costituiscono il CRO di successo e come puoi applicarle alla tua strategia.

Se riesci a metterti nel giusto stato d'animo, il successo sarà molto più facile che se ci provassi senza prima capire dove potrebbero essere i tuoi punti ciechi. In definitiva, la serie Testing Mind Map ha lo scopo di aiutarti a pianificare meglio la tua strategia di ottimizzazione ed eseguire test con maggiore sicurezza!

In questo articolo, Jakub Linowski di GoodUI condivide che il potere della sperimentazione risiede non solo nella sua capacità di essere un metodo utile, ma anche nel generare potenti intuizioni che possono ispirare decisioni migliori.

Jakub, parlaci di te. Cosa ti ha spinto a dedicarti a test e ottimizzazione?

Sono stato attratto dal mondo della sperimentazione intorno al 2014, quando il mio background di design mi ha portato su questo percorso. Quando le persone hanno iniziato a condividere esempi di buona interfaccia utente ed elenchi di "migliori pratiche", anch'io ho fatto, ed è così che è nato GoodUI.org. Non mi ci è voluto molto, tuttavia, per rendermi conto che tutti i miei suggerimenti e gli schemi dell'interfaccia utente erano più vicini a ipotesi visive piuttosto che a qualsiasi cosa supportata da prove. Volevo davvero acquisire più fiducia e fare un lavoro migliore nel filtrare le buone idee da quelle cattive.

Quindi, quando ho sentito parlare dei test A/B, mi ha entusiasmato (anche se non avevo idea di cosa fosse un intervallo di confidenza). Ho assunto uno sviluppatore front-end e abbiamo avviato una piccola agenzia di ottimizzazione. Abbiamo iniziato a testare qualsiasi idea leggiamo sui blog, ascoltata dai nostri clienti e dalla nostra libreria di modelli GoodUI emergente. Con la maggior parte dei nostri clienti che ci permetteva di pubblicare i test a/b apertamente, è diventato evidente che alcuni modelli erano migliori di altri. Alcuni non hanno fatto molto. Altri si sono replicati bene. E altri hanno avuto esiti negativi.

Ora dovevamo pesare questi esperimenti.

E così GoodUI.org ha iniziato rapidamente a trasformarsi in un repository di esperimenti simili e comparabili con un ciclo di feedback completo. Le cose che hanno ottenuto risultati migliori con una frequenza e un impatto più elevati sono stati riportati in alto (utilizzando i dati aggregati mediani). Mentre i risultati dei test per modelli simili sono stati reinseriti nel nostro database, correggendo le nostre previsioni e aumentando l'accuratezza.

Quindi sì, mi piace la sperimentazione sia per il metodo meraviglioso che è, ma anche come potente fonte di conoscenza professionale che ci consente di fare previsioni migliori.

Da quanti anni stai ottimizzando? Qual è l'unica risorsa che consigli agli aspiranti tester e ottimizzatori?

Abbiamo eseguito il nostro primo test di salto a/b nel maggio del 2014 su una pagina di destinazione di un preventivo per una grande compagnia di assicurazioni. La variazione includeva tutto ciò che sapevamo a quel tempo sul miglioramento dei moduli, sulla copia e sui moduli principali in base alla nostra esperienza limitata. Il risultato è stato un aumento relativo del +53% delle derivazioni (±28, p-val 0,0002). Questo è il mio primo esperimento che mi ha catturato.

Per quanto riguarda una risorsa, amo imparare da ciò che gli altri stanno testando. È particolarmente eccitante e prezioso cercare esperimenti di grandi attori come Netflix, Airbnb e Amazon che sappiamo avere una buona dimensione del campione ed eseguire molti test. Nel complesso, penso che sia sempre una buona idea imparare dalle persone un paio di passi avanti a noi (come suggerito da molti, incluso in Mastery di Robert Greene).

Risposta in 5 parole o meno: qual è per te la disciplina dell'ottimizzazione?

Ottimizzazione significa che stiamo migliorando le cose.

(I risultati sono fondamentali per l'ottimizzazione. Ad esempio, cento risultati di esperimenti piatti o indesiderati non sono abbastanza buoni. Potresti imparare un sacco, sì. Ma per ottimizzare qualcosa, dobbiamo spostare l'ago nella direzione che desideriamo .)

Quali sono le 3 cose principali che le persone DEVONO capire prima di iniziare a ottimizzare?

ESPLORAZIONE – generando quante più idee possibili.

SFRUTTAMENTO: dare priorità alle idee con i risultati passati per una maggiore velocità.

SPERIMENTAZIONE – aprire le nostre idee per essere falsificate o convalidate.

Come tratti i dati qualitativi e quantitativi in ​​modo che possano raccontarti una storia imparziale?

Sono d'accordo con l'idea di convalidare i risultati del test a/b. In generale, più misure coerenti disponiamo, più affidabili e affidabili possono diventare i nostri esperimenti.

Quando si tratta di confrontare i risultati, ci sono alcuni modi in cui possiamo farlo:

• Confronto di più metriche dello stesso esperimento (ad es. coerenza dell'effetto su: aggiunte al carrello, vendite, entrate, acquisti resi, ecc.)
• Confronto dei dati storici tra esperimenti separati (ad es. coerenza dell'effetto tra due esperimenti separati eseguiti su 2 siti Web separati)

Che tipo di programma di apprendimento hai impostato per il tuo team di ottimizzazione? E perché hai adottato questo approccio specifico?

Credo fermamente che la replica degli esperimenti sia un elemento critico per migliorare la previsione dei risultati dei test (generando conoscenze professionali).

Pertanto, nella nostra piattaforma, raggruppiamo esperimenti simili e aggreghiamo metriche simili.

Quando si costruisce una base di conoscenza dagli esperimenti, l'altra cosa importante è ridurre al minimo i bias di pubblicazione . Cioè, tenere un registro di tutti gli esperimenti indipendentemente dai loro risultati (compresi quelli positivi, negativi, significativi e insignificanti).

Qual è il mito dell'ottimizzazione più fastidioso che vorresti andasse via?

Più di recente, sono stato infastidito dalle persone che affermano che la sperimentazione non ha alcun aspetto negativo (catturato bene da questo meraviglioso thread di LinkedIn). Un modo sottile in cui questo a volte viene fuori è attraverso affermazioni che suonano simili a "non ci sono test perdenti, solo apprendimenti".

Questo potrebbe essere vero nei mondi delle torri d'avorio in cui l'apprendimento è l'obiettivo chiave e in cui lo sperimentatore è protetto dai costi.

Tuttavia, come professione, quando utilizziamo la sperimentazione come strumento per ottimizzare i siti web dei clienti, non c'è pranzo gratis. L'esecuzione di esperimenti comporta costi, rischi, aspetti negativi e vantaggi. Da questo punto di vista, penso che sia estremamente salutare tenere traccia e ammettere i risultati per quello che sono veramente (incluso essere a proprio agio nell'ammettere serie di test negativi e non imbiancarli). Tutte le professioni hanno bisogno di cicli di feedback sia positivi che negativi per continuare a migliorare.

Se tutto va bene, la nostra intervista con Jakub ti aiuterà a guidare la tua strategia di conversione nella giusta direzione! Qual è il consiglio che ti ha colpito di più?

Assicurati di rimanere sintonizzato per la nostra prossima intervista con un esperto CRO che ci guida attraverso strategie ancora più avanzate! E se non l'hai già fatto, dai un'occhiata alle nostre interviste con Gursimran Gujral di OptiPhoenix , Haley Carpenter di Speero , Rishi Rawat di Frictionless Commerce , Sina Fak di ConversionAdvocates ed Eden Bidani di Green Light Copy !