Hai bisogno di un repository di apprendimento per test A/B per eseguire esperimenti basati sull'esperienza (dicono gli esperti)

Il tuo programma di test sembra privo di struttura o impatto?

Stai eseguendo test senza un piano di attacco e non sai a cosa dare la priorità o dove lavorare dopo?

Forse ti perdi cercando di ricordare quali test hai provato prima, cosa ha funzionato e cosa ha fallito?

O forse ti sei appena iscritto a un programma esistente e non hai idea di cosa abbiano già eseguito, come si sia comportato o da dove iniziare?

Può essere facile perdersi tra le erbacce durante i test A/B, ma fortunatamente c'è un modo semplice per risolvere tutto questo.

Di recente abbiamo intervistato 5 CRO professionisti e una cosa è stata subito chiara: se vuoi eseguire esperimenti basati sull'esperienza e far crescere la tua cultura dei test, devi disporre di un repository di insight centralizzato.

Che cos'è un repository di apprendimento?

In poche parole, è una posizione singolare per archiviare tutte le informazioni sui test passati che hai eseguito.

• La pagina di destinazione,
• L'ipotesi e ciò che hai implementato,
• Gli elementi di prova e le varianti,
• I risultati,
• Il suo impatto su parametri importanti, ecc.

Può essere semplice come una cartella su un laptop o un progetto Asana, ma un repository di apprendimento è molto più di un semplice sistema di archiviazione glorificato...

Un "repository di apprendimento sperimentale" consente all'azienda e alle parti interessate in generale di vedere quali esperimenti sono stati condotti fino ad oggi e quali apprendimenti sono stati acquisiti. Il repository offre al lettore la possibilità di consumare il contenuto al proprio tempo e velocità, il che è importante in un'azienda globale.

– Max Bradley, Gestione della sperimentazione web presso Zendesk

Ciò significa un facile accesso all'intero team di tutti i test passati, che possono effettivamente aiutarti a costruire quella cultura dei test.

Come?

Più persone sono coinvolte nei test e nell'esecuzione dei test, più velocemente adottano la mentalità.

Vedendo quali test sono già stati eseguiti e i loro risultati, può suscitare nuove idee e punti di vista per chiunque abbia accesso a queste informazioni. Questo può quindi portare a un aha! momento in diverse aree dell'azienda al di fuori del team di test, che possono quindi testare autonomamente o presentare al team di test.

Ad esempio, se il dipartimento degli annunci a pagamento ha identificato il linguaggio più efficace che ha ottenuto un aumento nei test di pagina, potrebbe voler provare questo nel testo dell'annuncio, nella ricerca a pagamento o nei social media, poiché risuona chiaramente con il pubblico.

L'accesso ai test passati non solo apre nuove idee con i membri del team esterno, ma riduce anche il tempo speso a cercare informazioni importanti.

C'è di più in un repository di apprendimento oltre al semplice accesso a livello aziendale e al risparmio di tempo:

Gli apprendimenti sono il principio fondamentale per costruire prodotti significativi ed efficaci e l'unico modo per raccogliere apprendimenti significativi e convalidati è eseguire esperimenti e raccogliere tutti quegli apprendimenti in un repository centrale. Gli apprendimenti in questo repository possono essere utilizzati in molti esercizi come ad esempio: alberi di opportunità/soluzioni, in cui lavori verso un determinato obiettivo dell'utente con diversi approcci di soluzione diversi.

La chiave per eseguire esperimenti basati sull'esperienza è disporre di un repository centrale che sia accessibile, strutturato, ricercabile e adeguatamente aggiornato/gestito. Fare questo in modo efficace può avere un effetto esponenziale sulla produttività e sulla qualità dell'output complessivo del programma di sperimentazione .

– Matthias Mandiau, Specialista in Sperimentazione e Analisi dei Dati presso H&M Group

Come dice Matthias, più riusciamo a capire il nostro pubblico, meglio possiamo fornire loro prodotti e servizi.

Potremmo non ottenere subito l'intuizione, ma può metterci sulla strada giusta e da lì possiamo migliorare ulteriormente e offrire la migliore esperienza di prodotto e utente.

Meglio ancora?

Continuare ad apprendere e gestire i risultati dei nostri test può aiutarci a evitare costosi errori...

Hai eseguito esperimenti, ora evita questi errori

Avere un posto dove archiviare e accedere ai dati passati è fantastico, ma non è l'unico vantaggio.

In effetti, durante le nostre interviste, abbiamo riscontrato una serie di errori comuni del programma di test di cui si parlava ancora e ancora, quasi tutti corretti grazie a un repository di apprendimento.

Mancato rispetto dei dati aziendali “costosi”.

Uno degli argomenti più convincenti per un repository di apprendimento è il semplice fatto che tutti i dati dei test sono proprietà dell'azienda.

Stai spendendo tempo e denaro preziosi per raccogliere quei dati. L'ultima cosa che vuoi fare è non conservarlo o usarlo, o peggio, non tornarci mai più per aiutarti a pianificare nuovi test e imparare da quelli passati:

Perché investire così tanti soldi in un programma di sperimentazione quando il suo risultato principale (l'apprendimento) non viene curato?

Una buona panoramica è fondamentale per capire su cosa si è già lavorato, su cosa dovrebbe essere ora il focus e su cosa dovrebbe essere lavorato a breve. Anche in questo modo la conoscenza non dipende dalle persone, perché le persone vanno e vengono nelle aziende.

Inoltre, consente una migliore condivisione delle conoscenze, un migliore inserimento, la preparazione di casi aziendali migliori, una ricerca migliore...

– Mattia Mandiau

Avere una visione d'insieme del tuo programma di test può aiutarti non solo a testare meglio, ma anche a formare nuovo personale o persino leader di team. (E aggira il problema della perdita di tutte le informazioni dettagliate quando il manager CRO lascia l'azienda).

Come?

Bene, ora i nuovi membri possono vedere cosa è stato provato in precedenza, cosa ha funzionato e forse cosa aveva il potenziale per funzionare ma non è stato implementato correttamente o potrebbe essere ripetuto ulteriormente...

Perdere lo sviluppo di un "istinto intestinale" a livello aziendale che sia informato sull'esperienza (e sui dati)

Non c'è niente di sbagliato nell'usare il tuo istinto per elaborare idee di prova. A volte hai semplicemente un'intuizione da dati o esperienze che possono aiutarti a formulare un'ipotesi e completare un test iniziale.

Tuttavia, devi fare attenzione a fare sempre affidamento su questo istinto istintivo tutto il tempo e non prestare invece attenzione alla ricerca e ai dati.

Una cosa che dico al mio team (di Bouqs) è... quando non hai dati (apprendimento registrato/artefatti dai test), devi prendere decisioni basate sul tuo istinto o sull'istinto degli stakeholder. Un database di apprendimenti crea a
intestino per tutti noi che possiamo usare come controllo dell'intestino, ma che non è solo nostro o di parte.

– Natalia Contreras-Brown, VP di Product Management presso The Bouqs

Le più grandi aziende con i programmi CRO più maturi sono quasi tutte basate sui dati. Fanno scelte in base a ciò che i dati dicono loro è più importante ed è spesso per questo che diventano leader di mercato.

Non diventare colpevoli di testare solo le scelte e le opinioni viscerali e non concentrarti solo sulle metriche. Prenditi il ​​tempo necessario per trovare le informazioni contestuali da ciascun risultato del test. Segui le informazioni e, soprattutto, traccia e salva ciò che è successo e perché pensi che sia successo, in modo da non commettere l'errore di dimenticare ciò che hai provato e perché ha funzionato.

Ripetizione di test che sono stati eseguiti in precedenza

Abbiamo già accennato a questo, ma senza tenere traccia di ciò che stai facendo diventa molto facile rieseguire un'idea di test che hai già provato o perdere un'idea di test perché pensi che sia già stata eseguita.

Un repository di apprendimento aiuta a evitare di eseguire nuovamente esperimenti che sono stati condotti in precedenza. Riduce anche il tempo impiegato per rispondere alle domande sui risultati e agli apprendimenti delle parti interessate per il team di sperimentazione.

– Max Bradley

Sii gentile con te stesso e il tuo futuro team e tieni un registro di ciò che hai eseguito e tutti i dettagli di ogni test.

Potrebbe essere che tu voglia eseguire qualcosa di simile ma senza i dettagli di ciò che hai provato prima, può essere facile perdersi o passare altri 30 giorni a recuperare i dati che avresti dovuto salvare.

Scarsa comunicazione o mancanza di accesso alle informazioni

Una delle maggiori differenze nei team CRO maturi è la loro capacità di comunicare o accedere alle informazioni in modo rapido e semplice. Non solo nella facilità di accesso, ma anche nell'efficienza con cui possono fornire le giuste informazioni.

Avere un repository di apprendimento ben documentato e organizzato può ridurre le barriere di comunicazione e persino aiutare a non mettere da parte i flussi di lavoro di test, mentre cerchi informazioni e metti le cose in pausa.

(Un repository di sperimentazione) è un sistema di gestione della conoscenza che contiene tutti i dati in modo dettagliato ed è generalmente accessibile dal team, ma soprattutto facilita la produzione di artefatti di comunicazione (livello di comunicazione) per le persone giuste nel formato giusto al momento giusto.

È il "livello dati" nel flusso di lavoro di test, come mostrato qui:

– Ben Labay, Managing Director / CRO & Experimentation @ Speero di CXL

Lasciare l'apprendimento (e il denaro) sul tavolo

Non dimenticare che la maggior parte dei test fallisce. È solo attraverso l'iterazione e l'apprendimento dai test passati che migliori e ottieni quelle vittorie che incidono sul ROI.

Senza tenere traccia di ciò che hai corso e di dove sei stato, diventa molto difficile andare avanti e vedere i progressi, o persino sentirsi sicuri nel tuo processo di test.

Stefan Thomke l'ha affermato bene: “malgrado siano inondati di informazioni provenienti da ogni direzione, i manager di oggi operano in un mondo incerto in cui mancano i dati giusti per prendere decisioni strategiche e tattiche”. La sperimentazione convalida e la convalida ci aiuta a imparare . È fondamentale raccogliere tali apprendimenti in un repository facilmente accessibile per rivedere tali apprendimenti per decisioni future.

– David Mannheim, VP di CRO, BrainLabs

Ecco una rappresentazione visiva del processo ideale di Ruben de Boer:

Imparare e migliorare da ogni test che esegui è incredibilmente importante. Non solo è direttamente legato al successo dei tuoi test futuri, ma può anche aiutarti a espandere le vittorie attuali in altre aree o persino in altri siti.

Quasi tutti gli altri esperimenti che eseguiamo presso H&M nel nostro team di prodotto sono supportati da un apprendimento documentato di un esperimento precedente o di un'altra metodologia di ricerca.

– Mattia Mandiau

Questa abitudine di imparare e ripetere si ripresenta ancora e ancora in quasi tutti quelli che abbiamo intervistato.

A Brainlabs, circa il 40-50% dei nostri esperimenti per Flannels, un noto negozio di abbigliamento maschile, sono state iterazioni l'una dell'altra. Ciò ha dimostrato il potere dell'apprendimento all'interno di un singolo esperimento e come questo può evolversi in qualcos'altro; perché impariamo sempre da come uno stimolo pratico può influire su una variabile .

– David Mannheim

Ti facciamo un altro esempio.

Supponiamo che tu abbia una pagina di acquisizione dei lead e che il layout che usi funzioni bene per una pagina. Potresti quindi adattarlo ad altri sul tuo sito per vedere se aumenta anche l'incremento.

E se fossi un'agenzia con più clienti in nicchie simili?

Approfondimenti e vittorie di un'azienda potrebbero portare a idee e progetti che potrebbero funzionare anche per gli altri tuoi clienti...

Ciò che ha funzionato una volta, ha buone probabilità di non essere ancora stato sfruttato appieno:

• Potrebbe funzionare di nuovo con maggiore intensità (per lo stesso cliente)
• Potrebbe funzionare di nuovo da qualche altra parte (per lo stesso cliente)
• Potrebbe funzionare di nuovo per qualcuno completamente diverso

In altre parole, le vincite passate hanno un potenziale predittivo che può accelerare l'ottimizzazione (più vincite, maggiore probabilità di successo, maggiore entità degli effetti).

– Jakub Linowski, GOODUI.org

Drip Agency ha fatto esattamente questo con 2 dei suoi clienti.

Hanno preso i progetti di layout di pagina vincenti da un cliente, quindi li hanno testati su un altro per aumentare immediatamente le conversioni.

GoodUI ha fatto qualcosa di simile. Hanno preso idee e informazioni di prova vincenti da un cliente e le hanno utilizzate come base per testare altre pagine del sito.

Questo ha portato loro un aumento del 42% nelle conversioni!

Poi hanno fatto un ulteriore passo avanti.

Invece di implementare semplicemente i progetti vincenti per un cliente, hanno condotto un case study per vedere se è possibile prevedere i test vincenti sulla base di campagne precedenti su più siti Web.

La teoria è che alcuni progetti UX possono funzionare in altri settori.

E così hanno eseguito 51 test utilizzando layout di progettazione vincitori precedenti e hanno ottenuto una percentuale di successo del 71% utilizzando i vincitori precedenti per aiutare a progettare nuovi test su altri siti.

Abbastanza bello, vero?

Bene, ecco un altro motivo per cui un repository di apprendimento è così utile ed è per questo che i buoni tester guardano ai vincitori del passato.

Se ci pensi, GoodUI è fondamentalmente un tipo di repository di apprendimento, in quanto è un database di test passati e vincitori su più siti e settori.

Il fatto è che spesso vedranno progetti riutilizzati su altri siti e noteranno che modelli particolari forniranno un passaggio. Forse qualcun altro ha eseguito il test ma ha funzionato, ecc.

Essendo i cookie intelligenti che sono, GoodUI utilizza questi modelli particolari come ispirazione per i test da eseguire per i nuovi clienti...

E ha senso, vero? Dopo aver risolto i problemi tecnici e aver deciso una pagina da testare, non fa male guardare gli elementi di test passati su pagine simili e ciò che ha funzionato.

Puoi usare altri siti come fonte di ispirazione quando inizi, ma tutti gli esperti sono d'accordo. Devi iniziare a creare il tuo repository il prima possibile.

Investi in un repository di sperimentazione

Jakub Linowski ha detto su LinkedIn che se guardi a professioni come medici, ingegneri, atleti e militari, vedresti che la maggior parte dei loro successi e della loro crescita si basano sugli apprendimenti che hanno generato da esperimenti passati.

Con quell'immagine mentale, puoi immaginare quanto velocemente il campo CRO possa crescere nel suo insieme quando gli esperimenti non devono sempre iniziare dal livello 0. Ma senza un repository di apprendimento, questo è esattamente il caso.

E molti team CRO interni sono colpevoli di questo.

Se porti questa idea più vicino a casa, è chiaro come basarsi su ciò che già conosci sia un modo solido per aumentare gli sforzi del tuo programma di sperimentazione.

Repository = Maggiori possibilità di successo dell'esperimento

Solo quando hai la mentalità dei test di apprendimento (e dei test passati) apprezzi effettivamente ciò che la sperimentazione offre, ad esempio un'idea di cosa funziona e cosa no, dato il contesto e le circostanze.

20 "buone decisioni" in UX, UI, Product, Marketing (grazie alla sperimentazione) possono aiutare a flettere i muscoli decisionali e ad affinare l'istinto. Più vedi le tue opinioni abbattute o convalidate, più hai una bussola per scoprire cosa funziona e di cosa ha bisogno il tuo pubblico.

Coloro che testano per il bene dei tassi di conversione si perdono questo quadro generale. Si tratta di imparare di cosa ha bisogno il tuo pubblico e non di avere ragione.

Ti mostriamo come:

Come strutturare il tuo repository di apprendimento

Un repository di apprendimento ha lo scopo di eliminare i silos di dati, promuovere la collaborazione e rafforzare la comunicazione.

Se il tuo non è strutturato correttamente, sarà estremamente difficile soddisfare quei requisiti di base. Ma il problema della strutturazione del tuo repository di apprendimento è che ci sono opzioni. Funzionano in modo diverso per diverse organizzazioni.

Questo non è un problema perché ti descriveremo i 3 modelli e quindi potrai immaginare che si allineerebbero perfettamente con il tuo team, dipartimento o organizzazione. Ancora meglio, gli esperti raccomandano un modello specifico.

Sembra esserci un vincitore in termini di struttura del team di sperimentazione: Center of Excellence.

1. Un centro di eccellenza (CoE) abilita ed equipaggia i team di sperimentazione specifici del dipartimento

In questo modello, il team di sperimentazione è il CoE per l'intero programma di sperimentazione dell'organizzazione.

Quindi, sono una specie di portiere per chiunque in altri dipartimenti voglia condurre esperimenti. Li esamini e loro aiutano a configurarlo.

Quindi controllano l'integrità di questi esperimenti e mantengono tutto allineato con gli obiettivi generali della sperimentazione dell'organizzazione.

La strutturazione in questo modo oggi rimuoverà i problemi di downline domani. Perché tutto viene mantenuto sulla stessa traccia, facile da monitorare e la creazione di un repository di apprendimento in questo modo è facile da coordinare.

La sfida principale qui è che non sarebbe accessibile come un modello decentralizzato.

2. Le unità decentralizzate si trovano tra i reparti e coinvolgono tutti

Le unità decentralizzate si trovano in vari dipartimenti ed eseguono i test effettivi. Questa è un'ottima strategia perché hanno la maggiore conoscenza dei propri cicli di crescita e metriche, quindi sono nella posizione migliore per progettare ed eseguire esperimenti ad alto impatto.

In questo modello, tutti possono eseguire test, indipendentemente dal reparto e dal livello di esperienza della sperimentazione. Se combinato con CoE, attira alcuni ammiratori...

Sono un grande fan della sperimentazione decentralizzata, lavoro a fianco di un centro di eccellenza per il controllo della qualità e l'evangelizzazione dei test AB. Nella mia esperienza, queste strutture funzionano meglio per quelle culture che abbracciano veramente il potere della sperimentazione. In termini di repository di apprendimento, questo dovrebbe seguire l'esempio; i membri del team dovrebbero avere il potere di condurre esperimenti ed evidenziare gli apprendimenti dai frutti del loro lavoro .

– David Mannheim

Anche la responsabilità di mantenere il repository di apprendimento segue l'esempio.

3. Gestito da una persona per raccogliere e mantenere gli apprendimenti della sperimentazione

Tuttavia, a differenza del modello CoE-alone, il repository di apprendimento del modello decentralizzato è più difficile da coordinare.

Aiuta ad avere un ruolo designato che è responsabile della documentazione e del mantenimento degli apprendimenti. E c'è qualcosa di vantaggioso in questo:

Gestito dal responsabile del programma/progetto (tenendo traccia) e dallo stratega del test principale (che inserisce le "storie), ma se fatto correttamente, può avere input in tutte le fasi, poiché gli input arrivano come voci di moduli come moduli di emissione, nuovi tracker della campagna, nuove idee per le soluzioni di test, ecc .

– Ben Labay , amministratore delegato / CRO e sperimentazione @ Speero di CXL

Matthias Mandiau concorda con Ben.

Preferisco un ibrido tra centralizzato/decentralizzato:

Il repository deve essere sempre accessibile (cloud).

Necessità di poter combinare diverse metodologie di ricerca per creare ipotesi forti.

L'impostazione e la gestione del repository e della proprietà dovrebbero essere con 1 team/manager (centralizzato). Buono per il follow-up del KPI delle prestazioni degli esperimenti macro di alto livello a livello centrale.

Ogni team di prodotto che lavora con la sperimentazione dovrebbe avere uno stakeholder (analista di dati/CRO) che ha la responsabilità di prendersi cura adeguatamente di tutti gli apprendimenti raccolti che vengono caricati nel formato corretto nel repository centrale. Buono anche per il follow-up del KPI delle prestazioni dei micro esperimenti a livello di team di prodotto all'interno del team decentralizzato. Potrebbe essere una dashboard collegata a GA o al repository, ad esempio .

In Zendesk, un manager è responsabile della manutenzione del repository, ma gli input provengono dai "proprietari del test":

Attualmente abbiamo il repository gestito da un team all'interno dell'azienda con una persona che ne assume la proprietà complessiva. I "proprietari" del test devono aggiungere gli apprendimenti dopo il completamento del test nella rispettiva area del repository.

– Max Bradley

Ed è così che una persona (o un piccolo team) che gestisce un modello di tipo decentralizzato può mantenere il repository di apprendimento della sperimentazione efficiente e di qualità garantita.

È simile a quello che sta facendo GoodUI: attingendo agli insegnamenti provenienti da tutti i verticali e dai clienti per creare un'eccellente risorsa di approfondimenti sulla sperimentazione.

Quindi, anche se non hai ancora un repository di apprendimento, hai un pozzo di conoscenze da cui attingere. I piani di Convert includono un abbonamento scontato GoodUI.

Come documentare i tuoi apprendimenti

Proprio come qualsiasi sistema di archiviazione organizzato, il tuo repository di apprendimento non può essere un luogo in cui scaricare dati. Ci deve essere un modo preciso e corretto di documentare gli apprendimenti in modo che sia utile a tutti.

Ciò significherà una rappresentazione visiva intuitiva dei dati, storie di dati prive di gergo e un metodo semplice per individuare test specifici quando necessario.

Ecco come.

Cattura e registra tutti i metadati dai test

Il primo passo ovvio è raccogliere i dati dai test. Ma quali dati raccogli? È facile dire di raccogliere tutto, ma può facilmente diventare opprimente e scoraggiante.

Quindi, quali sono i dati da includere nel repository dell'esperimento?

Sono i metadati completi di un concetto di test. E dovrebbe principalmente tenere traccia degli input in base alle domande che devono essere poste, che sono standard nelle categorie:

• Tipi di test
• Pagine
• Punti di contatto
• Pubblico
• Superfici di crescita

Ma non standard ALL'INTERNO di queste categorie, ad esempio, il pubblico sarà diverso a seconda dell'azienda, ma tutte le aziende eseguiranno i test su segmenti di pubblico diversi.

– Ben Labay

E che aspetto ha?

Esploriamo ciascuna di queste categorie in modo da avere un quadro più chiaro:

• Tipi di test

Che tipo di test era? Prova A/B? MVT? Test A/B/n?

• Pagine

Qui specifichi la pagina o le pagine del tuo sito in cui si è verificato il test. È la homepage? Una pagina di prodotto specifica? La pagina dei prezzi del tuo marchio SaaS?

• Punti di contatto

I punti di contatto sono aree nel percorso del tuo cliente in cui interagiscono con il tuo marchio. Potrebbe trattarsi di un annuncio, un catalogo di prodotti, un post di blog, e-mail di marketing, la tua app, ecc.

• Pubblico

Chi è il tuo pubblico di destinazione per il test? Stai prendendo di mira segmenti specifici in base a qualsiasi criterio? Dati comportamentali? Obiettivi? Fonte del visitatore? Geolocalizzazione? O sono tutti selezionati casualmente?

• Superfici di crescita

Questo si riferisce a un'interazione o funzione che incoraggia gli utenti a rimanere nel tuo sito o ad approfondire la loro relazione con il tuo marchio. Quindi, è una sorta di gancio che aumenta il valore di ogni visitatore. Questa può essere un'offerta di prova gratuita o una demo.

Per arricchire i tuoi metadati, vorresti anche includere:

• Date
• URL/Regex
• Iterazione sul test precedente: collegamento a un test precedente che costituisce la base del test su cui stai segnalando.

E lo suggelli con informazioni più efficaci. Includere…

• Screenshot di A e B
• Isolato o meno (n. di modifiche)
• % di impatto con intervalli di confidenza
• Tipo metrico

– Jakub Linowski

Più è, meglio è. Ma mantienilo pertinente e utile.

Ecco un altro esempio tratto da Max Bradley di Zendesk:

Per un rapporto di monitoraggio di base o un repository, il rapporto di Convert ti mostrerà anche il vincitore e per cosa hai testato.

Rispetta i diversi stili di apprendimento preservando le informazioni

Devi fare appello ai vari modi in cui le persone preferiscono consumare le informazioni quando archiviano i dati della sperimentazione.

Ci sono alcune cose da tenere a mente quando lo fai...

Abbiamo provato molti metodi diversi. Come agenzia, abbiamo a che fare con più stakeholder diversi di diverse aziende in un dato momento. Qui sta la sfida: le persone acquisiscono conoscenze e imparano in modo diverso. Sono studenti visivi, uditivi o cinestesici? Dove sono sulla chiave Myers-Briggs? Come comunicare ai tuoi stakeholder è importante quasi quanto il contenuto in cui stai comunicando. Dalla mia esperienza, ho imparato che un repository di apprendimento dovrebbe essere due cose per avere successo:

• Temabile e memorizzato in modo che sia facilmente filtrato
• Succinto per apprendimenti scansionabili.

– David Mannheim

Puoi fornire quante più informazioni possibili sull'esperimento segnalato. E fallo in vari formati. Ecco perché hai bisogno degli screenshot, delle registrazioni video e di una storia per dare un contesto a tutti i numeri.

Ricorda di mantenerlo pertinente, conciso e scansionabile .

Tagga i tuoi test per massimizzare gli apprendimenti

Contrassegnare i tuoi test mantiene tutto facile da raggiungere.

Ti aiuta anche a capire lo scopo di un test a colpo d'occhio.

Se il tuo repository cresce costantemente, un giorno avrai migliaia di test registrati e centinaia di persone che lo utilizzeranno per scorrere idee, estrarre informazioni e prendere decisioni informate.

Gli apprendimenti saranno più utili se le persone possono avere un'idea della posizione di ciascun test nello spettro delle soluzioni della tua organizzazione.

Come comunicare i tuoi apprendimenti per ottenere il massimo effetto

Il tuo repository di apprendimento andrà a beneficio del tuo programma di sperimentazione solo quando le persone lo utilizzeranno effettivamente.

Quindi, oltre a renderlo accessibile, presentalo al resto del tuo team e organizzazione in un modo che abbia senso e susciti interesse per la sperimentazione.

Ma come si fa? Questi sono numeri e alcuni termini specifici del settore che potrebbero essere fraintesi. In che modo fai in modo che persone di diverse discipline apprezzino gli apprendimenti che hai raccolto?

Comunicare i test A/B può essere complicato, ma se segui questi passaggi abbatterai quelle barriere e otterrai il massimo dal tuo repository di apprendimento.

Falla diventare un'abitudine

Prima di tutto, se la sperimentazione è un concetto estraneo in cui ti trovi, prendere l'abitudine di passare attraverso gli apprendimenti potrebbe richiedere del tempo. Quindi, porta un po' di pazienza con te in questo viaggio.

Il tuo compito qui è di rendere questa parte delle tue solite attività settimanali. Potrebbe essere parte della parte ispiratrice del brainstorming o di un gioco che fai per chiudere le riunioni. Ad esempio, la tua versione di "quale test ha vinto?"

Fa parte del grande quadro della costruzione di una cultura in cui la sperimentazione è una norma...

Prendi l'abitudine di eseguire gli apprendimenti con il team in modo coerente, divertente e stimolante. Deve essere parte del business come al solito. Almeno una volta alla settimana dovrebbe esserci un incontro per esaminare ipotesi e sperimentare i risultati. Ogni sprint dovrebbe contenere almeno 1 o 2 esperimenti e fare della sperimentazione un'abitudine crea una cultura positiva.

– Mattia Mandiau

Oltre a presentarlo nelle riunioni del team, i test del repository sono anche molto facili da condividere nelle newsletter di apprendimento. Avere l'abitudine di aggiungerli qui semplifica anche l'adozione della sperimentazione a livello di sito.

Sii umile e trasparente per creare fiducia

Può sembrare bello convincere le persone che la sperimentazione ha tutte le risposte, ma sarà fuorviante. Aiuta i tuoi colleghi a capire come funziona, cosa rappresentano i numeri e quanta fiducia puoi riporre in una certa intuizione che hai tratto.

Non presentare approfondimenti come se arrivassero con certezza al 100%. Mostra loro invece che questo è uno dei modi migliori in cui puoi prendere decisioni, al contrario del "senso viscerale" e delle migliori pratiche.

Fare il contrario farà perdere loro fiducia nel repository di apprendimento che hai creato e potrebbe essere abbandonato per raccogliere polvere.

Ecco altri suggerimenti da Ben Labay di Speero su come comunicare i risultati:

Non nascondere i test che hanno perso. Invece, usala come un'opportunità per mostrare il vantaggio a doppia faccia dei test.

Se hai una vittoria, hai un'idea di ciò che funziona. Se ha perso, hai imparato cosa non funziona in modo da evitare di apportare modifiche che danneggiano le metriche chiave.

In entrambi i casi, hai imparato qualcosa che può essere migliorato.

Quando presenti, strutturalo in una storia che mostri l'applicazione nel mondo reale delle intuizioni e inviti le parti interessate a partecipare alla scrittura della storia, proprio come fa Max:

Presentiamo gli apprendimenti più recenti su base bisettimanale al nostro team più ampio e su base mensile all'azienda in generale. Cerchiamo di essere il più trasparenti possibile presentando i test che hanno perso tanto quanto quelli che hanno vinto. Inoltre, chiediamo a tutti i revisori di inviare le loro idee o porre qualsiasi domanda nel nostro canale Slack dedicato. Laddove possibile, cerchiamo anche di dimostrare il vantaggio in termini reali oltre all'aumento percentuale, questo lo rende più impattante per i lettori.

– Max Bradley

Non bloccare l'apprendimento, coinvolgi tutti

La sperimentazione non è solo per i team di marketing, ottimizzazione, produzione e/o crescita. Essere un'organizzazione basata sui dati significa saturare la maggior parte dei processi decisionali con informazioni estratte da test ben eseguiti.

E il tuo repository di apprendimento si trova proprio nel mezzo dell'intera missione.

Quindi, porta tutti a bordo.

Sì, le persone avranno diversi livelli di esperienza nel campo, ma non lasciare che ciò danneggi il programma. Finché ogni squadra ha qualcuno o persone con un'esperienza più profonda con la sperimentazione, hai qualcosa da fare.

È anche incoraggiante avere nel team alcune persone che hanno più familiarità con la sperimentazione e altre che ne hanno meno esperienza. Avere almeno 2 o 3 persone nel team che hanno esperienza con la sperimentazione fa una grande differenza .

– Mattia Mandiau

L'influenza si diffonde naturalmente in questo modo.

Investi in un paio di occhi freschi e impollinazione incrociata di idee

A volte una prospettiva diversa ti darà idee a cui non avevi pensato. Quindi, non lasciare che i tuoi apprendimenti sulla sperimentazione riposino in una bolla.

Sii disposto a condividerlo con altri esperti nel tuo campo e vedere cosa puoi imparare dal loro feedback.

Forse c'è qualcosa che non ha funzionato su un segmento di clienti, ma esiste una versione leggermente diversa che può funzionare per un altro?

O forse ti sei imbattuto in qualcosa di cui tutti stanno discutendo e ora puoi unirti alla conversazione per saperne di più?

Sarai entusiasta di ciò che scoprirai quando coinvolgerai altri esperti CRO. Anche le chiamate di coaching possono far parte della tua strategia per ottenere un punto di vista diverso.

Coaching – www.goodui.org/coaching – una o due chiamate mensili con i team di sperimentazione per: rivedere i piani di test, fornire feedback sui progetti di test e far emergere ciò che ha funzionato per gli altri.
– Jakub Linowski

Rendi l'apprendimento condivisibile

Alcune persone usano Notion, altri usano Google Slides e alcuni esperti CRO suggeriscono di usare le bacheche Miro, ma lo scopo è lo stesso...

Comunicare i dati dei test e le informazioni dettagliate con il resto del team (o qualsiasi altro stakeholder) per assicurarsi che gli apprendimenti raggiungano una portata sufficiente.

Quando utilizzi strumenti online come Notion, Presentazioni Google, Miro e qualsiasi altro strumento che ritieni interessante per il tuo team, rendi facile l'accesso al repository da qualsiasi dispositivo e da qualsiasi luogo.

Questo è ottimo per i team remoti e per ottenere il nuovo paio di occhi di cui abbiamo parlato prima.

È portatile e può essere facilmente condiviso. Ora stai davvero dando le ali ai tuoi apprendimenti di sperimentazione per avere un impatto completo.

Usa Insights per pianificare i test

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

Allora scomponiamo tutto...

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

Le sue caratteristiche includono:

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• Progress reports
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

Come mai?

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

Avvia il repository dal giorno 1. Inizia a educare le parti interessate sul fatto che la sperimentazione riguarda la convalida e l'apprendimento, non necessariamente il denaro. Più dimostrerai "abbiamo imparato X da questo test" o "Y da quel test", più allineati sarai tu e i tuoi stakeholder.

– David Mannheim

3. Costruisci il buy-in con la prova

Se nessuno o solo poche persone stanno documentando i loro test e condividendo informazioni dettagliate tra i reparti, dovrai mostrare perché tutti gli altri devono unirsi allo sforzo.

Dimostrare con successo i vantaggi di un repository di apprendimento per il supporto delle C-suite è solo il primo passo. La prossima cosa che dovrai fare è comunicare questi vantaggi anche ad altri stakeholder.

Matthias ha condiviso un modo fantastico per farlo:

Inizia in piccolo, snello e agile. Fai eseguire esperimenti, raccogli gli apprendimenti e dedica un buon impegno a documentarli. Crea un rapporto decente dopo ogni esperimento e invia anche frequenti invii (mensile, trimestrale, annuale). Concentrati inizialmente sui grandi esperimenti sui pesci con un impatto positivo e un forte apprendimento. I risultati positivi motivano le persone a iniziare.

Dopo aver raccolto un paio di insegnamenti di forte impatto, può anche essere utile mostrare risultati negativi e spiegare quale impatto negativo ci sarebbe stato se lo avessimo implementato senza esperimenti. Quindi spiega quanto siano importanti questi apprendimenti per il business e per prendere decisioni migliori sui prodotti.

4. Una volta che funziona, inizia a guardare strumenti specifici (impara e agisci prima, acquista dopo)

Quando hai impostato un semplice repository su Presentazioni Google o qualsiasi piattaforma gratuita tu scelga e hai completato i passaggi 2 e 3, puoi investire denaro in uno strumento.

Non saltare la pistola e pompare denaro in un repository di apprendimento finché non sei sicuro che ci sia un ROI incoraggiante da realizzare.

Conclusione

Se c'è un grande vantaggio che ottieni da questo articolo è che dovresti iniziare a vedere gli apprendimenti della sperimentazione come una risorsa aziendale. Questa risorsa ti farà risparmiare tempo e denaro. E alimenterà un programma di ottimizzazione più basato sui dati nella tua organizzazione.

Non limitarti a eseguire un test, ottenere una vittoria o un fallimento e poi affrettarti alla tua prossima idea. Prendersi il tempo per comunicare e strutturare ciò che hai scoperto nel tuo repository di apprendimento darà struttura al tuo percorso di sperimentazione.

Inoltre, è il modo più semplice per passare il testimone, valutare l'impatto dei test e promuovere un'entusiasmante cultura della sperimentazione.

E come si inizia a ricevere tutti questi?

Fai come dicono gli esperti: inizia in modo semplice.