Metriche di input e output nella sperimentazione: come scegliere cosa misurare

Le metriche che definisci e monitori per il tuo programma di sperimentazione sono incredibilmente importanti.

Ciò che misuri determina la tua concentrazione. Dicono "non puoi gestire ciò che non misuri".

E mentre questo è del tutto vero (puoi sicuramente perdere peso anche se non guardi una bilancia), è direzionale e praticamente vero (è molto più facile perdere peso se guardi una bilancia).

Ho passato un sacco di tempo a pensare a quali parametri contano nella sperimentazione.

Ancora più importante, ho passato molto tempo a pensare sia alle metriche di input che alle metriche di output.

Qual è la differenza tra le metriche di input e di output?

Le metriche di input sono indicatori principali, cose che puoi controllare direttamente. In genere, tengono traccia dell'impegno, dell'allocazione delle risorse e dell'efficienza operativa.

L'idea delle metriche di input è che sono correlate alle metriche di output.

Anche se non puoi prevedere con precisione, in particolare, quale sarà il tuo tasso di conversione aggregato, puoi facilmente controllare quanti esperimenti stai eseguendo, quanto sei efficiente nel portare le vittorie alla produzione e, in una certa misura, qual è la tua percentuale di vittorie e la dimensione media della vincita sono.

Queste cose possono e devono essere associate alle tue metriche di output, che sono in genere metriche aziendali numeriche a cui interessano le parti interessate. Sono i numeri che mostrano se tutto lo sforzo che stai mettendo nella sperimentazione sta effettivamente ripagando dal punto di vista del ROI.

Poiché le metriche di output si concentrano sui risultati aziendali, esaminerò prima quelle, il motivo è che le metriche di output dovrebbero determinare le metriche di input.

In parole povere, le metriche di output sono ciò che conta per l'azienda e le metriche di input sono le leve che puoi controllare per ottenere tali risultati.

Metriche di output della sperimentazione

Le metriche di output sono ciò che mostri al tuo capo. Si collegano al valore del tuo programma di sperimentazione e mostrano che, nel complesso, stai producendo un ROI positivo.

Realisticamente, una metrica di output della sperimentazione può essere qualsiasi cosa quantitativa che puoi misurare. Nella maggior parte dei casi, si tratta di una metrica discreta o binaria come il tasso di conversione, ma a volte è una metrica continua come le entrate per visitatore.

In tutti i casi, desideri mappare la metrica di output che rappresenta maggiormente il valore per la tua attività.

Il modo migliore per suddividere le metriche di sperimentazione è in due categorie: micro-conversioni e macro-conversioni (note anche come metriche primarie e secondarie) .

Micro-conversioni vs Macro-conversioni (e metriche di monitoraggio)

Il consiglio comune nello spazio di test A/B è di ottimizzare per le macro-conversioni.

Le macro-conversioni, sebbene definite da te e dalla tua attività, sono quelle che si trovano più vicine al denaro. Nell'e-commerce, questo è l'acquisto o il ricavo per visitatore. Nel B2B, potrebbero essere conversioni di lead di alta qualità o forse registrazioni di prodotti per un software freemium.

In ogni caso, puoi mappare le microconversioni direttamente alle entrate e, quindi, il ROI in questi esperimenti è facile da misurare e giustificare lo sforzo.

Le microconversioni sono quelle azioni che portano alla macroconversione e tendono a correlare fortemente con i completamenti della macroconversione.

Nell'e-commerce, le microconversioni possono essere aggiunte al carrello, clic su banner o persino iscrizioni a elenchi di e-mail. In B2B, potrebbero essere clic sulla pagina dei prezzi, clic CTA o iscrizioni a elenchi di e-mail.

Sono disponibili anche metriche di monitoraggio o metriche di guardrail . Questi sono indicatori di qualità che potresti non mirare a migliorare, ma mirare a non danneggiare. Pertanto, se un esperimento aumenta il tasso di conversione, ma aumenta anche il tasso di restituzione o rimborso del prodotto, potresti non inviare quell'esperimento alla produzione.

Non esiste una divisione universale e obiettiva tra le due categorie, sebbene ci siano alcune ovvie linee di faglia. Vale a dire, la conversione porta direttamente alle entrate per la tua attività?

Esaminerò qui 18 metriche di output, suddividendole in macro e micro-conversioni. Alla fine, discuteremo come scegliere gli obiettivi di output giusti per la tua attività.

Macro-conversioni

Metriche del tasso di conversione (di qualsiasi tipo)

Il tasso di conversione è la metrica di output più comune, ma può significare molte cose per molti diversi tipi di attività.

A livello fondamentale, significa semplicemente che stai cercando di aumentare la proporzione di coloro che vedono un'esperienza e poi completano un'azione desiderata dopo aver visto quell'esperienza.

1. Tasso di conversione del piombo

Uno dei tipi di tasso di conversione più comuni è il tasso di conversione dei lead.

Questa è la percentuale di visitatori del tuo sito web che si iscrivono per diventare un lead. La definizione di "lead" ovviamente dipende dalla tua attività. In alcuni casi, è qualcuno che si iscrive per richiedere una demo.

A volte, le aziende approfondiscono ulteriormente e contano solo i lead "qualificati", che si basano sull'arricchimento dei dati o sul filtraggio di varie dimensioni per determinare se qualcuno è adatto o meno al prodotto.

Altre aziende conteranno lead qualificati per il marketing, come i visitatori che si iscrivono a un webinar o scaricano un whitepaper.

2. Registrazioni o acquisti di prodotti

Le registrazioni dei prodotti sono chiare macro-conversioni. Se vendi beni fisici, questo è qualcuno che li acquista. Se sei un'azienda SaaS freemium, questo è qualcuno che entra nel tuo prodotto per la prima volta.

È difficile immaginare un programma di sperimentazione di marketing che non tenga traccia di questo come un KPI dell'esperimento di base.

3. Tasso di attivazione

Entrando nella sperimentazione del prodotto, una delle prime cose da tenere a mente per un'azienda in crescita guidata dal prodotto è il tasso di attivazione.

Dopo che qualcuno si è registrato, qual è la prima azione nel prodotto che è significativa e mostra che l'utente è coinvolto?

Alcune aziende lo hanno mappato su un'azione o un numero di azioni specifico (Facebook aveva la famosa regola dei 7 amici in 7 giorni).

Questo momento è in genere indicato come "momento aha", il momento o l'azione che induce l'utente a comprendere il valore del prodotto. Questo momento viene in genere scoperto sia attraverso il feedback qualitativo che la capacità quantitativa di correlare questa azione con una conservazione più lunga o migliori tassi di monetizzazione.

4. Tasso di monetizzazione

Come il tasso di attivazione, il tasso di monetizzazione è comunemente utilizzato nelle aziende in crescita guidata dal prodotto con molti utenti freemium o almeno diversi livelli di prodotto in aumento.

Nei modelli freemium, questa metrica è discreta: l'utente gratuito supera la barriera per diventare un utente a pagamento o no? In altri modelli, questa metrica può essere continua, ad esempio, se un'azienda addebita in base all'utilizzo come AWS, non è così semplice delineare tra account "pagati" e "non pagati".

5. Iscrizioni all'elenco di posta elettronica

La maggior parte delle aziende a questo punto si rende conto del valore dell'email marketing e della creazione di una solida mailing list. Soprattutto per i content marketer e i blogger, la macro-conversione più interessante potrebbe essere la conversione dei lettori in abbonati e-mail.

Dipingerlo con un valore in dollari richiederà un po' di lavoro di analisi, ma se disponi di dati storici sufficienti, in genere puoi assegnare un valore di ricavo medio a una determinata e-mail che raccogli.

6. Tasso di attivazione dell'e-mail

Il tasso di attivazione dell'e-mail è una metrica di marketing sottovalutata. Solo perché qualcuno si iscrive alla tua lista e-mail non significa che sia coinvolto o prezioso.

Questo è come la versione "high fit lead" dell'email marketing.

Puoi definire "attivazione" qui come desideri, ma molti includeranno qualcosa come "aperta una delle prime tre e-mail" o in qualche altro modo per mostrare che la persona sta effettivamente leggendo e aprendo le tue e-mail.

Metriche del valore del cliente

Le metriche del valore del cliente sono in genere variabili continue, il che le rende un po' più difficili da utilizzare come metriche degli esperimenti. Ma sono quasi sempre l'approssimazione più vicina al valore aziendale reale e possono fungere da ottimi indicatori di ritardo del tuo lavoro.

7. Entrate per visitatore

Le entrate per visitatore sono una delle migliori metriche composite per l'e-commerce. Non tutti acquisteranno qualcosa, ma alcuni lo faranno. E alcuni di coloro che acquisteranno acquisteranno una grande quantità di prodotto.

Le entrate per visitatore assegnano un valore medio a ciascun visitatore del sito Web, quindi in questa equazione includi sia la dimensione dell'acquisto che il numero di clienti che acquistano.

8. Valore medio dell'ordine

Il valore medio dell'ordine calcola, tra coloro che hanno acquistato, qual è la dimensione media dell'acquisto. Questo è rilevante, ancora, per i siti di e-commerce in cui è possibile acquistare direttamente sul sito. Potrebbe anche essere ASP (prezzo medio di vendita) nelle offerte B2B.

9. Numero di acquisti

Una sorta di metrica di fidelizzazione per l'e-commerce, puoi tenere traccia del numero di acquisti in un determinato periodo di tempo (mese, trimestre, anno).

Questo tiene traccia degli acquisti ripetuti ed è indicativo sia delle caratteristiche del sito Web che dei canali di marketing per attirare più acquirenti ricorrenti (di solito marketing tramite e-mail e pubblicità a pagamento). Questa è una metrica olistica che cerca non solo di ottimizzare per la vendita, ma anche la seconda e la terza vendita.

10. Conservazione

Nei prodotti SaaS, la fidelizzazione dei clienti è fondamentale per la crescita. Puoi spingere migliaia di utenti a registrarsi, ma se non pagano e continuano a pagare, la tua attività perderà entrate nel tempo.

Mentre molte cose influiscono sulla ritenzione al di là del prodotto stesso, gli esperimenti possono anche aiutare a spostare l'ago sulla ritenzione. Tenere traccia della fidelizzazione come KPI sperimentale diventa piuttosto difficile per molte aziende, tuttavia, poiché si tratta di un lungo ciclo di feedback.

11. Valore a vita del cliente

Infine, il mistico vertice della piramide quando si tratta di metriche composite: il valore della vita del cliente.

Questo prende in considerazione tutte le metriche precedenti come monetizzazione o prezzo medio di vendita, fidelizzazione (per quanto tempo qualcuno rimane un cliente pagante) e anche i tassi di conversione medi, quindi crea una metrica composita utilizzando le formule del valore della vita del cliente per stimare quanto, in media, un cliente vale per la tua attività.

Questa è ovviamente una cosa molto difficile da misurare per esperimento, ma come KPI aziendale, è importante sapere.

Ciò ti consente di capire come aumentare il valore del prodotto e mostra quanto potrebbero essere fattibili determinati canali di marketing e campagne pubblicitarie.

Microconversioni

1. Tariffe di clic (di molti tipi)

La percentuale di clic è il tipo principale di micro-conversione. Che si tratti dall'annuncio alla pagina di destinazione o dalla pagina di destinazione alla richiesta di una pagina demo.

Nell'e-commerce, questo viene spesso monitorato come percentuale di clic sulla pagina del prodotto, o forse anche come un'azione "aggiungi al carrello" o visualizzando il carrello degli acquisti. Questo potrebbe anche essere qualcosa come le tariffe di apertura delle e-mail o le percentuali di clic delle e-mail per gli e-mail marketing. Il tuo strumento di email marketing dovrebbe fornirti facilmente queste informazioni e la possibilità di testare A/B diverse versioni.

Ovviamente, devi fare clic da una posizione per passare alla successiva, quindi la percentuale di clic dovrebbe essere correlata a un volume di acquisti o conversioni più elevato.

Ma se monitori esclusivamente la percentuale di clic come KPI dell'esperimento, puoi spesso giocarci attraverso la copia o l'inganno dell'esperienza utente.

Come dice Lukas Vermeer,

Il CTR è terribile per ottimizzare le prenotazioni alberghiere (ad es. EMK con oggetto "BIRRA GRATUITA" migliorerà il CTR, ma probabilmente ridurrà le vendite una volta che i clienti scopriranno che non c'è birra sul tuo sito, certamente non birra gratis).

Andrew Chen lo chiama conservazione dell'intento e postula che sia uno dei motivi per cui i risultati del test A/B non si traducono nella linea superiore.

2. Clic sui collegamenti

I clic sui collegamenti sono proprio quello che sembra: il numero di persone che fanno clic su un determinato collegamento. Questa è un'altra metrica relativa alla percentuale di clic, ma per alcune attività (ad es. affiliate), fare clic su un collegamento in uscita è un importante indicatore di intenti.

Imposto sempre il monitoraggio dei clic sui collegamenti sui siti Web con cui lavoro, principalmente perché può indicare il comportamento degli utenti del sito Web e opportunità di ottimizzazione.

Alcuni esperimenti, inoltre, sono impostati con l'intento di cambiare la direzione del comportamento dell'utente (a volte mappando a una macro-conversione, ma a volte solo per vedere se possono portare più clic a un nuovo modulo).

3. Il video viene riprodotto

Se hai un video su una pagina di destinazione, tenere traccia di quante persone effettivamente visualizzano il video o lo riproducono è importante.

Tuttavia, ho visto esperimenti in cui la semplice aggiunta di un video aumenta le conversioni senza che molti visitatori visualizzino il video stesso. Quindi, se stai monitorando questo, ti consiglio comunque di mappare i tuoi esperimenti verso la macro-conversione sulla pagina.

4. Completamenti video

Ci sono quante persone hanno riprodotto il video e fino a che punto le persone guardano il video. I completamenti video o il tasso di completamento video ti mostrano fino a che punto una persona media riesce a superare il video.

Ancora una volta, questo può essere importante, specialmente nelle pagine educative, ma ti consiglio comunque di scegliere un KPI aziendale più appropriato come il tasso di conversione dei lead. Puoi ancora tenere traccia dei completamenti del video, e probabilmente dovresti, ma solo perché qualcuno guarda un intero video non significa necessariamente che è più probabile che si converta.

5. Viste del tour del prodotto

Per molte aziende B2B che non hanno un piano di prova gratuito o freemium, un tour interattivo limitato del prodotto è un ottimo modo per mostrare ai visitatori che aspetto ha e che aspetto ha il prodotto.

Ecco un esempio del tour del prodotto di Pendo:

Come KPI, dovresti trattarlo come visualizzazioni di video o qualsiasi tipo di visualizzazione di moduli promozionali. Sebbene possano e spesso siano correlati a un KPI più incentrato sul business come il tasso di conversione, non sempre lo fanno. Quindi tieni traccia di queste cose, ma misura anche la tua macro-conversione come KPI principale dell'esperimento.

6. Tasso di completamento del tour del prodotto

Ancora una volta, ci sono quelli che visualizzano un tour del prodotto e rimbalzano immediatamente, e quei visitatori sono diversi da quelli che visualizzano un tour del prodotto e lo completano. Forse esiste una correlazione tra i tassi di completamento del tour del prodotto e il tasso di conversione, ma potrebbe anche non essercene uno.

Se stai trattando il tour del prodotto come un prodotto in sé, allora ovviamente è importante vedere quante persone lo stanno completando. Questa è una buona metrica UX per il tour del prodotto.

7. Visualizzazioni delle pagine dei prezzi

La maggior parte degli acquirenti B2B visiterà la pagina dei prezzi prima dell'acquisto, anche se è importante quando nel percorso del cliente visitano questa pagina. Così tanti esperti di marketing terranno traccia della percentuale di clic sulla pagina dei prezzi come micro-conversione.

È un po' come la versione aggiunta al carrello che esiste nell'ottimizzazione dell'e-commerce.

Metriche di input per la sperimentazione

Le metriche di input nel tuo programma di sperimentazione sono definite a livello di programma. Non tengono traccia direttamente delle entrate, ma sono azioni correlate ai miglioramenti nelle metriche di output.

Nella maggior parte dei casi, le metriche di input della tua sperimentazione tenteranno di aumentare il rendimento degli esperimenti o di ridurre il costo dell'esecuzione degli esperimenti (attraverso una maggiore efficienza).

Esaminerò 6 metriche di input per la sperimentazione qui.

1. Velocità dell'esperimento

La velocità dell'esperimento misura quanti esperimenti avvii in un determinato periodo di tempo.

In genere, le tre metriche di input che costituiscono la base del ROI sono il numero di esperimenti eseguiti, la percentuale di vincitori e la vincita media.

In poche parole, eseguire più esperimenti (o più varianti per esperimento) aumenta le possibilità di ottenere un vincitore (a condizione che siano esperimenti di buona qualità).

L'aumento della velocità dell'esperimento è ottimo anche come funzione di forzatura; ti aiuta a vedere dove si verificano i colli di bottiglia di sviluppo e produzione e dove sono necessarie risorse aggiuntive.

2. Tariffa conclusiva

Per me, non c'è niente di più scoraggiante di una serie di esperimenti inconcludenti. Preferirei vedere una perdita conclusiva a volte piuttosto che un test inconcludente, perché almeno così posso insinuare che ciò che sto testando è importante per l'esperienza dell'utente.

Pertanto, alcune persone stanno iniziando a monitorare i tassi conclusivi: il numero di esperimenti conclusivi su tutti gli esperimenti che esegui.

Se il tuo programma è in una fase precedente o sembri eseguire molti esperimenti inconcludenti con poco apprendimento, questa potrebbe essere una buona metrica per costringerti a uscire da quella carreggiata.

3. Tasso di vincita

Tutti noi vogliamo condurre esperimenti vincenti. Parte della sperimentazione consiste nell'accettare che non saranno tutti vincitori (se lo fossero, è necessario mettere in discussione la quantità di frutta a bassa pendenza che stai affrontando rispetto a provare nuove cose innovative).

Il tasso di vincita ti mostra, degli esperimenti che esegui, quanti di loro sono vincitori?

Se aumenti il ​​numero di esperimenti e mantieni il tuo tasso di vincita, il tuo ROI aumenta (supponendo i costi marginali per eseguire più esperimenti). Se mantieni la velocità dell'esperimento ma aumenti la percentuale di vincita, aumenta anche il ROI.

Questa è una leva chiave per migliorare il ROI dell'esperimento.

4. Aumento medio per vittoria

Infine, degli esperimenti vincenti che esegui, qual è l'incremento medio con cui vincono?

Questo è molto difficile da controllare, perché se potessimo prevedere l'entità di un esperimento, beh, non avremmo bisogno di eseguirlo.

Tuttavia, è utile monitorare, perché, come la velocità dell'esperimento e la percentuale di vincita, è un chiaro indicatore anticipatore del valore del tuo programma di sperimentazione.

Inoltre, l'incentivazione di vincite maggiori può spesso portare i marketer e i marketer di prodotti a pensare fuori dagli schemi e a provare esperimenti più grandi e innovativi.

5. Tempo di sviluppo

Suddivido il mio processo di esperimento in fasi distinte.

In genere, il flusso di lavoro è simile al seguente:

Idea dell'esperimento > documento dell'esperimento > wireframe > progettazione > sviluppo > QA > eseguire test > analizzare > documento > passare alla produzione

Ho impostato le date di scadenza stimate per ogni passaggio in fase di pianificazione, quindi calcolo il delta tra la data di scadenza prevista e quella effettiva. Se c'è una differenza troppo grande, questo mi mostra che potremmo avere un collo di bottiglia nel processo.

Molto spesso, questo avverrà nella fase di progettazione o sviluppo.

Se riesci a migliorare queste fasi, puoi aumentare la velocità effettiva dell'esperimento, che è uno dei KPI di input chiave che esaminiamo.

6. Tempo di produzione

Simile al tempo di sviluppo, il tempo alla produzione misura una fase del processo di esperimento: quanto tempo ci vuole per passare dall'analisi di un esperimento vincente alla sua implementazione dal vivo nel prodotto o sul tuo sito web.

Questa fase è spesso sottovalutata. Gli sperimentatori celebreranno una vittoria e poi passeranno a quella successiva, ma la velocità con cui si ottiene qualcosa implementato è importante. Per uno, riduce il rimpianto: il tempo in cui stai operando con una variante non ottimale.

In secondo luogo, il miglioramento in questa fase consente di dedicare sempre più tempo agli sviluppatori per impostare esperimenti successivi.

Metriche di composizione e criterio di valutazione globale

C'è un concetto nella sperimentazione noto come criterio di valutazione globale. Si potrebbe anche chiamarla una metrica della stella polare.

Questa è una metrica che tiene conto delle metriche del guardrail (ovvero metriche da tenere d'occhio e che potrebbero implicare danni o perdite di esperienza dell'utente). Le metriche del guardrail potrebbero includere cose come la frequenza di rimbalzo, la frequenza di uscita o persino i punteggi attitudinali come NPS o CSAT.

La valutazione complessiva a volte combina anche alcune metriche di output diverse in un'unica metrica di successo.

Queste metriche non sono quasi mai indicatori a breve termine come i clic, ma piuttosto tracciano un obiettivo macro-aziendale.

Ronny Kohavi ha fornito questi esempi, "unità acquistate, entrate, profitto, valore di vita atteso o una combinazione ponderata di questi".

Sebbene la creazione di un criterio di valutazione generale sia auspicabile, in genere richiede molto lavoro di ingegneria dei dati, soprattutto se il tuo modello di business è un mercato o qualcosa di meno semplice dell'e-commerce (sebbene anche in questo caso, sia difficile tenere traccia del valore della vita del cliente su a per esperimento).

Il punto più ampio, tuttavia, è questo: più ci si avvicina alla formazione di un indicatore di successo completo, che tenga conto del valore aziendale a lungo termine oltre a tenere conto delle metriche del guardrail, più chiari saranno il programma di esperimento e i suoi obiettivi.

Come scegliere gli obiettivi di sperimentazione e i KPI

Ok, abbiamo esaminato una dozzina di metriche di output e diverse metriche di input.

La domanda, quindi, è come tu e la tua azienda scegliete su cosa concentrarvi, perché *è* una scelta e da quella scelta fluiranno tutti i tipi di incentivi, comportamenti e azioni.

Il modo migliore che ho escogitato per scegliere metriche, obiettivi e KPI è creare un albero degli obiettivi.

Speero ha un ottimo esempio di visualizzazione dell'albero degli obiettivi qui:

In esso, iniziano con obiettivi a livello aziendale, che includono metriche di soddisfazione del cliente. Questo sfocia negli obiettivi a livello di team, che si concentrano sullo sviluppo di funzionalità di successo. Quindi rallenta verso obiettivi di livello personale, che si concentrano sul test e sull'ideazione di nuove proposte di funzionalità.

Credo che tutti i team e gli obiettivi personali dovrebbero riflettere e contribuire direttamente agli obiettivi aziendali. Questo è l'allineamento e quando raggiungi risultati che contribuiscono al raggiungimento degli obiettivi aziendali, avrai molta più eccitazione per il tuo programma perché stai mostrando un ROI reale verso la missione aziendale.

L'aspetto che avrà nella tua azienda dipende da molti fattori. L'importante è passare attraverso questo esercizio e pensare in modo critico a quali obiettivi si scelgono.

Conclusione

Il modo in cui definisci i tuoi obiettivi nella sperimentazione influisce su quasi tutte le azioni a valle di tali obiettivi.

In teoria, ci sono migliaia di metriche che potresti monitorare in modo fattibile sia a livello di output che di input. La scelta delle metriche giuste, non solo per monitorare ma per misurare l'efficacia dei tuoi esperimenti o del tuo programma, è di fondamentale importanza per il successo del tuo programma.

Quindi, in realtà, credo che dovresti scegliere di concentrarti sul minor numero di metriche possibile. Ciò consente di concentrarsi, ma ti dà anche il tempo di migliorarli nel corso di mesi o anni.

Mi piace dividere i miei obiettivi in ​​due categorie: metriche di input e output. Le metriche di output sono ciò che giudico i miei esperimenti individuali oi risultati del mio programma di sperimentazione. Sono ciò che riporto al team e ai dirigenti.

Le metriche di input mi aiutano a creare un programma più efficace. Sono ciò su cui giudico i miei sforzi e quelli della mia squadra.

Come definisci le metriche di sperimentazione per il tuo programma? Ti concentri sulle metriche di input o solo sugli output e sui risultati?