Dovresti eseguire esperimenti simultanei? Una guida per evitare risultati contrastanti

C'è un certo dibattito nel mondo dell'ottimizzazione sull'opportunità o meno di eseguire esperimenti simultanei. Alcuni credono che l'esecuzione di test A/B simultanei confonderà i risultati e produrrà dati imprecisi. Altri sostengono che l'esecuzione simultanea di esperienze A/B su varie pagine del tuo sito Web può aiutarti a testare più cose e identificare le strategie vincenti più velocemente.

Allora, qual è giusto?

In questo post del blog esploreremo i vantaggi e gli svantaggi degli esperimenti simultanei e ti aiuteremo a decidere quale approccio è il migliore per il tuo programma di ottimizzazione.

Dopo aver letto questo articolo del blog, sarai in grado di rispondere alle seguenti domande:

• Posso eseguire esperienze URL divise simultanee?
• Posso eseguire esperienze A/B simultanee?
• Posso eseguire un'esperienza A/A e un'esperienza A/B contemporaneamente?

La risposta breve è sì , più esperienze possono essere eseguite contemporaneamente su una singola pagina o insieme di pagine. Tuttavia, tieni presente che il bucket in un'esperienza può avere un impatto sui dati di un'altra esperienza che si verifica contemporaneamente.

Come si verifica la sovrapposizione dell'esperienza e dovresti essere preoccupato?

C'è una cosa da tenere a mente quando si eseguono esperimenti simultanei. In alcuni casi, due modifiche possono interagire, determinando un effetto diverso sul comportamento quando combinate rispetto a quando sono isolate. Ciò può verificarsi quando gli esperimenti vengono eseguiti sulla stessa pagina, con lo stesso flusso utente e così via.

Diamo un'occhiata ad alcuni esempi di dove potrebbe verificarsi una sovrapposizione di esperienze e se dovrebbe essere considerata un problema.

Testare lo stesso elemento

Un esempio di test A/B che puoi eseguire è la modifica del design delle pagine dei tuoi prodotti per evidenziare le funzionalità dei premi, come una politica di restituzione gratuita e la consegna gratuita.

Uno dei nostri clienti ha testato questo scenario esatto. Sulla base dei dati del loro servizio clienti, hanno ipotizzato che i clienti non fossero a conoscenza della politica di restituzione gratuita del marchio perché la funzione non era sufficientemente visibile sulle pagine dei prodotti. Hanno quindi eseguito un test A/B che mostrava la funzione in modo più evidente e hanno misurato la risposta dei clienti.

Ecco come appaiono l'originale e la variazione:

Tuttavia, l'implementazione del test è stata un po' più complessa poiché le modifiche non dovevano essere applicate a tutte le pagine del prodotto. Alcuni prodotti non erano idonei per il reso gratuito, alcuni articoli in saldo non potevano essere modificati, ecc. Per questi motivi, hanno deciso di eseguire un'altra esperienza A/B in parallelo cambiando lo stesso elemento e aggiungendo una copia di disclaimer su molti queste pagine dicono: "L'oggetto non è restituibile".

Come puoi vedere, le due esperienze A/B stanno interessando lo stesso elemento del sito web e quindi causando una sorta di sovrapposizione nei risultati, rendendo difficile trarre conclusioni chiare.

Test sulla stessa pagina

Un altro esempio di esperienza A/B è stato quando un nostro cliente ha ottimizzato le pagine dei propri prodotti per aumentare le visite all'ordine.

Analizzando ogni elemento delle pagine dei prodotti e monitorando le conversioni all'obiettivo, hanno scoperto che i link della barra di navigazione principale hanno ricevuto il maggior numero di clic, in particolare "Acquista ora". Il nostro cliente ha riconosciuto l'importanza di inviare traffico più qualificato alle pagine delle categorie piuttosto che lasciarle vagare sulla home page.

Di conseguenza, il cliente ha deciso di sostituire la sezione “Shop Now” con altre categorie come “super saver”, “bazaar” e così via. Inoltre, la sezione "Acquista ora" è stata spostata sul lato sinistro del sito per rendere la pagina visivamente più accattivante e attirare visitatori qualificati.

Ecco come appariva inizialmente la pagina del prodotto:

Nel frattempo, è stato condotto un altro esperimento A/B sulle pagine dei prodotti per determinare se un colore diverso del pulsante "Acquista ora" avrebbe comportato conversioni migliori.

Poiché queste due esperienze A/B influiscono sugli stessi elementi sulla stessa pagina, nei risultati è inevitabile una certa sovrapposizione.

Testare gli utenti che partecipano alla stessa canalizzazione/flusso

La sovrapposizione delle esperienze potrebbe verificarsi anche durante il test degli utenti che partecipano alla stessa canalizzazione. La maggior parte dei siti Web genera conversioni attraverso più canalizzazioni. Sebbene l'obiettivo principale possa essere sugli acquisti, la creazione o l'acquisizione di account può anche essere una forza trainante significativa nel business.

È probabile che l'esecuzione di esperienze su una pagina di prodotto abbia un impatto sulla conversione di acquisto; tuttavia, testare il layout del modulo su una pagina di creazione dell'account può aiutare a migliorare la canalizzazione. Il test di acquisizione include qualsiasi cosa, dall'indirizzamento del traffico al sito alla raccolta di indirizzi e-mail per scopi di marketing.

Avere esperienze sulle stesse pagine del sito Web può causarne la sovrapposizione, causando bug. È probabile che i risultati vengano influenzati se gli obiettivi dell'esperienza sono allineati con quelle stesse canalizzazioni.

Diciamo che stai cercando di ottenere registrazioni più complete. All'atterraggio sul tuo sito, agli utenti viene chiesto di registrarsi:

Per impostare una canalizzazione di conversione per le registrazioni, puoi monitorare i seguenti eventi:

• N. di utenti al momento della registrazione
• N. di iscrizioni completate
• N. di caricamenti della schermata della home page

È quindi possibile formulare diverse ipotesi su come migliorare il funnel testando le seguenti modifiche:

1. Aggiungi l'onboarding al processo di registrazione
2. Riduci il modulo di registrazione per renderlo più intuitivo
3. Rimuovere completamente la registrazione

In questo caso, tuttavia, non è possibile determinare l'impatto esatto di una modifica rispetto al test A/B poiché le esperienze A/B influiscono sulla stessa canalizzazione, quindi ci sarà una certa sovrapposizione tra i loro risultati.

Esecuzione di esperienze a livello di sito

Potrebbero esserci momenti in cui è necessario sperimentare un elemento che appare su tutte le pagine. Supponiamo che tu voglia provare a modificare il colore o la dimensione del carattere dell'invito all'azione a piè di pagina per vedere quante conversioni puoi ottenere.

Il processo è semplice da implementare con Convert: aggiungi semplicemente tutte le pagine al tuo targeting.

È tutto!

Il targeting a livello di sito, tuttavia, influirà sugli altri test A/B in esecuzione su quelle pagine, determinando una sovrapposizione nell'esperienza.

Testare lo stesso pubblico/visitatori

Considera il seguente caso di studio: desideri valutare due aspetti del tuo sistema di e-commerce, quindi sviluppi due test A/B per utenti mobili e utenti desktop.

1. Stai cercando di vedere se rendere rosso il pulsante "Aggiungi al carrello" anziché blu aumenta i clic.
2. Stai provando una nuova procedura di pagamento che riduce il numero di passaggi da cinque a due per vedere se ottieni più registrazioni.

Se entrambe le azioni portano allo stesso evento di successo (una transazione completata), può essere difficile determinare se il pulsante rosso o la migliore esperienza di pagamento abbia incrementato le conversioni su desktop e dispositivi mobili.

Per evitare la sovrapposizione dei risultati e altri problemi di erogazione dell'esperienza, dovresti eseguire i test precedenti su segmenti di pubblico diversi (ad esempio, solo dispositivi mobili o solo desktop).

L'unico svantaggio del test di segmentazione è che i tuoi numeri di traffico saranno inferiori, il che potrebbe influire sulla durata del test. Tuttavia, poiché si basa su tecniche di personalizzazione, questo è il metodo preferito per evitare la sovrapposizione di esperienze durante il test A/B. Quando i segmenti vengono scelti con attenzione, il loro impatto sull'intera esperienza sarà minimo.

Esecuzione di un'esperienza che potrebbe avere un impatto significativo su un obiettivo condiviso con altre esperienze

Inutile dire che se i tuoi obiettivi sono simili nei test, i tuoi risultati saranno incentrati su questo obiettivo individuale. Affinché ogni esperienza raggiunga il suo scopo, gli obiettivi di ciascuna non devono entrare in conflitto tra loro.

Strategie per eseguire test di successo

Non esiste una soluzione valida per tutti quando si tratta di eseguire test che non si sovrappongono. Man mano che ti muovi attraverso ogni fase del tuo viaggio di sperimentazione, le tue esigenze determineranno il modo in cui procedi.

Per aiutarti a prendere una decisione informata, esaminiamo le strategie più comuni che puoi utilizzare per affrontare la sovrapposizione.

1. Esperienze simultanee senza sovrapposizione (isolate)

La strategia più semplice è in genere quella che hai utilizzato fino a questo punto: esperienze isolate che vengono eseguite contemporaneamente.

Come discusso in precedenza, le esperienze isolate non si sovrappongono ei risultati di un'esperienza non influenzeranno i risultati di un'altra.

I seguenti casi richiedono questa strategia:

• Quando la sovrapposizione è tecnicamente impossibile : se stai testando in un modo che escluda tutte le possibili combinazioni di sovrapposizione menzionate sopra.
• Quando l'esperienza dell'utente può essere interrotta : alcune combinazioni di esperienze possono rovinare l'esperienza dell'utente, quindi queste esperienze devono essere eseguite separatamente.
• Quando l'obiettivo primario è una metrica precisa e quindi solo esperimenti isolati hanno senso.

In questi casi, non è possibile che un'esperienza influisca sull'altra se esegui due esperienze contemporaneamente su due pagine diverse con due obiettivi diversi. I visitatori che prendono parte all'esperienza 1 non prenderanno parte all'esperienza 2 e viceversa.

Al di là dei casi precedenti, dal punto di vista dell'efficienza, non ha senso eseguire esperienze in corsie isolate simultanee. L'esecuzione di due esperienze in corsie separate richiede lo stesso tempo dell'esecuzione una dopo l'altra per un determinato numero di utenti o sessioni. Se hai 10.000 utenti ogni mese e devi eseguire due esperienze, ciascuna delle quali richiede 5.000 persone, ci vorrà comunque un mese per completare l'esperienza.

Inoltre, questa strategia ha un evidente svantaggio: le esperienze di corsa in corsie isolate impediranno indubbiamente di indagare sulle potenziali interazioni tra le variazioni.

Sarebbe come fare un esperimento sugli utenti desktop prima di rendere disponibile la variante vincente sia agli utenti desktop che mobili se ci fossero corsie di test separate. L'impatto sugli utenti mobili potrebbe essere lo stesso degli utenti desktop, ma è anche possibile che ci sia una notevole differenza.

2. Esperienze non simultanee (sequenziali).

Se non c'è modo di evitare la sovrapposizione delle esperienze, dovresti considerare l'utilizzo di esperienze sequenziali. Significa che ogni esperienza che ha il potenziale per sovrapporsi a un'altra dovrebbe essere eseguita in sequenza.

Puoi utilizzare le colonne Converti "Iniziato/Pianificato" e "Arrestato" per avere visibilità sui tuoi test sequenziali:

Questa strategia può essere resa ancora più efficace con una tabella di marcia per la definizione delle priorità.

I framework PIE e ICE sono due opzioni efficaci per dare priorità alle esperienze per il tuo team.

Il framework PIE (sviluppato da Widerfunnel) è un popolare metodo di definizione delle priorità che classifica i test in base a tre criteri: potenziale, importanza e facilità. Utilizzando il punteggio PIE, puoi classificare e dare priorità a ciascun test in base al punteggio medio di ciascuno di questi criteri.

Il modello Impact, Confidence, and Ease (ICE) (sviluppato da Sean Ellis di Growthhackers) è molto simile a PIE, tranne per il fatto che utilizza un fattore di fiducia al posto di "potenziale".

Non avere una tabella di marcia limiterà la tua capacità di sfruttare al meglio il tuo traffico e le tue risorse.

È possibile, ad esempio, accumulare involontariamente un backlog di idee per la home page che devono essere implementate una dopo l'altra. Se questo collo di bottiglia persiste, potresti essere costretto a un gioco di attesa invece di poter testare altre parti del tuo sito Web contemporaneamente. Oppure potresti invece eseguire più test contemporaneamente senza tenere conto di eventuali effetti di sovrapposizione, che produrrebbero risultati sospetti.

3. Esperienze simultanee con sovrapposizione

Dopo aver analizzato le tue esperienze, hai concluso che si sovrappongono; pertanto, è necessario isolarli. Come si fa a farlo? È semplice! Esegui il primo test, poi il secondo, giusto? La sezione sequenziale spiega come funziona.

Immagina, tuttavia, di voler fare alcuni test durante il periodo natalizio o durante le festività natalizie perché, per qualsiasi motivo, questo è il momento in cui ricevi più visitatori e le esperienze possono avere un impatto più significativo. Allora cosa? Sei in grado di gestire tutte le tue esperienze una dopo l'altra? Ovviamente no.

Puoi eseguire le tue esperienze contemporaneamente senza preoccuparti della sovrapposizione utilizzando le strategie seguenti.

un. Esperienze A/B/N

La prima strategia in questa categoria è il test A/B/N, che prevede il test di più di due variazioni contemporaneamente. A/B/N non si riferisce a una terza variazione, ma a un numero qualsiasi di variazioni aggiuntive: A/B/C, A/B/C/D e qualsiasi altro test A/B esteso.

I principi del test A/B/N rimangono gli stessi indipendentemente dal numero di variazioni aggiuntive: dividere gli utenti in gruppi, assegnare variazioni (tipicamente di landing page o altre pagine web) ai gruppi, monitorare il cambiamento di una metrica chiave (tipicamente tasso di conversione ), esaminare i risultati dell'esperienza per la significatività statistica e distribuire la variazione vincente.

Tuttavia, sperimentare troppe varianti (quando se ne può scegliere solo una) può dividere ulteriormente il traffico verso il sito web. Può quindi aumentare il tempo e il traffico necessari per ottenere un risultato statisticamente significativo e creare “rumore statistico”.

È anche importante non perdere di vista il quadro generale quando si eseguono più esperimenti A/B/N. Non vi è alcuna garanzia che variabili diverse funzionino bene insieme, solo perché si sono comportate al meglio nei loro esperimenti.

In questi casi, prendere in considerazione l'esecuzione di test multivariati per testare tutte le variazioni e assicurarsi che i miglioramenti vengano apportati alle metriche di primo livello.

b. Esperienze multivariate (MVT): combina molte esperienze in un unico test

Un'esperienza multivariata (MVT) esegue numerose combinazioni di modifiche diverse contemporaneamente.

Per determinare quale elemento, tra tutte le possibili combinazioni, ha la maggiore influenza sugli obiettivi, molti elementi devono essere modificati contemporaneamente sulla stessa pagina.

A differenza dei test A/B/N, i test multivariati ti consentono di determinare quale combinazione di modifiche soddisfa meglio le richieste dei tuoi visitatori. Con il test multivariato, puoi determinare quale combinazione di variabili funziona meglio quando vengono modificate più variabili.

Ad esempio, se desideri testare due titoli diversi, due immagini e due colori dei pulsanti sulla pagina, il tuo test MVT sarà simile al seguente:

Il test MVT di cui sopra testa diversi elementi (titoli, colore e immagine) contemporaneamente in diverse combinazioni.

Come impostare un MVT in Converti esperienze

Innanzitutto, dalla scheda Esperienze nel tuo account Converti, seleziona "Nuova esperienza":

Ora puoi dare un nome alla tua esperienza. Usiamo "Il mio primo MVT", selezioniamo l'opzione multivariata e facciamo clic su continua:

Ci sono sezioni e variazioni in un MVT. Le sezioni sono le posizioni della tua pagina in cui desideri testare una o più varianti.

Di seguito sono riportati esempi di sezioni:

• Logo
• Titolo
• Primo paragrafo
• Modulo di partecipazione

Sono previste anche variazioni (in queste sezioni), che sono così strutturate:

• Sezione: Logo
  
  
  • Logo originale
  • Variante 1) logo a sinistra
  • Variante 2) logo a destra

• Sezione: Titolo
  
  
  • Titolo originale
  • Variante 1) titolo "Cerca ora amico mio"
  • Variante 2) titolo "Dai la ricerca a Go"
• Sezione: Primo comma
  
  
  • Primo comma originale
  • Variante 1) primo paragrafo “rosso”
  • Variante 2) primo paragrafo “blu”
• Sezione: Modulo di partecipazione
  
  
  • Modulo di adesione originale
  • Variante 1) modulo di adesione con campo extra cognome
  • Variante 2) modulo di adesione con checkbox "white paper"
  • Variante 3) modulo di attivazione mobile a sinistra
  • Variante 4) modulo di adesione "volto di donna"

Ecco come apparirà la struttura sopra in Converti Visual Editor.

L'URL della pagina che desideri testare verrà caricato nell'editor visivo. Successivamente, puoi modificare la prima variazione. La modifica del contenuto è semplice come fare clic su qualsiasi area evidenziata in arancione. Facendo clic sul segno più verde accanto ai nomi delle varianti, puoi aggiungere nuove varianti.

Puoi, ad esempio:

• Fare clic su un elemento da modificare (gli elementi sono evidenziati con bordi arancioni)
• Seleziona un'azione nel menu, ad esempio cambiare un'origine immagine

Il riepilogo dell'esperienza MVT sarà simile al seguente:

MVT, tuttavia, ha alcune restrizioni.

La prima restrizione riguarda il numero di visitatori necessari per rendere statisticamente significativi i risultati della tua esperienza multivariata.

L'aumento del numero di variabili in un test multivariato può comportare molte variazioni. A differenza di un test A/B standard, in cui il 50% del traffico è allocato alla versione originale e il 50% alla variazione, un test multivariato alloca solo il 5, 10 o 15% del traffico a ciascuna combinazione. In pratica, ciò si traduce in periodi di prova più lunghi e nell'impossibilità di raggiungere la significatività statistica necessaria per prendere una decisione.

Un'altra restrizione è la complessità degli MVT. Un test A/B è spesso più facile da configurare e analizzare rispetto a un test multivariato. Anche la creazione di un test multivariato di base richiede molto tempo ed è troppo facile che qualcosa vada storto. Potrebbero essere necessarie alcune settimane o addirittura mesi prima che si manifesti un piccolo difetto nel design dell'esperienza.

Se non hai molta esperienza di test, eseguendo una varietà di diversi tipi di test su diversi siti Web, non dovresti nemmeno prendere in considerazione un test multivariato. Potresti stare meglio con la prossima strategia che sto trattando, esperienze che si escludono a vicenda.

c. Esperienze reciprocamente esclusive

Puoi anche eseguire esperienze con sovrapposizione simultanea assicurandoti che si escludano a vicenda. Tieni presente che, a seconda della tua piattaforma di test A/B, potresti essere in grado di creare esperienze che si escludono a vicenda. In sostanza, devi dividere il tuo traffico in tanti gruppi quante sono le esperienze in corso e assicurarti che ogni gruppo partecipi a una sola esperienza.

Converti consente l'esclusività reciproca e di seguito mostreremo come configurarlo in modo che i visitatori che visualizzano l'esperienza A non visualizzino l'esperienza B.

L'ordine in cui vengono eseguite le esperienze:

Il primo passo nella configurazione di questo è capire come vengono eseguite le esperienze di conversione. Le condizioni dell'esperienza vengono valutate in sequenza su una pagina, tenendo conto del loro ID esperienza.

L'esperienza con l'ID più basso viene valutata per prima e, dopo che tutte le sue condizioni sono soddisfatte, viene avviata una nuova esperienza. Quindi, nello screenshot qui sotto, l'esperienza con l'ID 100243925 viene eseguita prima e il resto segue.

Due esperienze mutualmente esclusive

Questi passaggi devono essere seguiti se hai due esperienze in esecuzione contemporaneamente e vuoi renderle mutualmente esclusive:

1. Imposta la distribuzione del traffico a meno del 100% alla prima esperienza

Imposta l'esperienza con l'ID più basso per utilizzare meno del 100% del traffico. Puoi farlo nella sezione Distribuzione del traffico del Riepilogo esperienza.

2. Imposta la condizione del pubblico di "L'esperienza inserita in un secchio è No" sulla seconda esperienza

Quindi, nella seconda esperienza, imposta una condizione del pubblico di "Bucketed in Experience is No". Puoi trovarlo se aggiungi un nuovo pubblico (sotto Dati visitatori). Questa condizione significa che il visitatore verrà testato solo se non è stato testato prima. Ciò impedirà che lo stesso visitatore venga testato due volte.

Molte esperienze mutuamente esclusive

Se hai più di due esperienze che devono escludersi a vicenda, puoi seguire questi passaggi:

1. Imposta la distribuzione del traffico per tutte le esperienze al di sotto del 100%

Imposta tutte le esperienze parallele per utilizzare solo meno del 100% del traffico. Puoi farlo nella sezione Distribuzione del traffico del Riepilogo esperienza.

2. Imposta un pubblico avanzato in base al cookie del visitatore

Quindi, in tutte le esperienze tranne l'esperienza con l'ID più basso, utilizza un pubblico avanzato basato sui cookie dei visitatori per escludere i visitatori che sono stati inclusi nelle altre esperienze parallele.

Ad esempio, supponiamo di avere queste 4 esperienze:

1. Esperienza A con ID 123456, distribuzione del traffico 80%
2. Esperienza B con ID 123457, distribuzione del traffico 50%
3. Esperienza C con ID 123458, distribuzione del traffico 30%
4. Esperienza D con ID 123459, distribuzione del traffico 75%

L'esperienza B dovrebbe avere questo pubblico avanzato:

L'esperienza C dovrebbe avere questo pubblico avanzato:

E infine, Experience D dovrebbe avere questo pubblico avanzato:

Come puoi vedere sopra, il valore del cookie è formattato come segue:

xxxxxx.{v.1-

Ciò accade perché se stai cercando di escludere i visitatori che sono stati inclusi in un'esperienza configurata con meno del 100% di traffico, viene comunque scritto un cookie se il visitatore soddisfa le condizioni di Area del sito e Pubblico ma a causa della distribuzione del traffico, il visitatore non è stato incluso in quell'esperienza.

Il cookie di conversione _conv_v sarà simile a questo:

exp:{12345678.{v.1-g.{}}}

Nota che nel formato sopra non c'è alcun valore di variazione – solo v.1 – perché il visitatore non è stato incluso nell'esperienza. Tuttavia, ne teniamo traccia con i cookie in modo che la prossima volta che il visitatore visiterà la pagina sarà nuovamente escluso dalla stessa esperienza.

Conclusione

Avere più esperienze in esecuzione contemporaneamente introduce alcune complessità: non sei sempre sicuro di quali test aumentino le conversioni o se ci siano interazioni nascoste tra di loro. Tuttavia, questo non è un grosso problema in quanto esistono strategie per mitigare queste complessità.

Abbiamo discusso 5 strategie per affrontare i problemi causati da più test eseguiti contemporaneamente:

1. Esperienze di corsa simultanee quando non si sovrappongono l'una all'altra
2. Esecuzione di esperienze in sequenza quando non è possibile evitare che le esperienze si sovrappongano
3. Esecuzione di esperienze A/B/N
4. Esecuzione di test MVT
5. Esecuzione di esperienze che si escludono a vicenda

Abbiamo anche mostrato come Convert supporta tutte le strategie di test di cui sopra, rendendolo uno strumento molto versatile.

È importante tenere conto di tutte queste complessità quando si esegue il test A/B, in modo da poter selezionare la strategia più appropriata in ogni caso. Saremo più che felici di aiutarti se hai ancora domande.