La guida completa ai test multivariati nel 2022

I test multivariati (MVT) non sono solo diversi test A/B in esecuzione contemporaneamente?

No. Questo è uno dei miti più popolari su MVT. È molto più sfumato di così.

I test multivariati sono come i test A/B ma stai testando il tuo controllo rispetto a più varianti, non una. Vedi, non è solo A contro B, è anche contro C, D, E e così via. Ed è un modo efficiente per i siti ad alto traffico di trovare la combinazione di modifiche che offre le prestazioni migliori.

Così…

• Quando dovresti usare gli MVT invece dei test A/B?
• Il test multivariato è uguale al test A/B/n?
• Quali sono alcuni esempi di test multivariati?
• Come puoi eseguirne uno per ottenere risultati affidabili?

Risponderemo alle tue domande sui test multivariati, migliorando le tue capacità di sperimentazione e CRO nel processo in modo che alla fine di questa guida tu possa distribuire le tue in 30 minuti.

Se stai cercando di portare le tue capacità di sperimentazione al livello successivo, allora questa guida è per te.

Suona bene? Cominciamo…

Che cos'è il test multivariato?

Immagina di voler testare diverse versioni di vari elementi su una pagina web contemporaneamente per imparare come si comportano insieme, il test multivariato è il test che esegui.

Il test multivariato (test MVT) è una tecnica per testare più variabili su una pagina Web in diverse combinazioni. Queste possibili combinazioni creano più di una variante della pagina, da qui il “multi”.

Quindi, il test multivariato è simile al test A/B/n perché stiamo testando due o più variazioni rispetto al controllo. La differenza è che i test A/B/n sono invariabili, mentre i test multivariati verificano una combinazione di modifiche in tandem.

Ad esempio, se desideri testare due titoli diversi, due immagini e due colori dei pulsanti sulla pagina, il tuo test MVT sarà simile al seguente:

Nel test MVT sopra, stai testando diversi elementi (titoli, colore e immagine) contemporaneamente in diverse combinazioni per trovare quello migliore.

Ma ciò non significa che non sia possibile fare più di due variazioni di un singolo elemento. Puoi averne 3, 4 o più e testarli contemporaneamente. Le persone preferiscono semplicemente un cambiamento in modo da poter ricondurre ad esso l'aumento del tasso di conversione.

Un'altra cosa importante da notare è che il test MVT non è lo stesso del test simultaneo . Il test simultaneo esegue più esperimenti contemporaneamente sullo stesso set di campioni. E questo può causare interferenze.

Un test simultaneo può essere simile al seguente: eseguire un test A/B per trovare il titolo migliore tra due versioni ed eseguire un test MVT per trovare la migliore combinazione di titolo, immagine dell'eroe e CTA o pulsante di azione sulla stessa pagina di destinazione al contemporaneamente.

Nei test A/B/n (o multivariati), stiamo lavorando con più varianti che servono la stessa ipotesi di comportamento dell'utente. Immagina che molti test A/B su quella pagina di destinazione vengano eseguiti contemporaneamente per rispondere a una domanda. Ad esempio, "Quale versione di questo lotto ci dà la spinta migliore?"

Test multivariato vs. test A/B: qual è la differenza?

Può sembrare che il test MVT sia una forma più avanzata di test A/B per l'occhio inesperto. Ma entrambi i tipi di test sono molto diversi.

La differenza tra il test A/B e il test multivariato risiede nel numero di varianti testate contemporaneamente. Il test A/B avrà una singola variante testata rispetto al controllo, mentre il test multivariato ne avrà due o più.

Il test A/B verifica un elemento. Ad esempio, stai testando l'aggiunta di un'immagine alla tua pagina web. Il tuo esperimento potrebbe assomigliare a questo:

• Controllo = Nessuna immagine
• Variazione 1 = Immagine

In questo caso, stai solo testando l'immagine sul tuo sito Web, quindi è un test A/B.

Nel test A/B/n, come nel test multivariato, puoi avere più varianti. Ma la differenza è che, in un test A/B/n, stai testando solo un elemento (o variabile), mentre in un test multivariato stai testando più elementi in ciascuna variante.

Ecco un esempio eccezionale da iProspect, un'agenzia partner di conversione. L'agenzia ha eseguito un test che includeva informazioni sulla pagina dei prezzi. Il loro esperimento prevedeva:

• Un controllo senza informazioni sui prezzi,
• Variante 1 con un prezzo di partenza basso,
• Variante 2 con un prezzo di partenza elevato.

Riuscite a indovinare che tipo di test è questo?

In questo caso, stiamo testando solo un elemento, aggiungendo informazioni sui prezzi, quindi abbiamo un tipo di test A/B/C (o A/B/n).

Quando si tratta di quale sia il migliore tra i test A/B e i test multivariati, dipende da ciò che stai cercando di ottenere. Ci sono momenti in cui gli MVT sono più efficienti dei test A/B.

Se vuoi testare diversi elementi su una pagina (e i loro effetti di interazione), è più facile usare gli MVT invece dei test A/B. Con i test A/B, devi creare più test consecutivi per variazioni di elementi. Nel frattempo, multivariate li gestisce contemporaneamente.

Quando eseguire test multivariati?

Quando vuoi misurare le prestazioni di una variante rispetto all'originale, usa il test A/B. Funziona se stai modificando un elemento, ad esempio, un titolo diverso o un colore diverso del pulsante. Finché tali modifiche rientrano in una variante e ottieni A contro B.

Quando hai più di una variante testata rispetto al controllo, ma modifichi solo un elemento alla volta, usa il test A/B/n.

Illustriamo: vuoi verificare se l'aggiunta di un titolo alla tua pagina di destinazione migliorerà le conversioni. Puoi fare un test A/B/n come Split Base, un'agenzia partner di conversione. Hanno eseguito un test per determinare se l'aggiunta di un titolo basato sui vantaggi aumenterà le conversioni.

PS: è successo! Ha aumentato la linea di fondo del 27%.

Utilizzi il test multivariato quando hai più di una variante e più di una variabile. Supponiamo che tu abbia altre 2 idee per i titoli e opzioni CTA e ciò si traduce nella creazione di varianti C e D, MVT è il modo più efficiente per vedere come interagiscono queste modifiche.

“E se usassi il titolo 2 con il colore del pulsante 3? In che modo ciò influirà sul numero di iscrizioni?" Questo è il tipo di domande a cui rispondono gli MVT: l'effetto sulle prestazioni causato dalle modifiche degli elementi della pagina quando lavorano insieme allo stesso tempo.

Il test multivariato andrà oltre il test di un titolo e testerà più varianti di quella pagina. È più complesso da progettare ed eseguire, quindi sceglierlo rispetto al test A/B deve valerne la pena.

Spesso, il test A/B è sufficiente per fornire le risposte che stiamo cercando. MVT è molto più adatto nei casi in cui ritieni che una o più varianti abbiano la possibilità di battere A e B.

Alcuni di questi casi sono:

1. Hai un volume di traffico elevato e vuoi raccogliere più informazioni in un periodo di tempo più breve. Il test multivariato offre ai siti ad alto traffico l'opportunità di testare una combinazione di idee in un tempo più breve, ma queste devono essere idee di alta qualità per non sprecare risorse.
2. Devi sapere quale combinazione di elementi ha generato un aumento della conversione. Perché una sequenza di vari test A/B sarà semplicemente ridondante.

È difficile distribuire una variante in cui sono incorporate tutte le modifiche desiderate. Forse la tua piattaforma di test non consente quel livello di libertà. Questo è un modo per aggirarlo. Ma se è impossibile codificare queste modifiche in un secondo momento, non sarai in grado di utilizzare i risultati del test.

I vantaggi del test multivariato

Il test multivariato ha un impatto innegabile sui tassi di conversione e sulle entrate. Pensaci. Se così non fosse, nessuno parlerebbe di usarlo!

Uno dei vantaggi del test MVT è che ti consente di scoprire in che modo le modifiche sul tuo sito Web influiscono sui tassi di conversione. E il test multivariato consente di misurare l' effetto di interazione tra queste modifiche. Puoi misurare l'effetto combinato di diversi piccoli cambiamenti e vedere come ciò influisce sulla tua velocità di conversazione.

Gli svantaggi dei test multivariati

Ci sono ragioni per cui solo i siti Web con un'elevata quantità di traffico e budget elevati eseguono test multivariati. Parliamo degli aspetti negativi dell'esecuzione di un test MVT.

1. Richiede un campione di grandi dimensioni

Più modifiche agli elementi stai testando, più variazioni avrai. Ognuna di queste varianti deve ricevere traffico sufficiente per raggiungere stat sig, quindi dovrai aspettare più a lungo per ottenere risultati accurati. Ecco perché molti siti Web non possono eseguire test MVT perché mancano del traffico.

2. I test MVT richiedono tempo

Come accennato in precedenza, ogni variante ha bisogno di traffico e molto. Più combinazioni stai testando, più variazioni diverse e più tempo dovrai aspettare.

Ma questo è giustificato nella maggior parte dei casi CRO. Perché se dovessi dividere un test MVT in una sequenza di test A/B, spenderai più tempo e traffico.

3. La corsa costa di più

Avrai bisogno di tempo (e denaro) extra per sviluppare e controllare ogni variante. Ecco perché la tua decisione di eseguire questi test su test A/B più semplici deve essere fondata su solide ragioni, altrimenti il ​​ROI del tuo test subisce un colpo.

4. Sei più incline all'errore

Quando esegui test A/B/N, non applichi le stesse statistiche che utilizzi per i test A/B. Le varianti extra richiedono un adeguamento dei test di significatività statistica. L'aumento del tasso di errore familiare (FWER) significa che è più probabile commettere un errore di tipo I e contrassegnare la variante sbagliata come vincitrice.

Esempi di test multivariati che hanno mostrato un grande impatto

1. Microsoft ha eseguito un test multivariato sul proprio sito SMB e ha ottenuto una variante che ha aumentato la conversione del 40%!

2. Nel 2009, YouTube ha eseguito un MVT sulla propria home page per convincere più persone a registrarsi per un account. Lo chiamano "l'esperimento di 1.024 ricette". Una variante ha vinto con un aumento del 15,7%.

3. Booking.com è noto per i test. Usano test multivariati per scoprire come vengono utilizzate le nuove funzionalità con un pubblico più ristretto prima di implementarle.

4. HawkHost voleva vedere l'aumento sulla loro home page e l'hanno ottenuto. Questi hanno testato il titolo, il sottotitolo e l'immagine dell'eroe in un test multivariato che ha portato a un aumento del 204% delle vendite. È enorme.

5. Il layout della pagina di destinazione di Amazon è il risultato di test multivariati. Lo hanno utilizzato insieme all'apprendimento automatico per trovare il layout ottimale che ha guidato la conversione e ha raggiunto un punto debole che ha aumentato il tasso di acquisto del 21% in 7 giorni.

Fonte

Statistiche di test multivariate: Introduzione all'analisi multivariata

Se sei curioso di sapere come funzionano i test multivariati sotto l'interfaccia utente fantasiosa degli strumenti di test e fino ai principi alla base, ti entusiasmi:

L'analisi multivariata (MVA) è un tipo di analisi statistica in cui più di una variabile dipendente viene analizzata insieme ad altre variabili contemporaneamente. Si basa su come funziona il mondo reale: più di un fattore è responsabile di un determinato risultato.

Non viene utilizzato solo nel marketing digitale (ossia l'ottimizzazione del tasso di conversione), come parte dell'analisi esplorativa dei dati, viene applicato in vari campi come l'assistenza sanitaria, la produzione, i trasporti, ecc. Guida molto il processo decisionale nel mondo aziendale così come al governo.

Sebbene sia complesso, è un modo accurato per analizzare la relazione tra variabili dipendenti e indipendenti.

MVT e traffico: come calcolare la dimensione del campione per un test multivariato?

Il modo migliore è utilizzare il nostro strumento di calcolo delle dimensioni del campione. Ciò fornirà tutto ciò di cui hai bisogno per iniziare a progettare un test multivariato sano.

Quando interrompere un test multivariato?

Interrompere un test troppo presto può portare a errori, poiché i dati raccolti non sarebbero sufficienti per effettuare un'analisi accurata.

Potresti aver sentito alcune persone dire che dovresti interrompere quando c'è un chiaro vincitore o interrompere una variazione se il suo tasso di conversione scende al di sotto del 10% e sposta il suo traffico verso i migliori risultati - stai certo, questo contaminerà in modo significativo i risultati.

Non dovresti mai interrompere un test multivariato prima di:

1. Raccolta di un campione sufficientemente ampio per ciascuna variante. Quindi, lascialo funzionare più a lungo per raccogliere un numero sufficiente di conversioni per essere rilevante.
2. Esecuzione di 1 o 2 cicli di vendita completi per bilanciare il traffico e i periodi di acquisto nell'arco di 30-60 giorni.
3. Raggiungere la significatività statistica. Ciò significa che quando viene spinto a vivere, dovrebbe essere in grado di replicare i suoi risultati con una precisione del 95%.

Come progettare un test multivariato?

Il test A/B e il test multivariato sono simili nel modo in cui sono progettati e condotti.

Descriviamo una metodologia di test passo-passo per eseguire un MVT di seguito. Ma ecco una rapida ripresa:

1. Identifica un problema e formula un obiettivo: quando esamini i tuoi dati, cerca di capire cosa sperimentano i visitatori del sito Web e trova un problema. Formula un'ipotesi (una soluzione con un obiettivo) e basa il tuo test su questo.
2. Decidi cosa testare: la tua ipotesi coinvolgerà una combinazione di elementi della pagina web. Scopri cosa faresti con loro per raggiungere l'obiettivo. Crea varianti di questo per andare contro l'originale.
3. Stima il tuo lasso di tempo e la dimensione del campione: non devi farlo da solo. Usa il nostro calcolatore delle dimensioni del campione pre-test. Ti aiuterà a capire i numeri essenziali di cui hai bisogno.
4. Crea il test: nella tua piattaforma di test, imposta le tue variazioni nelle loro combinazioni.
5. Assicurati che funzioni: esegui test di garanzia della qualità su ogni nuovo trattamento per assicurarti che funzionino come previsto.
6. Esegui il tuo test: inizia a indirizzare il traffico verso di loro.

Ora, diamo un'occhiata da vicino a ogni passaggio, dalla raccolta dei dati al QA:

Raccolta dati per test multivariati

Come vengono raccolti i dati durante i test multivariati? Ci sono due approcci principali a cui prestare attenzione:

1. Fattoriale completo

Ecco come funziona: ogni variante del tuo MVT ottiene la stessa quantità di tutto il traffico che arriva al tuo sito. Se hai 5 varianti, ognuna di esse riceverà il 20% del traffico in arrivo al tuo sito.

Naturalmente, per raggiungere la significatività statistica, questo metodo richiederà molto traffico e dovrà funzionare per molto tempo. Ma questo tratto rende anche il fattoriale completo l'opzione più accurata con cui andare.

2. Fattoriale frazionario

A differenza della sua controparte "completa", il fattoriale frazionario verifica solo un sottoinsieme delle tue varianti. Ecco perché c'è "frazione" nel suo nome.

Se hai 10 varianti, ne testerà 5 e, in base ai risultati, prevederà le prestazioni delle 5 che non ha testato.

Per questo motivo, funziona più velocemente del fattoriale completo ma è significativamente meno accurato. Il suo vantaggio è che puoi dare un'occhiata a come apparirà il test completo prima di impegnarti.

E il metodo Taguchi? Alcuni dicono che sia un altro nome per fattoriale frazionario. È complesso da usare. Quindi, la maggior parte degli strumenti non lo offre.

Generazione di ipotesi per test multivariati

Devi creare la tua ipotesi di test multivariata sulla base di dati qualitativi e quantitativi accurati.

Non vuoi indovinare o utilizzare idee di test comuni che hai trovato su un blog per eseguire i tuoi test. Scegli qualcosa di rilevante, come risolvere un problema che hai riscontrato mentre spulci i tuoi dati o testare un'idea che ritieni possa produrre un miglioramento.

Questo servirà come obiettivo del tuo test. Puoi usare il nostro generatore di ipotesi per aiutarti a trovarne una solida.

Garanzia di qualità per test multivariati

Senza garanzia di qualità, qualsiasi test può trarre in inganno. Avanzare senza QA è rischioso e può causare errori costosi. Prima di fidarti degli approfondimenti del tuo test, passalo attraverso diversi checkpoint:

• Configurazione QA: quando decidi la configurazione da utilizzare per il processo di QA, identifica casi d'uso speciali per testare l'esperienza dell'utente sui dispositivi e sui browser che eseguirai QA, ecc.
• Fattori esterni: riconosce i fattori che non puoi controllare e che possono influire sul test come eventi o festività, altri test eseguiti contemporaneamente, eventi e traffico del sito.
• Configurazione dell'esperimento: verificare la qualità della formulazione dell'ipotesi, l'allocazione del traffico, se lo sfarfallio influirà sul test, altri ritardi ed errori, ecc.
• Cross-browser e cross-device: è necessario verificare la tipografia, i caratteri e la combinazione di colori su tutti i dispositivi e le risoluzioni dello schermo, verificare margini e spazi interni, verificare l'usabilità, il rendimento degli elementi della pagina su vari dispositivi e altro ancora.

E altre discrepanze che potresti aver rilevato: è necessario condividere la parola con il tuo team per le correzioni.

Come si esegue un test multivariato? Distribuzione di un test multivariato nelle esperienze di conversione.

La creazione di un test multivariato in Convert Experiences richiede solo 4 semplici passaggi. Ecco cosa fare:

1. Dai un nome alla tua esperienza
   
   In Converti esperienze, seleziona "Nuova esperienza", quindi "Multivariata" e dai un nome alla tua esperienza:

   

2. Fai la variazione
   
   Dopo il caricamento dell'URL della pagina che utilizzi per i test, la prima variante è pronta per essere modificata. Puoi modificare la copia, aggiungere nuovi elementi visivi e dargli un nome. Nell'esempio seguente, abbiamo:
   
   – Cliccato su un elemento da modificare (è evidenziato in arancione)
   – È stata selezionata un'azione nel menu, ad esempio la modifica della sorgente dell'immagine

   

3. Assegna un nome alla variazione
   
   Questo è abbastanza autoesplicativo. Ti consigliamo di scegliere qualcosa che si distinguerà per te nei rapporti in seguito.
4. Definisci gli obiettivi e il pubblico
   
   Vai al Riepilogo dell'esperimento e imposta il pubblico e gli obiettivi dell'esperimento.
   
   Ecco qua! La tua esperienza è attiva e funzionante.

Ora che capisci cos'è il test multivariato e come impostare correttamente un test multivariato, analizziamo alcune piattaforme diverse tra cui puoi scegliere. Molti dei migliori strumenti di test A/B sul mercato offrono test multivariati e test A/B in un unico software. Quindi quale è più adatto alle tue esigenze?

Se il metodo di test multivariato è un fattore decisivo per te, sei nel posto giusto. L'elenco seguente ti fornisce i 9 migliori giocatori per i test multivariati sul mercato.

Quali sono i migliori strumenti di test A/B e multivariati disponibili?

Ecco uno sguardo agli strumenti di test multivariati preferiti dagli esperti CRO, insieme ai metodi di test multivariati che offrono:

• Converti esperienze – Fattoriale completo
• AB Tasty – Fattoriale completo
• Google Optimize & Optimize 360 ​​– Approccio ibrido che non è né fattoriale completo né frazionario
• Adobe Target – Fattoriale completo e Taguchi
• Kameleoon - Fattoriale completo e fattoriale frazionario
• In modo ottimale – Fattoriale completo, Parziale e Taguchi
• Sitespect - Fattoriale completo e fattoriale frazionario
• VWO – Fattoriale completo
• Webtrends Optimize: fattoriale completo e fattoriale frazionario

Non sei ancora sicuro di quale strumento di test multivariato scegliere? Controlla questa ripartizione completa dei migliori strumenti di test multivariati.

I principali errori di test multivariati da evitare nel 2022

Questi test possono aiutarti a raggiungere i tuoi obiettivi di ottimizzazione solo se li stai utilizzando nel modo giusto.

Ma poi siamo umani e i nostri strumenti non sono perfetti, quindi gli errori accadono. Puoi ridurre le possibilità di rovinare i tuoi test evitando questi:

1. Non testare il tuo strumento MVT per la precisione

Crea varianti della tua pagina, ma non cambia nulla. Mantieni lo stesso ed esegui il resto. Dal momento che le persone vedono la stessa cosa, i risultati dovrebbero essere gli stessi.

2. Non partendo da una solida ipotesi

L'esecuzione di un test senza una linea di base e cosa aspettarsi è eseguire alla cieca. Non aiuta te o il sito su cui stai testando. Genera prima un'ipotesi.

3. Copiare i tuoi concorrenti

La tua organizzazione è unica e i tuoi obiettivi sono diversi. Copiare i tuoi concorrenti non è vantaggioso. Non solo molti dei loro test non si applicheranno al tuo caso, ma potrebbero non sapere cosa stanno facendo.

4. Esecuzione di test durante eventi stagionali o eventi principali del sito/della piattaforma

Se il tuo test non è pensato per un evento, non dovresti eseguire un test multivariato durante uno. I risultati non rifletteranno le prestazioni accurate di una giornata normale.

5. Sbirciando

È difficile resistere alla tentazione. Vuoi solo vedere come sta andando. Forse hai anche scommesso su una variante e vuoi vedere quale sta vincendo. Non.

Non solo otterrai aspettative imprecise, ma potresti anche prendere decisioni sbagliate sulla base di esse. Puoi controllare per scoprire se sono in esecuzione o se ci sono errori, e il gioco è fatto.

6. Non eseguire i test abbastanza a lungo

I test multivariati devono essere eseguiti a lungo. Pensalo come test A/B separati che devono ottenere abbastanza traffico per raggiungere la significatività statistica. Lascia che i tuoi test multivariati durino abbastanza a lungo in modo da poter ottenere risultati accurati e significativi.

7. Apportare modifiche durante l'esecuzione del test

Puoi correggere gli errori, ma non puoi riprogettare il tuo sito Web o apportare modifiche alla copia. Tutto ciò che cambia l'aspetto delle varianti dovrebbe rimanere intatto dopo che il test è stato pubblicato.

8. Dimenticando di interrompere un test dopo aver ottenuto risultati accurati

Succede più spesso di quanto pensi. Ciò significa che, dopo aver ottenuto un chiaro vincitore, continuerai a mostrare al resto del tuo traffico una versione più debole del tuo sito. Non vuoi farlo.

9. Rinunciare dopo una prova

Forse tutte le tue varianti si sono rivelate peggiori del controllo, e allora? Hai appena imparato vari modi in cui non funziona. Esegui più test e ottieni più approfondimenti. Tutta la conoscenza è preziosa.

10. Non verificare la validità dopo il test

Quando tutto è stato detto e fatto e hai ottenuto i tuoi risultati, è finita? Spegni la piattaforma di test e vai avanti? È buona norma sedersi e controllare se tutto è andato liscio prima di fidarsi dell'accuratezza dei risultati.

11. Non eseguire abbastanza test

Quando esegui un test, che sia stato un vincitore o un perdente, impara da esso. Usa le tue nuove conoscenze per creare un'ipotesi più informata e correre di nuovo. E di nuovo. È così che fai funzionare la sperimentazione per te.

12. Non documentare i test

Tieni un database dei tuoi test. Ciò migliorerà le prestazioni del tuo team di ottimizzazione, anche se quel team sei solo tu. Abbiamo tutti bisogno di imparare dalle esperienze precedenti per rendere migliore quella successiva.

Inoltre, per evitare di perdere tempo a eseguire gli stessi test due volte.

Conclusione

Che tu abbia un negozio di e-commerce, SaaS o una semplice pagina di destinazione, ci sono scenari in cui ha senso eseguire un test multivariato. Potresti avere un sito web ad alto traffico, ma devi comunque decidere se i test multivariati sono adatti al tuo sito web. Valuta il costo, il traffico e la necessità di una multivariata prima di eseguirne una.