Test A/B vs test multivariato vs test multipagina

Quando si tratta di eseguire esperimenti CRO, è possibile scegliere tra quattro tipi di test: test A/B, test divisi, test multivariati e test multipagina.

Ciascuno di questi test ha i suoi punti di forza e limiti.

E a meno che tu non scelga il test giusto per il tuo esperimento, prendere decisioni CRO conclusive supportate dai dati può diventare difficile.

Cerchiamo quindi di capire quali sono queste diverse tecniche di test di ottimizzazione e come si confrontano tra loro... e come puoi essere sicuro di scegliere il test giusto ogni volta che esegui un esperimento.

Ecco qui.

Che cos'è il test A/B

Il test A/B è un modo per testare le modifiche a uno o più elementi in una pagina.

Con il test A/B, puoi aggiungere un elemento a una pagina o rimuoverlo o modificarlo e vedere come l'aggiunta, l'eliminazione o la modifica influiscono sul tasso di conversione della pagina.

Questi elementi potrebbero essere qualsiasi elemento grafico o di testo della pagina, ad esempio la sua CTA o la copia del titolo o l'immagine dell'eroe.

Nel test A/B, crei una o più copie esatte della pagina originale con gli unici elementi non identici che sono gli elementi da testare.

E quando metti alla prova queste copie (chiamate sfidanti ) rispetto a quella originale (chiamata controllo ), puoi vedere come le alterazioni influiscono sul tasso di conversione.

Test URL diviso

C'è un'altra forma di test che è spesso bastonata con i test A/B, ma è fondamentalmente diversa dai test A/B.

Sono conosciuti come Split URL test o split test.

Nello split test, il traffico ricevuto da una pagina viene suddiviso a metà e indirizzato a due versioni completamente diverse della stessa pagina al fine di identificare la versione con prestazioni migliori rispetto all'obiettivo specificato.

In genere queste versioni sono ospitate su URL diversi, ma l'obiettivo finale è aumentare le conversioni per un'azione particolare, ad esempio riempimenti di moduli o aggiunte al carrello.

Test URL diviso utilizzato per testare design o versioni completamente diversi di una pagina.

Qui l'obiettivo è trovare quello che si comporta meglio.

Quindi, se vuoi testare due idee radicalmente diverse, dovresti utilizzare il test degli URL divisi. Ad esempio, se stai cercando di testare due progetti di home page, questa sarebbe la tecnica giusta da usare.

Un esempio di test A/B

BestSelf Co, leader nella vendita di strumenti per la produttività, ha capito che le vendite del suo prodotto di punta potevano essere migliorate con il CRO. Quindi ha assunto un'agenzia CRO (SplitBase) per esaminare come ciò potesse accadere.

SplitBase ha condotto la sua ricerca e ha ipotizzato che l'aggiunta di un titolo basato sui vantaggi alla pagina di destinazione (che originariamente non aveva un titolo) potrebbe aiutare ad aumentare le vendite.

SplitBase ha deciso di eseguire un test A/B e testare una pagina con un titolo rispetto alla pagina originale. SplitBase ha anche deciso di testare due versioni del titolo.

Quindi il suo esperimento con un semplice test A/B si è concluso con tre versioni:

• Versione A (il controllo senza titolo)
• Versione B (lo sfidante con un titolo)
• Versione C (lo sfidante con una variazione del titolo)

Il traffico è stato suddiviso equamente in tutte e tre le versioni (~ 33% ciascuna) per vedere quale versione ha ottenuto il maggior numero di vendite.

Come puoi vedere, un esperimento di test A/B può benissimo diventare un esperimento di test A/B/C/D...n.

Casi d'uso di test A/B

Il test A/B ha un caso d'uso molto specifico:

Testare progetti molto simili (tranne che per la modifica degli elementi di prova).

Questo è il caso d'uso più comune dei test A/B in cui si sperimenta con un solo elemento e si osserva come la modifica influisce sul tasso di conversione.

Se si ipotizza che un determinato elemento possa avere un impatto positivo sul tasso di conversione, si dovrebbe utilizzare questa tecnica di test. Ad esempio, puoi utilizzare questa tecnica di test di ottimizzazione per vedere l'impatto di una modifica al CTA della tua home page.

I vantaggi del test A/B

• I test A/B sono semplici da implementare: indipendentemente dal fatto che si verifichino due esperienze molto simili o due completamente dissimili, impostare un test A/B è abbastanza semplice. Di solito non richiedono troppo tempo o risorse.
• I test A/B richiedono meno traffico (rispetto ai test multivariati) per ottenere risultati definitivi: se hai un sito Web in cui ottieni traffico sufficiente per inviare ogni variante circa 10.000 visitatori, dovresti essere in grado di utilizzare i test A/B per trovare risultati statisticamente significativi per apportare modifiche al design, all'interfaccia utente o alla copia del tuo sito web. Ciò è particolarmente vero quando esegui test A/B solo con il controllo e uno sfidante (o, diciamo, due sfidanti) poiché puoi comunque inviare buoni volumi di traffico di prova a ciascuno.
• I test A/B non richiedono troppo tempo per essere eseguiti . Di solito, i test A/B possono produrre risultati statisticamente significativi in ​​2-3 settimane e non devono essere eseguiti per mesi e mesi di seguito.

I limiti del test A/B

• I test A/B di solito offrono informazioni limitate: i test A/B di esperienze simili (in cui viene variato un solo elemento) di solito eseguono due versioni. Ciò significa che il massimo che un marketer può imparare dall'esperimento è quale delle tre versioni (1 originale + 2 sfidanti) ha fatto meglio. Questo è tutto: approfondimenti su tre sole possibilità. Se desideri testare più varianti (ad esempio, se desideri testare 5 versioni del pulsante CTA), avrai bisogno di traffico sufficiente per produrre decisioni statisticamente significative anche dopo aver suddiviso il traffico per tante varianti.
• I test A/B sono per lo più adatti solo per prendere decisioni di alto livello sul sito Web: poiché i test A/B sono ottimi nel fornire risposte obiettive su quale versione è la migliore, funzionano alla grande nel prendere decisioni di alto livello. Quindi puoi decidere l'approccio che desideri adottare con il design o l'interfaccia utente del tuo sito Web o della pagina di destinazione o copiare con i test A/B. MA se vuoi mettere a punto gli elementi più granulari di progettazione, interfaccia utente o copia, probabilmente dovrai eseguire diversi test A/B, che possono richiedere molto tempo e molto lavoro.

Strumenti di test A/B

Convert Experiences è una potente soluzione CRO che puoi utilizzare per potenziare tutti i tuoi esperimenti di test A/B e scoprire i pulsanti CTA più efficaci, le copie dei titoli, le immagini degli eroi, le combinazioni di colori, i posizionamenti del logo e altro ancora da utilizzare sul tuo sito web.

Convert consente sia i test A/B/n convenzionali che i test degli URL suddivisi tramite il suo editor visivo e l'editor di codice più robusto.

Che cos'è il test multivariato (MVT)

Il test multivariato o MVT è un modo per testare più di una variante rispetto al controllo .

Nei test multivariati, puoi aggiungere, eliminare o modificare un gruppo di elementi su una pagina creando così più versioni con più modifiche e vedere come l'aggiunta, l'eliminazione o la modifica al gruppo di elementi influiscono sul tasso di conversione.

Un gruppo di elementi nel test multivariato DEVE comprendere almeno due elementi. E ogni elemento deve avere due varianti. Ciò significa che nei test multivariati avrai almeno quattro versioni da testare.

Ecco la ripartizione di un semplice test multivariato:

Gruppo di elementi da testare: Elemento 1, Elemento 2.

Varianti dell'Elemento 1:

Elemento 1 variante A

Elemento 1 variante B

Varianti dell'elemento 2

Elemento 2 variante A

Elemento 2 variante B

La matematica del test multivariato:

Il numero di versioni da testare = Il numero di elementi in un gruppo * Il numero di varianti di ciascun elemento

Casi d'uso di test multivariati

Le aziende di solito utilizzano i test multivariati come tecnica di ottimizzazione per ottenere test più dettagliati. Cerchiamo di chiarirci subito. Per questo il ciclo di sperimentazione si allunga.

Ma grazie al fatto che puoi apportare modifiche a gruppi di elementi per ogni variante, puoi passare dall'identificazione di un problema più grande/blocco stradale di conversione (che fai con i test A/B) alla messa a punto dell'esperienza del visitatore per una determinata pagina.

Un esempio di test multivariato/caso di studio

Creiamo un'ipotetica estensione di test multivariata dell'esempio di case study di cui sopra.

Ora, poiché questo negozio di eCommerce ha già utilizzato un test A/B per trovare una versione vincente della pagina del suo prodotto di punta, ora può continuare con un round di test multivariati per sperimentare diverse combinazioni degli elementi sul design vincente per ulteriormente migliorare il suo tasso di conversione.

Quindi, ad esempio, nel suo test multivariato, potrebbe creare più variazioni cambiando il colore del pulsante CTA, l'immagine dell'eroe e la copia del pulsante CTA ed eseguirlo contro l'originale per trovare una combinazione vincente "più".

I vantaggi del test multivariato

• I test multivariati sono ottimi per prendere decisioni di microconversione: con i test multivariati, puoi sperimentare molte combinazioni di modifiche al design, all'interfaccia utente e al testo. Ciò significa che puoi eliminare tutte le congetture dal processo di "modifica" del tuo sito Web per tassi di conversione migliori. Puoi effettivamente convalidare anche le tue scelte più minute.
• I test multivariati forniscono informazioni più approfondite su come gli elementi interagiscono tra loro: poiché i test multivariati ti consentono di testare combinazioni di elementi, puoi vedere come le tue diverse combinazioni influiscono sulle scelte degli utenti (piuttosto che testare semplicemente elementi autonomi come nel caso di A/ prove B). Con il test multivariato, l'effetto osservato è sempre maggiore quando ci sono più modifiche applicate a una variante anziché una sola modifica. Questo è chiamato effetto di interazione .

I limiti del test multivariato

• I test multivariati richiedono molto traffico: se guardi i calcoli dei test multivariati, vedrai che il numero di versioni da testare diventa enorme a seconda del numero di elementi da testare e delle loro variazioni. Ad esempio, se desideri utilizzare un test multivariato e testare le diverse combinazioni di un pulsante CTA (in tre colori: un controllo e due sfidanti e tre copie: un controllo e due sfidanti), dovrai creare 3*3, cioè nove versioni. Avere abbastanza traffico da dividere tra così tante versioni è una sfida anche per i siti Web ad alto traffico.
• I test multivariati possono essere difficili da pianificare: pianificare un test multivariato significativo è complicato a causa dell'enorme numero di combinazioni (dei diversi elementi sulla tua pagina) che puoi testare. Scegliere tra combinazioni come titolo, immagine eroe e CTA dell'area eroe o titolo, USP e intestazione può richiedere molto sforzo. Inoltre, testare troppi elementi in un test multivariato può alterare i risultati.
• Il test multivariato non è adatto per prendere decisioni definitive di alto livello: poiché il test multivariato verifica combinazioni di elementi, non è sempre possibile stabilire in modo definitivo perché una determinata combinazione ha vinto. Ciò significa che non è sempre possibile prendere una decisione CRO radicale con i test multivariati. Ciò riduce i test multivariati ad alimentare solo le decisioni CRO più granulari come testare posizionamenti/grafica/copia degli elementi nella versione che già sai funzionare bene.

Strumenti di test multivariati

Con Convert Experiences, puoi facilmente impostare test multivariati sul tuo sito web e vedere come le diverse combinazioni degli elementi influiscono sul tuo tasso di conversione.

Non sei ancora sicuro di quale strumento di test multivariato scegliere? Controlla questa ripartizione completa dei migliori strumenti di test multivariati.

Test multivariato vs test diviso: quale dovresti usare?

Dai un'occhiata alla tabella di confronto tra test multivariati e test a base divisa (o test A/B) in basso per vedere quando dovresti usare una delle due tecniche.

Che cos'è il test multipagina e il test della canalizzazione

Il test multipagina è una forma di sperimentazione in cui si testano le modifiche a elementi particolari su più pagine.

Ci sono due modi per farlo.

Puoi prendere tutte le pagine della tua canalizzazione di vendita e creare nuove versioni di ciascuna. Questo nuovo set di pagine crea il tuo funnel di vendita "sfidante" e quindi lo esegui contro il funnel di vendita originale (o il "controllo"). Questo è chiamato "test di imbuto".

Oppure puoi testare in che modo la presenza/assenza di elementi ricorrenti, come i badge di sicurezza, può influire sulle conversioni in un'intera canalizzazione. Questo è il test multipagina classico o convenzionale.

Casi d'uso di test multipagina e test della canalizzazione

Con i test su più pagine, sei libero di valutare l'impatto delle modifiche apportate sugli elementi durante l'intero percorso dell'acquirente.

Le aziende che scelgono di investire nei test della canalizzazione producono tonnellate di informazioni di alto livello.

Ad esempio, puoi utilizzare il test della canalizzazione per trovare il più efficace:

• Puoi eseguire test della canalizzazione per testare voci e toni diversi sulle tue pagine: ad esempio, se sei un fornitore di servizi antivirus, potresti testare una copia spaventosa nella tua canalizzazione di vendita rispetto alla tua copia neutra o che ispira fiducia. e guarda quale messaggio risuona meglio con i tuoi visitatori e ottiene il maggior numero di vendite.
• Filosofie progettuali. Puoi sperimentare diverse teorie del design e vedere quale funziona meglio.
• Strategie di vendita/supporto. Puoi progettare una versione della canalizzazione di vendita sfidante in cui offri il supporto della chat dal vivo su alcune pagine selezionate della tua canalizzazione e vedere come la canalizzazione abilitata per la chat dal vivo si confronta con la canalizzazione di vendita normale (senza supporto della chat dal vivo). Allo stesso modo, puoi testare una serie di strategie di vendita/supporto e vedere come puoi aiutare più conversioni nella tua canalizzazione di vendita.

Un esempio di test multipagina/caso di studio

Ancora una volta, costruiamo un'estensione ipotetica allo stesso esempio di studio di caso dall'alto.

Ora, poiché questo particolare sito Web è un negozio online, la sua canalizzazione di vendita più semplice è:

La pagina del prodotto > La pagina Aggiungi al carrello > La pagina di pagamento

Quindi, per eseguire un test multipagina, questo negozio dovrebbe creare una variazione per ciascuna di queste pagine e creare una canalizzazione sfidante come:

La pagina del prodotto versione A > La pagina aggiungi al carrello versione A > La pagina di pagamento versione A

Nella sua canalizzazione sfidante, l'e-retailer potrebbe decidere di testare come l'aggiunta della legenda "Scelto da 10.000 professionisti" si traduca in conversioni per ogni fase del percorso dell'acquirente. Oppure, potrebbe scegliere di mostrare pagine molto diverse (simile a dividere i test con due pagine totalmente uniche).

Se si sentono ambiziosi, tuttavia, possono sottoporsi a test di canalizzazione e giocare effettivamente con la copia, una strategia di abbandono del carrello e altro ancora.

Hai avuto l'idea, vero?

I vantaggi del test multipagina

• Il test della canalizzazione multipagina aiuta a tappare le perdite nella canalizzazione di vendita: se i tuoi dati di Google Analytics mostrano forti cali su alcune pagine della canalizzazione di vendita, puoi impostare un test multipagina per scoprire cosa può ridurli e ottenere più conversioni.
• I test multipagina possono fornire informazioni più approfondite sul comportamento degli utenti: con i test multipagina, puoi identificare i diversi elementi del tuo controllo e le canalizzazioni sfidanti con cui i tuoi utenti interagiscono di più. Puoi utilizzare tali informazioni per prendere decisioni ancora più informate sulla progettazione, la copia e l'esperienza dell'utente.

I contro dei test multipagina

• Gli esperimenti su più pagine possono durare mesi. Poiché il B2B ha lunghi viaggi di acquisto (spesso prolungati per mesi), i test multipagina B2B possono essere eseguiti per mesi e mesi.
• Ottenere informazioni dettagliate dai risultati di un test multipagina può essere complicato: se la tua versione challenger sperimenta troppe variabili (ad esempio, se sperimenti sia il design che la copia in uno challenger), potresti non essere in grado di dire se il design ha causato più conversioni o la copia. La creazione di un gruppo di sfidanti (ad esempio, uno per testare il design e uno per testare la copia) richiederà che tu divida il tuo traffico in tre. A meno che tu non raggiunga migliaia di visitatori del tuo sito web, potresti non avere abbastanza traffico per ottenere risultati statisticamente significativi quando esegui troppe variazioni di questo tipo.

Strumenti di test multipagina

Con Converti, puoi impostare facilmente test multipagina o esperimenti di canalizzazione e vedere in che modo le diverse modifiche influiscono sulle conversioni tra le pagine.

Test A/B vs. test multivariato vs. test multipagina

Test A/B

Cos'è:

Nel test A/B, esegui il test di due versioni molto simili della stessa pagina/annuncio/asset per trovare la variante con il rendimento migliore.

Quando usare:

Fondamentalmente, il test A/B è il metodo utilizzato dagli ottimizzatori per identificare i maggiori ostacoli alla conversione. Devi creare un'ipotesi che individui il (presunto) motivo per basse conversioni e verifichi come la modifica/modifica di un elemento può mitigare il problema.

Attraverso i test A/B puoi prendere decisioni di progettazione e copia di alto livello.

Ad esempio, un'elevata frequenza di rimbalzo da una home page è generalmente indicativa del fatto che i visitatori non ottengono il "valore" offerto dal prodotto o dalla soluzione. I test A/B con versioni diverse del titolo di una proposta di valore sono comuni.

Facilità di acquisizione di informazioni:

I test A/B richiedono circa 10.000 visitatori per ciascuna variante e circa 1000 conversioni per ottenere informazioni dettagliate. Ma sono relativamente più veloci da condurre rispetto ai test multivariati.

Test multivariato

Cos'è:

Nel test multivariato, esegui più di una variante rispetto al controllo (che sai già funzionare bene).

Quando usare:

I test multivariati possono essere utilizzati per prendere decisioni più granulari. Ad esempio, se disponi di una home page ad alte prestazioni che desideri ottimizzare ulteriormente, puoi utilizzare test multivariati per sperimentare varianti fondamentalmente diverse di un gruppo di elementi sulla tua home page.

Pensalo come tappare le perdite più piccole dopo che il diluvio è stato arginato dai test A/B.

Facilità di acquisizione di informazioni:

I test multivariati sono estremamente complicati a causa dell'inclusione di diversi elementi su diverse varianti. Quindi sia le esigenze di traffico che il tempo per raggiungere un risultato conclusivo sono aggravati.

Test multipagina

Cos'è:

Nei test multipagina, testi diversi percorsi di acquisto per trovare quello più ottimale. Il test multipagina è simile all'esecuzione di una serie di test A/B/N e multivariati insieme su più pagine nella canalizzazione di vendita.

Quando usare:

I test multipagina o i test della canalizzazione possono essere utilizzati per prendere decisioni di alto livello durante l'intero percorso di vendita.

Ad esempio, puoi testare un percorso di vendita personalizzato rispetto a uno normale.

Facilità di acquisizione di informazioni:

I test multipagina con versioni limitate (diciamo, 2) possono produrre risultati significativi in ​​tempi relativamente brevi.

Confronto di test A/B, test multivariati e multipagina

Un esperimento può dare risultati definitivi solo quando utilizza il formato di prova corretto.

Come sinossi, questo è ciò che dovresti tenere a mente:

• Test A/B : generalmente si testa almeno un elemento significativo che è stato identificato come un ostacolo alla conversione nella propria ipotesi su un'altra versione (variante).
• Test divisi: i test divisi si concentrano sull'hosting di due pagine ed esperienze completamente diverse per i visitatori su due URL separati, valutandoli allo stesso tempo per lo stesso obiettivo di conversioni. Attraverso test divisi puoi testare due configurazioni completamente diverse, come piattaforme di hosting e temi l'una contro l'altra.
• Test multivariati o test A/B/N : gli MVT vengono generalmente condotti sui vincitori dei test A/B. Nei test multivariati apporti modifiche ai cluster di elementi di una pagina, ogni cluster unico o ottimizzato diventa una variante o una versione a sé stante. È difficile attribuire conversioni più elevate per una variante MVT a un particolare elemento, ma gli ottimizzatori possono testare modifiche granulari da copiare e progettare.
• Test multipagina : l'esecuzione di un test multipagina è simile all'esecuzione di più test A/B/N insieme su un gruppo di pagine della canalizzazione di vendita. In alternativa, puoi testare esperienze di funnel di vendita completamente diverse (ad esempio, inviando metà del traffico alla versione di controllo Pagina 1> Pagina 2> Pagina 3 e inviando l'altra metà alla versione sfidante Pagina 1 variante> Pagina 2 variante > Pagina 3 variante con lo sfidante abbastanza dissimile dal controllo.)

La scelta del test giusto per un esperimento dipende in gran parte dalla correttezza dell'ipotesi. Ecco alcuni strumenti CRO per aiutarti a scrivere un'ipotesi chiara ogni volta che esegui un esperimento.

Inoltre, quando sei pronto per iniziare con test A/B, multivariati o multipagina per i tuoi esperimenti, controlla Converti. Convert Experiences può gestire facilmente tutti gli esperimenti di ottimizzazione che ti vengono in mente per i siti Web ad alto traffico, anche nei settori sensibili alla privacy dei dati.

Offri a Convert Experiences una prova gratuita completa di 15 giorni senza obblighi e ripensa a come i test possono migliorare i tuoi KPI.