Strumenti di test multivariati più popolari nel 2022

Quindi stai attualmente eseguendo test A/B e stai cercando di ampliare il tuo programma di test.

Hai un buon traffico, stai vedendo ottimi risultati e ora vuoi eseguire molti più test e ottenere quei dati il ​​prima possibile.

Ma come puoi iniziare a testare più velocemente? O meglio ancora, come puoi eseguire più test e ottenere più informazioni nello stesso periodo di tempo?

È qui che entra in gioco il test multivariato. Ti consente di testare più varianti contemporaneamente, per vedere quale in particolare funziona meglio.

In questa guida, analizzeremo cos'è MVT, come funziona, cosa ti serve per usarlo e analizzeremo una selezione dei migliori strumenti di test multivariati disponibili.

Tutto, dal prezzo e dalle caratteristiche, al modo in cui operano in modo da poter fare la scelta giusta quando si decide quale strumento di test multivariato acquistare.

Allora tuffiamoci dentro...

Che cos'è il test multivariato?

Il modo migliore per comprendere il test multivariato è confrontarlo con altri metodi di test e vedere come differisce.

Quindi diamo un'occhiata a un test A/B e un test multivariato e come si confrontano.

Con un test A/B, testiamo una singola variazione rispetto a una versione di controllo originale. Forse abbiamo un'idea di come migliorare il titolo, quindi creiamo quella variazione e poi vediamo quale funziona meglio.

Il tuo test A/B sarà simile a questo:

Titolo 1 (controllo) vs Titolo 2 (l'idea di variazione)

Un altro test che potremmo eseguire è un test A/B/n.

È qui che possiamo testare più varianti rispetto al controllo, per trovare il vincitore assoluto. I test A/B/n sono invariabili.

Ad esempio, potremmo avere un mucchio di idee per i titoli e non siamo sicuri di quale funzionerà. Ma poiché abbiamo il traffico per eseguire alcune varianti di test e ottenere comunque risultati accurati, decidiamo di testare più idee per i titoli per vedere quale funziona meglio.

Titolo 1 (controllo) vs Titolo 2 vs Titolo 3

Una volta trovata la variazione del titolo vincente, potremmo quindi testare un gruppo di immagini di riprese da eroi e quindi forse un gruppo di angoli CTA.

Come puoi immaginare, tutto questo richiede tempo, giusto?

Un'altra opzione è eseguire un test in cui cambiamo un sacco di cose in una volta sola e vediamo se ciò migliora le metriche.

Tendiamo a non farlo con la maggior parte dei test A/B a meno che non stiamo cercando di apportare un cambiamento radicale, ad esempio lanciando un saluto a Maria per cercare di trovare un nuovo vincitore perché tutte le altre idee per i test sono stagnanti o non stanno avendo alcun impatto.

Allora perché non consigliamo di apportare modifiche radicali come questa per le normali campagne e cosa ha a che fare con i test multivariati?

Testiamo un elemento alla volta perché se apportiamo enormi modifiche e la nuova pagina vince o fallisce, non siamo sicuri di quale di queste modifiche abbia causato tale aumento.

Il test multivariato o MVT ci consente di testare più varianti, monitorando anche ciascuna di queste modifiche e il modo in cui influiscono sul risultato.

Non solo possiamo testare più varianti di elementi, ma possiamo anche eseguirne diverse combinazioni fino a trovare il vincitore finale.

Diciamo che volevamo migliorare la nostra home page e abbiamo alcune idee su cosa testare per vedere più lift:

• Il titolo
• L'immagine scattata dall'eroe
• Il CTA.

Con un test multivariato, non solo abbiamo potuto testare ogni idea del titolo, l'opzione dell'immagine dell'eroe e l'angolo CTA, ma possiamo anche testare ogni combinazione di queste variazioni per trovare la combinazione vincente:

Titolo 1 + Immagine eroe 1 + CTA 1 vs

Titolo 1 + Immagine eroe 2 + CTA 1 vs

Titolo 1 + Immagine eroe 1 + CTA 2 vs

Titolo 2 + Immagine eroe 1 + CTA 1 vs

Titolo 2 + Immagine eroe 2 + CTA 1 vs

Titolo 2 + Immagine eroe 2 + CTA 2

I test multivariati possono aiutarti a scoprire la migliore combinazione di elementi e capire cosa ha causato tali modifiche.

Tuttavia, eseguire correttamente test multivariati implica spendere molto tempo e risorse. Sei disposto a investire così tante risorse, non solo per i test, ma anche per il controllo qualità e l'analisi? In alcuni scenari, tuttavia, potrebbe essere l'opzione migliore. Vediamo quali sono.

Quando utilizzare il test multivariato?

A cosa serve il test multivariato? Ecco alcune delle volte in cui un test MVT potrebbe essere più utile di un test A/B.

1. Quando hai un traffico elevato e vuoi aumentare il tuo programma di test

Il traffico è il punto cruciale dei test multivariati. Hai bisogno di un volume di traffico elevato per poter testare ogni modifica e fidarti dei risultati del test.

Ma se hai il traffico e desideri aumentare le dimensioni dei test per ottenere più dati e prendere più decisioni, MVT ti consentirà di eseguire più idee contemporaneamente.

2. Quando vuoi aumentare il volume e avere qualche idea ma non vuoi aspettare per testarle una per una

Alcune persone pensano che dovresti usare MVT solo per perfezionare le pagine web attuali con piccole modifiche, a causa dell'investimento di tempo, ma non è vero. Certo, puoi usarlo per quello, ma puoi anche usarlo per più ampi test "e se" di elementi più grandi.

(Forse non sei sicuro di quale elemento fornirà il miglior sollevamento e quindi vuoi provare a lanciare alcune idee intelligentemente ipotizzate contro il muro per vedere quale funziona.)

Se hai il volume di traffico per eseguire un MVT, è un gioco da ragazzi non provare a trovare combinazioni di pagine larghe molto più velocemente. Assicurati solo di misurare gli effetti di quel traffico DOPO il test anche da ciascuna variazione, poiché questo ti darà ulteriori informazioni sul tuo pubblico e sul perché ha funzionato.

Ad esempio, su Facebook, puoi impostare annunci di prova multivariati di base, aggiungendo varianti di un'immagine in miniatura, titolo e testo, ecc.

Il test verrà eseguito e ti dirà quale variante di quell'annuncio ottiene il CTR più alto.

Se il tuo obiettivo fosse solo quello di ottenere clic, allora questo annuncio vincerebbe, giusto?

Ma se tutto quel traffico rimbalza sulla pagina a cui li invii, allora tutto ciò che hai trovato è una variazione che fa clic su quel pubblico, non uno che li induca a rimanere e convertirsi.

È lo stesso quando si esegue un test MVT su una pagina, soprattutto se lo si utilizza come metodo di raccolta di idee più ampio. Controlla cosa succede sulla pagina ma anche cosa succede dopo che hanno cliccato.

3. Quando si perfeziona un test precedente per ottenere un incremento incrementale

Puoi anche usare MVT per misurare e migliorare piccoli perfezionamenti. In effetti, a molte agenzie piace usarli per ottenere ancora più spinta dalle attuali campagne vincenti e testare piccoli cambiamenti.

Diciamo che hai già testato più volte una pagina A/B per trovare una variante vincente, ma vuoi ottenere il maggior aumento possibile, anche se è solo lo 0,5%. Puoi eseguire test MVT su quella pagina per testare ulteriormente (perché con 100.000 visitatori al mese, ogni 0,5% di aiuto è evidente!)

4. Quando si cerca il massimo incremento possibile da una combinazione di idee (effetti di interazione)

A volte, un test A/B consecutivo può darci dei vincitori sulla carta, ma quando li combiniamo, non sono sempre l'opzione più performante per la nostra pagina.

Ecco un esempio:

• Esegui un test del titolo e scegli un vincitore e lo implementi.
• Quindi esegui un test dell'immagine dell'eroe sulla stessa pagina con la variazione del titolo vincente e l'implementazione.
• Quindi esegui un test CTA sulla stessa pagina con gli elementi vincitori precedenti e lo implementi.

In teoria, questa dovrebbe essere la versione più performante della tua pagina, ma possono succedere cose strane a causa dell'interazione o della loro mancanza. In poche parole, è possibile che un elemento perdente in un test a volte superi il vincitore del test A/B sequenziale se combinato con un'altra variazione di elemento.

Come?

Bene, forse un titolo perdente del primo test fornisce un tasso di conversione back-end più elevato se combinato con i vincitori dell'immagine e del test CTA.

Questo può accadere, ma non lo sapresti mai se eseguissi solo i test A/B. Invece, lo avresti rimosso dalle opzioni prima di testare gli altri elementi. Questo è il motivo per cui il test multivariato è così potente. Ti consente di trovare le prestazioni complessive della pagina più elevate, anche se significa che sta prendendo un elemento meno performante da una parte del test.

Meglio ancora, può anche dirti quale elemento ha aiutato di più...

5. Quando cerchi l'elemento più importante sulla pagina per il tuo pubblico, per test e pagine futuri

MVT non solo mostrerà la combinazione vincente delle tue diverse varianti ed elementi, ma ti mostrerà anche l'elemento che fornisce più spinta.

Forse il tuo colpo da eroe ottiene più spinta, ma vedi anche che tra tutti i tuoi elementi nella tua pagina delle varianti, contribuisce maggiormente al tuo risultato finale?

Questo ti darà quindi alcune informazioni su dove testare prima per ulteriori miglioramenti, in modo che tu possa concentrarti prima sui miglioramenti dei colpi dell'eroe, ecc.

6. Quando si applica l'apprendimento automatico al processo di test

A causa della natura di MVT che richiede e tiene traccia di grandi quantità di dati e interazioni, può effettivamente essere utilizzato come un'ottima fonte per alimentare i programmi di test di apprendimento automatico.

Il ML richiede dati di grandi dimensioni per funzionare al meglio, ma una volta ottenuti, può effettivamente iniziare a vedere schemi e prevedere risultati e comportamenti con meno traffico nel tempo. In effetti, siti come Amazon stanno facendo esattamente questo...

Esempi di test multivariati

Esempio di test multivariato n. 1

Amazon ha utilizzato MVT e machine learning per modificare il layout delle proprie landing page, con un aumento del 21% del tasso di acquisto in soli 7 giorni!

Esempio di test multivariato n. 2

Booking.com utilizza test multivariati per testare nuove funzionalità uniche per un pubblico specifico e quindi misurarne le prestazioni prima di implementarle in tutto il sito.

Esempio di test multivariato n. 3

Microsoft ha registrato un aumento del 40% del tasso di conversione per il proprio sito Web PMI, dopo aver eseguito un test MVT su più elementi di pagina (8 × 4!)

Esempio di test multivariato n. 4

Tuttavia, non sono solo i colossi che possono usare MVT. HawkHost ha registrato un aumento delle vendite del 204% quando ha eseguito un test MVT sulla propria home page (testando il titolo, il sottotitolo e lo scatto dell'eroe).

I pro ei contro dei test multivariati

Se il test multivariato è così potente, perché non lo usiamo tutti?

Vedi, il bello di un test A/B è che puoi testare un'idea velocemente, con un pubblico relativamente piccolo. Ciò significa che la maggior parte delle aziende può eseguire un test anche se ha un traffico piuttosto basso, quindi vedere un risultato entro 14-30 giorni.

Ma con un test multivariato, hai bisogno di un pubblico molto più ampio con cui correre, perché stai testando più cose contemporaneamente. (Soprattutto se stai eseguendo test su più pagine o più combinazioni di variazioni.)

Diciamo che volevamo testare un titolo nella nostra home page:

• Controllo del titolo
• Variazione del titolo

Stiamo solo testando la singola variante, quindi sono 2 opzioni in totale.

Ora, come semplice esempio, diciamo che vogliamo ottenere 1.000 visitatori per ogni versione della pagina (la variante e il controllo) in modo da poter essere sicuri che i risultati del test siano affidabili.

(Il traffico necessario può variare in base alla pagina e al suo tasso di conversione, ma semplifichiamo qui solo per farti un'idea.)

Ciò significa che avremmo bisogno di 2.000 visitatori per eseguire il test e fidarsi dei risultati, con 1000 visitatori che accedono a ciascuna pagina.

E se volessimo testare:

• 3 titoli
• 3 immagini di eroe e
• 3 CTA?

Non sono 9 varianti in totale, ma in realtà 27 combinazioni di 9 varianti (3x3x3).

Ciò significa che se volessimo 1000 visitatori per variazione, il nostro requisito di traffico sarebbe invece di 27.000 visitatori per eseguire il test e fidarsi dei risultati (basato sulla nostra eccessiva semplificazione di 1.000 visitatori sufficienti per pagina).

In realtà, probabilmente avresti bisogno di circa 10.000+ visitatori per variante per ottenere dati accurati, poiché il traffico da solo non è sufficiente, devi anche vedere le conversioni.

Questo è il motivo per cui molte aziende non eseguono test MVT, semplicemente perché non hanno il traffico per eseguirli in modo efficace. In effetti, la maggior parte delle agenzie consiglia di avere circa 100.000 visitatori mensili prima di iniziare a eseguire campagne MVT a meno che la pagina non abbia già un tasso di conversione molto alto. E anche in questo caso, consigliano comunque di eseguire solo forse 6 variazioni al massimo, in modo da poterle eseguire più velocemente.

Ma se hai quel tipo di traffico?

Bene, allora MVT può permetterti di eseguire l'equivalente di molti più test quasi nello stesso identico lasso di tempo...

E se prendiamo quell'esempio dall'alto e consentiamo a ciascun test di essere eseguito per un intero ciclo di vendita di 30 giorni per ottenere una finestra di misurazione accurata?

Supponendo di avere il traffico, potremmo eseguire 27 combinazioni di test contemporaneamente su quella pagina per forse 30-60 giorni come un singolo test multivariato. Non male se lo confronti con l'esecuzione di 27 test A/B consecutivi su quella pagina, in un arco di tempo di 27 mesi!

(Ancora una volta, sto semplificando qui e presupponendo che tu esegua un ciclo di vendita completo su ogni test.)

Ma come puoi vedere, i test multivariati ti consentono di ottenere approfondimenti e idee, implementarli più velocemente e ridurre i tempi di attività in caso di test consecutivi con perdite.

Abbastanza bene, vero!?

Ovviamente, ci sono altri inconvenienti nei test MVT diversi dai requisiti di traffico.

A causa dell'elevato numero di varianti e combinazioni che puoi eseguire, aumenta notevolmente il tempo di QA prima e dopo il test.

Devi assicurarti che ogni variazione funzioni e abbia anche un senso. (Non mostra un titolo e un'immagine che non corrispondono ecc.), Quindi aumenta notevolmente i tempi e i costi di configurazione.

Inoltre, assicurati di controllare gli effetti.

Solo perché vedi un aumento della conversione in quella particolare pagina, seguilo in avanti verso i tuoi obiettivi finali. L'ultima cosa che vuoi sono più clic ma un'esperienza utente scadente o una frequenza di rimbalzo elevata (o più clic ma nessuna vendita).

I vantaggi del test multivariato

• Supponendo che tu abbia il traffico, il test multivariato ti consente di testare molte varianti, velocemente.
• MVT può aiutarti a scalare il tuo programma di test per trovare più dati su cosa funziona e cosa no.
• Può aiutarti a trovare le combinazioni vincenti più velocemente rispetto ai test A/B consecutivi.
• Può aiutarti a trovare combinazioni vincenti che potresti esserti perso durante l'esecuzione di test consecutivi. (Immaginate se un titolo fosse il 2° e l'avete tagliato, ma abbinato alla 3a variazione dell'immagine, in qualche modo ha raddoppiato l'aumento? Con un test consecutivo, avresti perso questo. Un test multivariato richiede un grado più elevato di effetti di interazione).
• Alcuni software di test A/B ti permetteranno di vedere quale particolare elemento ha contribuito a fornire il massimo aumento (dandoti una comprensione più profonda del tuo pubblico).
• Può essere utilizzato anche per trovare piccoli miglioramenti nelle pagine ad alto rendimento. (Immagina di avere già una pagina ad alte prestazioni e di avere nuove idee per vedere miglioramenti minori, come i cambiamenti di colore.)

I contro dei test multivariati

• È necessario un volume elevato di traffico per l'esecuzione, soprattutto se si desidera stat sig in modo da potersi fidare dei risultati e non visualizzare falsi positivi o negativi (errori di tipo 1 e di tipo 2) e potenza statistica per misurare l'incremento percentuale inferiore.
• I requisiti di traffico crescono rapidamente con l'aumentare delle variazioni e delle combinazioni che testi, quindi tienilo a mente. Prendi in considerazione la rimozione di elementi aggiuntivi se potrebbero non fornire molto sollevamento. (ad es. testare il titolo prima di preoccuparsi di testare i colori del piè di pagina, ecc. Puoi sempre testarli dopo, se lo desideri.)
• Non è solo il traffico a influenzare la dimensione del campione. Il tasso di conversione della pagina corrente e le variabili influiscono sul volume della dimensione del campione richiesta per raggiungere la significatività statistica. Migliori conversioni possono ridurre il traffico necessario, conversioni inferiori aumentano tale requisito.
• Il margine di errore durante il test di più variabili aumenta anche il volume di traffico richiesto prima che tu possa fidarti dei risultati.
• È necessario eseguire test di controllo qualità intensivi per assicurarsi che funzionino tutti in anticipo.
• È necessario anche eseguire il QA per assicurarsi che le variazioni abbiano senso insieme e non abbiano combinazioni opposte o in conflitto. (CTA che non corrispondono alle offerte, ai titoli di una vacanza al mare durante la pubblicità di una gita sugli sci, o persino ai colori dei caratteri e dello sfondo in conflitto o che mescolano.)
• Se non disponi di una sorgente di traffico elevata, puoi comunque eseguire un test MVT, potrebbe volerci MOLTO più tempo prima di raggiungere stat sig e terminare il test. (A volte più mesi o più). In effetti, a volte può essere più rapido ed efficiente eseguire solo test A/B consecutivi.
• Potresti perdere alcune informazioni sul pubblico, semplicemente testando più cose contemporaneamente. (Testare un singolo elemento o angolazione può aiutarti a capire meglio il tuo pubblico a volte.)

Statistiche di test multivariate: la matematica dietro MVT

Allora facciamo un po' di nerd...

Quando si tratta di test multivariati, utilizziamo un metodo di analisi statistica diverso rispetto ai test A/B standard o ai test suddivisi.

Non voglio entrare troppo nella matematica, ma ecco una semplificazione:

• Con il test A/B, utilizziamo un t-test (o z-test) per misurare la differenza tra 2 o più serie di risultati.
• Con il test multivariato, viene utilizzato un altro metodo per trovare i risultati del test chiamato ANOVA o "Analisi della varianza". Non è necessario conoscere tutti i dettagli, ma ecco la cosa fondamentale. La differenza principale è che ANOVA misura anche la connessione e l'impatto tra le variabili. Questo è uno dei principali punti di forza di MVT perché ci permette di vedere come le combinazioni di elementi si influenzano a vicenda.

A seconda dello strumento utilizzato, possono essere disponibili 3 tipi di metodi di test multivariati durante l'esecuzione di una campagna MVT. Ognuno di essi influisce sulla matematica su come funzionerà il tuo test.

Chiamiamo questi:

• Fattoriale completo,
• Frazione fattoriale e
• Taguchi.

Allora cosa significano?

Fattoriale completo

Quasi tutti gli strumenti MVT offriranno test fattoriali completi come base per il suo modello di test principale ed è praticamente quello che vuoi usare tutto il tempo.

Questo metodo si riferisce alla distribuzione "completa" del traffico nel test.

In poche parole, è dove si testa ogni combinazione in una volta, dividendo il traffico per il test equamente tra ciascuna variante.

Con un test A/B, dividi il traffico 50:50. Ma con un MVT, se avessi 10 varianti, ciò significherebbe che solo il 10% del traffico va a ciascuna variante.

A causa del numero di varianti e del traffico richiesto per raggiungere la significatività statistica con ciascuna variazione, il fattoriale completo richiede una fonte di traffico molto ampia, ma è il metodo più accurato.

Tuttavia, alcune piattaforme di test A/B offriranno anche qualcosa chiamato test "Fraction Factorial" come alternativa.

Frazione fattoriale

Questo metodo tenta di aggirare alcuni dei requisiti di traffico più grandi testando solo un campione più piccolo di variazioni e quindi stimando i tassi di conversione finali in base ai risultati dei test correnti .

Il suo obiettivo non è l'accuratezza di prevedere risultati affidabili per il ridimensionamento normale, ovvero se lo riduciamo al pubblico X, si esibirà allo stesso modo.

Invece, è progettato per aiutarti a vedere dove sta iniziando a verificarsi la trazione iniziale in modo da poter ottenere informazioni dettagliate prima di testare più a fondo o con un altro metodo.

Diciamo che hai 10 varianti che vuoi testare.

Il fattoriale frazionario testerà invece 5 di essi e quindi proverà a dedurre il tasso di conversione su quegli altri 5 test, in base ai risultati finora ottenuti.

Come puoi immaginare, questo non è così accurato e può portare a errori e falsi positivi, ed è in realtà una fonte di discussione tra ottimizzatori e marketer. (Con quasi tutti che raccomandano il fattoriale completo come metodo di test principale.)

Taguchi

Infine, hai il metodo Taguchi di test multivariato. Originariamente progettato come metodo per misurare il controllo di qualità rispetto all'ipotesi di perdite accettabili in ricerca e sviluppo per la produzione di prodotti.

La maggior parte degli strumenti non offre questo a causa della sua complessità da usare.

Quando interrompere un test multivariato?

Ci sono 3 cose principali che dobbiamo considerare quando si esegue un test prima di interromperlo:

• Affinché il test sia durato abbastanza a lungo da aver raccolto una dimensione del campione sufficientemente ampia per ciascuna variante e che il test abbia raccolto un numero sufficiente di conversioni per essere pertinente.
• Affinché il test abbia eseguito 1 o anche 2 cicli di vendita completi (per bilanciare il traffico e i periodi di acquisto in 30-60 giorni).
• E infine, affinché i risultati siano statisticamente significativi, ad esempio se eseguiamo questo test in natura e lo aumentiamo, possiamo essere sicuri al 95% che continuerà a funzionare allo stesso modo.

Si consiglia di non interrompere alcun test prima di questo punto. In caso contrario, i dati non saranno sufficienti per lavorare. Potremmo tuttavia interrompere e riavviare un test se ci sono problemi con le prestazioni come i moduli di pagamento di una variante non funzionanti ecc., ma idealmente, cerchiamo di non sbirciare nemmeno quando è in esecuzione.

(Alcune agenzie consigliano di interrompere in anticipo se c'è un chiaro vincitore, o addirittura di interrompere specifiche variazioni se il loro tasso di conversione scende al di sotto del 10%, e quindi di consentire al test di continuare filtrando più traffico verso i risultati più alti. Ovviamente, ciò può influire il test risulta molto.)

Come impostare ed eseguire un test multivariato?

Il processo di impostazione di un test multivariato è molto simile a un test A/B.

Passaggio 1: decidi il tuo obiettivo finale

Innanzitutto, devi formulare un'ipotesi per la tua pagina, il suo obiettivo, i suoi risultati attuali e come pensi che possa essere migliorata.

Puoi usare il nostro generatore di ipotesi per aiutarti a chiarire cosa vuoi raggiungere e fissare alcuni obiettivi concreti.

Passaggio 2: scopri cosa testare

Quindi, decidi quali elementi testare e quali variazioni pensi possano migliorare i tuoi risultati attuali.

Ad esempio, potresti pensare che testare gli "elementi principali" above the fold aumenterà le conversioni, quindi ti consigliamo di testare il titolo, l'inquadratura dell'eroe e il testo del pulsante CTA.

Passaggio 3: calcola il periodo di test

Prima di eseguire il test o creare risorse, ti consigliamo di eseguire un calcolo delle dimensioni del campione pre-test, in modo da poter stimare l'intervallo di tempo e i requisiti di traffico per l'esecuzione di questo test. Questo ti aiuterà a darti un'idea di quante varianti puoi eseguire in modo fattibile con il tuo traffico ricorrente e ottenere comunque risultati rapidi. (O anche farti sapere se hai bisogno di testare meno opzioni).

Nell'esempio sopra, hai 3 elementi: il titolo, lo scatto dell'eroe e il testo del pulsante CTA.

Se vuoi testare una singola variazione per ciascuna, sarebbero 2x2x2=8 combinazioni. Sapendo questo, puoi iniziare a capire di quanto traffico hai bisogno.

Inserisci il traffico della tua pagina settimanale attuale e il tasso di conversione nella calcolatrice (insieme a qualsiasi impostazione di potenza e affidabilità).

Quindi, imposta il numero di pagine che vuoi testare. (8 in questo esempio)

Questo ti darà quindi un lasso di tempo per quanto tempo devi correre per essere in grado di rilevare il sollevamento minimo.

Passaggio 4: crea il test

Quindi, vai al tuo strumento e imposta le diverse versioni e combinazioni per il tuo test multivariato.

Inizia selezionando l'opzione di test multivariato.

Assegnagli un nome e quindi aggiungi l'URL della pagina che desideri testare (in modo che lo strumento possa inserirlo per le modifiche WYSIWYG).

In questo esempio, lavoreremo per migliorare il tasso di conversione della nostra home page.

Una volta caricata la pagina nello strumento, è necessario impostare gli elementi di test.

Qui in Converti, utilizziamo 2 conversioni di denominazione per le parti da modificare nei test multivariati:

• La Sezione, che fa riferimento all'elemento della pagina che si desidera testare, ad esempio un titolo o una CTA, e
• La variazione, che è la tua modifica di quel particolare elemento.

Ti consiglio di scegliere una sezione alla volta per modificare e aggiungere ogni variazione.

Assegna alla sezione un nome come "Titolo", quindi vai avanti e modifica e aggiungi le variazioni per quella sezione. (Assicurati di salvare ogni variazione mentre ci lavori.)

Quindi passa alla "sezione" o all'elemento successivo che desideri testare. In questo esempio, sarebbe impostare un'altra ripresa dell'eroe in background e quindi impostare una variazione del testo del pulsante CTA.

Passaggio 5: assicurati che funzioni tutto

Dopo aver impostato ciascuna variazione, esegui un test di controllo qualità su ogni nuovo trattamento per assicurarti che funzionino tutti e che ogni elemento si adatti perfettamente. (Nessun invito all'azione in competizione o informazioni/immagini non corrispondenti o raddoppia il colore del carattere e i pulsanti.)

Fai clic su "Salva e continua" e verrà caricata una nuova pagina. Quindi, vai avanti e fai clic sulla scheda "Rapporti".

Da qui vedrai le variazioni di pagina e le informazioni su di esse. Fare clic sull'icona a forma di occhio accanto a ciascuna pagina per vederne un'anteprima e testare il funzionamento dei collegamenti.

Da qui puoi eseguire un test QA e utilizzare lo stesso URL per i test mobili.

Passaggio 6: spingilo dal vivo

Finché ogni variazione funziona, ora puoi avviare il test e lasciarlo eseguire finché non hai dati sufficienti.

(Nota che c'è un'opzione per inviare il test in tempo reale direttamente dalla pagina del rapporto in cui hai aperto i test QA.)

I migliori strumenti di test multivariati per maturare il tuo programma di ottimizzazione

Ora che hai capito come funzionano i test multivariati, analizziamo le piattaforme di ottimizzazione dei siti Web sul mercato che offrono test multivariati. Tratteremo le loro funzionalità insieme ai loro prezzi se offrono prove gratuite e pochi altri dettagli.

Una cosa veloce prima di farlo.

Ricorda che lo strumento che utilizzi è SOLO valido quanto la persona che lo configura . Se il flusso di cassa è limitato, investi prima in qualcuno che ti aiuti internamente (o contatta un'agenzia esterna) e per ora usa uno strumento più economico.

Va benissimo avere uno straordinario strumento di test MVT, ma è inutile se la persona non può configurarlo correttamente, abbastanza velocemente o comprendere i dati!

#strumenti per la squadra

1. Converti esperienze

Valutazione G2 : 4.7/5.0 (46 Recensioni)

Prezzi: a partire da $ 699 al mese, con $ 199 per ogni 100.000 visitatori in seguito.

Offrono un piano o una prova gratuiti? Sì, 14 giorni di prova gratuita senza carta di credito necessaria.

Costo per 100.000 visitatori: $ 199.

Professionisti

• Completamente conforme alla privacy: nessun dato personale viene mai archiviato
• Segnalazione accurata grazie all'utilizzo di cookie di prima parte
• Veloce e senza sfarfallio
• Esegui test illimitati
• Stacking delle condizioni con oltre 40 filtri per raggiungere segmenti di pubblico dettagliati
• Inserimento JavaScript flessibile a livello di progetto, esperimento e variazione
• Attivazione dell'obiettivo della condizione JS personalizzata
• Si integra con oltre 100 strumenti di terze parti (ad es. Shopify, WordPress, Mixpanel, Hotjar)
• Assistenza clienti umana 4 volte più veloce via telefono, e-mail e chat.

contro

• Segmentazione post di base sul piano Kickstart

Caratteristiche del test multivariato : Fattoriale completo. Offriamo anche supporto e consulenza diretti durante l'esecuzione di questi test

Lato client, lato server o entrambi? Convert funziona come editor WYSIWYG lato client, ma può anche essere impostato sul lato server ed eseguire JS personalizzato.

Servono Enterprise? Sì. Siamo lo strumento preferito da aziende come Sony, Jabra, Unicef ​​e altre.

Offrono assistenza clienti? Sì, fin dall'inizio del processo. Quale tipo? Chat dal vivo, blog e knowledge base con molto altro in arrivo.

Si preoccupano della Privacy ? Siamo completamente conformi al GDPR. Abbiamo persino smesso di utilizzare strumenti per il nostro lavoro interno di altre aziende che non soddisfano il GDPR, ecco quanto significa per noi.

Si preoccupano del mondo? Sì. È nel nostro DNA. Piantiamo alberi, gestiamo programmi comunitari, sosteniamo la diversità dall'applicazione iniziale, doniamo a enti di beneficenza e molto altro. Diamine, siamo 15 volte negativi al carbonio.

Recensione di TrustRadius:

2. AB gustoso

Valutazione G2: 4.5/5.0 (76 Recensioni)

Prezzo: a partire da $ 1900/mese per 400.000 visitatori testati mensilmente per il piano Essentials. Il piano Crescita costa $ 3800/mese mentre il piano Elite parte da $ 5700/mese.

Offrono un piano o una prova gratuiti? No. Puoi richiedere una chiamata demo per vedere le loro nuove funzionalità.

Costo per 100.000 visitatori: circa $ 475.

Professionisti:

• AI e ML integrati nell'ottimizzazione
• Esegui esperimenti illimitati
• Interfaccia utente pulita e facile da usare
• Facile da configurare e visualizzare in anteprima i test
• Widget dinamici
• Integrazioni multiple
• Rapporti analitici completi
• Ampia gamma di opzioni di targeting disponibili, insieme alla personalizzazione
• Assistenza clienti affidabile
• Il prezzo è di fascia media

Contro:

• Nessuna automazione del marketing per fornire informazioni dettagliate sul rendimento del pubblico (soprattutto per un esperimento attivo) e talvolta richiederà l'assistenza clienti per vederlo.
• Il calcolatore di significatività statistica è un po' basilare nella sua UX
• L'integrazione di Google Analytics è complessa, richiede la codifica
• Nessuna prova gratuita

Funzioni di test multivariate: Fattoriale completo

Lato client, lato server o entrambi? Tutti e due

Frequentista o bayesiano? bayesiano.

Supporta lo stack completo? Sì.

Core Web Vital Pronti? Sì. Questo strumento si carica velocemente.

Ha ML o AI? Sì.

Servono Enterprise? Sì. Sono lo strumento preferito da aziende come Disney, L'Oreal, Kalviyo e altre.

Offrono assistenza clienti? Sì. Hanno una base di conoscenza e chat dal vivo.

Si preoccupano della Privacy? Sì. Gli indirizzi IP degli utenti vengono utilizzati per creare un codice ID e quindi eliminati immediatamente prima di passare allo strumento. I codici ID vengono resi anonimi e quindi cancellati dopo 13 mesi.

Si preoccupano del mondo? Donano direttamente alle ONG, lavorano con gruppi di azione sociale, riciclano e sponsorizzano gli alveari.

Recensione di TrustRadius :

Che aspetto ha questo strumento di test multivariato in azione:

3. Google Ottimizza e ottimizza a 360 gradi

Valutazione G2: 4.3/5.0 (27 Recensioni)

Prezzi : ci sono 2 versioni di questo strumento. Optimize è gratuito, ma per le funzionalità avanzate devi optare per Google Optimize 360.

Il prezzo di Optimize 360 ​​è personalizzato (anche se si dice che sia di circa $ 150.000 all'anno). Per ottenere il tuo prezzo mensile, dovrai compilare un modulo per contattare il loro team di vendita.

Offrono un piano gratuito? Sì.

Costo per 100.000 visitatori: N/A

Professionisti:

• Facile da usare: poca conoscenza tecnica richiesta
• Ottimo per i tester A/B per la prima volta
• Rapida integrazione con Google Analytics
• Ha una segmentazione del pubblico super dettagliata, grazie alle enormi risorse di dati di Google

Contro:

• Limitato a 5 test alla volta sul livello gratuito
• Nessuna funzionalità dell'editor drag-and-drop
• Impossibile caricare le tue immagini direttamente
• Impossibile testare le app, solo i browser
• Non adatto per test complicati
• UI/UX e report non sono visivamente accattivanti come la maggior parte degli altri strumenti sul mercato
• Lo sfarfallio si verifica a volte.

Funzionalità di test multivariate: Apparentemente Optimize utilizza un approccio ibrido che non è né fattoriale né frazionario completo. Secondo la loro base di supporto

“I nostri modelli ci consentono di utilizzare un approccio ibrido, quindi non è necessario fare questo compromesso. Serviamo tutte le combinazioni di un test, così puoi conoscere le interazioni e le migliori combinazioni. Ma modelliamo anche il fatto che alcune varianti si manifestano attraverso le combinazioni, e così possiamo conoscere le varianti all'interno di un fattore, non solo le combinazioni ".

Lato client, lato server o entrambi? Tutti e due.

Frequentista o bayesiano? Google Optimize utilizza metodi bayesiani anziché metodi frequentisti, noti anche come Null Hypothesis Significance Testing (NHST).

Supporta lo stack completo? Sì.

Core Web Vital Pronti? Sì. Questo strumento si carica velocemente, anche se può causare uno sfarfallio che potrebbe causare problemi di CLS.

Ha ML o AI? No.

Servono Enterprise? Sì, ma solo tramite Optimize 360.

Offrono assistenza clienti? Hanno un hub di risorse con suggerimenti, tutorial video, community di assistenza e altro ancora.

Si preoccupano della privacy? Sono conformi alle leggi sulla protezione dei dati applicabili nei paesi in cui vengono utilizzati i loro prodotti.

Collaborano anche con terze parti e autorità di protezione dei dati per mantenere i dati degli utenti al sicuro.

Si preoccupano del mondo? Google è carbon neutral dal 2007 e prevede di esserlo entro il 2030. A parte questo, sono noti per numerosi gesti filantropici con il loro impegno di 1 miliardo di dollari.

Recensione di TrustRadius :

Come appare questo strumento di test MVT in azione:

4. Destinazione Adobe

Valutazione G2: 4.0/5.0 (29 Recensioni)

Prezzi : disponibile solo dopo un modulo in 11 parti, un'e-mail e una chiamata. La tariffa di partenza è di $ 10.000 al mese.

Offrono un piano o una prova gratuiti? No.

Costo per 100.000 visitatori: N/A

Professionisti

• L'interfaccia è facile da usare
• Fornisce rapporti di dati accurati in tempo reale
• Si integra bene con Adobe Analytics ed è progettato come offerta di upsell
• Strumenti di personalizzazione del sito Web sia per principianti che per esperti
• Ti guida attraverso il processo di configurazione e test
• Dispone di un'intelligenza artificiale avanzata per testare e migliorare continuamente le campagne e la personalizzazione

contro

• L'ottimizzazione su larga scala può essere lenta
• Richiede un volume di traffico molto elevato per funzionare al meglio
• L'editor basato su moduli richiede una curva di apprendimento
• Punto di prezzo elevato
• Nessuna opzione di prova
• Funziona meglio quando si utilizza già Adobe Analytics
• Può ottenere informazioni dettagliate quando è connesso ad altri strumenti Adobe Marketing Cloud a pagamento

Caratteristiche del test multivariato: Fattoriale completo e Taguchi (come metodo di fattoriale parziale).

Lato client, lato server o entrambi? Tutti e due.

Servono Enterprise? Sì. Quasi esclusivamente per il costo.

Offrono assistenza clienti? Sì, sotto forma di knowledge base e programmi di formazione video.

Si preoccupano della Privacy? Sì, ma ironicamente richiedono la tua email e il tuo numero di telefono per saperne di più. Tuttavia, stanno lavorando molto sui dati di prima parte per il monitoraggio non intrusivo.

Si preoccupano del mondo? Così tanto. Difendono la diversità, lavorano per edifici a energia rinnovabile al 100%, riducono le emissioni, gestiscono programmi di azione comunitaria e molto altro.

Recensione di TrustRadius :

Che aspetto ha questo strumento di test multivariato in azione:

5. Camaleonte

Valutazione G2: 4.7/5.0 (24 Recensioni)

Prezzo : Personalizzato in base alle vostre esigenze. Ottieni il tuo prezzo unico contattando il team di vendita.

Offrono un piano gratuito? Sì.

Costo per 100.000 visitatori: N/A

Professionisti

• Monitoraggio dei clic facile da impostare
• Integrazione fluida con molti altri strumenti
• Ha un editor WYSIWYG facile da usare per i non sviluppatori
• Tecnologia avanzata anti-sfarfallio
• Team di supporto competente e disponibile
• Pianificazione ed esecuzione dei test accurata e dettagliata

contro

• L'editor WYSIWYG si carica lentamente
• La dashboard dei rapporti potrebbe utilizzare un po' più di personalizzazione
• Sono necessarie competenze a livello di sviluppatore per implementare alcuni scenari complessi
• Impossibile archiviare i test
• I vecchi browser come IE7 sono esclusi dai test

Funzionalità di test multivariate: fattoriale completo e fattoriale frazionario (tramite allocazioni nell'impostazione del test).

Lato client, lato server o entrambi? Tutti e due. Puoi apportare modifiche all'editor WYSIWYG e utilizzare l'editor di codice integrato di Kameleoon per modificare CSS e JS.

Servono Enterprise? Sì. Lexus, Unity, Providence, Toyota e Rakuten usano Kameleoon.

Offrono assistenza clienti? Sì. Puoi anche ottenere un account manager dedicato che ti assista con progetti complicati.

Si preoccupano della Privacy? Sono conformi a HIPAA, GDPR e CCPA. Hanno anche una funzione flessibile di gestione del consenso per adattare la tua politica sulla privacy per ogni test A/B.

Si preoccupano del mondo? Non sono riuscito a trovare prove di alcun ente di beneficenza che sponsorizzano o di cause ambientali che sostengono. Tuttavia, è interessante sapere che hanno due camaleonti vivi nei loro uffici in Germania e Francia.

Recensione di TrustRadius :

Come appare questo strumento di test MVT in azione:

6. In modo ottimale

Valutazione G2: 4.3/5.0 (109 Recensioni)

Prezzi : stanno usando un modello di prezzo personalizzato. Ma Splitbase prevede che costino almeno $ 36.000 all'anno.

Offrono un piano gratuito? No. Hanno interrotto il piano gratuito nel 2018.

Costo per 100.000 visitatori : N/A

Professionisti:

• Esegui esperimenti illimitati
• Interfaccia utente pulita e facile da usare
• La funzione widget è divertente da usare
• Ampia gamma di opzioni di targeting avanzate disponibili
• Assistenza clienti affidabile

Contro:

• Non fornisce informazioni automatiche sul rendimento del pubblico (soprattutto per un esperimento attivo)
• L'integrazione di Google Analytics è complessa, richiede la codifica
• Lo snippet ottimizzato di solito aumenta il tempo di caricamento della pagina

Funzionalità di test multivariati: Fattoriale completo, Parziale e Taguchi.

Lato client, lato server o entrambi? Tutti e due. Optimizely offre la sperimentazione lato client tramite uno snippet Javascript e la sperimentazione lato server tramite gli SDK per sviluppatori.

Frequentista o bayesiano? Il motore delle statistiche di Optimizely utilizza la sperimentazione sequenziale, non gli esperimenti a orizzonte fisso che vedresti in altre piattaforme.

Supporta lo stack completo? Sì.

Core Web Vital Pronti? Sì, questo strumento si carica velocemente.

Ha ML o AI? Sì.

Servono Enterprise? A causa dei prezzi, si rivolge principalmente a un livello aziendale. Marchi come Microsoft, IBM, HP, eBay, Yamaha, Pizza Hut e Atlassian lo usano.

Offrono assistenza clienti? Sì. Hanno una banca di risorse per aiutare gli utenti a sbloccarsi e numeri di telefono per chiedere aiuto 24 ore su 24, 7 giorni su 7.

Si preoccupano della Privacy? Prendono in considerazione le vecchie e le nuove leggi sulla privacy e le integrano nei loro prodotti in modo che tu, l'utente, non debba preoccuparti della conformità.

Si preoccupano del mondo? La maggior parte dei nuovi assunti viene inviata a fare volontariato nella comunità il secondo giorno.

Recensione di TrustRadius :

Che aspetto ha questo strumento di test multivariato in azione:

7. SiteSpec

Valutazione G2: 4.4/5.0 (50 Recensioni)

Prezzi : dovrai contattare SiteSpect per un prezzo personalizzato in base alle tue esigenze.

Offrono un piano gratuito? Sì, offrono una prova gratuita.

Costo per 100.000 visitatori: N/A

Professionisti:

• Supporta tutti i linguaggi di markup (HTML, WML, XML e JSON), fogli di stile e linguaggi di scripting
• Nessun tag javascript significa nessun aggiornamento o sfarfallio del contenuto
• Abbastanza versatile da testare quasi tutti gli scenari
• Test non intrusivi
• Si integra con gli strumenti di analisi
• Non è necessario modificare la versione di produzione del codice

Contro:

• Conoscenze tecniche richieste per implementare i test
• Aggiunge un salto in più che potrebbe rallentare un po' il tuo sito
• L'interfaccia di segnalazione potrebbe essere migliore

Funzionalità di test multivariati: Fattoriale completo e Fattoriale frazionario (lo strumento consiglia di passare a frazionario se si testano più di 128 combinazioni).

Lato client, lato server o entrambi? Tutti e due.

Frequentista o bayesiano? SiteSpect utilizza un test t a due code quando confronta le variazioni con i controlli per determinare il punto in cui gli intervalli di confidenza non si sovrappongono e quindi indicano la significatività. SiteSpect calcola anche lo z-score e lo utilizza nei rapporti.

Supporta lo stack completo? Sì.

Core Web Vital Pronti? Sì. Questo strumento è incredibilmente veloce.

Ha ML o AI? Sì.

Servono Enterprise? Sì. Staples, PetSmart, AmericanGirl e Urban Outfitters utilizzano SiteSpect.

Offrono assistenza clienti? L'assistenza clienti è disponibile tramite telefonata ed e-mail per le versioni gratuite ea pagamento. Ci sono anche webinar preregistrati disponibili nella loro knowledge base.

Si preoccupano della Privacy? Loro fanno. Sono certificati PCI DSS 3.2; Conforme a GDPR, CCPA e protezione della privacy e predisposto per HIPAA.

Si preoccupano del mondo? SiteSpect è noto per sponsorizzare alcuni progetti di beneficenza dal 2014.

Recensione di TrustRadius :

Che aspetto ha questo strumento di test multivariato in azione:

8. Test VWO

Valutazione G2: 4.2/5.0 (239 Recensioni)

Prezzo : a partire da $ 99/mese. Qualsiasi cosa in più richiede prezzi personalizzati in base alle tue esigenze. E dovrai contattare il team di vendita VWO per il tuo.

Offrono un piano gratuito? Sì, puoi iniziare con una prova gratuita di 30 giorni.

Costo per 100.000 visitatori: ~$500

Professionisti:

• Opzioni di personalizzazione flessibili per adattare il test a molti scenari
• Facile da pianificare ed eseguire test con poca conoscenza del codice
• Team di supporto dedicato per guidarti attraverso qualsiasi sfida
• Ha la capacità di tracciare obiettivi a lungo termine
• Possibilità di raggruppare i test
• Registrazioni utili per l'osservazione degli utenti e la risoluzione dei problemi

Contro:

• C'è una curva di apprendimento per comprendere la piena funzionalità di VWO
• I piani tariffari cambiano frequentemente
• Testano solo lato client

Funzionalità di test multivariate: Fattoriale completo (sebbene sia possibile impostare percentuali di traffico per variazione di pagina).

Lato client, lato server o entrambi? Solo lato cliente.

Servono Enterprise? Sì. I loro clienti aziendali includono Ubisoft, AMD, Penn Foster, Optimeria e IMB Bank.

Offrono assistenza clienti? Sì, puoi chiamarli quando hai bisogno di aiuto. Oppure consulta la loro pagina delle risorse.

Si preoccupano della Privacy? Sì. Rispettano le principali leggi e normative sulla privacy ma memorizzano alcuni dati dei visitatori sui loro server.

Si preoccupano del mondo? Di recente, il presidente di Wingify (il marchio dietro VWO) Paras Chopra, ha twittato il proprio sostegno a un paio di iniziative di soccorso COVID, inclusa la creazione di una struttura di assistenza COVID da 10 posti letto a Delhi.

Recensione di TrustRadius :

Come appare questo strumento di test MVT in azione:

9: Webtrend ottimizza

Valutazione G2: 4.9/5.0 (107 Recensioni)

Prezzo : a partire da $ 212 al mese, ma può essere inferiore o superiore a seconda di ciò di cui hai bisogno. Hanno una struttura dei prezzi molto flessibile, ma devi parlare con i team di vendita per confermare il tuo prezzo.

Offrono un piano gratuito? Sì, per meno di 1.500 sessioni al mese.

Costo per 100.000 visitatori: N/A

Professionisti:

• Facile da usare, adatto per utenti non tecnici con un editor WYSIWYG
• Supporta la collaborazione in team
• Fornisce approfondimenti basati sui dati
• Il team di supporto mostra un sincero interesse per il tuo successo
• Integrazione fluida con il tuo sito Web e gli strumenti esistenti
• Rapporti chiari e diretti

Contro:

• L'interfaccia utente può essere difficile da usare per i nuovi utenti
• Richiede tempo per impostare anche semplici test
• Il costo del servizio completo è alto

Caratteristiche del test multivariato: fattoriale completo e fattoriale frazionario.

Lato client, lato server o entrambi? Tutti e due. Hanno un editor visivo senza proxy per il rendering lato client e anche le funzionalità di test lato server.

Servono Enterprise? Microsoft, London North Eastern Railway, Marks and Spencer e Virgin Wines utilizzano Optimize.

Offrono assistenza clienti? Sì. Ottieni l'accesso al supporto tecnico, alla formazione e al tuo consulente dedicato all'ottimizzazione delle conversioni.

Si preoccupano della Privacy? Sono completamente conformi al GDPR.

Si preoccupano del mondo? Nell'aprile 2021, Webtrends Optimize si è sfidato a 100 flessioni al giorno in un evento GoFundMe per raccogliere fondi per Cancer Research UK. E hanno fatto qualcosa di simile nel 2020 chiamato Xmas Charity Donations. Quindi, si preoccupano.

Revisione del raggio di fiducia :

Sebbene ci siano recensioni su Trust Radius per questo strumento, l'ultima è stata a dicembre 2019 e prima ancora nel 2018. Poiché uno strumento può cambiare e così anche il servizio, ho estratto la loro ultima recensione da G2.

Che aspetto ha questo strumento di test multivariato in azione:

Conclusione

Così il gioco è fatto.

Il nostro elenco dei migliori strumenti di test A/B che offrono test multivariati nel 2021. Mostriamo anche quale metodo usano per testare, le loro caratteristiche, i prezzi e le recensioni.

Ora puoi confrontare i migliori strumenti multivariati su questi diversi parametri e sceglierne uno che funzioni meglio per le tue esigenze di test.