Che cos'è il test A/A e perché i marketer dovrebbero interessarsene?

Hai vissuto questo scenario? Hai impostato un test A/B per scoprire se la tua nuova combinazione di pulsante e titolo genererà più conversioni...

Indirizzi lo stesso traffico verso entrambe le pagine di destinazione post-clic, quella di controllo e quella di variazione, e ti fermi dopo un mese, quando il tuo software dichiara la tua variante vincitrice con una sicurezza del 99%...

Distribuisci il nuovo design "vincente", ma diversi cicli economici dopo, quell'aumento del 50% del tasso di conversione non mostra alcun impatto sui tuoi profitti. Sei confuso. Sei infastidito...

E probabilmente sei vittima di un risultato falso positivo del test.

Cos'è un risultato del test falso positivo?

Perché l'aumento del tasso di conversione del 50% non si traduce in un aumento delle vendite? Il motivo, dice Lance Jones di Copyhackers, è perché probabilmente non esisteva.

È del tutto possibile (anche probabile) che tu non veda l'aumento delle vendite o delle entrate dal tuo test perché non c'è mai stato in primo luogo. Potresti aver ricevuto inconsapevolmente un "falso positivo" nel tuo test, noto come errore statistico di tipo I, altrimenti noto come rifiuto errato di una vera ipotesi nulla. È un boccone, quindi lo ricordo semplicemente come un falso positivo.

A bocca aperta o no, questi errori statistici di tipo 1 sono più comuni di quanto si pensi. Si stima che circa l'80% dei risultati dei test AB siano immaginari.

Se stai prendendo decisioni chiave basate su falsi positivi, nella migliore delle ipotesi, stai lasciando l'ottimizzazione al caso. Nel peggiore dei casi, stai effettivamente peggiorando il tasso di conversione delle tue pagine di destinazione post-clic.

Fortunatamente, ci sono alcuni modi per combattere i dati velenosi. Uno di questi è simile a un metodo di test che probabilmente conosci già...

Cos'è il test A/A?

I test A/B comportano l'indirizzamento del traffico verso due pagine diverse, una originale (il tuo controllo) e un'altra versione (la tua variante), per vedere quale funziona meglio.

Allo stesso modo, il test A/A comporta l'indirizzamento del traffico verso due pagine per vedere quale ha le prestazioni migliori. Ma a differenza di un test A/B, un test A/A mette due pagine identiche l'una contro l'altra e invece di scoprire un passaggio, il loro obiettivo è non trovare alcuna differenza tra il tuo controllo e la variazione.

Perché dovresti fare il test A/A?

Non ti biasimiamo per esserti grattato la testa, chiedendoti "Cosa diavolo farebbe testare due pagine identiche l'una contro l'altra?"

Può sembrare sciocco, ma è una tecnica che alcuni tester professionisti usano per testare il loro test A/B prima del test. (Eh?)

Risultati accurati dei test richiedono più della significatività statistica

Chiunque può eseguire un test A/B, ma pochi possono eseguire un test A/B valido (ricorda: solo il 20% circa dei risultati dei test è effettivamente legittimo).

La produzione di dati di test accurati implica molto di più che raggiungere la significatività statistica con una dimensione del campione ampia e rappresentativa. Per essere sicuro dei tuoi risultati, devi assicurarti che il campione non sia contaminato da una serie di minacce di validità.

Una di queste minacce, l'effetto strumento, è ciò che i test A/A sono più utili per combattere.

Qual è l'effetto dello strumento?

La protezione dalle minacce di validità inizia prima ancora di iniziare i test A/B. L'effetto dello strumento, dice Peep Laja di CXL, è ciò che avvelena la maggior parte dei risultati dei test:

Questo è il problema più comune. È quando succede qualcosa con gli strumenti (o gli strumenti) di test che causano dati errati nel test. Spesso è dovuto all'implementazione errata del codice sul sito Web e distorce tutti i risultati.

Ecco perché, quando si imposta un test, è importante assicurarsi che i propri strumenti siano configurati correttamente e funzionino come dovrebbero. In caso contrario, possono sorgere questi problemi comuni:

• Segnalazione errata degli indicatori chiave di prestazione. Un solo errore in uno strumento può confondere i tuoi dati, motivo per cui non dovresti mai fare affidamento su un'unica piattaforma per tenere traccia di tutte le informazioni sui test. Per lo meno, integra con Google Analytics per ricontrollare che le metriche che vedi nel tuo software di test e nel monitoraggio del sito web siano accurate. Per risultati ancora migliori, controlla tre volte con un altro strumento. Diffidare di eventuali rapporti che non corrispondono in modo relativamente stretto.
• problemi di visualizzazione della pagina di destinazione dopo il clic. Piccoli errori di codifica possono causare grandi minacce di validità, come problemi di visualizzazione, durante il test A/B. Ecco perché è fondamentale assicurarsi che le pagine di destinazione post-clic appaiano come dovrebbero su tutti i dispositivi e browser e che i visitatori non siano influenzati da qualcosa chiamato "effetto sfarfallio". Tra gli altri, un sito web lento può causare questo problema, che si verifica quando il tuo controllo viene momentaneamente mostrato al tuo visitatore appena prima della variazione.
• Interrompere un test troppo presto. Alcuni software di test dichiareranno prematuramente una pagina vincente, quando una dimensione del campione non è abbastanza grande o rappresentativa del tuo cliente target. Ricorda: raggiungere la significatività statistica non significa che è ora di interrompere il test. Più a lungo lo esegui, più accurati saranno i risultati.

Ognuno di questi problemi (e altri) può portare a un falso positivo alla conclusione del test, motivo per cui Peep avverte i tester di essere vigili:

Quando imposti un test, guardalo come un falco. Osserva che ogni singolo obiettivo e metrica che monitori viene registrato. Se alcune metriche non inviano dati (ad es. Aggiungi al carrello i dati sui clic), interrompi il test, trova e risolvi il problema e ricomincia reimpostando i dati.

Ma non tutti si sentono a proprio agio nel lanciarsi immediatamente nei test A/B con entrambi i piedi, soprattutto quando si utilizza un nuovo software. Quindi, come ulteriore precauzione, alcuni praticanti effettuano il test A/A per valutare i loro strumenti prima di iniziare il test A/B.

Se il tuo esperimento è impostato correttamente, al termine di un test A/A, entrambe le pagine dovrebbero emergere con un tasso di conversione simile. Come mostrano i seguenti tester, tuttavia, ciò non sempre accade.

Esempi di test A/A

I falsi positivi sono davvero così comuni? Una pagina può davvero superare il suo clone? Questi ragazzi hanno utilizzato i test A/A per scoprirlo e hanno rivelato le loro scoperte nei seguenti post del blog...

1. Il test diviso della home page rivela il principale difetto degli strumenti di test più diffusi

L'11 novembre 2012, il team di Copyhackers ha avviato uno split test A/A sulla propria home page, illustrato di seguito:

Il 18, 6 giorni dopo, il loro strumento di test ha dichiarato vincitore con una fiducia del 95%. Per motivi di precisione, tuttavia, il team ha deciso di far eseguire il test un altro giorno, a quel punto il software ha dichiarato vincitore con un livello di confidenza del 99,6%:

La loro home page aveva un rendimento migliore di quasi il 24% rispetto alla stessa identica pagina e, secondo il software, c'era solo una probabilità dello 0,4% che il risultato fosse un falso positivo. Tuttavia, il team ha lasciato eseguire il test per circa altri tre giorni e le differenze alla fine si sono appianate:

Ma non è questo il punto. Il punto è: lo strumento di test ha dichiarato un vincitore troppo presto. Se il team di Copyhackers non l'avesse mantenuto in esecuzione, avrebbe erroneamente presunto che ci fosse un problema con il loro esperimento. Leggi di più sul test qui.

2. A/A Testing: come ho aumentato le conversioni del 300% senza fare assolutamente nulla

Questo titolo sarcastico viene dall'autore e autoproclamato "imprenditore in cerca di recupero", David Kadavy, che ha eseguito una serie di test A/A per 8 mesi su 750.000 abbonati e-mail. Durante quel periodo, ha generato risultati statisticamente significativi, come questi:

Tra questi risultati c'erano:

• Un aumento del 9% delle aperture di posta elettronica
• Un aumento del 300% dei clic
• Un tasso di annullamento dell'iscrizione inferiore del 51%.

Lui dice:

A molti wantrepreneurs (incluso il mio ex me stesso), questo sembra "oh wow, hai aumentato le aperture del 10%!" Potrebbero persino inserirlo nel calcolatore di significatività di Visual Website Optimizer e vedere che p=.048. "È statisticamente significativo!" loro (o io) potremmo esclamare.

La verità è, però, che questi erano tutti test A/A. Il contenuto testato l'uno contro l'altro era identico. Guarda altri dei suoi risultati qui.

Dovresti eseguire i test A/A?

La risposta a questa domanda dipende da chi chiedi.

Neil Patel, che continuava a vedere grandi aumenti delle conversioni che non equivalevano a maggiori entrate, afferma: "È davvero importante eseguire prima un test A/A, in quanto ciò ti aiuterà a non perdere tempo con software impreciso".

D'altra parte, Peep Laja di CXL afferma che gli stessi test A/A sono una perdita di tempo. Quindi chi ha ragione?

I due principali problemi con i test A/A

Da un punto di vista teorico, i test A/A hanno molto senso. Soprattutto, l'accuratezza è molto importante quando si esegue un test A/B e testare il test è solo uno dei tanti modi per garantirlo.

Negli ambienti di test del mondo reale, tuttavia, i test A/A hanno il potenziale per fare più male che bene. Craig Sullivan spiega:

Per me, il problema è sempre mangiare traffico reale e tempo di test, dovendo precaricare il tempo di esecuzione del test con un periodo di test A/A. Se sto cercando di eseguire 40 test al mese, questo paralizzerà la mia capacità di ottenere cose dal vivo. Preferirei avere mezza giornata di test QA sull'esperimento piuttosto che eseguire 2-4 settimane di test A/A per verificarne l'allineamento.

Questo è il primo problema. I test A/A costano in tempo reale e traffico che potresti utilizzare per saperne di più sui visitatori del tuo sito web con i test A/B.

Il problema due è esemplificato nel case study di Copyhackers. Come i test A/B, anche i test A/A devono essere progettati e monitorati attentamente, perché sono anch'essi soggetti a falsi positivi.

In altre parole, il tuo test A/A potrebbe dirti che una pagina ha un rendimento migliore dell'altra, quando non lo è (questa possibilità è molto più alta di quanto pensi, circa il 50%)

Se il team di Copyhackers avesse ascoltato il loro strumento di test e avesse dichiarato un vincitore in soli sei giorni, avrebbe passato ancora più tempo a cercare di capire perché la loro home page funzionava meglio del suo gemello identico (quando in realtà non lo era) .

Il principale vantaggio dei test A/A

Nonostante questi problemi, i test A/A hanno il potenziale per aiutarti a rilevare problemi ancora più grandi durante i test reali . Quando i risultati di questi test sono quelli su cui si basano importanti decisioni aziendali, questo è un grande vantaggio da considerare.

Se decidi di eseguire il test A/A, esiste un modo potenzialmente meno dispendioso per farlo, chiamato test A/A/B.

Test A/A/B contro test A/A

Il metodo tradizionale di test A/A spreca traffico perché non ti dice nulla sui tuoi visitatori alla sua conclusione. Ma se aggiungi una variazione "B" a quel test, potrebbe. Ecco la differenza tra i due:

• Test A/A = 2 pagine identiche testate l'una contro l'altra
• Test A/A/B = 2 pagine identiche e una variazione testate l'una contro l'altra

Un test A/A/B suddivide il tuo traffico in tre segmenti, il che significa che ci vorrà più tempo per raggiungere la significatività statistica. Ma il lato positivo è che, una volta fatto, avrai dati sia sul tuo strumento di test che sui tuoi visitatori.

Confronta i risultati di A vs. A per determinare se puoi fidarti del tuo test. Se sono statisticamente simili, confronta i risultati di A rispetto a B. Se non lo sono, però, dovrai eliminare i risultati dell'intero test (che ha richiesto più tempo di un test A/A tradizionale per essere eseguito poiché il tuo traffico è segmentato in tre modi).

I vantaggi dei test A/A superano gli svantaggi?

Alcuni esperti dicono "sì", mentre altri dicono "no". Andrew First di Leadplum sembra pensare che la risposta sia da qualche parte tra:

I test A/A probabilmente non dovrebbero essere un affare mensile, ma quando stai impostando un nuovo strumento, vale la pena dedicare del tempo a testare i tuoi dati. Se intercetti i dati errati ora, sarai più sicuro dei risultati dei test nei mesi successivi.

Alla fine, tocca a te. Se stai usando un nuovo strumento, potrebbe essere saggio seguire il consiglio di Andrew. In caso contrario, probabilmente è meglio seguire l'esempio di Craig Sullivan e impostare invece un rigoroso processo di QA pre-test. Risparmia tempo, risorse e traffico per i test A/B.

Ottieni il massimo dai tuoi sforzi di test e dalle campagne pubblicitarie digitali, iscriviti oggi stesso a una demo di Instapage Enterprise.