Come ridurre l'inquinamento delle dimensioni del campione per risultati di test A/B accurati

Hai passato ore a elaborare strategie per il tuo test.

La tua squadra crea un'ipotesi.

Esegui il test e attendi i risultati.

Ma trovi che il tuo test è fallito. I risultati sono stati contaminati. Ma come?

Non picchiarti. C'è un piccolo sporco segreto nel mondo dei test chiamato inquinamento della dimensione del campione .

L'inquinamento del tuo pubblico campione può inconsapevolmente far fallire i test prima ancora che inizino.

C'è una lunga lista di potenziali motivi per cui i test falliscono, ma uno dei più frustranti è l'inquinamento delle dimensioni del campione.

Questo articolo ti aiuterà a capire:

• Perché si verifica l'inquinamento delle dimensioni del campione.
• Come sapere se il tuo test è inquinato.
• Passaggi da intraprendere per ridurre al minimo l'inquinamento delle dimensioni del campione.

Diamo un'occhiata…

Dimensione del campione 101

Definizione della dimensione del campione

Puoi utilizzare strumenti come il calcolatore della durata del test A/B di Convert, che offre un calcolatore della dimensione del campione o un calcolatore della dimensione del campione CXL.

La maggior parte dei calcolatori online sono semplici da usare. Con la calcolatrice di Convert, devi solo inserire tre valori:

• Tasso di conversione esistente
• Miglioramento previsto
• Livello di confidenza

Esempio:

Se il tasso di conversione esistente è del 3% e il miglioramento previsto è del 20% durante il test di due variazioni a un livello di confidenza del 95%, sarebbe necessaria una dimensione del campione di 42.034 per ottenere risultati sicuri. Con 2.000 visitatori giornalieri di questo gruppo di test, ci vorrebbero 22 giorni secondo il nostro calcolatore di durata.

Determina chi sarà nel tuo campione

Il modo più semplice per rispondere a questa domanda "CHI?" o il segmento, è esaminando i dati demografici e le fonti dei visitatori attuali del tuo sito web. Tocca i dati esistenti per gli indizi. Loro chi sono? da dove vengono?

Strumenti come Converti esperimenti in realtà ti consentono di testare utilizzando un segmento specifico dei visitatori del tuo sito Web e creare segmenti di pubblico personalizzati.

Diversi fattori possono aiutarti sotto copertura al "chi":

• Tipo di traffico
  Ricevi traffico stagionale? Prevedi un afflusso di visitatori basato sull'avvicinarsi delle vacanze? I tuoi numeri di traffico variano a seconda del giorno della settimana?
  
• Sorgente di traffico
  Da dove arriva il tuo traffico? Le persone si comportano in modo diverso in base alla fonte da cui accedono al tuo sito. Ad esempio, un visitatore di LinkedIn potrebbe non interagire con il tuo sito come qualcuno proveniente da Facebook.
  
  Esamina Google Analytics per ottenere una panoramica del coinvolgimento dei visitatori in base alla fonte.

• Nuovo vs Vecchio
  Le statistiche mostrano che i visitatori di ritorno rimangono sul tuo sito più a lungo dei nuovi visitatori. Pensa a come questo influenzerà il tuo test.

L'obiettivo di questa fase di riflessione è di aiutarvi a costruire campioni rappresentativi .

L'Encyclopedia of Survey Research Methods definisce campioni rappresentativi come:

Un campione rappresentativo è quello che ha una forte validità esterna in relazione alla popolazione target che il campione intende rappresentare. Pertanto, i risultati dell'indagine possono essere generalizzati con sicurezza alla popolazione di interesse.

Per assicurarti di avere un campione rappresentativo, Convert suggerisce di eseguire un test per almeno un ciclo economico. Ciò garantisce che il tuo test abbia il tempo di tenere conto della varianza dei visitatori che può verificarsi all'interno di un ciclo.

Che cos'è l'inquinamento delle dimensioni del campione?

Ora che hai capito qual è la dimensione del campione, puoi esplorare i fattori che possono alterare la dimensione del tuo campione e rovinare il tuo test. Questo è il modo in cui la dimensione del campione influisce sulla validità. I fattori di dimensione del campione che influiscono negativamente sui risultati del test sono noti come inquinamento della dimensione del campione.

Invespcro definisce l'inquinamento del campione come:

"... fattori che invalidano i dati del test A/B influenzando i campioni o i dati utilizzati durante lo svolgimento del test."

Questo problema è più comune. Guarda questo reclamo:

Campione parziale

Nella maggior parte dei casi, desideri un campionamento casuale, il che significa che ogni visitatore del tuo sito Web ha la stessa possibilità di vedere una particolare variazione prima che venga inserito nel bucket. Una volta inserito in un bucket, l'utente vedrà la stessa variante per tutta la durata del test.

Tuttavia, se si utilizza uno strumento di test A/B che non esegue bene la randomizzazione, la randomizzazione non è garantita e può invalidare il test.

Un modo semplice per combattere il campionamento distorto consiste nell'utilizzare un buon strumento di test A/B come Convert che esegua correttamente la randomizzazione e il bucket. Inizia il test con un test A/A per verificare se la randomizzazione funziona correttamente.

Vuoi essere consapevole del potenziale di distorsione del campione quando stai considerando i dettagli del tuo test.

Fonti che causano l'inquinamento delle dimensioni del campione

Esistono quattro tipi comuni di inquinamento del campione: temporizzazione, dispositivo, browser e cookie.

Diamo un'occhiata a ciascuno di essi...

Tempi

La durata del test influenza la validità dei risultati. Quindi non sorprende che "per quanto tempo dovrei eseguire il mio test A/B" è una domanda comune.

I professionisti del CRO hanno idee contrastanti su quale sia un benchmark accettabile. In realtà, le variabili di test dovrebbero guidare la lunghezza corretta del test.

Una soluzione semplice può sembrare semplicemente consentire l'esecuzione, l'esecuzione e l'esecuzione del test. Ma anche questo può causare problemi. Tempo aggiunto significa un aumento del potenziale inquinamento da fattori esterni.

Vuoi trovare il punto debole.

Un altro errore comune per quanto riguarda la durata del test è interrompere un test troppo presto. Ciò potrebbe non causare inquinamento delle dimensioni del campione, ma può influire negativamente sul test.

Lo stesso vale se si interrompe il test quando si raggiunge la significatività statistica. Per un test valido, dovrebbe anche raggiungere la dimensione del campione calcolata per l'MDE (Minimum Detectable Effect) desiderato.

Allo stesso modo, non interrompere mai una variante di un test di corsa. Ciò causerà un inquinamento catastrofico . Non saresti in grado di confrontare la variante "fermata" con il controllo "in esecuzione in ogni momento". Non avresti modo di confrontare "mele con mele". Non interrompere mai e poi riavviare una variante in un test.

Non interrompere i test finché i dati non sono coerenti per la quantità di dimensioni del campione.

Inquinamento dei cookie

I cookie possono causare la forma più insidiosa di inquinamento delle dimensioni del campione.

In base alla definizione di techopedia, i cookie sono:

Un cookie è un file di testo che un browser Web memorizza sul computer di un utente. I cookie consentono alle applicazioni Web di mantenere lo stato dell'applicazione. Sono utilizzati dai siti Web per autenticazioni, memorizzazione di informazioni/preferenze del sito Web, altre informazioni di navigazione e quant'altro possa aiutare il browser Web durante l'accesso ai server Web. I cookie HTTP sono conosciuti con molti nomi diversi, inclusi i cookie del browser, i cookie Web o i cookie HTTP.

In qualità di marketer, i cookie ti consentono di tracciare i comportamenti dei tuoi visitatori sul tuo sito.

La durata dei cookie è volatile. I visitatori possono eliminarli al loro minimo capriccio.

Più a lungo viene eseguito il test, più sei vulnerabile all'eliminazione dei cookie, il che porta ancora una volta a un'altra forma di inquinamento delle dimensioni del campione. Per mitigare questo fenomeno, Convert consiglia ai clienti di eseguire i test per non più di 90 giorni.

Inquinamento dei dispositivi

I visitatori visitano il tuo sito da più dispositivi: dispositivi mobili, laptop, tablet, desktop e persino smartwatch.

Pensa solo al tuo comportamento di navigazione. Potresti individuare qualcosa sul tuo dispositivo mobile mentre sei in palestra. Nel corso della giornata, puoi rivisitare il sito Web sul tuo computer desktop.

Se ciò accade entro i confini del tuo test A/B, può sembrare che due persone diverse abbiano visitato il tuo sito quando in realtà è la stessa persona che sta navigando da due dispositivi diversi.

Ancora più pericoloso per i tuoi sforzi di test è che questa stessa persona potrebbe vedere una variante diversa su ciascun dispositivo.

C'è un esempio inverso di questo. Cosa succede quando due persone utilizzano lo stesso dispositivo per visitare il tuo sito web?

Immagina che due fratelli vivano nella stessa casa. Condividono un computer desktop. Entrambi si stanno preparando per le vacanze e hanno bisogno di ordinare nuove magliette e calzature. Se un test A/B è in esecuzione sul sito di e-commerce al momento della loro visita, i dati mostrerebbero queste due persone come un singolo utente, ancora una volta, danneggiando la dimensione del campione.

Inquinamento del browser

Quando la persona media si collega online, non considera la ramificazione che l'utilizzo di browser diversi per visitare lo stesso sito Web avrà su un test A/B. Ma passare allo stesso sito Web da un browser all'altro, come Safari e quindi Chrome, può portare a un inquinamento simile alla dimensione del campione che si verifica con più dispositivi.

Tuttavia, questa specifica forma di inquinamento è rara, poiché la maggior parte delle persone continuerà a utilizzare un browser preferito per dispositivo.

Nuovi pericoli

I browser, il tipo di dispositivo, i cookie e la durata dei test sono gli inquinanti della dimensione del campione più comuni, ma sembra che un nuovo inquinante stia entrando nella conversazione. I professionisti del settore si lamentano dei bot che creano inquinamento delle dimensioni del campione.

Per fortuna, in Convert disponiamo di solide misure di mitigazione dei bot integrate nel nostro strumento, quindi non sarà un problema.

Suggerimenti su come ridurre l'inquinamento delle dimensioni del campione

Poiché l'inquinamento delle dimensioni del campione è un problema importante, molte aziende hanno escogitato soluzioni creative, come mettere gli utenti in bucket diversi in base alla posizione.

Ma tali tattiche possono eliminare i test dalla "casualità dell'utente" e possono ridurre la tua sicurezza che i risultati del test siano validi.

Di seguito sono elencate alcune cose che puoi fare per ridurre le possibilità di inquinamento del campione:

• Esegui test per dispositivi separati.
• Esegui test per browser separati.
• Identifica i modelli. Come sono apparsi i tuoi dati in passato? Dovrebbe essere simile durante i test: coerenza dei dati.

Ecco alcune altre cose da considerare...

Comprendi la varianza

Varianza e deviazione standard vanno di pari passo con la coerenza. In sostanza, ti diranno quanto sono lontani dalla media i tuoi numeri. Bassa varianza significa che i tuoi dati sono coerenti con la media, il che ti mette a un rischio inferiore di inquinamento.

Puoi fare i calcoli a mano da solo o semplicemente utilizzare un semplice calcolatore di deviazione standard.

Prestare attenzione ai potenziali problemi di campionamento

Ci sono problemi intrinseci con i test A/B, inclusa la possibilità di inquinamento delle dimensioni del campione.

La conoscenza di potenziali problemi relativi alla dimensione del campione ti consente di fare scelte migliori mentre scegli gli obiettivi del test, crei trattamenti ed esegui esperimenti.

Ora puoi sconfiggere l'inquinamento del campione

Buone pratiche di test significano che inizi i tuoi progetti con una piena comprensione di cosa può andare storto.

L'inquinamento delle dimensioni del campione è un sottoprodotto negativo che si verifica quando si eseguono test A/B. Il tuo compito è ridurre il più possibile questi effetti negativi in ​​modo da poter avere un test di successo.

Ricorda, la mitigazione avviene prima dell'inizio del test.

Usa uno strumento robusto come Convert che ti dà la possibilità di segmentare i test, combattere i fastidiosi robot, utilizzare buone tecniche di randomizzazione, il tutto all'interno di una semplice piattaforma che supporta test complessi.

La tua strategia di sperimentazione e la potenza del tuo software faranno la differenza nel ridurre al minimo l'inquinamento delle dimensioni del campione.

Ora che conosci questo potenziale punto cieco nei tuoi test, non può insinuarsi su di te.