Cum să reduceți poluarea cu dimensiunea eșantionului pentru rezultate precise ale testului A/B

Ți-ai petrecut ore întregi pregătindu-ți testul.

Echipa ta creează o ipoteză.

Rulați testul și așteptați rezultatele.

Dar descoperi că testul tău a eșuat. Rezultatele au fost viciate. Dar cum?

Nu te bate. Există un mic secret murdar în lumea testării numit poluarea mărimii eșantionului .

Poluarea audienței dvs. eșantionului poate determina, fără să știe, testele să fie condamnate chiar înainte de a începe.

Există o listă lungă de motive potențiale pentru care testele eșuează, dar unul dintre cele mai frustrante este poluarea mărimii eșantionului.

Acest articol vă va ajuta să înțelegeți:

• De ce apare poluarea cu dimensiunea eșantionului.
• Cum să știi dacă testul tău este poluat.
• Pași de urmat pentru a minimiza poluarea prin dimensiunea eșantionului.

Hai să aruncăm o privire…

Dimensiunea eșantionului 101

Definiția Sample Size

Puteți utiliza instrumente precum calculatorul pentru durata testului A/B de la Convert, care oferă un calculator pentru dimensiunea eșantionului sau un calculator pentru dimensiunea eșantionului CXL.

Majoritatea calculatoarelor online sunt simplu de utilizat. Cu calculatorul lui Convert, trebuie să introduceți doar trei valori:

• Rata de conversie existentă
• Îmbunătățirea așteptată
• Nivel de încredere

Exemplu:

Dacă rata de conversie existentă este de 3% și îmbunătățirea așteptată este de 20% în timp ce testați două variații la un nivel de încredere de 95%, veți avea nevoie de o dimensiune a eșantionului de 42.034 pentru a obține rezultate sigure. La 2.000 de vizitatori zilnici la acest grup de testare, ar dura 22 de zile conform calculatorului nostru de durată.

Stabiliți cine va fi în eșantionul dvs

Cel mai simplu mod de a răspunde la această întrebare „CINE?” sau segmentul, este prin examinarea datelor demografice și a surselor vizitatorilor actuali ai site-ului. Accesați datele existente pentru indicii. Cine sunt ei? De unde vin?

Instrumente precum Convert Experiments vă permit de fapt să testați folosind un anumit segment al vizitatorilor site-ului dvs. și să creați segmente de public personalizate.

Mai mulți factori vă pot ajuta să descoperiți „cine”:

• Tipul de trafic
  Primiți trafic sezonier? Vă așteptați la un aflux de vizitatori pe baza sărbătorilor care se apropie? Numerele dvs. de trafic fluctuează în funcție de ziua săptămânii?
  
• Sursa de trafic
  De unde vine traficul dvs.? Oamenii se comportă diferit în funcție de sursa din care intră pe site-ul tău. De exemplu, un vizitator de la LinkedIn poate să nu interacționeze cu site-ul tău la fel ca cineva care vine de pe Facebook.
  
  Examinați Google Analytics pentru a obține o imagine de ansamblu asupra implicării vizitatorilor pe baza sursei.

• Nou vs. Vechi
  Statisticile arată că vizitatorii care revin rămân pe site-ul dvs. mai mult decât vizitatorii noi. Gândiți-vă la modul în care acest lucru vă va afecta testul.

Scopul acestei etape de analiză este de a vă ajuta să construiți mostre reprezentative .

Encyclopedia of Survey Research Methods definește eșantioane reprezentative ca:

Un eșantion reprezentativ este unul care are o validitate externă puternică în raport cu populația țintă pe care eșantionul este menit să o reprezinte. Ca atare, rezultatele sondajului pot fi generalizate cu încredere la populația de interes.

Pentru a vă asigura că aveți un eșantion reprezentativ, Convert vă sugerează să efectuați un test pentru cel puțin un ciclu economic. Acest lucru vă asigură că testul are timp să țină cont de variația vizitatorilor care se poate întâmpla într-un ciclu.

Ce este poluarea cu dimensiunea eșantionului?

Acum că înțelegeți ce dimensiune a eșantionului, puteți explora factorii care vă pot deteriora dimensiunea eșantionului și vă puteți strica testul. Acesta este modul în care dimensiunea eșantionului afectează validitatea. Factorii de dimensiune a probei care afectează negativ rezultatele testelor sunt cunoscuți sub denumirea de poluare a dimensiunii eșantionului.

Invespcro definește poluarea probei ca:

„…factori care vă invalidează datele testului A/B influențând mostrele sau datele utilizate în timpul efectuării testului.”

Această problemă este mai frecventă. Uită-te la această plângere:

Eșantion părtinitoare

În cele mai multe cazuri, doriți o eșantionare aleatorie, ceea ce înseamnă că fiecare vizitator al site-ului dvs. are aceeași șansă de a vedea o anumită variație înainte de a fi grupat. Odată plasat într-o găleată, utilizatorul va vedea aceeași variantă pe toată durata testului.

Cu toate acestea, dacă utilizați un instrument de testare A/B care nu efectuează bine randomizarea, randomizarea nu este garantată și poate invalida testul.

O modalitate simplă de a combate eșantionarea părtinitoare este să utilizați un instrument bun de testare A/B, cum ar fi Convert, care efectuează randomizarea și gruparea corect. Începeți testarea cu un test A/A pentru a verifica dacă randomizarea funcționează corect.

Doriți să fiți conștienți de potențialul de părtinire a eșantionului atunci când luați în considerare detaliile testului dvs.

Surse care cauzează poluarea cu dimensiunea eșantionului

Există patru tipuri comune de poluare a eșantionului: sincronizarea, dispozitivul, browserul și modulul cookie.

Să ne uităm la fiecare dintre ele...

Sincronizare

Durata testului dumneavoastră influențează validitatea rezultatelor dumneavoastră. Deci, nu este o surpriză „cât timp ar trebui să rulez testul A/B” este o întrebare frecventă.

Profesioniștii CRO au idei contradictorii cu privire la ceea ce este un punct de referință acceptabil. De fapt, variabilele dvs. de testare ar trebui să determine durata corespunzătoare a testului.

O soluție simplă poate părea a fi doar permiterea testului să ruleze și să ruleze și să ruleze. Dar și asta poate cauza probleme. Timpul adăugat înseamnă o creștere a poluării potențiale de la factori externi.

Vrei să găsești locul dulce.

O altă greșeală comună cu privire la durata testării este oprirea unui test prea devreme. Acest lucru poate să nu conducă la poluarea dimensiunii eșantionului, dar vă poate afecta negativ testul.

Același lucru este valabil dacă opriți testul când ajungeți la semnificația statistică. Pentru un test valid, ar trebui să atingă, de asemenea, dimensiunea eșantionului calculată pentru MDE (efect minim detectabil) dorit.

Pe linii similare, nu opriți niciodată o variantă a unui test de rulare. Acest lucru va provoca o poluare catastrofală . Nu veți putea compara varianta „oprită” cu controlul „funcționează tot timpul”. Nu ai avea cum să compari „mere cu mere”. Nu opriți niciodată și mai târziu reporniți o variantă dintr-un test.

Nu vă întrerupeți testele până când datele nu sunt consecvente pentru dimensiunea eșantionului.

Poluarea cookie-urilor

Cookie-urile pot provoca cea mai insidioasă formă de poluare a dimensiunii eșantionului.

Pe baza definiției techopediei, cookie-urile sunt:

Un cookie este un fișier text pe care un browser web îl stochează pe computerul unui utilizator. Cookie-urile sunt o modalitate prin care aplicațiile Web pot menține starea aplicației. Acestea sunt utilizate de site-uri web pentru autentificare, stocarea informațiilor/preferințelor site-ului web, alte informații de navigare și orice altceva care poate ajuta browserul web în timp ce accesează serverele web. Cookie-urile HTTP sunt cunoscute sub multe nume diferite, inclusiv cookie-uri de browser, cookie-uri web sau cookie-uri HTTP.

În calitate de agenți de marketing, modulele cookie vă permit să urmăriți comportamentul vizitatorilor dvs. pe site-ul dvs.

Durata de viață a cookie-urilor este volatilă. Vizitatorii le pot șterge la cel mai mic capriciu.

Cu cât testul durează mai mult, cu atât sunteți mai vulnerabil la ștergerea cookie-urilor, ceea ce duce din nou la o altă formă de poluare a dimensiunii eșantionului. Pentru a atenua acest fenomen, Convert sfătuiește clienții să execute teste pentru cel mult 90 de zile.

Poluarea dispozitivului

Vizitatorii vă vizitează site-ul de pe mai multe dispozitive: mobile, laptopuri, tablete, desktopuri și chiar ceasuri inteligente.

Gândește-te doar la comportamentul tău de navigare. Este posibil să descoperiți ceva pe dispozitivul mobil în timp ce vă aflați la săli de sport. Mai târziu în cursul zilei, puteți revedea site-ul web pe computerul dvs. desktop.

Dacă acest lucru se întâmplă în limitele testului dvs. A/B, poate părea că două persoane diferite v-au vizitat site-ul, când de fapt este aceeași persoană care navighează de pe două dispozitive diferite.

Și mai periculos pentru eforturile tale de testare este că aceeași persoană poate vedea o variantă diferită pe fiecare dispozitiv.

Există un exemplu invers în acest sens. Ce se întâmplă când două persoane folosesc același dispozitiv pentru a vă vizita site-ul?

Imaginați-vă că doi frați locuiesc în aceeași casă. Ei au în comun un computer desktop. Ambii se pregătesc de vacanță și trebuie să comande tricouri și încălțăminte noi. Dacă un test A/B rulează pe site-ul de comerț electronic în momentul vizitei lor, datele ar arăta aceste două persoane ca un singur utilizator, din nou, corupând dimensiunea eșantionului.

Poluarea browserului

Când o persoană obișnuită intră online, nu ia în considerare ramificațiile pe care le va avea utilizarea de browsere diferite pentru a vizita același site web la un test A/B. Dar accesarea aceluiași site web de la un browser la altul, cum ar fi Safari și apoi Chrome, poate duce la o poluare similară cu dimensiunea eșantionului care apare cu mai multe dispozitive.

Cu toate acestea, această formă specifică de poluare este rară, deoarece majoritatea oamenilor vor rămâne să folosească un browser preferat pentru fiecare dispozitiv.

Noi pericole

Browserele, tipul de dispozitiv, modulele cookie și durata testelor sunt cei mai obișnuiți poluanți de dimensiunea eșantionului, dar se pare că un nou poluant intră în conversație. Profesioniștii din industrie se plâng de faptul că Bots creează poluare cu dimensiunea eșantionului.

Din fericire, la Convert, avem măsuri puternice de atenuare a botilor încorporate în instrumentul nostru, astfel încât aceasta să nu fie o problemă.

Sfaturi despre cum să reduceți poluarea cu dimensiunea eșantionului

Deoarece Poluarea prin dimensiunea eșantionului este o problemă majoră, multe companii au venit cu remedieri creative, cum ar fi punerea utilizatorilor în grupuri diferite în funcție de locație.

Dar astfel de tactici pot elimina testele de „aleatorie a utilizatorului” și vă pot reduce încrederea că rezultatele testelor sunt valide.

Mai jos sunt câteva lucruri pe care le puteți face pentru a reduce șansele de poluare a probei:

• Rulați testul pentru dispozitive separate.
• Rulați testul pentru browsere separate.
• Identificați modele. Cum arătau datele dvs. în trecut? Ar trebui să fie similar în timpul testării – consistența datelor.

Iată încă câteva lucruri de luat în considerare...

Înțelegeți Varianta

Varianta și abaterea standard merg mână în mână cu consistența. În esență, ei vă vor spune cât de departe sunt cifrele dvs. de medie. Varianta scăzută înseamnă că datele dvs. sunt în concordanță cu media, ceea ce vă expune un risc mai mic de poluare.

Puteți face calculele de mână sau pur și simplu utilizați un simplu calculator de abatere standard.

Fiți conștienți de potențialele probleme de eșantionare

Există probleme inerente cu testarea A/B, inclusiv posibilitatea de poluare a dimensiunii eșantionului.

Cunoașterea potențialelor probleme legate de dimensiunea eșantionului vă permite să faceți alegeri mai bune atunci când vă alegeți obiectivele de testare, creați tratamente și efectuați experimente.

Acum puteți învinge poluarea eșantionului

Practicile bune de testare înseamnă că vă începeți proiectele cu o înțelegere completă a ceea ce poate merge prost.

Poluarea cu dimensiunea eșantionului este un produs secundar negativ care se manifestă atunci când efectuați teste A/B. Treaba ta este să reduci aceste efecte negative cât de mult poți, astfel încât să poți avea un test de succes.

Amintiți-vă, atenuarea are loc înainte de începerea testului.

Utilizați un instrument robust, cum ar fi Convert, care vă oferă posibilitatea de a segmenta testele, de a combate roboții deranjați, de a folosi tehnici bune de randomizare, totul într-o platformă simplă care acceptă teste complexe.

Strategia dumneavoastră de experimentare și puterea software-ului dumneavoastră vor face diferența în cât de bine minimizați poluarea prin dimensiunea eșantionului.

Acum că știți acest potențial punct orb în testarea dvs., nu se poate strecura asupra dvs.