Cum să tratezi datele calitative și datele cantitative pentru câștigarea testelor A/B?

Dacă o descompunem la conceptele sale de bază, CRO este mai puțin despre conversii și mai mult despre înțelegerea publicului și modul în care acesta interacționează cu site-ul dvs.

Cu cât îi înțelegi mai mult, ce își doresc și cum acționează pe site-ul tău, cu atât o experiență mai bună pentru clienți și oferte pe care le poți oferi.

Aceasta înseamnă că scopul nostru principal ca testeri este să aflăm cât mai multe informații posibil . Cu cât avem mai multe date, cu atât putem planifica mai bine testele și vom încerca să vedem o creștere a rezultatelor.

Problema?

Nu suntem întotdeauna grozavi la colectarea sau înțelegerea acestor date. Poate că nu știm instrumentele pe care să le folosim, procesele pentru a găsi informațiile, sau poate nu analizăm și nu obținem perspective precise, fie din lipsă de experiență, fie, mai rău, adăugând propria noastră părtinire care corupă rezultatele.

Acesta este ceea ce vom trata în ghidul de astăzi: Cum să colectați informații despre publicul dvs., să le înțelegeți și să le utilizați. Vom cerceta chiar și alți testeri și procesele acestora, astfel încât să puteți aduna și mai multe idei și perspective pentru noile dvs. teste.

Continuați să citiți pentru a afla mai multe sau faceți clic aici pentru a afla „cum să folosiți datele pentru a conduce teste A/B câștigătoare”.

Când vine vorba de testarea și găsirea de informații pentru site-ul sau aplicația dvs., există două tipuri de date pe care vrem să le analizăm.

Exemple de analiză cantitativă a datelor ar putea fi:

• Măsurarea traficului către o pagină
• Rata de respingere a traficului respectiv
• CTR
• Tarif pentru abonați
• Rata vânzărilor
• Valoarea medie de vânzare.

Majoritatea programelor de testare vor începe atât cu o analiză tehnică pentru a obține date despre ceea ce funcționează sau stricat pe un site web, cât și apoi cu o analiză cantitativă pentru a obține o linie de bază pentru modul în care site-ul funcționează în prezent, înainte de a trece la o analiză calitativă.

Exemple de date calitative sunt

• Cercetarea utilizatorilor
• Derulați hărți
• Faceți clic pe urmărire
• Hartă termică
• Sondajele.

Scopul este pur și simplu să înțelegem mai bine publicul și modul în care acesta interacționează, astfel încât să putem identifica potențiale probleme legate de utilizarea site-ului sau să aflăm orice probleme externe care le pot afecta acțiunile pe site.

De exemplu, deși știm că un CTA nu primește multe clicuri, doar prin interviurile clienților aflăm că limbajul nu este clar sau nu rezonează cu publicul.

Care este modalitatea corectă de utilizare a datelor în testarea A/B?

Deși se pare că urmărim doar anumite evenimente de conversie sau monitorizăm comportamentul utilizatorilor, scopul este de a combina atât datele cantitative, cât și cele calitative . Poate pentru a găsi defecțiuni tehnice sau probleme comune, dar, în mod ideal, le combinăm astfel încât să ne putem educa și să obținem o perspectivă mai holistică asupra audienței noastre.

Nici noi nu vrem doar informații imediate. Vrem să aflăm de ce se întâmplă lucrurile și apoi să facem un pas mai departe pentru a găsi cauza principală.

Să presupunem că facem cercetări cantitative și vedem că rata de conversie pe o pagină este scăzută. Oferta sau produsul pur și simplu nu se dorește? Sau trebuie să îmbunătățim procesul?

Apoi rulăm o hartă termică pe pagina de destinație și vedem că majoritatea publicului nu dă clic pe un anumit CTA și, astfel, putem formula ipoteza de ce. Poate limbajul nu este clar?

Dar apoi, la o inspecție mai profundă, vedem că pentru unele dispozitive este pur și simplu off-screen, în timp ce pe altele, nu iese în evidență suficient pentru a fi chiar clar că este un buton care trebuie apăsat.

• Dacă tot ce ne-am uita ar fi datele calitative, atunci am crede că este un CTR scăzut.
• Dacă tot ce ne-am uitat la datele calitative, atunci am putea presupune că oamenii pur și simplu nu fac clic.

Dar combinându-le, putem vedea mult mai profund. (Așa înțelegem cu adevărat datele în testarea A/B.)

Vechiul idiom este adevărat prin aceea că „ceea ce se măsoară este gestionat”. Cheia, desigur, este să ne asigurăm că nu luăm decizii bazate pe seturi de date limitate sau defecte, așa că priviți ÎNTOTDEAUNA la mai multe surse de date.

Învățând să încetinești, să întrebi de ce și să lași datele să intre, te va ajuta să devii un tester și rezolvator de probleme mult mai bun.

În loc să încerci să găsești răspunsul imediat, întreabă-te dacă ai suficiente informații:

• Utilizatorii dvs. au o problemă care se poate rezolva cu ușurință (buton spart sau CTA slab) sau ar putea fi mai multe la aceasta care ar putea fi îmbunătățite?
• Aveți o părtinire inerentă sau o experiență anterioară care vă afectează ideile inițiale?
• Ai putea afla mai întâi despre publicul tău?

Ce se întâmplă dacă, analizând mai în profunzime această problemă CTA și aspect, descoperiți că majoritatea publicului dvs. folosește dispozitive mobile învechite cu rezoluții de ecran și viteze de încărcare diferite? S-ar putea să le lipsească majoritatea conținutului și interacțiunilor dvs. și nu doar CTA și paginile de vânzări. Chiar și rețelele de socializare și conținutul blogului ar putea fi afectate!

Mergi din nou mai adânc. De ce au aceste dispozitive? Nu își pot permite un dispozitiv mai scump? Nu este important pentru ei? Dacă nu, atunci ce este?

Nu încerca doar să iei toate deciziile din ceea ce ai avut până acum. Fă-ți timp, gândește-te și mergi mai adânc cu orice rezultat pe care îl obții. Găsiți motivul pentru care.

Greșeli mari de evitat atunci când colectați și analizați date

Acum, nu vă faceți griji dacă sunteți genul de tester care încearcă să găsească o perspectivă imediată din cercetările lor inițiale, deoarece nu sunteți singuri în asta.

Aceasta este doar una dintre câteva probleme recurente pe care majoritatea oamenilor le întâmpină atunci când încearcă să colecteze sau să înțeleagă datele lor...

Problema #1: Colectarea datelor pentru a dovedi o opinie

Folosiți datele pentru a afla informații noi? Sau folosiți date pentru a valida ideile actuale?

Este ok să folosiți date pentru a valida o idee. Acesta este scopul ipotezei. Avem o idee despre ce este în neregulă și cum să-l remediam, așa că încercăm să dovedim acest lucru cu testul și rezultatele acestuia.

Dar nu uita de metoda stiintifica! Nu ne putem atașa de ideile și opiniile noastre. Trebuie să avem încredere în date și să găsim motivul real. De asta ne pasă. Este ok să greșești cu o ipoteză. Aflarea unei perspective diferite de la un test nereușit pur și simplu vă învață mai multe despre publicul dvs.!

Ai grijă doar de datele care îți spun un lucru, dar le înclini pentru a încerca să dovedești altceva.

Problema #2: Sponsorizarea analizei fără a articula clar problema

O problemă comună în testare (și chiar în majoritatea afacerilor) este că persoana care analizează datele nu este întotdeauna analistul.

În schimb, analistul este folosit ca mediu pentru a extrage informații în rapoarte pentru o terță parte care încearcă să rezolve o problemă. (Devin aproape un tablou de bord glorificat.)

Iată un exemplu:

• Șeful tău are un scop și o problemă.
• Ei au o idee aproximativă despre soluție și cauză și, așadar, cereți analistului date despre XYZ, dar fără context. Ei încearcă să-și dea seama dacă această problemă și soluție ar putea funcționa.
• De obicei, există înainte și înapoi pentru a solicita mai multe date. Această solicitare fie susține în mod fals ideea, fie nu a mai avut loc nicio înțelegere.
• Și astfel sunt prezentate noi teste sau idei, iar problema rămâne nerezolvată.

Nu grozav, nu?

Dar imaginați-vă dacă șeful a venit la analist cu contextul problemei specifice și ar lucra împreună pentru a articula problema și a găsi cauza principală?

Acest lucru ar putea accelera atât înțelegerea, cât și noile teste pentru a o rezolva.

Problema #3: Bazându-te pe o singură sursă de date fără a te scufunda în perspective diferite

Am mai sugerat acest lucru, dar este atât de important să nu rămâneți doar la o singură sursă de date, deoarece vă limitați drastic înțelegerea și potențialele soluții și idei de testare.

Cu cât ai mai multe surse, cu atât poți face mai bine o imagine a ceea ce se întâmplă și de ce.

Da, este nevoie de timp, dar optimizarea ratei de conversie se referă la înțelegerea audienței respective. Faceți treaba și învățați cât de mult puteți.

Cu cât știi mai multe, cu atât mai bine!

prin GIPHY

Problema #4: Nu acordați prioritate gândirii critice ca abilitate

Creierul nostru este ciudat. Funcționăm pe un sistem de impulsuri de bază, factori emoționali și experiențe anterioare. Scopul este să ne menținem în viață, să procreăm și să luăm decizii fără a risipi prea multă energie.

Știind acest lucru, este întotdeauna inteligent pentru testeri (și orice proprietar de afaceri) să fie conștienți de procesul atât de gândire critică, cât și de părtinire cognitivă și de modul în care acestea ne afectează înțelegerea și deciziile...

Ce este gândirea critică?

Gândirea critică este capacitatea de a analiza fapte și date pentru a forma o judecată fără părtinire .

Există sute de lucruri diferite care intră în luarea deciziilor noastre, dintre care unul este părtinirea deciziilor bazate pe experiențe sau situații de viață anterioare. Numim aceste prejudecăți cognitive .

Cei care practică gândirea critică înțeleg acest lucru, așa că folosesc un proces specific pentru a-i ajuta să emită judecăți imparțiale:

• Identificare . Găsiți problema.
• Adunați date . Asigurați-vă că utilizați mai multe surse. Asigurați-vă că nu adăugați părtiniri la selecția sursei.
• Analiza . Poți avea încredere în aceste surse? Sunt de încredere? Setul de date este suficient de mare pentru a fi adevărat?
• Interpretare + Inferență. Ce tipare puteți vedea din aceste date? Ce îți spune până acum? Care este cel mai semnificativ? Vedeți cauzalitate sau corelație?
• Explicație . De ce crezi că se întâmplă asta?
• Auto-reglementare . Aveți părtiniri cognitive care afectează această analiză și ipoteze de testare? Faci presupuneri incorecte? Lucrați prin ele pentru a fi sigur.
• O minte deschisă și rezolvarea problemelor. Cu înțelegerea dvs. actuală, cum puteți rezolva această problemă? Mai întâi trebuie să înveți mai multe?

După cum puteți vedea, este incredibil de important să aveți un proces pentru a analiza aceste informații. Chiar și atunci, ar trebui să vă uitați la orice părtinire subconștientă care ar putea afecta modul în care luați decizii și analizați aceste date.

Ce sunt prejudecățile cognitive?

Prejudecățile cognitive sunt coduri de înșelăciune pentru creierul nostru pentru a economisi energie în decizii prin utilizarea recunoașterii modelelor. Problema este, desigur, că părtinirile noastre nu sunt întotdeauna corecte și ne pot afecta deciziile și acțiunile, pozitiv sau negativ. Ik Acest lucru este vizibil mai ales când vine vorba de testare.

Aici sunt cateva exemple:

• Prejudecata de acțiune : Tendința de a dori să acționezi chiar și atunci când datele sugerează că nu se poate face nicio îmbunătățire?
• Anchoring Bias: Tendința de a baza deciziile pe informații dobândite anterior.
• Prejudecata de autoritate: Tendința de a acorda o valoare mai mare opiniilor din pozițiile de autoritate.

Puteți vedea cum acestea vă pot afecta analiza datelor și ideile de testare?

Sunt mult prea multe dintre acestea ca să le pot acoperi aici (unii estimează în jur de 150 în total). Vă recomand cu căldură să vă faceți o listă proprie. Apoi puteți încerca să construiți un proces de gândire critică pentru analiza datelor dvs. așa cum am descris mai înainte și să „verificați” orice posibile părtiniri care ar putea afecta analiza.

Problema #5: Luând corelația drept cauza

Acest lucru aproape se leagă de o prejudecată cognitivă, în sensul că vedem modele în date care pot exista, dar care ar putea să nu fie cauza rezultatului.

Pur și simplu apar împreună adesea ca un produs secundar sau o simplă coincidență.

De exemplu, majoritatea surferilor nu lucrează la mijlocul dimineții și vor naviga în schimb. (Este atunci când ai cel mai bun vânt offshore pentru valuri).

Pentru persoana care urmărește pe plajă, ați presupune că poate acești oameni nu au avut loc de muncă sau au sunat bolnavi. Cu toate acestea, după ce au avut mai multe conversații în ocean, a devenit clar că aproape toată lumea care face surfing a lucrat pentru ei înșiși și, astfel, își poate alege orele.

Acum unii dintre ei au început să facă surf pentru că aveau această flexibilitate și timp liber (Correlation), dar alții au ales profesii în care ar putea avea această flexibilitate pentru a putea merge la surf (cauzare).

Destul de misto, nu?

Faptul este însă că, chiar și după cercetarea inițială și „interviurile”, ar fi ușor să obțineți o imagine inexactă a setului de date. Asigurați-vă că vă uitați la datele cu o minte deschisă și aruncați-vă mai adânc pentru a găsi cauza reală.

Diferite metode de colectare a datelor calitative și cantitative

Ce putem folosi pentru a colecta aceste date?

Pentru colectarea datelor cantitative, ne uităm de obicei la două tipuri de instrumente:

• Un instrument de analiză, cum ar fi Google Analytics sau un furnizor terță parte, pentru a obține rezultate actuale.
• Un instrument de testare A/B, cum ar fi Convert Experiences, astfel încât să puteți măsura modificarea numerică a performanței dintre variații și control.

Ambele ne vor oferi date numerice brute.

(Consultați ghidul nostru de comparare a instrumentelor de testare A/B aici, astfel încât să puteți vedea care funcționează cel mai bine pentru dvs.)

Pentru cercetarea calitativă, ne uităm la o selecție mai largă, deoarece testăm mai multe elemente diferite:

• Hartă termică
• Faceți clic pe urmărire
• Urmărirea ochilor
• Înregistrările utilizatorilor
• Sondajele la fața locului și
• Sondajele directe ale clienților.

Urmărirea ochilor tinde să fie instrumentul cu cel mai mare cost datorită cerințelor sale hardware. Există câteva opțiuni de software disponibile pentru a fi instalate și utilizate în interior, în timp ce o altă opțiune este să angajați companii externe care instalează ochelari de urmărire a ochilor sau camere pentru a verifica mișcările ochilor și locațiile de interes.

Pentru cartografierea termică, urmărirea clicurilor, înregistrarea de bază a utilizatorilor și sondaje, puteți utiliza un instrument cu costuri reduse precum Hotjar care combină toate aceste caracteristici. Vă ajută să identificați problemele obișnuite și să obțineți o perspectivă aproape imediată, fără a fi nevoie să obțineți asistență terță parte, iar *aproape* îndeplinește funcții similare ca urmărirea ochilor.

În cele din urmă, puteți, de asemenea, să duceți înregistrarea utilizatorilor un pas mai departe și să angajați agenții care vor aduce utilizatori independenți să vă folosească pagina web, să-i determine să îndeplinească sarcini stabilite, apoi să înregistreze interacțiunile lor și să vă transmită informațiile.

Notă marginală:

Deși nu le-am enumerat în secțiunea Instrumente cantitative, uneori există o suprapunere în care instrumentele calitative pot fi utilizate pentru achiziția de date cantitative.

Puteți folosi un instrument de sondaj și puteți măsura răspunsurile unui număr X de participanți pentru a obține o valoare numerică a gândurilor lor cu privire la copia de vânzare și modul în care cred că vor răspunde la aceasta.

Totuși... Acest lucru este încă subiectiv , deoarece ceea ce spun oamenii nu este întotdeauna ceea ce fac ei .

Este întotdeauna o idee bună să măsurați feedbackul lor pentru o acțiune (ceea ce spun ei) și apoi să măsurați și răspunsul real la acțiune (acțiunea pe care o întreprind). Uneori, acest lucru vă poate oferi o idee mai profundă despre ce să oferiți și cum să o încadrați.

Cum abordează profesioniștii în experimente datele calitative și cantitative?

Vrei să știi cum colectează și utilizează profesioniștii datele? Am intervievat recent 7 profesioniști CRO ca parte a seriei noastre „Gândește ca un CRO pro”.

Nu le voi strica interviurile, deoarece vă recomand cu căldură să le citiți, cu toate acestea, am scos câteva informații interesante despre cum cred ei despre datele de mai jos, precum și părerile mele despre metodele lor...

Gursimran Gurjal – OptiPhoenix

Datele cantitative, în general, sunt bune pentru a descoperi găurile de conversie de bază pentru a înțelege unde scad utilizatorii, cum funcționează diferitele canale, CR de pe diferite dispozitive, unde utilizatorii părăsesc site-ul web etc., în timp ce datele calitative ne ajută să descoperim detalii despre motivul pentru care utilizatorii renunță sau iau o anumită acțiune. .

Combinarea „Unde+De ce” împreună cu experimentarea creează o imagine completă a comportamentului utilizatorului.

Studierea datelor calitative, cum ar fi hărțile termice, înregistrările de sesiuni, rezultatele sondajului sau testarea gradului de utilizare necesită mult mai mult timp pentru a crea un model semnificativ din punct de vedere statistic, în timp ce datele cantitative sunt mai ușor de analizat. Când doriți să adunați informații mai detaliate și mai semnificative, este important. să nu vă bazați doar pe GA sau Hotjar pentru a colecta date, ci mai degrabă să vă împingeți propriile evenimente personalizate pentru a face datele mai semnificative, cum ar fi etichetarea înregistrării pentru toți utilizatorii care primesc o eroare în procesul de finalizare a achiziției, trimiterea unui eveniment în GA pentru care filtru sau opțiunea de sortare este utilizată cel mai mult etc., astfel încât să puteți profita la maximum de datele disponibile .

Adăugarea de etichete personalizate pentru a obține o linie de date este o idee atât de fantastică. În acest fel, puteți vedea nu numai problema și unde a condus aceasta, ci și unde a provenit și sursa de trafic.

Haley Carpenter, expert senior în strategie CRO

Amintește-ți constant că toți avem părtiniri. Să știi că este datoria ta să raportezi cât mai veridic și corect posibil. Integritatea este o valoare cheie pe care trebuie să o menții sus.

De asemenea, verificați din nou munca dvs. sau cereți pe altcineva să o revizuiască dacă nu sunteți sigur de ceva. O a doua pereche de ochi poate fi extrem de benefică uneori, mai ales dacă te uiți la ceva ore, zile sau săptămâni.

Am urmat odată un curs de antropologie unde trebuia să transcriem înregistrări. Profesorul a subliniat că este de maximă importanță ca transcripțiile să fie fidele persoanei care a rostit cuvintele. Nici măcar nu trebuia să facem ceva atât de puțin, precum tăierea unui cuvânt de două litere sau corectarea unei mici erori gramaticale.

Am ținut această lecție cu mine până astăzi și o aplic analizei datelor... în special înregistrărilor de testare a utilizatorilor. Este important să păstrați analiza cât mai fidelă cu datele originale

A avea mai mulți ochi asupra cercetării și rezultatelor este o modalitate excelentă de a nu rata nicio problemă, de a elimina potențialele părtiniri și de a obține puncte de vedere diferite. Acest lucru poate duce adesea la perspective pe care un singur tester ar fi ratat.

Rishi Rawat – Comerț fără frecare

Părerile mele despre datele cantitative:

Datele sunt datele. Nu strâmbă ochii pentru a-i da sens. Nu fi legat emoțional de asta. Spuneți ipoteza înainte de a începe colectarea datelor. Dacă datele vă infirmă instinctele, reproiectați un nou test și lansați-l. Datele sunt datele. Respectă-l.

Părerile mele despre datele calitative:

Avem o abordare controversată asupra acestui subiect. Nu credem în cercetarea utilizatorilor finali, adică nu vorbesc cu oamenii care au cumpărat produsul. Nu este că nu cred că acest tip de cercetare este important, este; este doar scump. Prefer să obțin toate datele mele calitative de la fondatorul sau inventatorul produsului la care lucrez.

În cazul în care experiența utilizatorului cumpărătorului final este pur și simplu un instantaneu al aceleiași achiziții care a fost făcută în acel moment, inventatorul are context despre întreaga călătorie. Vreau să obțin „simțirea” mea cantitativă de la fondator. Fondatorul/inventatorul are atât de multe cunoștințe instituționale încât vă va face capul să se învârtă. Doar că au stat la „mijloc” atât de mult încât nu știu de unde să înceapă. Aici intră în joc abilitățile de a pune întrebări ale optimizatorului. Optimizatorul ajută creatorul cu privirea exterioară. Pun foarte mult preț pe acest tip de date calitative

Acum, aceasta este o idee interesantă...

În CRO avem tendința de a ne concentra pe utilizator pentru a înțelege călătoria clientului. Problema este că uneori clienții nu știu ce este în neregulă sau cum să-l articuleze.

La fel, totuși, proprietarul afacerii poate cunoaște produsul pe dinafară, dar poate fi slab în a-l comunica. Pentru ei, este evident pentru că au toată experiența, dar clientului îi poate lipsi ceva mesajului. Într-o lume ideală, dacă faci teste pentru o altă companie, vrei să vorbești atât cu publicul, cât și cu proprietarul.

Dacă nu aveți timp sau resurse, vorbiți cu proprietarul afacerii. După cum spune Rishi, ei au adesea toată această perspectivă care poate fi extrasă. Treaba noastră ca testeri este apoi să găsim unde lipsește și cum s-ar putea conecta cu clientul.

Sina Fak – Avocații conversiei

Realitatea este că toate datele au părtinire încorporată în ele.

Totul, de la modul în care au fost colectate datele, până la eșantionul de date care sunt utilizate pentru analiză, până la persoana care revizuiește datele și realizează analiza – există un element de părtinire pe care nu îl putem controla pe deplin.

Numai datele nu vă vor oferi întreaga poveste. Vă va oferi doar un punct de pornire pentru a înțelege o parte din poveste și pentru a obține perspective. Singura modalitate de a trata datele într-un mod care spune o poveste imparțială este să le puneți la încercare și să efectuați un experiment cu ele

Acest lucru se leagă de ceea ce spuneam mai devreme.

Fiecare test și cercetare are părtinire. Putem încerca să negem o parte din asta prin gândire critică și procese de analiză, dar tot se poate strecura.

Testează ideea, află și mai testează ceva. Nu uita de metoda stiintifica. Putem „eșua înainte” și găsim și răspunsurile pe care le căutăm.

Jakub Linowski – GoodUI

În general, cu cât avem mai multe măsuri coerente, cu atât experimentele noastre pot deveni mai fiabile și mai demne de încredere.

Când vine vorba de compararea rezultatelor testelor A/B, există câteva moduri în care putem face acest lucru:

● Compararea mai multor valori din același experiment (de exemplu, consistența efectului între adăugările la coș, vânzările, veniturile, achizițiile returnate etc.)

● Compararea datelor istorice în cadrul experimentelor separate (de exemplu, consistența efectului între două experimente separate, executate pe două site-uri web separate

Nu uitați că analiza datelor Quant și Qual este la fel de importantă POST TEST ca și în planificarea noastră inițială.

Deținerea unui proces de verificare a potențialelor probleme și locații pentru „aha moment” poate oferi rezultate mult mai bune decât o privire inițială.

(Uneori datele sunt chiar acolo și ne lipsesc.)

Eden Bidani – Green Light Copy

Încerc să lucrez cât mai mult posibil cu ambele tipuri de date unul lângă altul în fața mea. Pentru mine, asta ajută la echilibrarea întregii imagini.

Datele cuant oferă profunzime și semnificație cuantului, iar datele cuantice oferă direcția generală cu privire la elementele datelor cal care ar trebui să primească mai multă greutate .

A avea ambele seturi de date împreună, astfel încât să puteți compara și contrasta este cel mai bun mod de a analiza și înțelege ceea ce se întâmplă.

Acest lucru se leagă de ceea ce spuneam înainte despre existența unui singur set de date pentru a găsi problemele și soluțiile. Dacă tot ce am avea ar fi unul, am ajunge la concluzii diferite. Folosiți ambele pentru a încerca să găsiți acea corelație.

Shiva Manjunath – Speero

Felul în care încerc să abordez analiza Quant + Qual este ca un interogatoriu al poliției. Există un motiv sau o ipoteză, dar nu poți presupune că persoana pe care ai adus-o pentru audiere este nevinovată sau vinovată. Persoana adusă (datele experimentului) este considerată a fi nevinovată și este treaba ta să-i dovedești vinovată dincolo de orice îndoială rezonabilă (semnificație statistică).

Deci, puteți să vă uitați singur la datele, să intervievezi alte persoane (date calitative) și, poate, să te uiți la extrasele bancare sau să te uiți la jurnalele când cineva a intrat/ieșit la serviciu pentru a vedea dacă alibiul lor iese (date cantitative).

Poate nu este cel mai bun exemplu, dar trebuie să-l abordezi mereu obiectiv. Și coroborați sursele de date (de exemplu hărți termice cu sondaje de pe site cu date cantitative) pentru a veni cu o poveste și pentru a vedea dacă aceasta susține sau nu susține ipoteza. Cu rigoare statistică, evident !

Îmi place această analogie și îmi amintește de Sherlock Holmes și se leagă direct de testare.

Nu am date încă. (Sau nu suficient). Este o greșeală capitală să teoretizezi înainte de a avea date. În mod insensibil, cineva începe să răstoarne faptele pentru a se potrivi teoriilor, în loc de teorii pentru a se potrivi faptelor.

În calitate de experimentatori, trebuie să înlăturăm toate părtinirile. Fie cu experiență, fie pur și simplu pentru că am venit cu ipoteza. În schimb, trebuie să tratăm rezultatele în mod corect și să găsim adevărul.

Scopul nostru este să nu avem dreptate. Este să găsim ceea ce funcționează, astfel încât să putem construi pe el!

Care este cel mai bun mod de a utiliza datele pentru a proiecta teste câștigătoare?

Dacă ai testat de ceva vreme, atunci știi că majoritatea testelor nu creează câștigători. De fapt, doar în jur de 3/10 vor câștiga, în timp ce ceilalți sunt considerați eșecuri.

Terminologia de a câștiga sau a eșua nu este totuși grozavă. Da, testul nu a oferit un plus, dar ne oferă date pe care le putem folosi pentru a îmbunătăți și a afla de ce.

Tine minte:

Nu ne concentrăm pe un singur test. Chiar dacă câștigă, folosim totuși un proces iterativ de învățare și îmbunătățiri. Testăm, învățăm, emitem ipoteze și testăm din nou.

Acest lucru ne ajută să creăm o buclă de feedback cu date noi, fie pentru a sprijini, fie a infirma ideile.

• Testăm și eșuăm, dar învățăm.
• Luăm acele învățăminte și le testăm până când câștigăm și obținem o îmbunătățire.
• Și apoi continuăm să testăm până când atingem maximele locale și nu ne putem îmbunătăți în continuare.

Nu vă concentrați pe încercarea de a obține imediat un câștigător. Aceasta este calea rapidă pentru a pretinde că CRO nu funcționează pentru tine. În schimb, transformați datele în informații și aflați mai multe de fiecare dată.

S-ar putea să fii aproape de un câștigător, dar are nevoie doar de o execuție mai bună.

Sau s-ar putea să fiți aproape de un moment aha care vă poate schimba fundamental întreaga mesaje. Rămâneți la asta și continuați să învățați cu fiecare test!

Construiți acea buclă de feedback în procesul dvs. de procesare și testare a datelor.

Dar cel mai important? Asigurați-vă că puteți accesa și înțelege datele pe care le colectați, că le utilizați corect și că puteți avea încredere în ele!…

Cum să îmbunătățiți accesibilitatea datelor în organizație

Este foarte bine să ai date cu care să lucrezi, dar este inutil dacă nu le poți accesa pentru a învăța!

Unele companii vor avea adesea un blocaj în fluxul lor de date, având acces la datele lor doar prin intermediul cercetătorului lor de date. Dacă aveți nevoie de informații, atunci aveți nevoie fie de acces, fie de a lucra direct cu acestea, provocând probleme.

O modalitate excelentă de a depăși acest lucru este democratizarea accesului la date:

• Permite accesul la date pentru instrumentele tradiționale cu un singur rol (GA etc.) echipelor care au nevoie de el,
• Priviți să utilizați instrumente de autoservire care au capacități de raportare a datelor integrate pe care întreaga echipă le poate folosi,
• Construiți un depozit de învățare centralizat al rezultatelor datelor. Acest lucru permite întregii organizații să obțină informații despre date, nu doar echipei de testare directă.

De ce să-ți pese de accesul la date?

Pentru că accesul la date crește numărul de decizii care pot fi luate și care pot afecta rentabilitatea investiției afacerii dvs.

Trucul este, desigur, să vă asigurați că, odată ce aveți acces, puteți găsi ceea ce doriți...

Cum să îmbunătățiți gradul de utilizare a datelor prin colectarea de date care pot fi de încredere

Utilizabilitatea datelor se referă la ușurința cu care datele pot fi utilizate pentru a răspunde la întrebări.

Dacă îl privim dintr-o privire de ansamblu, scopul cu datele dvs. ar trebui să fie:

• Pentru a găsi informații care afectează rentabilitatea investiției în afaceri . Fără asta, sunt doar date de informații fără niciun scop.
• Pentru a le găsi rapid și pentru a nu trebui să te chinui pentru a obține informațiile.
• Și să folosiți aceste informații pentru a lua decizii rapide și de încredere . Fie pentru că datele sunt de încredere, fie pentru că înțelegeți și nu manipulați rezultatele sau primiți false pozitive.

După cum puteți ghici, pot exista unele probleme aici, în funcție de sistemele și procesele pe care le aveți în vigoare.

Am discutat deja cât de important este să poți accesa acele informații și beneficiile de a avea instrumente sau procese care au capabilități de autoservire pentru a deschide rapoarte de date la nivel de companie.

Dar acum că avem acces la acele date, trebuie să ne asigurăm că putem găsi atât informațiile pe care le dorim, cât și că putem avea încredere în ele.

În mod ideal, trebuie să rulați în mod proactiv procese pentru a vă organiza seturile de date:

• Faceți ca cele mai importante valori să fie ușor de găsit.
• Utilizați modele de referință și obiective pentru a găsi seturi de date specifice pe care instrumentele tradiționale ar putea să nu le urmărească.
• Asigurați sincronizarea între sursele de date, astfel încât actualizările și editările și informațiile noi să nu lipsească.
• Și permiteți echipei dvs. de știință a datelor să analizeze datele mari, astfel încât să puteți găsi cu ușurință toate aceste informații și să aveți încredere în ele!

Odată ce aveți în vedere acest obiectiv final pentru datele dvs., atunci devine mai ușor să începeți elaborarea proceselor de pregătire în avans pentru noile seturi de date care vin. (Este mult mai ușor să vă amintiți să etichetați anumite acțiuni în avans când știți că doriți să fiți capabil să le găsească mai târziu).

Cum să efectuați o analiză imparțială a datelor pentru a genera perspective care să informeze ipoteze

Deci, cum folosim aceste date pentru a obține perspective și idei?

Ei bine, alertă de spoiler, de fapt am acoperit acest lucru pe tot parcursul acestui ghid până acum.

• Încercați să utilizați mai multe surse de date pentru o imagine mai largă.
• Încercați să utilizați procese imparțiale pentru a colecta acele date. Nu vă limitați la anumite date demografice sau dispozitive, dacă este posibil.
• Folosiți gândirea critică pentru a evalua informațiile.
• Priviți prejudecățile cognitive și modul în care acestea vă pot afecta analiza.
• Asigurați-vă că investigați fiecare sursă de date combinată. (Tehnic, cantitativ și calitativ împreună).

Permiteți învățarea din teste pentru a inspira mai multe teste

Ar trebui să vă tratați testele ca pe o buclă de feedback pentru îmbunătățiri suplimentare. Acest lucru poate fi pe testul dvs. actual pentru a continua să vă îmbunătățiți și să obțineți mai multă creștere, sau puteți chiar să îl aplicați la teste mai vechi, în care noile dvs. perspective ar putea ajuta și mai mult.

În orice caz, scopul ar trebui să fie să testezi, să înveți, să îmbunătățești și să repeți până când nu mai poți obține un plus.

Dar... Cum învățăm de fapt din acele rezultate ale testelor?

Ei bine, vestea bună este că am scris un ghid în 7 pași pentru a învăța din rezultatele testului A/B, pe care îl puteți consulta aici.

Dacă nu ai timp acum, iată o scurtă recapitulare:

• Începe prin a te asigura că poți avea încredere în rezultatele tale. Sunt exacte? Sunt ele semnificative? Ai încredere în ele? Testul a fost suficient de lung? Au existat factori externi care i-au influențat?
• Treci micro și macro. Doar pentru că un test a câștigat sau a eșuat, trebuie să vedeți cum vă afectează valorile de protecție. În mod ironic, o creștere a CTR poate însemna vânzări mai mici dacă atrage publicul greșit. De asemenea, o scădere a CTR poate fi o creștere a vânzărilor, deoarece poate fi atrăgătoare doar pentru cel mai bun public acum. Prin urmare, verificați-vă valorile, nu doar rezultatele testelor.
• Aprofundați și segmentați rezultatele. Nu toate audiența, canalul de trafic și dispozitivul vor funcționa la fel. Unele canale pot fi întrerupte. Acest lucru poate denatura rezultatele acolo unde pare bine sau rău, deoarece nu aveți o imagine detaliată. (Acest lucru vă poate oferi, de asemenea, o perspectivă asupra variantelor care vor funcționa cel mai bine pentru anumite canale, ajutându-vă să vă segmentați livrarea pentru o creștere mai mare).
• Verificați performanța și comportamentul utilizatorului. Just because we ran a qualitative and quantitative data analysis before, doesn't mean you should skip it after the test. In fact, this is the best way to understand what happened and how you got these results.
• Learn from the failures. What went wrong? How can you fix this?
• Learn from the winners and improve further. Did you get a new aha moment? Do you have more ideas of how to improve the page again after the QA and Qual analysis? Keep pushing for more lift!
• Don't forget what you did! Get in the habit of creating and using a learning repository. This way you can see past tests, learn from them, train new staff and even go back and apply new insights to old ideas.

Concluzie

Deci iată-l. Our entire guide to using technical, quantitative, and qualitative data to create winning tests.

It doesn't matter if it's A/B, split URL, or multivariate testing. You can use this same methodology to learn more from every test you run, so go ahead. Run those tests, learn from those mistakes, analyze that data and then let us know how much lift you got!