Totul despre testarea A/A: de ce și când ar trebui să efectuați teste A/A?

Testarea A/A vă permite să testați două pagini identice una față de alta și poate fi extrem de utilă atunci când configurați un nou instrument de testare A/B.

Testarea A/A poate fi folosită pentru

• să evalueze acuratețea unei platforme de testare A/B,
• stabiliți dacă platforma dvs. de testare A/B este pe deplin integrată cu analizele interne;
• identificați posibile probleme tehnice cu instrumentul dvs. de testare A/B,
• furnizați o rată de conversie de bază pentru o pagină sau un canal,
• determinați dimensiunea corespunzătoare a eșantionului de utilizat pentru testarea dvs. A/B și
• comparați performanța paginilor și canalelor dvs.

Convert oferă atât capabilități de testare A/A, cât și A/B, pentru a vă asigura că aveți tot ce aveți nevoie pentru a proiecta și dezvolta cu succes un site web cu conversie ridicată.

Citiți mai departe pentru a afla mai multe despre semnificația testării A/A și despre cum să vă configurați prima experiență!

Poate ca ti s-a mai intamplat asa ceva...

• Efectuați un test A/B pentru a vedea dacă noul dvs. buton CTA și titlu vor crește numărul de conversii.
• În luna următoare, trimiteți aceeași cantitate de trafic atât către paginile de destinație de control, cât și către cele ale variantei.
• Software-ul tău declară că varianta ta este câștigătoare (cu 99% de încredere), așa că te oprești.
• Apoi îți lansezi designul „câștigător”, dar după mai multe cicluri de afaceri, vezi că creșterea cu 50% a ratei de conversie a avut un efect redus asupra venitului tău net.

Cea mai probabilă explicație este un rezultat fals pozitiv al testului. Din fericire, există diferite metode pentru a face față testelor incorecte.

Unul despre care poate ați auzit este testarea A/A.

Ce este testarea A/A?

Înainte de a ne aprofunda în testarea A/A, să vorbim despre testarea A/B, astfel încât să putem evidenția diferențele.

Într-o experiență tipică A/B, traficul este împărțit între două sau mai multe variante alternative.

O variantă este de obicei desemnată drept „control” sau „original”. Toate celelalte variații ale experienței sunt comparate cu controlul, pentru a determina care dintre ele produce cea mai mare creștere într-o măsurătoare dată.

Testarea A/A, pe de altă parte, necesită ca traficul să fie alocat la două variante identice, folosind de obicei o împărțire 50/50.

Într-un test normal A/B, scopul este de a găsi o rată de conversie mai mare, în timp ce, într-un test A/A, scopul este de obicei să examineze dacă variațiile au aceeași creștere.

Într-un test A/A, traficul este împărțit aleatoriu, ambele grupuri fiind afișate pe aceeași pagină.

Apoi, ratele de conversie raportate, ratele de clic și statisticile asociate pentru fiecare grup sunt înregistrate, în speranța de a afla ceva.

Test A/A = 2 pagini identice testate una față de cealaltă

Acum, să aruncăm o privire la câteva exemple de unde pot fi folosite experiențele A/A, pentru a determina dacă acestea vă vor fi utile.

De ce să rulați teste A/A?

Efectuarea unui test A/A poate fi deosebit de eficientă în diferite etape ale procesului de proiectare și dezvoltare web, cum ar fi:

• Când ați terminat de instalat un nou instrument de testare A/B,
• Când configurația actuală a instrumentului de testare A/B a fost actualizată sau schimbată,
• Când creați un site web sau o aplicație nouă,
• Când observați discrepanțe între rapoartele de date ale testării dvs. A/B și alte instrumente de analiză pe care le utilizați.

Să aruncăm o privire mai profundă în fiecare dintre aceste cazuri de utilizare.

Verificați acuratețea platformei de testare A/B

O experiență A/A poate fi lansată fie de o companie care dorește să achiziționeze o platformă de testare A/B, fie de o companie care dorește să încerce un nou software de testare (pentru a confirma că este configurat corect).

Într-o experiență A/A, comparăm două versiuni complet identice ale aceleiași pagini, cu scopul de a avea valori de conversie similare.

Rezultatul așteptat este neconcludent dacă nu există nicio diferență între control și variație.

Chiar și așa, un „câștigător” este uneori declarat pe două exemplare identice.

Când se întâmplă acest lucru, este esențial să se evalueze platforma de testare A/B, deoarece instrumentul poate fi configurat greșit sau poate fi ineficient.

Ca pas următor, ar trebui să:

1. Verificați dacă ați instalat corect codul de urmărire A/B
2. Verificați zona site-ului dvs
3. Verificați-vă segmentele de public
4. Verificați-vă obiectivele
5. Contactați echipa de asistență de testare A/B pentru a afla dacă este ceva ce poate fi rezolvat înainte de a vă abandona platforma.

Sperăm că problema este una dintre cele de mai sus. Dacă nu reușiți să înțelegeți problema, aceasta înseamnă probabil că testul A/A este concludent și platforma dvs. de testare A/B este inexactă.

Determinați gradul de integrare cu analiza dvs. internă

Când verificați acuratețea unei platforme de testare A/B, puteți utiliza un test A/A pentru a evalua dacă platforma este complet integrată cu instrumentul dvs. de analiză.

Indiferent dacă utilizați Google Analytics, Heap Analytics, Adobe Analytics, Plausible, Matomo sau oricare altul, puteți compara rezultatele testului A/A cu instrumentul dvs. intern de analiză pentru a determina dacă integrarea a funcționat conform așteptărilor.

De exemplu, mai jos, GA a identificat 620 de vizitatori pe Original și 592 pe Variation (pagină identică cu Original).

Pentru același interval de date, Convert a dezvăluit 972 de vizitatori pe Original și 980 pe Variation (pagină identică cu Original).

Acesta ar putea fi un semn că integrarea dintre cele două platforme nu funcționează conform așteptărilor.

Identificați posibilele probleme tehnice

De asemenea, puteți utiliza un test A/A pentru a identifica posibile probleme tehnice.

Majoritatea software-ului de testare A/B utilizează metode care sunt oarecum diferite și ar putea duce la variații semnificative, în funcție de cât de departe este împins programul.

Aceasta poate părea a fi o anomalie, dar ar putea sugera și o problemă subiacentă mai serioasă cu una dintre următoarele:

• Formule matematice și statistice
• Algoritmi de randomizare
• Cookie-uri de browser

Puteți folosi experiențele A/A pentru a dezvălui problemele de mai sus.

În cazul de mai jos, oamenii de știință de date Wish au observat preocupări SRM la un test A/A. După o examinare amănunțită, s-a stabilit că SRM a fost cauzată de faptul că randomizarea lor nu a fost complet aleatorie.

Tehnica de randomizare este critică pentru rezultate fiabile ale experimentului.

Utilizarea eșantioanelor randomizate este o ipoteză esențială a testelor statistice utilizate în testarea A/B.

Randomizarea echilibrează atât factorii de utilizator observați, cât și cei neobservați între grupurile de experiment. Stabilește o relație cauzală între caracteristica produsului testat și orice modificare a rezultatelor testului.

Furnizați rata de conversie de bază pentru orice pagină sau canal

Dacă doriți să îmbunătățiți orice număr, trebuie mai întâi să înțelegeți cum arată linia de bază. Aceasta ar putea fi viteza, greutatea sau timpul de rulare.

În mod similar, înainte de a efectua orice test A/B, trebuie mai întâi să determinați rata de conversie cu care veți compara rezultatele. Aceasta este rata de conversie de bază .

Probabil ați auzit de creșterea veniturilor care rezultă dintr-o singură experiență, dar acest lucru poate induce în eroare. O singură experiență nu vă va spune dacă conversia site-ului dvs. s-a îmbunătățit.

Este important să cunoașteți rata de conversie de bază, deoarece, dacă nu puteți cuantifica creșterea fiecărei experiențe, va trebui să comparați frecvent conversiile așteptate și realizate.

Cu puțin noroc, fiecare experiență care este considerată un „câștig” vă va ajuta conversiile să depășească așteptările.

Și dacă faceți acest lucru suficient de des, conversiile dvs. vor continua să se îmbunătățească!

Testul A/A este cel care vă va ajuta să obțineți acest lucru.

Să presupunem că executați un test A/A pe una dintre paginile dvs. de destinație, originalul A și varianta B oferind rezultate aproape identice: 2,14% și 2,13%.

Ca rezultat, rata de conversie de bază poate fi setată la 2,13-2,14%.

Având în vedere acest lucru, puteți efectua viitoare teste A/B, cu scopul de a depăși acest benchmark.

Rezultatul nu este semnificativ statistic dacă executați un test A/B pe o nouă versiune a paginii de destinație și primiți o rată de conversie de 2,15%.

Găsiți dimensiunea eșantionului necesară

Înainte de a rula o experiență A/B, verificați de două ori dimensiunile eșantionului, la fel ca înainte de a pleca într-o călătorie.

Nu veți observa efectul experienței dacă nu există suficiente mostre (utilizatori). Pe de altă parte, dacă ai prea multe mostre, riști să încetinești progresul echipei tale, expunând continuu oamenii la o experiență proastă.

În mod ideal, nu ar trebui să începeți niciodată o experiență fără a determina mai întâi câte mostre veți aduna.

Pentru a înțelege de ce, luați în considerare următoarele:

Să presupunem că ai o monedă și ipoteza ta este că are o șansă de 50/50 să aterizeze capete sau cozi. Pentru a dovedi asta, arunci de o sută de ori.

Dar să presupunem că ai avut zece cozi la primele zece aruncări și ai decis să oprești experimentul acolo.

Respingerea ipotezei nule (că moneda este corectă) poate părea semnificativă din punct de vedere statistic, dar ați încheiat experimentul prematur. Nu ai idee cât de mult ar fi trebuit să dureze experimentul pentru început.

Dacă nu estimați dimensiunea eșantionului, este posibil să nu puteți determina cât timp veți desfășura experiența.

Deci cum abordăm asta?

Testarea A/A vă poate ajuta să aflați cât de mare a eșantionului veți avea nevoie de la vizitatorii site-ului dvs.

Poate că vizitatorii tăi de luni dimineața sunt statistic complet diferiți de vizitatorii tăi de sâmbătă seara. Și poate, cumpărătorii tăi de sărbători sunt statistic diferiți de cei care fac cumpărături în timpul sezonului non-sărbători.

Clienții dvs. de desktop pot diferi din punct de vedere statistic de clienții dvs. de telefonie mobilă. Și, clienții tăi care vin prin reclame sponsorizate nu sunt la fel cu cei care provin de la recomandări din gură.

Când vizualizați rezultatele, în categorii precum dispozitive și browsere, veți fi uimit de tendințele pe care le veți descoperi cu dimensiunea corectă a eșantionului.

Desigur, dacă dimensiunea eșantionului este prea mică, este posibil ca rezultatele să nu fie de încredere. Este posibil să pierdeți câteva porțiuni, ceea ce ar putea avea un impact asupra rezultatelor experienței dvs.

O dimensiune mai mare a eșantionului crește probabilitatea includerii tuturor segmentelor care influențează testul.

Prin rularea unui test A/A, veți putea determina ce dimensiune a eșantionului permite egalitatea ideală între variațiile dvs. identice.

Pe scurt, un test A/A vă ajută să determinați dimensiunea corespunzătoare a eșantionului care poate fi apoi utilizat pentru testele A/B viitoare.

Evaluați performanța paginilor și canalelor dvs

Câți vizitatori vin pe pagina dvs. de pornire, pagina coșului, paginile de produse și alte pagini?

Nu ești preocupat dacă vei găsi sau nu un câștigător atunci când faci asta. Mai degrabă, căutați modele mai mari pentru o anumită pagină.

Aceste experiențe vă pot ajuta să răspundeți la întrebări precum:

• Care este rata de conversie macro a paginii de pornire?
• Care este defalcarea ratei de conversie în funcție de segmentul de vizitatori?
• Care este defalcarea ratei de conversie în funcție de segmentul de dispozitiv?

Experiențele A/A vă oferă o bază de referință cu care puteți compara experiențe noi A/B pentru orice parte a site-ului dvs.

S-ar putea argumenta că puteți primi aceleași informații prin intermediul analizelor site-ului.

Dar, acest lucru este atât adevărat, cât și neadevărat.

Instrumentul de testare A/B este folosit în primul rând pentru a declara un câștigător (în timp ce trimiteți date de testare la Google Analytics sau efectuați alte calcule), așa că veți dori în continuare să observați valorile site-ului atunci când rulează.

Crearea unei experiențe A/A

Experiențele A/A sunt un instrument foarte important pentru optimizarea ratei de conversie.

Cu toate acestea, provocarea cu o experiență A/A este să decizi ce pagină să folosești atunci când desfășoară experiența.

Asigurați-vă că pagina pe care o alegeți pentru pagina dvs. de experiență A/A are aceste două calități:

• Un volum mare de trafic. Cu cât mai mulți oameni vizitează o pagină, cu atât mai devreme vei observa alinierea între variații.
• Vizitatorii au posibilitatea de a cumpăra sau de a se înscrie . Veți dori să vă ajustați soluția de testare A/B până la linia de sosire.

Aceste cerințe sunt motivul pentru care efectuăm adesea teste A/A pe pagina de pornire a unui site web.

În secțiunea următoare, voi explica mai detaliat cum să creați o campanie de testare A/A, dar, pe scurt, iată cum să configurați un test A/A pe pagina de pornire a unui site web:

1. Realizați două versiuni identice ale aceleiași pagini: un control și o variație. După ce ați terminat de creat variațiile, alegeți segmentele de public cu dimensiuni identice ale eșantioanelor.
2. Determinați-vă KPI. Un KPI este o măsurătoare care măsoară performanța în timp. De exemplu, KPI-ul dvs. ar putea fi numărul de vizitatori care fac clic pe un îndemn.
3. Împărțiți-vă publicul în mod egal și aleatoriu folosind instrumentul de testare, trimițând un grup la control și celălalt la variație. Rulați experiența până când atât controlul, cât și variația ajung la un anumit număr de vizite.
4. Urmăriți KPI-urile ambelor grupuri. Deoarece ambele grupuri sunt expuse la același conținut, ar trebui să acționeze în mod similar.
5. Conectați-vă instrumentul de testare A/B la software-ul dvs. de analiză. Acest lucru vă va permite să verificați din nou dacă datele dvs. sunt colectate cu acuratețe în programul dvs. de analiză.

Cum se interpretează rezultatele testului A/A?

Ne așteptăm la rezultate neconcludente la o experiență A/A

Deși este puțin probabil ca sezonalitatea să modifice rezultatele unui test A/A, unul dintre obiective este detectarea rezultatelor neașteptate. Din acest motiv, vă recomandăm să rulați testul timp de cel puțin o săptămână înainte de a revizui rezultatul.

La sfârșitul unei săptămâni, ar trebui să observați următorul comportament atunci când examinați rezultatele testului A/A:

• În timp, semnificația ta statistică se va stabili în jurul unei anumite valori. 10% din timp, semnificația statistică se va stabili peste 90%.
• Pe măsură ce se colectează mai multe date, intervalele de încredere pentru experimentul dvs. se vor micșora, excluzând valori diferite de zero.
• Originalul și variația pot funcționa diferit în diferite momente în timpul rezultatelor testului, dar niciunul nu ar trebui să fie etichetat oficial drept câștigător semnificativ statistic.

Deoarece nu ar trebui să existe nicio diferență între variații, ar trebui să vă așteptați să vedeți doar diferențe modeste și niciun rezultat semnificativ statistic. Poate veți vedea ceva în acest sens:

Ce înseamnă dacă primești variații neidentice?

Dacă există o diferență considerabilă între cele două variații identice într-o experiență A/A, ar putea însemna că software-ul dvs. de testare A/B nu a fost implementat corect sau că instrumentul de testare este ineficient .

Cu toate acestea, este, de asemenea, posibil ca experiența să nu fi fost desfășurată corect sau ca rezultatele să se datoreze unei variații aleatorii . Acest tip de eroare de eșantionare apare în mod natural atunci când o probă este măsurată, spre deosebire de măsurarea tuturor vizitatorilor.

De exemplu, un nivel de încredere de 95% sugerează că un rezultat câștigător va apărea într-una din 20 de apariții, mai degrabă din cauza unei erori de eșantionare decât a unei diferențe semnificative de performanță între două variații.

Un alt motiv pentru care o experiență A/A executată corect ar putea să nu valideze identitatea variațiilor este din cauza eterogenității unui public țintă .

De exemplu, să presupunem că desfășurăm o experiență A/A pentru un grup de femei, cu rate de conversie variate pentru femei de diferite vârste.

Chiar dacă rulăm un test în mod corespunzător, folosind un instrument de testare A/B precis, acesta poate dezvălui totuși o diferență semnificativă între două variații identice. De ce? În acest exemplu, 50% dintre vizitatori pot avea vârste cuprinse între 20 și 90 de ani, în timp ce celelalte 50% pot varia între 20 și 50 de ani. Mai degrabă decât o eroare a platformei, rezultatul incongruent este pur și simplu un semn că cele două audiențe sunt foarte diferit.

În cele din urmă, o altă greșeală comună, atunci când rulați orice fel de test, inclusiv un test A/A, este să continuați să verificați rezultatele și să încheiați prematur testul odată ce este detectată semnificația statistică.

Această practică de declarare a unei variații câștigătoare prea devreme se numește „peeking de date” și poate duce la rezultate nevalide.

Privirea datelor într-un test A/A îi poate determina pe analiști să vadă o creștere într-o variantă, atunci când cele două sunt, de fapt, identice.

Pentru a evita acest lucru, ar trebui să decideți în avans dimensiunea eșantionului pe care doriți să o utilizați. Luați această decizie pe baza:

• Dimensiunea minimă a efectului: creșterea minimă sub care un efect nu este semnificativ pentru organizația dvs
• Putere
• Niveluri de semnificație pe care le considerați acceptabile

Scopul unui test A/A ar fi atunci acela de a evita observarea unui rezultat semnificativ statistic odată ce dimensiunea eșantionului a fost atinsă.

Care sunt provocările testării A/A?

Pe lângă numeroasele beneficii pe care un test A/A le poate aduce strategiei dvs. de experimentare, acestea sunt două dezavantaje majore ale testării A/A:

1. O configurație experimentală A/A conține un element de imprevizibilitate.
2. Este necesară o dimensiune mare a eșantionului.

Să aruncăm o privire la fiecare dintre aceste provocări separat.

Aleatorie

După cum sa menționat anterior, unul dintre motivele principale pentru efectuarea unui test A/A este evaluarea acurateței unui instrument de testare.

Dar, să presupunem că descoperiți o diferență între conversiile dvs. de control și variație.

Problema cu testarea A/A este că există întotdeauna un element de aleatorie implicat.

În alte circumstanțe, semnificația statistică este obținută numai întâmplător. Aceasta înseamnă că diferența dintre ratele de conversie dintre două variații este mai degrabă probabilistică decât absolută.

Dimensiune mare de probă

Când se compară variații similare, este necesară o dimensiune mare a eșantionului pentru a determina dacă unul este favorizat față de omologul său identic.

Acest lucru necesită o cantitate mare de timp.

Executarea testelor A/A poate duce la timpul de testare „real”.

Trucul unui program de optimizare la scară largă este de a reduce raportul cost al resurselor la oportunitate, pentru a asigura viteza procesului de testare și ceea ce învățați, eliminând complet risipa, prostia și ineficiența din proces.

Desfășurarea de experimente pe site-ul dvs. este un pic ca a conduce o companie aeriană ocupată pe un aeroport internațional important – aveți locuri limitate de decolare și trebuie să vă asigurați că le utilizați eficient.

Craig Sullivan pentru CXL

Conversie experiențe și testare A/A

Testarea A/A apare frecvent în cererile de asistență mai „avansate”.

Următoarele sugestii de la agenții de asistență Convert se bazează pe zeci de cazuri rezolvate:

1. Pentru a vă testa platforma de testare A/B, mai întâi conduceți o experiență A/A. Dacă diferența dintre cele două este semnificativă din punct de vedere statistic la nivelul ales, platforma dvs. s-ar putea să fie spartă.
2. Efectuați un test A/A/B sau A/A/B/B (mai multe despre asta mai jos) și eliminați rezultatele dacă cele două variații A sau două variații B produc diferențe semnificative statistic la nivelul ales.
3. Configurați multe teste A/A. Dacă mai multe teste decât era de așteptat arată diferențe semnificative din punct de vedere statistic, platforma dvs. este defectă.

Cum să configurați teste A/A în cadrul experiențelor Convert?

Acum să vedem cum să configurați câteva tipuri diferite de teste A/A (da, la plural) folosind Experiențe Convertiți.

Experiența pură A/A

Cea mai tipică configurație A/A este o împărțire 50/50 între două pagini care sunt identice.

Scopul este de a valida configurația experienței, asigurându-se că fiecare variație are aproximativ aceeași performanță.

Verificați același lucru pentru a descoperi dacă datele conțin mai degrabă zgomot decât informații utile.

Pentru a configura această experiență simplă A/A, faceți clic pe meniul Experiențe. Apoi, faceți clic pe butonul „Experiență nouă” din partea dreaptă sus.

Completați detaliile „Experience Creation Wizard” și selectați tipul de experiență „A/A Experience”.

Acum, experiența dvs. A/A ar trebui creată. Va fi identic cu alte tipuri de experimente din platformă, în afară de faptul că nu are opțiuni de „Editare variații”.

Activați experiența schimbându-i starea:

Experiența calibrată A/A/B sau A/A/B/B

Ideea din spatele acestui test calibrat A/A/B sau A/A/B/B este că variațiile A sau B replicate oferă o măsură a acurateței testului A/B.

Dacă diferența dintre A și A sau B și B este semnificativă statistic, testul este considerat invalid și rezultatele sunt eliminate.

Pentru a configura un astfel de test, va trebui să începeți o experiență A/B, mai degrabă decât o experiență A/A.

Faceți clic pe butonul „Nouă experiență” din dreapta ecranului pentru a începe să creați o nouă experiență.

Odată ce faceți clic pe acel buton, veți vedea acest meniu pop-up. Selectați opțiunea A/B:

Apoi, introduceți adresa URL în a doua casetă.

Veți fi dus la Editorul vizual care afișează adresa URL pe care ați ales-o și o bară de instrumente în partea de sus:

În secțiunea Variații de pagină din stânga sus, veți observa că „Variația 1” este selectată implicit.

Aceasta înseamnă că orice modificări pe care le facem acestei versiuni a adresei URL nu va afecta adresa URL inițială.

Acest lucru va avea ca rezultat un test A/B clasic, în care versiunea „A” este pagina originală, iar versiunea „B” este Varianta 1.

Pentru A/A/B sau A/A/B/B, va trebui să adăugați o altă variantă A și o altă variantă B care sunt identice cu variația A și, respectiv, cu varianta B.

Ar trebui să arate așa:

Faceți clic pe butonul „Salvați și continuați” și ați terminat!

Rulați multe experiențe A/A

Am acoperit deja acest lucru, dar dacă efectuați 1000 de teste A/A succesive cu audiențe mari, urmați toate cerințele și obțineți rezultate semnificative statistic mult mai des decât se prevedea, este posibil ca cadrul dvs. de testare A/B să fie rupt.

S-ar putea ca mostrele să nu fie randomizate corespunzător. Sau poate, cele două variante nu se exclud reciproc.

Iată cum ar putea arăta:

Pot organiza o experiență A/A în același timp cu o experiență A/B?

Există șansa să fie necesar să rulați un test A/A în același timp cu un test A/B, pe același site web.

În acest caz, iată câteva posibilități:

1. Nu va trebui să vă faceți griji că testele vor intra în conflict între ele dacă le rulați simultan.
2. Puteți conduce experimentele simultan, dar cu publicuri distincte.
3. Puteți efectua testele în ordinea corectă (terminați testul 1 (testul A/A) înainte de a trece la testul 2 (testul A/B)).

Opțiunea 3 este cea mai sigură, dar limitează drastic capacitățile experienței tale.

Este complet posibil să rulați mai multe experiențe pe aceeași pagină sau set de pagini în același timp.

Dar rețineți că gruparea într-un experiment poate avea un impact asupra datelor dintr-un alt experiment care are loc simultan.

Iată cele mai importante două tehnici de conversie pe care să le utilizați atunci când rulați teste paralele:

1. Alocați 50% din trafic testului A/A, permițând în același timp celorlalte 50% din trafic să intre în celelalte experiențe de rulare A/B.
2. Excludeți vizitatorii A/A de la alte teste A/B.

Procesul de QA pre-testare: o alternativă interesantă la testarea A/A

Când decideți dacă să rulați sau nu un test A/A, răspunsurile vor varia în funcție de cine întrebați. Nu există nicio îndoială că testarea A/A este o problemă controversată.

Unul dintre cele mai comune argumente împotriva testării A/A este că durează prea mult.

Testarea A/A consumă o cantitate semnificativă de timp și necesită adesea o dimensiune a eșantionului considerabil mai mare decât testarea A/B.

Când se compară două versiuni identice ale unui site web, este necesară o dimensiune mare a eșantionului pentru a demonstra o părtinire semnificativă.

Ca urmare, testul va dura mai mult pentru a se finaliza, ceea ce poate reduce timpul petrecut cu alte teste importante.

În astfel de cazuri în care nu aveți mult timp sau trafic ridicat, cel mai bine este să luați în considerare efectuarea unui proces de QA pre-test.

În acest articol de blog, vă prezentăm toți pașii pe care va trebui să-i urmați pentru a efectua un proces complet de QA. Metodele pe care le utilizați sunt la latitudinea dvs. și depind de cât timp aveți la dispoziție.

Poate exista SRM pe testele A/A?

Întrebați-vă: este numărul real de utilizatori observați în timpul testului dvs. A/A aproape de raportul 50/50 (sau raportul 90/10 sau orice alt raport) dacă îi împărțiți în jumătate?

Dacă nu, vă confruntați cu una dintre două probleme: fie există o problemă cu modul în care invocați infrastructura de testare din codul dvs. (făcându-l „scurge” pe de o parte), fie există o problemă cu infrastructura de testare. mecanism de atribuire.

O eroare de nepotrivire a raportului de eșantionare (eroare SRM) este un defect pe care un test A/A îl poate detecta.

Dacă raportul dvs. iese la ceva de genul 65/35, ar trebui să investigați problema înainte de a rula un alt test A/B folosind aceeași strategie de direcționare.

Avantajele testării A/A depășesc dezavantajele?

Deși testarea A/A nu ar trebui să fie efectuată lunar, merită să vă testați datele atunci când configurați un nou instrument A/B.

Dacă prindeți datele greșite acum, veți avea mai multă încredere în rezultatele testelor dvs. A/B mai târziu, pe drum.

Deși decizia vă aparține în cele din urmă, este foarte recomandabil să efectuați teste A/A dacă începeți cu un instrument nou. Dacă nu, vă recomandăm să configurați o procedură strictă de pre-test QA, deoarece testarea A/B vă va economisi timp, bani și trafic.

Sperăm că capturile de ecran de mai sus v-au răspuns întrebărilor, dar dacă nu, înscrieți-vă pentru o demonstrație pentru a vedea singur cât de ușor este să configurați un test A/A cu Convert Experiences.