Toate tipurile diferite de teste pe care le puteți rula pe site-ul dvs. (+ când să le rulați)
Publicat: 2022-09-20Lumea experimentelor s-a mutat în cea mai mare parte dincolo de testele simple A/B de culoarea butoanelor.
S-ar putea să-și aibă locul în portofoliul de experimente pe care le desfășurați, dar sperăm că, în acest moment, nu sunt sinonime cu experimentarea sau CRO.
Experimentarea poate fi mult mai mare.
Folosind diferite tipuri de experimente, putem afla despre variația de pe site-urile noastre web, putem testa experiențe noi, descoperim noi căi de pagină, facem salturi mari sau pași mici și putem identifica combinația optimă de elemente dintr-o pagină.
Ceea ce sperați să învățați dintr-un experiment ar trebui să se reflecte în proiectarea acestuia, iar proiectarea experimentelor merge mult dincolo de simpla testare a A versus B folosind o ipoteză concretă.
De fapt, există un întreg subdomeniu de studiu cunoscut sub numele de design of experiments (DoE) care acoperă acest lucru.
- Proiectarea experimentelor: o introducere în proiectarea experimentală
- 16 tipuri comune de experimente
- 1. Test A/A
- 2. Test A/B simplu
- 3. Test A/B/n
- 4. Test multivariat
- 5. Testul de țintire
- 6. Testul Banditului
- 7. Algoritmi evolutivi
- 8. Testul căii împărțite în pagină
- 9. Test de existență
- 10. Testul ușii vopsite
- 11. Test de descoperire
- 12. Test iterativ
- 13. Test inovator
- 14. Testul de non-inferioritate
- 15. Drapelul caracteristicii
- 16. Cvasi-experimente
- Concluzie
Proiectarea experimentelor: o introducere în proiectarea experimentală
Design of Experiments (DoE) este o metodă științifică utilizată pentru a determina relația dintre factorii care afectează un proces și rezultatul procesului respectiv.
Design of Experiments este un concept popularizat de statisticianul Ron Fisher în anii 1920 și 1930.
DoE ne permite să înțelegem modul în care diferitele variabile de intrare afectează un proces de ieșire prin modificarea sistematică a intrărilor și observând modificările rezultate în ieșire. Această abordare poate fi utilizată pentru a optimiza un proces, pentru a dezvolta produse sau caracteristici noi sau pentru a afla care elemente funcționează cel mai bine unul cu celălalt.
În marketing, folosim DoE pentru a ne îmbunătăți înțelegerea modului în care diferitele elemente dintr-o pagină (factorii) afectează ratele de conversie (ieșirea). Prin proiectarea eficientă a experimentelor, putem identifica ce elemente au cel mai mare impact asupra ratelor de conversie.
Există multe tipuri diferite de experimente și fiecare tip poate fi folosit pentru a afla lucruri diferite despre site-ul sau aplicația dvs.
În acest articol, voi acoperi 16 tipuri de experimente.
Nitpickers ar putea observa că acestea nu sunt toate modele experimentale fundamental diferite; mai degrabă, unele sunt „tipuri” diferite din cauza modului în care îți generezi ipoteza sau a cadrelor care stau la baza motivelor tale pentru a rula experimentul.
Unele, în plus, nu sunt chiar „experimente”, ci sunt mai degrabă reguli de optimizare construite pe modele de învățare automată.
Cu toate acestea, fiecare dintre următoarele are un scop distinct și poate fi privit ca un instrument unic în setul de instrumente al unui experimentator.
16 tipuri comune de experimente
Există multe tipuri diferite de experimente controlate pe care le puteți rula pe site-ul dvs. web, dar iată 16 dintre cele mai comune:
1. Test A/A
2. Test A/B simplu
3. Test A/B/n
4. Test multivariat
5. Test de țintire
6. Test bandit
7. Algoritmi evolutivi
8. Testarea căii pagini împărțite
9. Test de existență
10. Test usi vopsite
11. Test de descoperire
12. Test incremental
13. Test inovator
14. Testul de non-inferioritate
15. Steagul caracteristicii
16. Cvasi-experimente
1. Test A/A
Un test A/A este un concept simplu: testați două versiuni ale unei pagini care sunt identice.
De ce ai face asta?
Există o mulțime de motive, în principal în căutarea calibrării și înțelegerii datelor de bază, a comportamentului utilizatorului și a mecanismelor de randomizare ale instrumentului dvs. de testare. Testarea A/A vă poate ajuta:
- Determinați nivelul de variație al datelor dvs
- Identificați erorile de eșantionare în instrumentul dvs. de testare
- Stabiliți rate de conversie de referință și modele de date.
Executarea testelor A/A este ciudat de controversată. Unii jură pe asta. Unii spun că este o pierdere de timp.
Aprecierea mea? Probabil că merită să rulezi unul măcar o dată, din toate motivele menționate mai sus. Un alt motiv pentru care îmi place să rulez teste A/A este să explic statisticile începătorilor care testează.
Când arătați cuiva un experiment „semnificativ” cu două zile de date colectate, pentru a dezvălui mai târziu că a fost un test A/A, atunci părțile interesate înțeleg de obicei de ce ar trebui să rulați un experiment până la finalizare.
Dacă doriți să citiți mai multe despre testarea A/A (este un subiect uriaș, de fapt), Convert are un ghid aprofundat despre acestea.
Cazuri de utilizare: calibrarea și determinarea variației datelor, auditarea erorilor platformei de experimentare, determinarea ratei de conversie de bază și a cerințelor de eșantionare.
2. Test A/B simplu
Toată lumea știe ce este un simplu test A/B: testați două versiuni ale unei pagini, una cu o modificare și alta fără.
Testele A/B sunt pâinea și untul experimentelor. Sunt simplu de configurat și ușor de înțeles, dar pot fi folosite și pentru a testa schimbări majore.
Testele A/B sunt cel mai frecvent utilizate pentru a testa modificările pe o interfață cu utilizatorul, iar scopul unui test A/B simplu este aproape întotdeauna de a îmbunătăți rata de conversie pe o anumită pagină.
Rata de conversie, apropo, este o valoare generică care acoperă tot felul de proporții, cum ar fi rata de activare a utilizatorilor de produse noi, ratele de monetizare ale utilizatorilor freemium, ratele de conversie a clienților potențiali pe site și ratele de clic.
Cu un simplu test A/B, ai o ipoteză singulară și schimbi câte un element pentru a învăța cât mai multe despre elementele cauzale ale schimbării tale. Aceasta ar putea fi ceva de genul unei schimbări a titlului, a culorii butonului sau a mărimii, adăugarea sau eliminarea unui videoclip sau orice altceva.
Când spunem „test A/B”, folosim în mare parte un termen generic pentru a cuprinde majoritatea celorlalte tipuri de experimente pe care le voi enumera în această postare. De obicei, este folosit ca termen umbrelă pentru a însemna „am schimbat *ceva* – elemente mari, mici sau multe – pentru a îmbunătăți o valoare.”
Cazuri de utilizare: multe! De obicei, pentru a testa o schimbare singulară la o experiență digitală informată de o ipoteză concretă. Testele A/B sunt de obicei efectuate cu intenția de a îmbunătăți o valoare, dar și pentru a afla despre orice modificare care are loc în comportamentul utilizatorului odată cu intervenția.
3. Test A/B/n
Testele A/B/n sunt foarte asemănătoare cu testele A/B, dar în loc să testați două versiuni ale unei pagini, testați mai multe versiuni.
Testele A/B/n sunt similare, în anumite privințe, cu testele multivariate (pe care le voi explora în continuare). Totuși, mai degrabă decât un test „multivariat”, le-aș considera un test cu mai multe variante.
Testele multivariate sunt utile pentru înțelegerea relațiilor dintre diferitele elemente dintr-o pagină. De exemplu, dacă doriți să testați diferite titluri, imagini și descrieri pe pagina unui produs și, de asemenea, doriți să vedeți care combinații par să interacționeze cel mai bine, ați utiliza un test multivariat.
Testele A/B/n sunt utile pentru testarea mai multor versiuni ale unui singur element și nu le pasă atât de mult de efectele de interacțiune dintre elemente.
De exemplu, dacă doriți să testați trei titluri diferite pe o pagină de destinație, ați utiliza un test A/B/n. Sau puteți testa doar șapte versiuni complet diferite ale paginii. Este doar un test A/B cu mai mult de două experiențe testate.
Testele A/B/n sunt alegeri solide atunci când aveți mult trafic și doriți să testați mai multe variante în mod eficient. Desigur, statisticile trebuie corectate pentru mai multe variante. Există, de asemenea, o mulțime de dezbateri cu privire la câte variante ar trebui să includă într-un test A/B/n.
Adesea, puteți împinge câteva variante mai originale și mai creative atunci când testați mai multe experiențe simultan, spre deosebire de mai multe teste A/B simple.
Caz de utilizare: atunci când aveți trafic disponibil, mai multe variante sunt excelente pentru a testa o gamă largă de experiențe sau mai multe iterații ale unui element.
4. Test multivariat
Un test multivariat este un experiment cu mai multe modificări. În cazul în care un test A/B/n testează versiunile compuse ale fiecărei variante față de cealaltă variantă, un test multivariat urmărește, de asemenea, să determine efectele de interacțiune între elementele testate.
Imaginați-vă, de exemplu, că reproiectați o pagină de pornire. Ați făcut cercetări de conversie și ați descoperit probleme de claritate cu titlul dvs., dar aveți și câteva ipoteze cu privire la nivelul de contrast și claritate din CTA.
Nu numai că sunteți interesat să îmbunătățiți fiecare dintre aceste două elemente în mod izolat, dar și performanța acestor elemente este probabil dependentă. Prin urmare, doriți să vedeți ce combinație de titluri noi și CTA funcționează cel mai bine.
Designul experimentului devine mult mai complicat atunci când intri pe teritoriul multivariat. Există câteva tipuri diferite de configurații pentru experimente multivariate, inclusiv proiectarea factorială completă, proiectarea factorială parțială sau fracțională și testarea Taguchi.
Și doar ca o chestiune de bun simț statistic, testele multivariate necesită aproape sigur mai mult trafic decât testele simple A/B. Fiecare element sau experiență suplimentară pe care o modificați crește volumul de trafic de care aveți nevoie pentru un rezultat valid.
Cazuri de utilizare: experimentele multivariate par deosebit de benefice pentru optimizarea unei experiențe prin modificarea mai multor variabile mici. Ori de câte ori doriți să determinați combinația optimă de elemente, trebuie luate în considerare testele multivariate.
5. Testul de țintire
Testele de direcționare, mai bine cunoscute sub numele de personalizare, se referă la afișarea mesajului potrivit persoanei potrivite la momentul potrivit.
Cu un test de direcționare, puteți crea versiuni diferite ale unei pagini și puteți afișa fiecare versiune unui grup diferit de persoane. Scopul este, de obicei, de a crește ratele de conversie, arătând conținut relevant fiecărui utilizator.
Rețineți că personalizarea și experimentarea nu sunt sinonime. Puteți personaliza o experiență fără a o trata ca pe un experiment. De exemplu, puteți decide, fără date sau intenția de a colecta date, că veți folosi un simbol pentru prenume în e-mailurile dvs. pentru a personaliza mesajele cu numele destinatarului.
Personalizare? Da. Experimentare? Nu.
Dar puteți rula și experimente care vizează anumite segmente de utilizatori. Acest lucru este obișnuit în special în experimentarea produselor, unde puteți izola cohorte în funcție de nivelul lor de preț, timpul de înscriere, sursa de înscriere etc.
Aceleași statistici se aplică experimentelor de personalizare, așa că este important să alegeți segmente semnificative de vizat. Dacă deveniți prea detaliat – să spunem că vizați utilizatorii Chrome de telefonie mobilă din mediul rural din Kansas care au între 5 și 6 sesiuni – nu numai că va fi imposibil de cuantificat statistic impactul, dar este puțin probabil să aibă un impact semnificativ asupra afacerii.
Personalizarea este de obicei privită ca o extensie naturală a testării A/B simple, dar, în multe privințe, introduce o mulțime de complexitate nouă. Pentru fiecare nouă regulă de personalizare pe care o folosești, acesta este un nou „univers” pe care l-ai creat pentru ca utilizatorii să-l gestioneze, să actualizeze și să-l optimizeze.
Instrumentele de personalizare predictivă vă ajută să identificați segmentele țintă, precum și experiențele care par să funcționeze mai bine cu acestea. În caz contrar, regulile de personalizare sunt adesea identificate prin segmentarea post-test.
Cazuri de utilizare: izolați tratamentele pentru anumite segmente ale bazei dvs. de utilizatori.
6. Testul Banditului
Un test de bandiți, sau folosirea algoritmilor de bandiți, este puțin tehnic. Dar, practic, ele diferă de testele A/B, deoarece învață și schimbă constant care variantă este afișată utilizatorilor.
Testele A/B sunt de obicei experimente cu „orizont fix” (cu avertismentul tehnic de a folosi testarea secvențială), ceea ce înseamnă că predeterminați o perioadă de probă atunci când executați testul. După finalizare, luați decizia fie de a lansa noua variantă, fie de a reveni la versiunea originală.
Testele bandiților sunt dinamice. Aceștia actualizează constant alocarea traficului fiecărei variante în funcție de performanța acesteia.
Teoria este așa: intri într-un cazinou și dai peste mai multe aparate de slot (bandiți cu mai multe arme). Presupunând că fiecare mașină are recompense diferite, problema banditului ajută „să decidă ce mașini să joace, de câte ori să joace fiecare mașină și în ce ordine să le joci și dacă să continui cu mașina curentă sau să încerci o altă mașină”.
Procesul de decizie aici este împărțit în „explorare”, în care încercați să colectați date și informații și „exploatare”, care valorifică aceste cunoștințe pentru a produce recompense peste medie.
Deci un test bandit pe un site ar căuta să găsească, în timp real, varianta optimă și să trimită mai mult trafic către varianta respectivă.
Cazuri de utilizare: experimente scurte cu „perisabilitate” ridicată (adică învățările din rezultate nu se vor extinde foarte departe în viitor) și optimizare dinamică pe termen lung „setează-l și uită-l”.
7. Algoritmi evolutivi
Algoritmii evolutivi sunt un fel de combinație între testele multivariate și testele bandiți. În contextul experimentelor de marketing, algoritmii evolutivi vă permit să testați un număr mare de variante în același timp.
Scopul unui algoritm evolutiv este de a găsi combinația optimă de elemente pe o pagină. Ele funcționează creând o „populație” de variante și apoi testându-le pe toate unele împotriva altora. Varianta cea mai performantă este apoi folosită ca punct de plecare pentru următoarea generație.
După cum sugerează numele, folosește iterații evolutive ca model de optimizare. Aveți o mulțime de versiuni diferite de titluri, butoane, copiere corporală și videoclipuri și le îmbinați pe fiecare dintre ele pentru a crea noi mutații și încercați în mod dinamic să eliminați variantele slabe și să trimiteți mai mult trafic către variantele puternice.
Este ca testarea multivariată pe steroizi, deși cu mai puțină transparență în efectele de interacțiune (astfel, un potențial de învățare mai mic).
Aceste experimente necesită, de asemenea, destul de mult trafic pe site pentru a funcționa bine.
Cazuri de utilizare: testare multivariată masivă, îmbinarea mai multor versiuni de creație și găsirea câștigătorului emergent dintre toate combinațiile.
8. Testul căii împărțite în pagină
Un test de cale de pagină împărțită este, de asemenea, un tip foarte comun de testare A/B.
În loc să modificați un element dintr-o singură pagină, schimbați întreaga cale pe care o parcurge un utilizator prin site-ul dvs. web.
Cu un test de cale a paginii împărțite, testați în esență două versiuni diferite ale site-ului, produsului sau canalului dvs. Scopul este de obicei găsirea versiunii care are ca rezultat mai multe conversii sau vânzări. De asemenea, poate ajuta la identificarea punctelor de transfer în pâlnie, care poate diagnostica zonele de focalizare pentru optimizare ulterioară.
Practic, în loc să schimbi copia de pe un buton, schimbi următoarea pagină la care te trimite butoanele dacă dai clic pe ea. Este o modalitate puternică de a experimenta călătoria clientului.
Cazuri de utilizare: identificați și îmbunătățiți căile paginilor și canalele utilizatorilor într-un produs sau pe un site web.
9. Test de existență
Testarea existenței este un concept interesant. Ceea ce încercați să faceți este să cuantificați impactul (sau lipsa acestuia) al unui anumit element din produsul sau site-ul dvs.
Potrivit unui articol CXL, „Mai simplu, eliminăm elemente ale site-ului tău și vedem ce se întâmplă cu rata de conversie.”
Cu alte cuvinte, testați pentru a vedea dacă o modificare are vreun efect.
Strategic, aceasta este o strategie atât de subestimată. Ne asumăm adesea, fie prin propria noastră euristică, fie prin cercetări calitative, care elemente sunt cele mai importante pe o pagină.
Cu siguranță, videoclipul demonstrativ al produsului este important. Testarea existenței este o modalitate de a pune la îndoială această credință și de a obține rapid un răspuns.
Doar eliminați videoclipul și vedeți ce se întâmplă.
Rata de conversie crește sau scade? Interesant – asta înseamnă că elementul sau imobilul pe care l-a ocupat are un impact într-un fel.
Fara impact? E interesant și asta. În acest caz, aș îndrepta atenția echipei mele asupra altor părți ale experienței digitale, știind că chiar și eliminarea completă a elementului nu afectează KPI-urile noastre.
Cazuri de utilizare: „Mapping semnal de conversie”. În esență, acest lucru vă poate spune elasticitatea elementelor de pe site-ul dvs. web, AKA chiar contează suficient pentru a vă concentra eforturile de optimizare?
10. Testul ușii vopsite
Un test de ușă vopsită este într-un fel similar cu un test de existență. Sunt foarte frecvente pentru testarea ofertelor noi, precum și pentru testarea cererii pentru noi caracteristici ale produselor.
Practic, un test de ușă pictată este un experiment pentru a vedea dacă oamenii vor folosi cu adevărat o funcție nouă sau nu. De fapt, nu cheltuiți timpul și resursele pentru a *crea* noua ofertă sau funcție. Mai degrabă, creați o „ușă pictată” pentru a vedea dacă oamenii care trec pe lângă vor încerca chiar să o deschidă (adică creați un buton sau o pagină de destinație și vedeți dacă oamenii chiar dau clic pe el, deducând interes).
Scopul unui test de ușă vopsită este de a afla dacă există vreo cerere pentru lucrul pe care îl testați. Dacă oamenii folosesc de fapt noua funcție, atunci știți că merită urmărită. Dacă nu, atunci știi că nu merită timpul tău și poți renunța la idee.
Sunt cunoscute și ca teste de fum .
Testele ușilor vopsite sunt o modalitate excelentă de a testa idei noi fără a investi mult timp sau bani.
Deoarece nu aveți de fapt o ofertă sau o experiență de creare, de obicei nu puteți utiliza KPI-uri precum rata de conversie. Mai degrabă, trebuie să modelați pragul minim al valorii așteptate. De exemplu, crearea caracteristicii X va costa Y, așa că, având în vedere datele noastre de referință existente, va trebui să vedem rata de clic Y pentru a garanta crearea experienței „reale”.
O listă de așteptare înainte de lansare este, în anumite privințe, un test de ușă pictat (cu exemplu celebru fiind briciul lui Harry).
Cazuri de utilizare: dovediți cazul de afaceri pentru a investi timp și resurse în crearea unei noi caracteristici, oferte sau experiențe.
11. Test de descoperire
Testele de descoperire, pe care le-am extras din Metodologia de testare bazată pe disciplină a lui Andrew Anderson, se referă la creșterea gamei de opțiuni posibile.
Sunt aproape întotdeauna o versiune a testelor A/B/n cu mai multe variante, dar nu trebuie neapărat să fie proiectate astfel. Scopul mai mare al acestora este de a testa opțiuni în afara intervalului de ceea ce ați fi considerat în mod normal rezonabil. Acest lucru vă atenuează propria părtinire, care poate limita domeniul de aplicare a opțiunilor pe care le luați în considerare vreodată.
În loc să definiți în mod restrâns o ipoteză, sperați să ieșiți în afara propriilor prejudecăți și, eventual, să învățați ceva complet nou despre ceea ce funcționează cu publicul dvs.
Pentru a face un test de descoperire, luați o bucată de imobil pe produsul sau site-ul dvs. și generați o grămadă de variante diferite. Scopul este că fiecare variantă este destul de diferită de ultima, oferindu-vă o gamă largă de opțiuni diferite. Scopul este să găsești ceva care funcționează, chiar dacă nu știi ce este dinainte.
În testele de descoperire, este important să mapați experimentul la macro-KPI și nu optimizați pentru micro-conversii. De asemenea, este important să testați experiențe semnificative și cu trafic ridicat, deoarece veți dori puterea statistică adecvată pentru a descoperi lifturile dintre numeroasele variante.
Pentru a vedea un exemplu de experiment ca acesta, consultați exemplul lui Andrew Anderson de la Malwarebytes, unde au testat 11 variante foarte diferite.
Cazuri de utilizare: deconstrângeți-vă eforturile de experimentare de la ipoteze părtinitoare și găsiți soluții în afara casetei care, deși pot fi împotriva intuiției dvs., conduc în cele din urmă la rezultate de afaceri.
12. Test iterativ
Există un concept cunoscut în informatică sub denumirea de „problema de alpinismului”. Practic, algoritmii de alpinism caută să găsească cel mai înalt punct dintr-un peisaj pornind de la partea de jos și deplasându-se constant în sus.
Același concept poate fi aplicat experimentelor de marketing.
Cu un test iterativ, începeți cu o mică schimbare și apoi continuați să o faceți mai mare până când ajungeți la punctul de rentabilitate descrescătoare. Acest punct al randamentelor descrescătoare se numește „maximum local”. Un maxim local este cel mai înalt punct din peisaj la care se poate ajunge din punctul de plecare.
Scopul unui test iterativ este de a găsi maximul local pentru o anumită modificare. Aceasta poate fi o modalitate foarte eficientă de a testa lucruri precum modificările ofertei sau ale prețurilor, precum și orice element pe care l-ați constatat că are impact prin cercetare sau prin testarea existenței.
Practic, știți că elementul X contează și știți că există un spațiu suplimentar pentru a îmbunătăți KPI Y prin îmbunătățirea elementului X. Așa că faceți mai multe încercări mici și iterative la schimbarea elementului X până când apare că nu mai puteți îmbunătăți valoarea (sau este extrem de dificil să faci asta).
Un exemplu simplu de test iterativ vine de pe propriul meu site web. Rulez ferestre pop-up cu magnet de plumb. Știu că conduc e-mailuri și probabil că există un punct de scădere a randamentelor, dar nu cred că am ajuns încă. Așa că la fiecare câteva luni, schimb o variabilă – fie titlul, oferta în sine, fie imaginea, în speranța de a obține un mic lift.
Cazuri de utilizare: optimizați elementele sau experiențele vizate prin testarea consecutivă a mai multor iterații mici ale experienței pentru a atinge un maxim local.
13. Test inovator
Spre deosebire de testarea iterativă, testele inovatoare caută să găsească dealuri complet noi de urcat.
Potrivit unui articol CXL, testele inovatoare sunt „concepute pentru a explora teritorii neexplorate și pentru a găsi noi oportunități”.
Testele inovatoare sunt toate despre a încerca ceva complet nou. De obicei, sunt puțin mai riscante decât alte tipuri de experimente, dar pot fi și foarte pline de satisfacții. Dacă sunteți în căutarea unor câștiguri mari, atunci testarea inovatoare este calea de urmat.
Reproiectările complete ale paginii de pornire sau ale paginii de destinație se încadrează în această categorie. Testarea de descoperire este o formă de testare inovatoare. Testele de culoare pentru butoane ar fi exact opusul unui test inovator.
Un test inovator ar trebui să vă facă pe dumneavoastră sau pe părțile interesate să vă simțiți ușor inconfortabil (dar amintiți-vă că frumusețea experimentelor este că au o durată limitată și vă limitează dezavantajele).
CXL a dat un exemplu de test inovator pe care l-au efectuat pentru un client aici:
Cazuri de utilizare: faceți un leagăn mare și găsiți un nou „deal” de urcat. Încheiați mai multe ipoteze și schimbați drastic o experiență.
14. Testul de non-inferioritate
Un test de non-inferioritate este utilizat pentru a determina dacă un nou tratament nu este mai rău decât tratamentul standard.
Scopul unui test de non-inferioritate este de a arăta că noul tratament este cel puțin la fel de eficient ca tratamentul standard.
De ce ai face un astfel de test?
Multe motive. Cea mai bună variantă la care mă pot gândi este dacă aveți o variantă care este „mai bună” într-o altă dimensiune (este mai ieftin de întreținut, respectă mai bine standardele mărcii etc.), dar doriți să vă asigurați că nu vă dăunează KPI-urile de bază ale afacerii.
Sau, în lentila studiilor clinice medicale, imaginați-vă că a fost dezvoltat un medicament care costă 1/10 cât medicamentul prescris în mod obișnuit. Atâta timp cât nu funcționează *mai rău* decât medicația existentă, accesibilitatea sa înseamnă că este o opțiune mult mai bună pentru a fi lansată.
Un alt motiv pentru care le conduc este dacă tratamentul este foarte favorizat de un director sau de o parte interesată. Urăsc să vă spun, dar doar pentru că avem acces la date ca profesioniști în experimentare nu înseamnă că evităm dezordinea gândirii părtinitoare și a politicii umane.
Sunt bucuros să iau testul ocazional trimis de HiPPO și să îl execut printr-un prag de certitudine mai scăzut, cum ar fi un test de non-inferioritate. Atâta timp cât nu încurcă *mei* KPI-urile, nu este rău să-l lanseze și câștigă favoarea politică.
Cazuri de utilizare: limita dezavantajului experimentelor în care o altă dimensiune este superioară (cost, preferința părților interesate, experiența utilizatorului, marca etc.).
15. Drapelul caracteristicii
Indicatoarele de caracteristici sunt o tehnică de dezvoltare software care vă permite să activați sau să dezactivați anumite caracteristici sau funcționalități și să testați funcții noi în producție.
Fără a intra în o mulțime de detalii tehnice, vă permit să testați funcțiile în producție sau să le implementați lent către subseturi mai mici de utilizatori, menținând în același timp capacitatea de a reduce rapid sau de a opri funcția dacă nu funcționează.
În multe privințe, acestea reprezintă o metodologie de asigurare a calității. Dar din nou, din multe puncte de vedere, la fel sunt și testele A/B.
Termenul „steagul de caracteristică” este oarecum un termen umbrelă care include multe funcționalități „de comutare” asociate, cum ar fi lansările Canary, testarea în producție, dezvoltarea continuă, rollback-urile și porțile caracteristicilor.
Cazuri de utilizare: testați noi funcții sau experiențe înainte de a implementa cod nou în producție.
16. Cvasi-experimente
În cele din urmă, cea mai complicată, largă și mai greu de definit categorie de experimente: cvasi-experimente.
Cvasi-experimentele sunt adesea folosite atunci când nu este posibilă atribuirea aleatorie a utilizatorilor în grupuri de testare.
De exemplu, dacă testați o funcție nouă pe site-ul dvs. web, puteți rula un test A/B, un semnalizator de caracteristică sau chiar un braț de personalizare.
Dar dacă doriți să testați o grămadă de modificări SEO și să vedeți efectele acestora asupra traficului? Sau chiar mai departe, impactul lor asupra conversiilor blogului? Ce se întâmplă dacă doriți să testați eficacitatea anunțurilor publicitare în aer liber?
Într-un număr surprinzător de mare de cazuri, este dificil, dacă nu imposibil, să organizezi un experiment strâns organizat și cu adevărat controlat.
În aceste cazuri, proiectăm cvasi-experimente pentru a ne descurca cu ceea ce avem.
În cazul modificărilor SEO, putem folosi instrumente precum Impactul cauzal pentru a cuantifica modificările dintr-o serie temporală. Mai ales dacă ne controlăm experimentul pe baza paginilor sau a unei alte dimensiuni identificabile, acest lucru ne va oferi o idee longitudinală bună dacă intervenția noastră a funcționat sau nu.
În cazul reclamelor radio sau panourilor publicitare, putem încerca să selectăm locații geografice reprezentative și să cuantificăm efectul în timp folosind statistici bayesiene similare.
Acesta este un subiect complex, așa că voi trimite la două resurse excelente:
- Cum rulează Netflix cvasi-experimente
- Cum Shopify rulează cvasi-experimente
Cazuri de utilizare: cuantificarea impactului atunci când un studiu controlat randomizat nu este posibil sau fezabil.
Concluzie
Sper că acest lucru v-a convins că testarea A/B merge mult dincolo de schimbarea titlului sau a butonului CTA pentru a optimiza ratele de conversie.
Când vă lărgiți deschiderea asupra a ceea ce experimentarea poate realiza, vă dați seama că este un instrument de învățare incredibil.
Putem cartografi elemente de impact pe o pagină de destinație, să identificăm combinația optimă de elemente, să descoperim o cale nouă și îmbunătățită a paginii de utilizator, să dezvoltăm noi funcții și experiențe fără a risca datorii tehnice sau o experiență slabă a utilizatorului și chiar să testăm noi canale de marketing și intervenții în afara site-ului nostru web sau în afara produsului nostru.