Ar trebui să rulați experimente simultane? Un ghid pentru evitarea rezultatelor conflictuale

Există o dezbatere în lumea optimizării despre dacă să rulați sau nu experimente simultane. Unii cred că executarea simultană a testelor A/B vă va tulbura rezultatele și va produce date inexacte. Alții susțin că rularea experiențelor A/B pe diferite pagini ale site-ului dvs. în același timp vă poate ajuta să testați mai multe lucruri și să identificați mai rapid strategiile câștigătoare.

Deci, care este corect?

În această postare pe blog, vom explora beneficiile și dezavantajele experimentelor simultane și vă vom ajuta să decideți care abordare este cea mai bună pentru programul dvs. de optimizare.

După ce ați citit acest articol de pe blog, veți putea răspunde la următoarele întrebări:

• Pot rula simultan experiențe URL împărțite?
• Pot rula experiențe A/B simultane?
• Pot rula o experiență A/A și o experiență A/B în același timp?

Răspunsul scurt este da , mai multe experiențe pot rula simultan pe o singură pagină sau pe un set de pagini. Dar, rețineți că gruparea într-o experiență poate avea un impact asupra datelor dintr-o altă experiență care apare simultan.

Cum se întâmplă suprapunerea experienței și ar trebui să fii îngrijorat?

Există un lucru de reținut atunci când rulați experimente simultane. În unele cazuri, două modificări pot interacționa, rezultând un efect diferit asupra comportamentului atunci când sunt combinate decât atunci când sunt izolate. Acest lucru se poate întâmpla atunci când experimentele sunt desfășurate pe aceeași pagină, cu același flux de utilizatori și așa mai departe.

Să ne uităm la câteva exemple de suprapunere a experienței și dacă ar trebui să fie considerată o problemă.

Testarea aceluiași element

Schimbarea designului paginilor de produse pentru a evidenția caracteristicile de recompensă, cum ar fi o politică de returnare gratuită și livrare gratuită, este un exemplu de test A/B pe care îl puteți rula.

Unul dintre clienții noștri a testat exact acest scenariu. Pe baza datelor de la departamentul lor de servicii pentru clienți, aceștia au emis ipoteza că clienții nu cunoșteau politica de returnare gratuită a mărcii, deoarece caracteristica nu era suficient de vizibilă pe paginile produselor. Apoi au efectuat un test A/B care arată caracteristica mai vizibil și au măsurat modul în care au răspuns clienții.

Iată cum arată originalul și varianta:

Cu toate acestea, implementarea testului a fost puțin mai complexă, deoarece modificările nu trebuiau aplicate la fiecare pagină de produs. Unele produse nu erau eligibile pentru returnări gratuite, anumite articole aflate la vânzare nu puteau fi modificate etc. Din aceste motive, au decis să ruleze o altă experiență A/B în paralel, schimbând același element și adăugând o copie de declinare a răspunderii pentru multe dintre ele. aceste pagini spunând „Articolul nu poate fi returnat”.

După cum puteți vedea, cele două experiențe A/B afectează același element de site web și, prin urmare, provoacă un fel de suprapunere a rezultatelor, ceea ce face dificilă tragerea de concluzii clare.

Testare pe aceeași pagină

Un alt exemplu de experiență A/B a fost atunci când un client de-al nostru și-a optimizat paginile de produse pentru a crește numărul de vizite la comandă.

Pe măsură ce au analizat fiecare element al paginilor de produse și au urmărit conversiile obiectivelor, ei au descoperit că linkurile principale din bara de navigare au primit cele mai multe clicuri, în special „Cumpără acum”. Clientul nostru a recunoscut importanța de a trimite mai mult trafic calificat către paginile de categorii, mai degrabă decât de a le lăsa să rătăcească pe pagina de pornire.

Ca urmare, clientul a decis să înlocuiască secțiunea „Cumpără acum” cu alte categorii, cum ar fi „super economisitor”, „bazar” și așa mai departe. În plus, secțiunea „Cumpără acum” a fost mutată în partea stângă a site-ului pentru a face pagina mai atractivă din punct de vedere vizual și pentru a atrage vizitatori calificați.

Așa arăta prima pagină a produsului:

Între timp, se desfășura un alt experiment A/B pe paginile produselor pentru a determina dacă o culoare diferită a butonului „Cumpărați acum” ar avea ca rezultat conversii mai bune.

Deoarece aceste două experiențe A/B afectează aceleași elemente pe aceeași pagină, unele suprapuneri sunt inevitabile în rezultate.

Testarea utilizatorilor care participă la același canal/flux

Suprapunerea experienței poate apărea și la testarea utilizatorilor care participă la același canal. Majoritatea site-urilor web generează conversii prin mai multe canale. În timp ce accentul principal poate fi pe achiziții, crearea sau achiziția de cont poate fi, de asemenea, o forță motrice semnificativă în afacere.

Rularea experiențelor pe pagina unui produs este probabil să aibă un impact asupra conversiei la achiziții; cu toate acestea, testarea aspectului formularului pe o pagină de creare a contului poate ajuta la îmbunătățirea canalului respectiv. Testarea de achiziție include totul, de la atragerea de trafic către site până la colectarea adreselor de e-mail în scopuri de marketing.

A avea experiențe pe aceleași pagini ale site-ului web poate determina suprapunerea acestora, rezultând erori. Este posibil ca rezultatele să fie afectate dacă obiectivele experienței sunt aliniate cu aceleași canale.

Să presupunem că încercați să obțineți mai multe înscrieri finalizate. La aterizarea pe site-ul dvs., utilizatorii sunt rugați să se înregistreze:

Pentru a configura un canal de conversie pentru înscrieri, puteți urmări următoarele evenimente:

• Număr de utilizatori la înregistrare
• Nr. de înscrieri finalizate
• Numărul de încărcări de pe ecranul paginii de pornire

Apoi puteți formula mai multe ipoteze cu privire la modul de îmbunătățire a pâlniei testând următoarele modificări:

1. Adăugați integrarea la procesul de înscriere
2. Scurtați formularul de înscriere pentru a-l face mai ușor de utilizat
3. Eliminați complet înregistrarea

În acest caz, totuși, nu este posibil să se determine impactul exact al unei modificări față de testarea A/B, deoarece experiențele A/B afectează aceeași pâlnie, deci va exista o oarecare suprapunere între rezultatele lor.

Desfășurarea de experiențe la nivelul întregului site

Pot exista momente când trebuie să experimentați cu un element care apare pe toate paginile. Să presupunem că doriți să testați modificarea culorii sau mărimii fontului îndemnului de subsol pentru a vedea câte conversii puteți obține.

Procesul este simplu de implementat cu Convert: pur și simplu adăugați toate paginile la direcționarea dvs.

Asta e tot!

Cu toate acestea, direcționarea la nivel de site va afecta alte teste A/B care rulează pe acele pagini, rezultând o suprapunere a experienței.

Testarea aceluiași public/vizitatori

Luați în considerare următorul studiu de caz: doriți să evaluați două aspecte ale sistemului dvs. de comerț electronic, astfel încât să dezvoltați două teste A/B pentru utilizatorii de dispozitive mobile și utilizatorii de desktop.

1. Încercați să vedeți dacă dacă faceți butonul „Adăugați în coș” roșu în loc de albastru, crește numărul de clicuri.
2. Încercați un nou proces de plată care reduce numărul de pași de la cinci la doi pentru a vedea dacă obțineți mai multe înscrieri.

Dacă ambele acțiuni duc la același eveniment de succes (o tranzacție finalizată), poate fi dificil să se determine dacă butonul roșu sau o experiență mai bună de finalizare a plății au stimulat conversiile pe desktop și dispozitive mobile.

Pentru a evita suprapunerea rezultatelor și alte probleme de livrare a experienței, ar trebui să rulați testele de mai sus pe diferite segmente de public (de exemplu, numai pentru dispozitive mobile sau doar pentru desktop).

Singurul dezavantaj al testării de segmentare este că numerele de trafic vor fi mai mici, ceea ce poate afecta durata de rulare a testului. Cu toate acestea, deoarece se bazează pe tehnici de personalizare, aceasta este metoda preferată pentru a evita suprapunerea experienței în cazul testării A/B. Atunci când segmentele sunt alese cu atenție, impactul lor asupra întregii experiențe va fi minim.

Derularea unei experiențe care poate avea un impact semnificativ asupra unui obiectiv care este împărtășit cu alte experiențe

Este de la sine înțeles că, dacă obiectivele dvs. sunt similare între teste, rezultatele dvs. vor fi centrate în jurul acestui obiectiv individual. Pentru ca fiecare experiență să-și îndeplinească scopul, obiectivele fiecăruia nu trebuie să intre în conflict între ele.

Strategii pentru desfășurarea testelor de succes

Nu există o soluție universală atunci când vine vorba de rularea testelor care să nu se suprapună. Pe măsură ce treci prin fiecare etapă a călătoriei tale de experimentare, nevoile tale vor dicta modul în care procedezi.

Pentru a vă ajuta să luați o decizie în cunoștință de cauză, să trecem peste cele mai comune strategii pe care le puteți utiliza pentru a face față suprapunerilor.

1. Experiențe simultane fără suprapunere (izolat)

Strategia cea mai simplă este de obicei cea pe care ați folosit-o până în acest moment: experiențe izolate care se desfășoară simultan.

După cum am discutat mai sus, experiențele izolate nu se suprapun și rezultatele unei experiențe nu vor afecta rezultatele alteia.

Următoarele cazuri necesită această strategie:

• Când suprapunerea este imposibilă din punct de vedere tehnic : dacă testați într-un mod care exclude toate combinațiile posibile de suprapunere menționate mai sus.
• Când experiența utilizatorului poate fi întreruptă : unele combinații de experiențe pot ruina experiența utilizatorului, așa că aceste experiențe trebuie să fie rulate separat.
• Când obiectivul principal este o metrică precisă și deci numai experimentele izolate au sens.

În aceste cazuri, nu există cum o experiență o poate afecta pe cealaltă dacă rulați două experiențe simultan pe două pagini diferite cu două obiective diferite. Vizitatorii care participă la experiența 1 nu vor lua parte la experiența 2 și invers.

Dincolo de cazurile de mai sus, din perspectiva eficienței, executarea experiențelor pe benzi izolate simultane nu are sens. Rularea a două experiențe pe benzi separate durează același timp cu rularea lor una după alta pentru orice număr dat de utilizatori sau sesiuni. Dacă aveți 10.000 de utilizatori în fiecare lună și trebuie să rulați două experiențe, fiecare dintre ele necesită 5.000 de persoane, va dura totuși o lună pentru a finaliza experiența.

În plus, această strategie are un dezavantaj evident: experiențele de alergare pe benzi izolate vor împiedica, fără îndoială, investigarea potențialelor interacțiuni între variații.

Ar fi același lucru cu a face un experiment pe utilizatorii de desktop înainte de a pune la dispoziție varianta câștigătoare atât utilizatorilor desktop, cât și utilizatorilor de telefonie mobilă, dacă ar exista benzi de testare separate. Impactul asupra utilizatorilor de telefonie mobilă poate fi același ca și asupra utilizatorilor de desktop, dar este, de asemenea, posibil să existe o diferență considerabilă.

2. Experiențe non-simultane (secvențiale).

Dacă nu există nicio modalitate de a evita suprapunerea experienței, atunci ar trebui să luați în considerare utilizarea experiențelor secvențiale. Înseamnă că fiecare experiență care are potențialul de a se suprapune cu alta ar trebui să fie rulată secvenţial.

Puteți utiliza coloanele Conversie „Început/Planificat” și „Oprit” pentru a avea vizibilitate asupra testelor dvs. secvențiale:

Această strategie poate fi făcută și mai eficientă cu o foaie de parcurs de prioritizare.

Cadrele PIE și ICE sunt două opțiuni eficiente pentru prioritizarea experiențelor pentru echipa ta.

Cadrul PIE (dezvoltat de Widerfunnel) este o metodă populară de prioritizare care clasifică testele pe baza a trei criterii: potențial, importanță și ușurință. Folosind scorul PIE, puteți clasa și prioritiza fiecare test pe baza scorului mediu al fiecăruia dintre aceste criterii.

Modelul Impact, Confidence, and Ease (ICE) (dezvoltat de Sean Ellis de la Growthhackers) este foarte asemănător cu PIE, cu excepția faptului că folosește un factor de încredere în loc de „potențial”.

Dacă nu aveți o foaie de parcurs, vă va limita capacitatea de a profita la maximum de trafic și resurse.

Este posibil, de exemplu, să acumulați în mod neintenționat un acumulat de idei de pagini de pornire care trebuie implementate una după alta. Dacă acest blocaj persistă, este posibil să fiți forțat să intrați într-un joc de așteptare în loc să puteți testa alte părți ale site-ului dvs. în același timp. Sau ați putea, în schimb, să rulați mai multe teste simultan fără a lua în considerare eventualele efecte de suprapunere, care ar produce rezultate suspecte.

3. Experiențe simultane cu suprapunere

După ce ți-ai analizat experiențele, ai concluzionat că se suprapun; prin urmare, este necesară izolarea acestora. Cum faci asta? E simplu! Rulați primul test, apoi al doilea, nu? Secțiunea secvențială explică modul în care funcționează.

Imaginați-vă, totuși, că doriți să faceți câteva teste în perioada Crăciunului sau în orice sezon de vacanță pentru că, indiferent de motiv, acesta este momentul în care primiți mai mulți vizitatori și experiențele pot avea un impact mai semnificativ. Atunci ce? Sunteți capabil să vă desfășurați toate experiențele una după alta? Evident, nu.

Vă puteți rula experiențele simultan fără a vă face griji cu privire la suprapunere folosind strategiile de mai jos.

A. Experiențe A/B/N

Prima strategie din această categorie este testarea A/B/N, care implică testarea a mai mult de două variante simultan. A/B/N nu se referă la o a treia variație, ci la orice număr de variații suplimentare: A/B/C, A/B/C/D și orice alt test A/B extins.

Principiile testării A/B/N rămân aceleași, indiferent de numărul de variații suplimentare: împărțiți utilizatorii în grupuri, atribuiți variații (de obicei ale paginilor de destinație sau altor pagini web) grupurilor, monitorizați modificarea unei valori cheie (de obicei rata de conversie). ), examinați rezultatele experienței pentru semnificația statistică și implementați variația câștigătoare.

Cu toate acestea, experimentarea cu prea multe variante (când poate fi aleasă doar una) poate diviza și mai mult traficul către site. Prin urmare, poate crește timpul și traficul necesar pentru a obține un rezultat semnificativ statistic și pentru a crea „zgomot statistic”.

De asemenea, este important să nu pierdeți din vedere imaginea de ansamblu atunci când rulați mai multe experimente A/B/N. Nu există nicio garanție că diferite variabile vor funcționa bine împreună, doar pentru că au avut cele mai bune rezultate în experimentele lor.

În astfel de cazuri, luați în considerare efectuarea de teste multivariate pentru a testa toate variațiile și pentru a vă asigura că îmbunătățirile sunt aduse la valorile de nivel superior.

b. Experiențe multivariate (MVT): combinați mai multe experiențe într-un singur test

O experiență multivariată (MVT) rulează numeroase combinații de modificări diferite simultan.

Pentru a determina care element, dintre toate combinațiile potențiale, are cea mai mare influență asupra obiectivelor, multe elemente trebuie modificate simultan pe aceeași pagină.

Spre deosebire de testele A/B/N, testarea multivariată vă permite să determinați ce combinație de modificări satisface cel mai bine cerințele vizitatorilor. Cu testarea multivariată, puteți determina ce combinație de variabile are cele mai bune performanțe atunci când sunt modificate mai multe variabile.

De exemplu, dacă doriți să testați două titluri diferite, două imagini și culori cu două butoane pe pagină, testul MVT va arăta astfel:

Testul MVT de mai sus testează diferite elemente (titluri, culoare și imagine) simultan în diferite combinații.

Cum să configurați un MVT în Experiențe Convert

Mai întâi, din fila Experiențe din contul Conversie, selectați „Experiență nouă”:

Acum vă puteți denumi experiența. Să folosim „Primul meu MVT”, selectați opțiunea multivariată și faceți clic pe Continuare:

Există secțiuni și variații într-un MVT. Secțiunile sunt locațiile de pe pagina dvs. în care doriți să testați una sau mai multe variante.

Următoarele sunt exemple de secțiuni:

• Siglă
• Titlu
• Primul paragraf
• Formular de înscriere

Există și variații (în aceste secțiuni), care sunt structurate după cum urmează:

• Secțiunea: Logo
  
  
  • Logo original
  • Varianta 1) logo stânga
  • Varianta 2) logo dreapta

• Secțiune: Titlu
  
  
  • Titlul original
  • Varianta 1) titlu „Căutați acum prietenul meu”
  • Varianta 2) titlu „Dați o încercare de căutare”
• Secțiunea: primul paragraf
  
  
  • Primul paragraf original
  • Varianta 1) primul paragraf „roșu”
  • Varianta 2) primul paragraf „albastru”
• Secțiunea: Formular de înscriere
  
  
  • Formularul original de înscriere
  • Varianta 1) formular de înscriere cu câmp suplimentar nume de familie
  • Varianta 2) formular de înscriere cu caseta de selectare „hârtie albă”
  • Varianta 3) formularul de înscriere plutitor spre stânga
  • Varianta 4) formular de înscriere „față de femeie”

Iată cum va apărea structura de mai sus în Convert Visual Editor.

URL-ul paginii pe care doriți să o testați va fi încărcat în Editorul vizual. După aceea, puteți edita prima variantă. Modificarea conținutului este la fel de simplă ca și clic pe orice zonă evidențiată portocalie. Făcând clic pe semnul verde plus de lângă numele variațiilor, puteți adăuga noi variante.

Puteți, de exemplu:

• Faceți clic pe un element pentru a schimba (elementele sunt evidențiate cu margini portocalii)
• Selectați o acțiune din meniu, cum ar fi schimbarea unei surse de imagine

Rezumatul experienței MVT va arăta astfel:

MVT, totuși, vine cu câteva restricții.

Prima restricție se referă la numărul de vizitatori necesari pentru ca rezultatele experienței dvs. multivariate să fie semnificative din punct de vedere statistic.

Creșterea numărului de variabile într-un test multivariat poate duce la o mulțime de variații. Spre deosebire de un test A/B standard, unde 50% din trafic este alocat versiunii originale și 50% variației, un test multivariat alocă doar 5, 10 sau 15% din trafic fiecărei combinații. În practică, acest lucru are ca rezultat perioade mai lungi de testare și incapacitatea de a atinge semnificația statistică necesară pentru luarea unei decizii.

O altă restricție este complexitatea MVT. Un test A/B este adesea mai ușor de configurat și analizat decât un test multivariat. Chiar și crearea unui test multivariat de bază necesită timp și este prea ușor ca ceva să meargă prost. Ar putea dura câteva săptămâni sau chiar luni pentru ca un defect minor în designul experienței să apară.

Dacă nu aveți multă experiență în testare - rulați o varietate de tipuri diferite de teste pe diferite site-uri web - nu ar trebui să luați în considerare nici măcar un test multivariat. S-ar putea să vă fie mai bine cu următoarea strategie pe care o voi acoperi, experiențe care se exclud reciproc.

c. Experiențe reciproc exclusive

De asemenea, puteți rula experiențe cu suprapunere simultan, asigurându-vă că acestea se exclud reciproc. Rețineți că, în funcție de platforma dvs. de testare A/B, este posibil să puteți face experiențe care se exclud reciproc. În esență, trebuie să vă împărțiți traficul în atâtea grupuri câte experiențe se desfășoară și să vă asigurați că fiecare grup participă la o singură experiență.

Convert permite exclusivitatea reciprocă, iar mai jos vom arăta cum să o configurați astfel încât vizitatorii care vizualizează experiența A să nu vadă experiența B.

Ordinea în care sunt executate experiențele:

Primul pas în configurarea acestui lucru este să înțelegeți cum sunt executate experiențele Convert. Condițiile de experiență sunt evaluate secvențial pe o pagină, ținând cont de ID-ul experienței.

Experiența cu cel mai mic ID este evaluată mai întâi, iar după ce sunt îndeplinite toate condițiile acesteia, se inițiază o nouă experiență. Deci, în captura de ecran de mai jos, experiența cu ID 100243925 rulează prima și restul urmează.

Două experiențe reciproc exclusive

Acești pași trebuie urmați dacă aveți două experiențe care rulează simultan și doriți să le excludeți reciproc:

1. Setați Distribuția traficului la sub 100% la prima experiență

Setați experiența cu cel mai mic ID pentru a utiliza mai puțin de 100% din trafic. Puteți face acest lucru în secțiunea Distribuția traficului din Rezumatul experienței.

2. Setați condiția publicului pentru „Experiența acumulată este Nu” în a doua experiență

Apoi, în cea de-a doua experiență, setați o condiție de audiență „Bucketed in Experience is No”. Puteți găsi acest lucru dacă adăugați un public nou (sub Datele vizitatorilor). Această condiție înseamnă că vizitatorul va fi testat numai dacă nu a fost testat înainte. Acest lucru va împiedica același vizitator să fie testat de două ori.

Multe experiențe care se exclud reciproc

Dacă aveți mai mult de două experiențe care trebuie să se excludă reciproc, puteți urma acești pași:

1. Setați distribuția traficului pentru toate experiențele la sub 100%

Setați toate experiențele paralele să utilizeze doar mai puțin de 100% din trafic. Puteți face acest lucru în secțiunea Distribuția traficului din Rezumatul experienței.

2. Setați un public avansat pe baza cookie-ului vizitator

Apoi, în toate experiențele, cu excepția experienței cu cel mai mic ID, utilizați un Public avansat bazat pe cookie-uri pentru vizitatori pentru a exclude vizitatorii care au fost incluși în celelalte experiențe paralele.

De exemplu, să presupunem că avem aceste 4 experiențe:

1. Experiență A cu ID 123456, distribuție trafic 80%
2. Experienta B cu ID 123457, distributie trafic 50%
3. Experienta C cu ID 123458, distributie trafic 30%
4. Experienta D cu ID 123459, distributie trafic 75%

Experiența B ar trebui să aibă acest public avansat:

Experiența C ar trebui să aibă acest public avansat:

Și, în sfârșit, Experiența D ar trebui să aibă acest public avansat:

După cum puteți vedea mai sus, valoarea cookie-ului este formatată după cum urmează:

xxxxxx.{v.1-

Acest lucru se întâmplă deoarece, dacă încercați să excludeți vizitatorii care au fost incluși într-o experiență configurată cu trafic mai mic de 100%, un cookie este încă scris dacă vizitatorul îndeplinește condițiile pentru zona site-ului și publicul, dar din cauza distribuției traficului, vizitatorul nu a fost incluse în acea experiență.

Modulul cookie Convert _conv_v va arăta similar cu acesta:

exp:{12345678.{v.1-g.{}}}

Rețineți că în formatul de mai sus nu există o valoare de variație – doar v.1 – deoarece vizitatorul nu a fost inclus în experiență. Cu toate acestea, urmărim acest lucru cu ajutorul cookie-urilor, astfel încât data viitoare când vizitatorul vizitează pagina, acesta va fi din nou exclus din aceeași experiență.

Concluzie

A avea mai multe experiențe care rulează simultan introduce unele complexități – nu ești întotdeauna sigur care teste cresc conversiile sau dacă există interacțiuni ascunse între ele. Cu toate acestea, aceasta nu este o problemă majoră, deoarece există strategii pentru a atenua aceste complexități.

Am discutat despre 5 strategii pentru a face față problemelor cauzate de mai multe teste care rulează în același timp:

1. Experimentele de alergare simultan atunci când nu se suprapun unele cu altele
2. Rularea experiențelor secvențial atunci când nu puteți evita suprapunerea experienței
3. Rularea experiențelor A/B/N
4. Rularea testelor MVT
5. Rularea unor experiențe care se exclud reciproc

De asemenea, am arătat cum Convert acceptă toate strategiile de testare de mai sus, făcându-l un instrument foarte versatil.

Este important să țineți cont de toate aceste complexități atunci când efectuați testarea A/B, astfel încât să puteți selecta cea mai potrivită strategie în fiecare caz. Vom fi mai mult decât bucuroși să vă ajutăm dacă mai aveți întrebări.