Ghidul complet pentru testarea multivariată în 2022

Nu este testarea multivariată (MVT) doar mai multe teste A/B care rulează în același timp?

Nu. Acesta este unul dintre cele mai populare mituri despre MVT. Este mult mai nuanțat decât atât.

Testele multivariate sunt ca testele A/B, dar vă testați controlul împotriva mai multor variante, nu a uneia. Vedeți, nu este doar A împotriva lui B, este și împotriva lui C, D, E și așa mai departe. Și este o modalitate eficientă pentru site-urile cu trafic ridicat de a găsi combinația de modificări care are cele mai bune performanțe.

Asa de…

• Când ar trebui să utilizați MVT în loc de teste A/B?
• Este testarea multivariată la fel cu testarea A/B/n?
• Care sunt câteva exemple de teste multivariate?
• Cum poți rula unul pentru a obține rezultate fiabile?

Vom răspunde la întrebările dvs. despre testarea multivariată, îmbunătățindu-vă experimentarea și abilitățile CRO în acest proces, astfel încât, la sfârșitul acestui ghid, să le puteți implementa pe ale dvs. în 30 de minute.

Dacă doriți să vă duceți abilitățile de experimentare la următorul nivel, atunci acest ghid este pentru dvs.

Sună bine? Sa incepem…

Ce este testarea multivariată?

Imaginați-vă că doriți să testați versiuni diferite ale diferitelor elemente de pe o pagină web în același timp pentru a afla cum funcționează împreună, testul multivariat este testul pe care îl rulați.

Testarea multivariată (testarea MVT) este o tehnică de testare a mai multor variabile pe o pagină web în diferite combinații. Aceste combinații posibile creează mai mult de o variantă a paginii, de unde „multi”.

Deci, testarea multivariată este similară cu testarea A/B/n deoarece testăm două sau mai multe variații față de control. Diferența este că testele A/B/n sunt univariabile, în timp ce testele multivariate testează o combinație de modificări în tandem.

De exemplu, dacă doriți să testați două titluri diferite, două imagini și culori pentru două butoane pe pagină, testul dvs. MVT va arăta astfel:

În testul MVT de mai sus, testați diferite elemente (titluri, culoare și imagine) simultan în diferite combinații pentru a găsi cel mai bun.

Dar asta nu înseamnă că nu este posibil să faci mai mult de două variante ale unui singur element. Puteți avea 3, 4 sau mai multe și le puteți testa în același timp. Oamenii preferă doar o singură modificare, astfel încât să poată urmări creșterea ratei de conversie până la aceasta.

Un alt lucru important de reținut este că testarea MVT nu este același lucru cu testarea concomitentă . Testarea concomitentă rulează mai multe experimente pe același set de mostre în același timp. Și acest lucru poate provoca interferențe.

Un test concurent poate arăta astfel: rularea unui test A/B pentru a găsi cel mai bun titlu între două versiuni și rularea unui test MVT pentru a găsi cea mai bună combinație de titlu, imagine eroului și CTA sau buton de acțiune pe aceeași pagină de destinație la acelasi timp.

În testarea A/B/n (sau multivariată), lucrăm cu mai multe variante care deservesc aceeași ipoteză a comportamentului utilizatorului. Imaginați-vă multe teste A/B pe acea pagină de destinație care rulează simultan pentru a răspunde la o întrebare. De exemplu, „Care versiune din acest lot ne oferă cel mai bun lift?”

Testarea multivariată vs. Testarea A/B: Care este diferența?

Poate părea că testarea MVT este o formă mai avansată de testare A/B pentru ochiul neantrenat. Dar ambele tipuri de testare sunt foarte diferite.

Diferența dintre testarea A/B și testarea multivariată constă în numărul de variante testate simultan. Testarea A/B va avea o singură variantă testată împotriva controlului, în timp ce testarea multivariată va avea două sau mai multe.

Testarea A/B testează un element. De exemplu, testați adăugarea unei imagini pe pagina dvs. web. Experimentul dvs. poate arăta astfel:

• Control = Nicio imagine
• Varianta 1 = Imagine

În acest caz, testați doar imaginea de pe site-ul dvs., deci este un test A/B.

În testarea A/B/n, ca și în testarea multivariată, puteți avea mai multe variații. Dar diferența este că, într-un test A/B/n, testați doar un element (sau variabilă), în timp ce în testarea multivariată, testați mai multe elemente în fiecare variantă.

Iată un exemplu remarcabil de la iProspect, o agenție parteneră Convert. Agenția a efectuat un test care conținea informații despre pagina de prețuri. Experimentul lor a prezentat:

• Un control fără informații despre preț,
• Varianta 1 cu un preț de pornire scăzut,
• Varianta 2 cu un preț de pornire ridicat.

Poți ghici ce tip de test este acesta?

În acest caz, testăm doar un element, adăugând informații de preț, așa că avem un test de tip A/B/C (sau A/B/n).

Când vine vorba de care este mai bun între testele A/B și testele multivariate, asta depinde de ceea ce încerci să obții. Există momente în care MVT-urile sunt mai eficiente decât testele A/B.

Dacă doriți să testați diferite elemente pe o pagină (și efectele lor de interacțiune), este mai ușor să utilizați MVT-uri în loc de teste A/B. Cu testele A/B, trebuie să creați mai multe teste consecutive pentru variații de elemente. Între timp, multivariate le gestionează simultan.

Când să rulați teste multivariate?

Când doriți să măsurați performanța unei variante în comparație cu originalul, utilizați testarea A/B. Acest lucru funcționează dacă schimbați un element, de exemplu, un titlu diferit sau o culoare diferită pentru buton. Atâta timp cât acele modificări se încadrează într-o singură variantă și obțineți A vs B.

Când aveți mai multe variante testate împotriva controlului, dar schimbați doar un element odată, utilizați testarea A/B/n.

Să ilustrăm: doriți să testați dacă adăugarea unui titlu pe pagina dvs. de destinație va îmbunătăți conversiile. Puteți face un test A/B/n, cum ar fi Split Base, o agenție Parteneră Convert. Ei au efectuat un test pentru a determina dacă adăugarea unui titlu bazat pe beneficii va crește numărul de conversii.

PS: A fost! A crescut profitul cu 27%.

Utilizați testarea multivariată atunci când aveți mai multe variante și mai multe variabile. Să spunem că mai aveți 2 idei de titlu și opțiuni de CTA și asta duce la crearea variantelor C și D, MVT este cel mai eficient mod de a vedea cum interacționează aceste modificări.

„Dar dacă aș folosi titlul 2 cu culoarea butonului 3? Cum va afecta asta numărul de înscrieri?” Acestea sunt întrebări la care răspund MVT - efectul asupra performanței cauzat de modificările elementului de pagină atunci când lucrează împreună în același timp.

Testarea multivariată va merge dincolo de testarea unui titlu și va testa mai multe variante ale acelei pagini. Este mai complex de proiectat și de rulat, așa că alegerea acestuia față de testarea A/B trebuie să merite.

De multe ori, testarea A/B este suficientă pentru a oferi răspunsurile pe care le căutăm. MVT este mult mai potrivit pentru cazurile în care credeți că una sau mai multe variante au șansa de a vă învinge A și B.

Unele dintre aceste cazuri sunt:

1. Ai un volum mare de trafic și vrei să aduni mai multe învățări într-o perioadă mai scurtă de timp. Testarea multivariată oferă site-urilor cu trafic mare posibilitatea de a testa o combinație de idei într-un timp mai scurt, dar acestea trebuie să fie idei de înaltă calitate pentru a nu irosi resurse.
2. Trebuie să știți ce combinație de elemente a dus la o creștere a conversiei. Pentru că o secvență de diverse teste A/B va fi doar redundantă.

Este dificil să implementezi o variantă care are încorporate toate modificările dorite. Poate că platforma ta de testare nu permite acest nivel de libertate. Aceasta este o modalitate de a rezolva problema. Dar dacă este imposibil să codificați aceste modificări ulterior, nu veți putea folosi rezultatele testului.

Beneficiile testării multivariate

Testarea multivariată are un impact incontestabil asupra ratelor de conversie și a veniturilor. Gandeste-te la asta. Dacă nu ar fi, nimeni nu ar vorbi despre utilizarea lui!

Un beneficiu al testării MVT este că vă permite să aflați cum modificările de pe site-ul dvs. afectează ratele de conversie. Și testarea multivariată vă permite să măsurați efectul de interacțiune dintre aceste modificări. Puteți măsura efectul combinat al diferitelor modificări mici și puteți vedea cum vă afectează rata de conversație.

Dezavantajele testării multivariate

Există motive pentru care numai site-urile web cu un volum mare de trafic și bugete mari rulează teste multivariate. Să vorbim despre dezavantajele rulării unui test MVT.

1. Necesită o dimensiune mare a eșantionului

Cu cât testați mai multe modificări ale elementelor, cu atât veți avea mai multe variații. Fiecare dintre aceste variante trebuie să primească suficient trafic pentru a ajunge la simbolul statistic, așa că va trebui să așteptați mai mult pentru a obține rezultate precise. De aceea, multe site-uri web nu pot rula teste MVT, deoarece le lipsește traficul pentru asta.

2. Testele MVT necesită timp

După cum am menționat mai sus, fiecare variantă are nevoie de trafic și de mult. Cu cât testați mai multe combinații, cu atât mai multe variații diferite și cu atât va trebui să așteptați mai mult.

Dar acest lucru este justificat în majoritatea cazurilor CRO. Pentru că dacă ar fi să împărțiți un test MVT într-o secvență de teste A/B, veți petrece mai mult timp și mai mult trafic.

3. Costă mai mult să rulezi

Veți avea nevoie de timp suplimentar (și bani) pentru a dezvolta și a asigura calitatea fiecărei variante. De aceea, decizia dvs. de a rula aceste teste peste teste A/B mai simple trebuie să fie din motive temeinice, altfel rentabilitatea investiției testului este lovită.

4. Sunteți mai predispus la erori

Când rulați teste A/B/N, nu aplicați aceleași statistici pe care le utilizați pentru testele A/B. Variantele suplimentare necesită o ajustare a testelor de semnificație statistică. Rata de eroare familială crescută (FWER) înseamnă că este mai probabil să faceți o eroare de tip I și să etichetați varianta greșită drept câștigător.

Exemple de teste multivariate care au demonstrat un impact mare

1. Microsoft a efectuat un test multivariat pe site-ul lor SMB și a obținut o variantă care a crescut conversia cu 40%!

2. În 2009, YouTube a lansat un MVT pe pagina lor de pornire pentru a convinge mai mulți oameni să se înregistreze pentru un cont. Ei îl numesc „experimentul cu 1.024 de rețete”. O variantă a câștigat cu o creștere de 15,7%.

3. Booking.com este cunoscut pentru teste. Ei folosesc teste multivariate pentru a afla cum sunt utilizate funcțiile noi cu un public mai mic înainte de a le lansa.

4. HawkHost a vrut să vadă lift pe pagina lor de pornire și a reușit. Acestea și-au testat titlul, subtitlul și imaginea eroului într-un test multivariat care a dus la o creștere cu 204% a vânzărilor. Asta e imens.

5. Aspectul paginii de destinație Amazon este rezultatul unor teste multivariate. L-au folosit împreună cu învățarea automată pentru a găsi aspectul optim care a generat conversie și a atins un punct favorabil care a crescut rata de achiziție cu 21% în 7 zile.

Sursă

Statistici de testare multivariată: Introducere în analiza multivariată

Dacă sunteți curios despre modul în care funcționează testarea multivariată sub interfața de utilizare fantastică a instrumentelor de testare și până la principiile din spatele acesteia, să vă încântăm:

Analiza multivariată (MVA) este un tip de analiză statistică în care mai multe variabile dependente sunt analizate împreună cu alte variabile în același timp. Se bazează pe modul în care funcționează lumea reală: mai mult de un factor este responsabil pentru un anumit rezultat.

Nu este folosit doar în marketingul digital (adică optimizarea ratei de conversie), ca parte a analizei exploratorii a datelor, ci este aplicat în diverse domenii precum sănătate, producție, transport etc. cât şi în guvern.

Deși este complex, este o modalitate precisă de a analiza relația dintre variabilele dependente și cele independente.

MVT și trafic: Cum se calculează dimensiunea eșantionului pentru un test multivariat?

Cel mai bun mod este să utilizați instrumentul nostru de calculare a dimensiunii eșantionului. Acest lucru vă va oferi tot ce aveți nevoie pentru a începe să proiectați un test multivariat sănătos.

Când să opriți un test multivariat?

Oprirea unui test prea devreme poate duce la erori, deoarece datele adunate nu ar fi suficiente pentru a face o analiză precisă.

Poate că ați auzit unii oameni spunând că ar trebui să vă opriți când există un câștigător clar sau să opriți o variație dacă rata de conversie scade sub 10% și să-și mute traficul către cei mai performanti - fiți siguri, acest lucru va contamina semnificativ rezultatele.

Nu ar trebui să opriți niciodată un test multivariat înainte:

1. Colectarea unui eșantion suficient de mare pentru fiecare variantă. Deci, lăsați-l să ruleze mai mult timp pentru a colecta suficiente conversii pentru a fi relevante.
2. Executarea a 1 sau 2 cicluri complete de vânzare pentru a echilibra traficul și perioadele de cumpărături de peste 30-60 de zile.
3. Atingerea semnificației statistice. Asta înseamnă că atunci când este împins să trăiască, ar trebui să poată reproduce rezultatele cu o acuratețe de 95%.

Cum să proiectați un test multivariat?

Testarea A/B și testarea multivariată sunt similare în ceea ce privește modul în care sunt proiectate și efectuate.

Prezentăm mai jos o metodologie de testare pas cu pas pentru a rula un MVT. Dar iată o abordare rapidă:

1. Identificați o problemă și formulați un obiectiv: atunci când parcurgeți datele dvs., încercați să înțelegeți ce experimentează vizitatorii site-ului și găsiți o problemă. Formulați o ipoteză (o soluție cu un scop) și bazați-vă testul pe aceasta.
2. Decideți ce să testați: ipoteza dvs. va implica o combinație de elemente ale paginii web. Aflați ce ați face cu ei pentru a atinge obiectivul. Creați variante ale acestuia pentru a merge împotriva originalului.
3. Estimați-vă intervalul de timp și dimensiunea eșantionului: nu trebuie să faceți acest lucru singur. Utilizați calculatorul nostru de dimensiunea eșantionului pre-test. Vă va ajuta să aflați numerele esențiale de care aveți nevoie.
4. Construiți testul: în platforma dvs. de testare, configurați variațiile în combinațiile lor.
5. Asigurați-vă că funcționează: rulați teste de asigurare a calității pentru fiecare tratament nou pentru a vă asigura că funcționează conform intenției.
6. Rulați testul: începeți să conduceți trafic spre ei.

Acum, să aruncăm o privire atentă la fiecare pas - de la colectarea datelor la QA:

Colectarea datelor pentru testarea multivariată

Cum sunt colectate datele în timpul testării multivariate? Există două abordări majore cărora să le acordați atenție:

1. Factorial complet

Iată cum funcționează: Fiecare variantă din MVT primește cantități egale din tot traficul care vine pe site-ul dvs. Dacă aveți 5 variante, fiecare dintre ele va primi 20% din traficul care vine pe site-ul dvs.

Desigur, pentru a atinge semnificația statistică, această metodă va necesita mult trafic și va trebui să ruleze mult timp. Dar această trăsătură face, de asemenea, că factorial complet este opțiunea cea mai precisă.

2. Factorial fracționat

Spre deosebire de omologul său „complet”, factorialul fracțional testează doar un subset al variantelor dvs. De aceea există „fracție” în numele său.

Dacă aveți 10 variante, va testa 5 dintre ele și, pe baza rezultatelor, va prezice performanța celor 5 pe care nu le-a testat.

Din acest motiv, rulează mai rapid decât factorial complet, dar este semnificativ mai puțin precis. Avantajul său este că veți vedea cum va arăta testul complet înainte de a vă angaja.

Dar metoda Taguchi? Unii spun că este un alt nume pentru factorial fracțional. Este complex de utilizat. Deci, majoritatea instrumentelor nu o oferă.

Generarea de ipoteze pentru testarea multivariată

Trebuie să vă creați ipoteza de testare multivariată pe baza datelor calitative și cantitative precise.

Nu doriți să ghiciți sau să folosiți idei comune de testare pe care le-ați găsit pe un blog pentru a vă rula testele. Alegeți ceva relevant, cum ar fi rezolvarea unei probleme pe care ați găsit-o în timp ce vă verificați datele sau testarea unei idei despre care credeți că poate produce un plus.

Acesta va servi drept scop al testului dumneavoastră. Puteți folosi generatorul nostru de ipoteze pentru a vă ajuta să găsiți unul solid.

Asigurarea calității pentru testarea multivariată

Fără asigurarea calității, orice test poate induce în eroare. A avansa fără QA este riscant și poate cauza greșeli costisitoare. Înainte de a avea încredere în știrile testului, treceți-l prin mai multe puncte de control:

• Configurare QA: în cazul în care decideți configurarea de utilizat pentru procesul dvs. de QA, identificați cazuri speciale de utilizare pentru a testa experiența utilizatorului pe dispozitivele și browserele pe care le veți efectua QA etc.
• Factori externi: recunoașteți factorii pe care nu îi puteți controla și care pot afecta testul, cum ar fi evenimente sau sărbători, alte teste care rulează în același timp, evenimente și traficul pe site.
• Configurarea experimentului: verificați calitatea formulării ipotezei, alocarea traficului, dacă pâlpâirea va afecta testul, alte întârzieri și erori etc.
• Multi-browser și mai multe dispozitive: trebuie să verificați tipografia, fonturile și schema de culori pe dispozitive și rezoluțiile ecranului, să verificați marginile și umpluturile, să verificați gradul de utilizare, modul în care elementele paginii funcționează pe diferite dispozitive și multe altele.

Și alte discrepanțe pe care este posibil să le fi detectat: este necesar să împărtășiți cuvântul despre acest lucru cu echipa dvs. pentru remedieri.

Cum rulați un test multivariat? Implementarea unui test multivariat în Experiențe Convert.

Crearea unui test multivariat în Convert Experiences necesită doar 4 pași simpli. Iată ce trebuie făcut:

1. Denumiți-vă experiența
   
   În Conversia experiențe, selectați „Experiență nouă”, apoi „Multivariat” și denumiți-vă experiența:

   

2. Faceți variația
   
   După adresa URL a paginii pe care o utilizați pentru încărcările de testare, prima variantă este gata pentru a fi editată. Puteți edita copia, adăuga elemente vizuale noi, îi puteți da numele. În exemplul de mai jos, avem:
   
   – S-a făcut clic pe un element de modificat (este evidențiat în portocaliu)
   – A selectat o acțiune în meniu, adică schimbarea sursei imaginii

   

3. Denumiți variația
   
   Acest lucru se explică de la sine. Veți dori să alegeți ceva care vă va evidenția în raportarea mai târziu.
4. Definiți obiectivele și publicul
   
   Accesați Rezumatul experimentului și configurați-vă publicul și obiectivele experimentului.
   
   Iată-l! Experiența ta este în funcțiune.

Acum că înțelegeți ce este testarea multivariată și cum să configurați cu succes un test multivariat, haideți să descompunem câteva platforme diferite din care puteți alege. Multe dintre instrumentele de testare A/B de top de pe piață oferă testare multivariată și testare A/B într-un singur software. Deci care dintre ele se potrivește cel mai bine nevoilor tale?

Dacă metoda de testare multivariată este un factor decisiv pentru dvs., sunteți în locul potrivit. Lista de mai jos vă oferă cei 9 jucători de top pentru testarea multivariată de pe piață.

Care sunt cele mai bune instrumente de testare A/B și multivariate disponibile?

Iată o privire asupra instrumentelor de testare multivariată preferate de experții CRO, împreună cu metodele de testare multivariată pe care le oferă:

• Convert Experiențe – Factorial complet
• AB Tasty – Factorial complet
• Google Optimize & Optimize 360 ​​– Abordare hibridă care nu este nici factorială, nici fracțională
• Adobe Target – Full Factorial și Taguchi
• Kameleoon – Factorial complet și factorial fracționat
• Optimizely – Full Factorial, Parțial și Taguchi
• Sitespect – Full Factorial și Fraction Factorial
• VWO – Full Factorial
• Webtrends Optimize – Factorial complet și factorial fracționat

Încă nu sunteți sigur ce instrument de testare multivariată să alegeți? Verificați această defalcare completă a celor mai bune instrumente de testare multivariată.

Principalele greșeli de testare multivariată de evitat în 2022

Aceste teste vă pot ajuta să vă atingeți obiectivele de optimizare numai dacă le utilizați în mod corect.

Dar atunci suntem oameni și instrumentele noastre nu sunt perfecte, așa că se întâmplă greșeli. Puteți reduce șansele de a vă distruge testele evitând acestea:

1. Nu testează instrumentul MVT pentru acuratețe

Creați variante ale paginii dvs., dar nu modificați nimic. Păstrați-o la fel și rulați restul. Deoarece oamenii văd același lucru, rezultatele ar trebui să fie aceleași.

2. Nu începe cu o ipoteză solidă

Efectuarea unui test fără o linie de bază și la ce să te aștepți este să alergi orb. Nu vă ajută pe dvs. sau pe site-ul pe care testați. Generați mai întâi o ipoteză.

3. Copierea concurenților tăi

Organizația ta este unică, iar obiectivele tale sunt diferite. Copierea concurenților tăi nu este benefică. Nu numai că multe dintre testele lor nu se vor aplica în cazul tău, dar s-ar putea să nu știe ce fac.

4. Desfășurarea de teste în timpul evenimentelor sezoniere sau evenimentelor majore pe site/platformă

Dacă testul dvs. nu este destinat unui eveniment, nu ar trebui să rulați un test multivariat în timpul unuia. Rezultatele nu vor reflecta performanța exactă a unei zile obișnuite.

5. A trage cu ochiul

Ispitei este greu de rezistat. Vrei doar să vezi cum merge. Poate chiar ai pariat pe o variantă și vrei să vezi care este câștigătoare. Nu.

Nu numai că veți obține așteptări inexacte, dar puteți lua și decizii greșite pe baza acestora. Puteți verifica pentru a afla dacă rulează sau dacă există erori și asta este.

6. Nu rulați testele suficient de mult

Testele multivariate trebuie să ruleze mult timp. Gândiți-vă la asta ca la teste A/B separate care trebuie să obțină suficient trafic pentru a atinge semnificația statistică. Lăsați testele dvs. multivariate să ruleze suficient de lung, astfel încât să puteți obține rezultate precise și semnificative.

7. Se efectuează modificări în timp ce testul este în derulare

Puteți remedia erorile, dar nu vă puteți reproiecta site-ul web sau face modificări de copiere. Orice schimbă aspectul variantelor ar trebui să rămână neatins după lansarea testului.

8. Ați uitat să opriți un test după ce obțineți rezultate exacte

Se întâmplă mai des decât crezi. Acest lucru înseamnă că, după ce ai un câștigător clar, vei arăta în continuare restului traficului o versiune mai slabă a site-ului tău. Nu vrei să faci asta.

9. Renunțare după un test

Poate că toate variantele tale s-au dovedit mai proaste decât controlul, deci ce? Tocmai ați învățat diferite moduri în care nu funcționează. Rulați mai multe teste și obțineți mai multe informații. Toate cunoștințele sunt valoroase.

10. Nu se verifică validitatea după test

Când totul este spus și gata și ați obținut rezultatele, acesta este sfârșitul? Închideți platforma de testare și mergeți mai departe? Este cea mai bună practică să stai pe spate și să verifici dacă totul a mers bine înainte de a avea încredere în acuratețea rezultatelor.

11. Nu rulează suficiente teste

Când rulați un test, indiferent dacă a fost un câștigător sau un învins, învățați din el. Folosiți-vă cunoștințele noi pentru a crea o ipoteză mai informată și rulați din nou. Și din nou. Așa faci experimentarea să funcționeze pentru tine.

12. Nu se documentează testele

Păstrați o bază de date cu testele dvs. Acest lucru va îmbunătăți performanța echipei de optimizare, chiar dacă acea echipă ești doar tu. Cu toții trebuie să învățăm din experiențele anterioare pentru a o face pe următoarea mai bună.

Și, de asemenea, pentru a evita pierderea timpului rulând de două ori aceleași teste.

Concluzie

Indiferent dacă aveți un magazin de comerț electronic, SaaS sau o simplă pagină de destinație, există scenarii în care este logic să rulați un test multivariat. Este posibil să aveți un site web cu trafic ridicat, dar trebuie totuși să decideți dacă testarea multivariată este potrivită pentru site-ul dvs. Evaluați costul, traficul și necesitatea unui multivariant înainte de a rula unul.