Cum să citiți și să interpretați cu acuratețe un raport de experiențe de conversie
Publicat: 2022-09-14Dacă sunteți utilizator Convert, atunci știți că rapoartele dvs. sunt pline de date valoroase. Dar ce reprezintă toate aceste numere și grafice? Și de unde știi ce concluzii poți trage din ele și folosești acele informații pentru a-ți îmbunătăți testarea?
Este la fel de simplu ca utilizarea unui calculator de semnificație statistică pentru a valida o experiență?
Apelarea unui test A/B este o reușită dacă este suficient de verde pe un raport de experiment – sau ar trebui să ne uităm și la alți factori?
Deși calculatoarele de semnificație statistică sunt esențiale pentru testarea precisă, ele nu spun întreaga poveste. Pentru a profita la maximum de rapoartele dvs. Convert, trebuie să aveți o înțelegere solidă a statisticilor de testare A/B.
De ce, mă rog?
Deoarece testarea A/B este fundamental o metodă de analiză statistică. Nu poți avea una fără cealaltă.
Un test sau o experiență A/B este un exemplu de testare a ipotezelor statistice, în care o ipoteză despre relația dintre două seturi de date este dezvoltată și comparată pentru a vedea dacă se găsește semnificația statistică.
Deci, indiferent dacă sunteți un începător sau un utilizator experimentat, citiți mai departe pentru a înțelege întreaga gamă de statistici de testare disponibile în rapoartele dvs. și pentru a obține rezultate mai bune de la testele dvs. A/B!
Deci, ce poți face cu un raport de testare A/B? Să aruncăm o privire la două exemple practice.
Exemplul 1
O afacere de comerț electronic intenționează să optimizeze paginile de produse pentru a îmbunătăți ratele de conversie.
În această situație particulară,
rata de conversie a paginii de produs = numărul de comenzi / numărul de vizitatori ai paginii de produs
Echipa de marketing evaluează trei modele noi de pagini de produs. Vor să aleagă cea mai eficientă dintre cele patru posibilități: un design existent și trei noi. Cum pot folosi raportul Conversie experiențe și metodele sale statistice pentru a identifica cel mai performant, având în vedere că rata de conversie este un factor?
Exemplul 2
Schimbându-și pagina de prețuri, un site web SaaS speră să-și dezvolte baza de membri.
Pentru ei,
rata de conversie a paginii de prețuri = numărul de abonamente / numărul de vizitatori ai paginii de prețuri
Marketingul evaluează trei modele diferite pentru a vedea dacă oricare dintre ele poate atrage mai mulți abonați decât cel actual.
Folosind raportul Convert Experiences și metodele sale statistice, cum pot face o astfel de comparație folosind rata de conversie ca criteriu de selecție?
Acest articol va explica ce conține raportul Conversie experiențe, cum îl puteți utiliza pentru a vă îmbunătăți site-ul web și cum să interpretați analiza detaliată a experiențelor vizitatorilor, astfel încât să puteți lua măsuri.
Citiți mai departe pentru un ghid ușor de urmat, care vă va ajuta să înțelegeți statisticile din spatele rapoartelor de testare Convert A/B.
- O hartă detaliată a fiecărei secțiuni a unui raport de experiență Convert
- ➢ Meniul de sus
- Filtrați pentru un interval de date specific
- Filtrați pentru un anumit segment
- Distribuie raport
- Vedeți codul
- Setări statistici
- Întrerupeți experiența
- ➢ Rezumat
- Activați Recomandări inteligente
- Vedeți Recomandări inteligente
- Captură de ecran de bază
- Previzualizare live și linkuri de variație forțată
- ➢ Variații
- ➢ Obiective
- Numele variației
- Îmbunătăţire
- Vizitatori
- Conversii
- Rata de conversie
- Nivel de încredere (semnificație statistică)
- Grafic cu casete (interval de încredere)
- stare
- Grafice
- Conversii
- Produse
- Venituri
- Treceți mouse-ul peste grafic
- Afișează abaterea standard
- ➢ Meniul de sus
- Formulele statistice convertesc utilizări
- Rata de conversie
- Modificarea ratei de conversie pentru variații
- Intervale de încredere
- Scorul Z
- Îmbunătăţire
- Ce să căutați atunci când interpretați rapoartele de experiență
- Datele despre experiență sunt semnificative?
- Varianta câștigătoare: Impact pozitiv
- Varianta pierdere: Impact negativ
- Rezultate neconcludente: Impact neutru
- Există o distribuție uniformă a traficului?
- Datele despre experiență sunt semnificative?
O hartă detaliată a fiecărei secțiuni a unui raport de experiență Convert
În calitate de utilizator Convert, aveți acces la informații detaliate despre performanța site-ului dvs. prin intermediul rapoartelor. Să aruncăm o privire cuprinzătoare asupra tuturor elementelor unui raport Convert, astfel încât să puteți înțelege exact ce informații sunt prezentate și cum să le utilizați cel mai bine pentru a îmbunătăți performanța site-ului dvs. web.
Puteți accesa rapoarte selectând experiența pe care doriți să o vizualizați și făcând clic pe fila Raport.
În această secțiune, veți vedea patru secțiuni diferite:
- Meniul de sus
- rezumat
- Variante
- Goluri
➢ Meniul de sus
Meniul de sus oferă acces rapid la următoarele informații:
- Data de începere: data la care a început experiența
- Zile de rulare : perioada de timp pentru care se desfășoară experiența
- Interval de raportare : un filtru de dată vă permite să filtrați datele pentru o anumită perioadă de timp
- Segment : filtrați raportul în funcție de segmentele de vizitatori
- Toți utilizatorii testați : numărul de utilizatori care au participat la test
- Total conversii : numărul total de conversii ale obiectivelor. Conversia urmărește numai conversii cu un singur obiectiv pentru fiecare vizitator unic. Consultați această pagină pentru conversii cu mai multe obiective.
- Obiective : numărul de obiective pe care le are o anumită experiență
Filtrați pentru un interval de date specific
Datele pot fi filtrate pentru un anumit interval de date utilizând Intervalul de raportare. Intervalele de date personalizate pot fi specificate fie folosind opțiunile existente, fie controlul calendarului.
Filtrați pentru un anumit segment
Puteți filtra raportul în funcție de segmentele de vizitatori, selectându-le din caseta drop-down „Toți utilizatorii”. Puteți folosi acest lucru pentru a răspunde la întrebări precum
- Cum s-a comportat traficul din diferite surse în experiență?
- Care a fost varianta câștigătoare pe dispozitive mobile versus desktop?
- Care variantă a atras cei mai mulți utilizatori noi?
Ar trebui să vizați audiențe/segmente care contează pentru organizația dvs. și care ar putea prezenta o varietate de comportamente ale utilizatorilor și semnale de intenție.
Examinați scorurile de îmbunătățire și de încredere pentru fiecare public pentru a vedea cum a funcționat fiecare variație. În funcție de rezultatele analizei dvs., puteți decide dacă să lansați varianta câștigătoare pentru întregul trafic sau să vă ajustați alocarea.
Un raport de experiență Convert include următoarele segmente:
- browser folosit,
- dispozitiv folosit,
- vizitatori noi vs vechi,
- tara utilizator,
- sursa de trafic,
- continent, și
- 10 segmente personalizate.
Iată cum puteți crea un segment personalizat (public).
De asemenea, puteți utiliza meniul cu trei puncte și puteți aplica câteva acțiuni suplimentare:
Distribuie raport
Dacă faceți clic pe Partajați raport, se va deschide o fereastră pop-up cu următoarele opțiuni pentru descărcarea datelor despre experiență:
Vedeți codul
Vizualizare cod este a doua opțiune, care vă oferă acces la codul de urmărire Convert:
Setări statistici
A treia opțiune, Setări statistici, vă permite să configurați următoarele:
- Nivel de încredere (semnificație statistică) — descris aici
- Valori abere ale tranzacției — descriși aici
- Automatizări - descrise aici
- Butonul Resetare statistici pentru a reseta datele experienței
Întrerupeți experiența
O a patra opțiune vă permite să întrerupeți experiența.
➢ Rezumat
În secțiunea Rezumat a raportului de experiență Convert, veți găsi un rezumat al zonei site-ului și al condițiilor de public care se aplică experienței dvs. De asemenea, oferă câteva recomandări inteligente:
Activați Recomandări inteligente
Accesați Configurația proiectului, Mai multe setări, pentru a activa Recomandările inteligente:
Vedeți Recomandări inteligente
Puteți vizualiza aceste recomandări inteligente în două locuri.
- În rezumatul raportului:
Următoarele mesaje pot apărea pe baza rezultatelor dvs.:
- Semnificativ și creștere negativă : observăm că varianta ${variant_name} este cea mai performantă, cu o creștere negativă de ${lift}%. Experimentul pentru obiectivul ${primary_goal_name} este semnificativ. Vă sugerăm să extrageți învățăminte și să proiectăm o nouă ipoteză.
- Creștere semnificativă și pozitivă : Felicitări! Pentru ${primary_goal_name}, ${variant_name} câștigă în prezent cu o îmbunătățire de ${lift}%. Experimentul este semnificativ.”
- Creștere nesemnificativă, pozitivă : sunt necesari mai mulți vizitatori pentru a trage o concluzie validă pentru ${primary_goal_name}. Vedem doar că ${variant_name} este cel mai performant, cu o creștere de ${lift}%, dar are nevoie de mai mulți vizitatori înainte de a se putea da o concluzie definitivă.
- Creștere nesemnificativă, negativă : sunt necesari mai mulți vizitatori pentru a trage o concluzie validă pentru ${primary_goal_name}. Vă rugăm să continuați testul înainte de a putea trage o concluzie.
- În caseta extinsă Obiective:
Următoarele sunt câteva mesaje posibile pe care le puteți vedea pe baza rezultatelor dvs.:
- Felicitări {variation.name} este un câștigător, suntem siguri că avem 00% încredere statistică.
- Din păcate, {variation.name} a avut performanțe mai slabe decât {baselineText}, suntem siguri că avem o încredere statistică de 00%.
- {variation.name} pare să aibă performanțe mai bune decât {baselineText}, dar încă nu putem fi siguri
- Este prea devreme pentru a judeca pentru {variation.name}
Captură de ecran de bază
Dacă treceți cu mouse-ul peste captura de ecran de referință, veți vedea câteva opțiuni suplimentare:
- Vizualizați un instantaneu la dimensiune reală
- Previzualizare variație
- Refaceți instantaneul variației
Previzualizare live și linkuri de variație forțată
Variația de previzualizare va deschide o fereastră pop-up de unde puteți obține adresele URL de previzualizare live și Variație de forță.
➢ Variații
O secțiune numită Variații oferă detalii despre variațiile experienței tale. Fiecare coloană după coloana Stare reprezintă obiectivele dvs. de experiență:
Puteți activa/dezactiva coloanele sau le puteți rearanja făcând clic pe meniul cu trei puncte:
Cu butonul de stare activat, veți putea întrerupe variațiile:
Există câteva opțiuni suplimentare disponibile când faceți clic pe meniul cu trei puncte de pe unul dintre rândurile de variante:
- Deschideți adresa URL a variației forțate
- Opriți variația
- Convertiți într-o nouă implementare
- Convertiți într-un original într-un nou experiment
- Editați variația
- Previzualizare live
➢ Obiective
O scurtă descriere a fiecăruia dintre obiectivele experienței poate fi găsită în această secțiune, precum și câteva statistici și grafice interesante pe care le vom analiza în secțiunea următoare. Înainte de a continua, să explicăm câțiva termeni cu care poate nu sunteți familiarizat.
- Obiectiv implicit : dacă vedeți termenul Obiectiv implicit lângă unul dintre obiectivele dvs., înseamnă că este unul dintre cele 2 obiective implicite pe care le adăugăm la fiecare experiență.
- Scopul principal : poate exista un singur obiectiv principal, care trebuie decis de tine. Este cel mai important obiectiv pentru experiența ta. Acesta va fi afișat mai întâi pe lista de obiective și starea experienței va fi schimbată în funcție de aceasta.
- SRM : nepotrivire potențială a raportului de eșantionare detectată la testul dvs. Verificați configurarea experienței sau contactați [email protected] dacă observați acest lucru.
- Linia de referință : aceasta este valoarea de bază implicită a experienței.
Acum, să trecem prin fiecare dintre elementele acestui raport.
Numele variației
Acesta este numele variației tale. Există o casetă de selectare lângă ea pe care o puteți activa/dezactiva pentru a afișa și a ascunde statisticile variației.
Îmbunătăţire
Puteți vedea aici cum performanțe originale și variația paginii dvs. web în ceea ce privește ratele de conversie. Diferența procentuală poate fi pozitivă sau negativă. Când încrederea calculată este mai mare decât încrederea stabilită în setările de statistici, culoarea se schimbă astfel:
- Roșu pentru -
- Verde pentru +
- Gri pentru altele
Vizitatori
Acesta este numărul total de vizitatori ai experienței. Vizitatorii unici sunt enumerați aici.
Conversii
Acesta reprezintă numărul total de conversii pentru fiecare obiectiv/variație. Orice acțiune dorită pe care doriți să o întreprindă utilizatorul este denumită conversie. În funcție de site-ul dvs. web, acest lucru poate include totul, de la clic pe un buton până la efectuarea unei achiziții.
Rata de conversie
Această coloană arată procentul de vizitatori care s-au transformat în conversii.
Nivel de încredere (semnificație statistică)
Când interpretați rezultatele A/B, semnificația statistică este cel mai important concept.
Această coloană indică cât de diferit este intervalul de încredere pentru rata de conversie pentru variația experimentului față de original. Dacă încrederea nu arată niciun număr, acest lucru se datorează faptului că (în mod implicit) sunt necesare minimum 5 conversii de obiectiv pentru fiecare variație pentru a o calcula. De asemenea, trebuie să îndeplinească numărul minim de vizitatori stabilit pentru fiecare variantă. Dacă modificați numărul minim de conversii, ar trebui să fie îndeplinit minimul pe care l-ați selectat.
Această coloană conține puncte gri/verzi care indică:
- 1 punct verde pentru 75%-85% încredere
- 2 puncte verzi pentru 85%-95% încredere
- 3 puncte verzi pentru 95%-96% încredere
- 4 puncte verzi pentru 96%-97% încredere
- 5 puncte verzi pentru 97% și mai sus
Grafic cu casete (interval de încredere)
Diagrama de casete sau intervalul de încredere indică o gamă de valori în care rata de conversie reală scade.
Este o idee bună să arătați diferența observată în valoarea ratei de conversie pentru paginile originale și variante atunci când discutați despre rezultate și intervalul în care se pot încadra efectiv ratele de conversie. Intervalul de diferență este un interval posibil de valori care sunt reprezentate pe o scară a liniilor numerice.
Cel mai mare interval posibil al ratei de conversie este marcat de limita superioară pe scara numerică, iar cel mai mic interval posibil al ratei de conversie este marcat de limita inferioară pe scara numerică.
Pe scară, puteți vedea următoarele culori:
- Zona gri: indică faptul că experimentul este încă neconcludent sau că sunt necesare persoane suplimentare pentru a declara un rezultat valid.
- O variantă câștigătoare este indicată de culoarea verde .
- O variație care pierde este indicată de culoarea roșie .
În diagrama cu casetă, fiți atenți la suprapunerea între ratele de conversie Original și Variation.
Să presupunem că ratele de conversie pentru Original au un interval de încredere de 10-20% și că ratele de conversie pentru Varianta 1 au un interval de încredere de 15-25%. Este de remarcat faptul că suprapunerea dintre cele două intervale de încredere este de 5% și este undeva între 15-20%. În acest context, este imposibil de spus dacă variația în B este de fapt o îmbunătățire majoră. Acesta este motivul pentru care, dacă există o suprapunere a box plots, Convert nu va declara un câștigător.
stare
Acesta vă arată un raport de stare asupra variației.
Grafice
De aici, puteți accesa trei tipuri diferite de grafice.
Mai jos este o explicație pentru fiecare:
Conversii
- Rata de conversie în timp : axa Y arată rata de conversie, axa X arată timpul. Fiecare linie reprezintă o variație (rata de conversie cumulată) + una pentru rata de conversie a întregului experiment (media tuturor variațiilor) + o a doua axă Y din dreapta care reprezintă numărul cumulat de vizitatori din cadrul întregului experiment
- Conversii în timp : axa Y arată conversiile, axa X arată timpul. Fiecare linie reprezintă o variație (conversii) + una pentru conversiile întregului experiment (conversiile medii ale tuturor variațiilor) + o a doua axă Y din dreapta care reprezintă numărul cumulat de conversii din cadrul întregului experiment.
- Rata de conversie zilnică de-a lungul timpului : rata de conversie necumulativă – similară cu graficul Rata de conversie de-a lungul timpului, cu excepția faptului că axa Y nu afișează vizitatorii cumulați, iar cea necumulativă este utilizată pentru API.
- Îmbunătățire în timp : îmbunătățirea ratei de conversie pe zi pe axa X și liniile fiecărei variații (dar nu original).
- Vizitatori zilnici de-a lungul timpului
Produse
- Produse per vizitator : produse comandate medii cumulate per vizitator – axa Y arată media produselor comandate per vizitator, axa X arată timpul. Fiecare linie reprezintă o variație (media cumulativă a produselor comandate per vizitator) + una pentru produsele comandate medii per vizitator al întregului experiment (media tuturor variațiilor) + o a doua axă Y din dreapta care reprezintă numărul cumulat de vizitatori din cadrul întregului experiment .
- Produse zilnice per vizitator : produse comandate medii necumulative per vizitator
- Îmbunătățirea în timp : îmbunătățirea produselor pe zi pe axa X și liniile fiecărei variații (dar nu originale)
- Vizitatori zilnici de-a lungul timpului
Venituri
- Venituri în timp : venitul mediu cumulat per vizitator – axa Y arată venitul mediu per vizitator, axa X arată timpul. Fiecare linie reprezintă o variație (venitul mediu per vizitator) + una pentru venitul mediu per vizitator al întregului experiment (media tuturor variațiilor) + o a doua axă Y din dreapta, care reprezintă numărul cumulat de vizitatori din cadrul întregului experiment
- Venitul zilnic per vizitator : venit mediu necumulat per vizitator
- Îmbunătățire în timp : îmbunătățirea veniturilor pe zi pe axa X și liniile fiecărei variații (dar nu inițiale)
- Vizitatori de-a lungul timpului
Treceți mouse-ul peste grafic
Trecând cu mouse-ul peste grafic, se va afișa rata de conversie a fiecărei variații în ziua respectivă și rata de conversie a variației în comparație cu cea inițială:
Afișează abaterea standard
De asemenea, puteți bifa caseta pentru a afișa abaterea standard (numită și eroare standard):
Formulele statistice convertesc utilizări
Notă: termenii statistici sunt tratați într-un alt blog , așa că nu îi vom repeta aici. Scopul nostru aici este să menționăm formulele matematice utilizate de Convert.
Convert folosește un test Z frecventist cu două cozi la un nivel de încredere de .05 (95%). Adică .025 pentru fiecare coadă fiind o distribuție simetrică normală, cu opțiunea de a schimba aceasta între 80%-99%.
În curând vom adăuga statistici bayesiene la rapoartele Convert. Rămâneți pe fază pentru mai multe informații.
Un test cu două cozi ar trebui folosit atunci când dorim să găsim o diferență semnificativă statistic în orice direcție (ridicare sau scădere). Scopul aici este de a determina dacă variația a dus la o creștere sau o scădere semnificativă statistic a conversiilor.
Rata de conversie
Această formulă este utilizată pentru a calcula rata de conversie pentru fiecare variație:
(Numărul total de conversii ale obiectivelor/Numărul de vizitatori unici) * 100
Modificarea ratei de conversie pentru variații
Modificarea procentuală a ratei de conversie între variația experienței și cea originală se calculează astfel:
Intervale de încredere
Pentru fiecare variație este utilizată o metodă statistică pentru calcularea unui interval de încredere în jurul ratei de conversie.
Eroarea standard (pentru 1 abatere standard) este calculată folosind metoda Wald pentru o distribuție binomială. Astfel, pentru o anumită rată de conversie ( p ) și dimensiunea eșantionului (număr de vizitatori unici), eroarea standard este calculată ca
Eroarea standard este calculată folosind această formulă, care presupune că distribuția binomială poate fi aproximată cu o distribuție normală (din cauza teoremei limitei centrale ). Distribuția eșantionului poate fi aproximată cu o distribuție normală atunci când există mai mult de 10 conversii pentru obiectivul specific.
Pentru a determina intervalul de încredere pentru rata de conversie, înmulțiți eroarea standard cu percentila 95 a unei distribuții normale standard (o valoare constantă egală cu 1,65).
Cu alte cuvinte, poți fi sigur cu 90% de încredere că rata ta de conversie reală p se află în acest interval:
Scorul Z
Folosind un scor Z, putem determina dacă rezultatele sunt semnificative (că ratele de conversie nu diferă din cauza variației aleatorii):
Scorul Z este numărul de abateri standard dintre valoarea medie inițială și valoarea medie a variației. Folosind o distribuție normală standard, semnificația de 95% este determinată atunci când numărul de evenimente de vizualizare este mai mare de 1000 și este îndeplinit unul dintre următoarele criterii:
- Probabilitate (ZScore) > 95%
- Probabilitate (ZScore) < 5%
Îmbunătăţire
Șansa de a fi diferit (afișată în raport) este derivată din valoarea Probabilității (Z-Score) unde:
- Dacă
Probabilitate(ZScore) <= 0,5
apoi
Îmbunătățire = 1- Probabilitate (ZScore)
- Dacă
Probabilitate (ZScore) > 0,5
apoi
Îmbunătățire = Probabilitate (ZScore)
Ce să căutați atunci când interpretați rapoartele de experiență
Acum că sunteți familiarizat cu toate secțiunile Raportului de experiență Conversie și cu formulele sale statistice, să încercăm să interpretăm câteva rapoarte de experiență diferite și să vedem ce puteți obține din acestea.
Datele despre experiență sunt semnificative?
Înainte de a evalua rezultatele și de a evalua ce trebuie să faceți în continuare, asigurați-vă că datele despre experiență sunt semnificative. Folosind „Nivelul de încredere” din raportul de experiență Conversie, puteți determina dacă constatările se datorează întâmplării sau reflectă adevărată a comportamentului utilizatorilor dvs.
Un nivel de semnificație de 95% înseamnă că sunteți 95% sigur că concluziile observate nu sunt rezultatul întâmplării. De asemenea, implică faptul că există o șansă de 5% să greșești.
Alternativ, vă puteți gândi la nivelul de încredere ca la probabilitatea de a obține rezultate diferite dacă repetați experimentul.
Dacă obții un rating de încredere de 90%, există o posibilitate de 1 din 10 ca să obții răspunsuri diferite dacă repeți testul. Cu 95% de încredere, există o șansă de 1 din 20, în timp ce cu 99% de încredere, există o șansă de 1 din 100.
Varianta câștigătoare: Impact pozitiv
Iată un exemplu de variație semnificativă care a depășit performanța originală și a dus la o îmbunătățire pozitivă.
Pentru obiectivul „Personalizați abonamentul – Vizualizarea paginii pasului 1”, Varianta 1 are o șansă de 98,7% să învingă Varianta 0 (Original) în această experiență. Graficul cu casete arată că selectarea Variației 1 poate duce la o îmbunătățire față de Original de 13,73% +- 0,6%
În această experiență, este sigur să spunem că îmbunătățirea este de +7,20%, dar există șanse egale ca rata de conversie să fie între 13,73% +- 0,6%. Indiferent de situație, Varianta 1 s-ar îmbunătăți față de Original, așa că acesta este un indiciu puternic pentru a o implementa!
De ce?
Dacă aceeași experiență s-ar repeta de 10.000 de ori în condiții identice, Varianta 1 ar câștiga tot de 9.870 de ori din 10.000.
Varianta pierdere: Impact negativ
Să aruncăm o privire mai atentă la rezultatele unei experiențe semnificative în care Varianta 1 nu are ca rezultat o îmbunătățire pozitivă, ci are o influență negativă asupra Ratei de Conversie Varianta 0 (Original).
În această experiență, există o șansă de 98,87% ca Varianta 1 să piardă în rata de conversie față de Variația 0. Se poate aștepta un impact negativ asupra ratei de conversie a originalului între 4,5% +- 1% cu Variația 1.
Rezultate neconcludente: Impact neutru
Acum să ne uităm la o experiență care nu este semnificativă. În experiența de mai jos, niciuna dintre variante nu are șanse suficient de mari de câștig sau o probabilitate mai mare de 95%.
Probabilitatea ca Variația 1 să câștige asupra Variației 0 este de doar 84,58% în această experiență.
Care este următorul pas pe care îl poți face?
Există mai multe opțiuni din care să alegeți, toate depind de ipoteză și de scopul final al experienței. Oricare ar fi cazul, există întotdeauna câteva opțiuni pe masă:
- Extindeți-vă audiența. Dacă segmentul dvs. de vizitatori este prea limitat, încercați să vă concentrați pe un segment cu un public mai mare.
- Eliminați unele variații. Dacă ați dezvoltat patru variante, de exemplu, încercați să rulați aceeași experiență cu două sau trei variante.
- Lăsați-l să funcționeze pentru o perioadă mai lungă de timp.
- Urmăriți-vă instinctul și alegeți ceea ce este cel mai în concordanță cu marca dvs. Dacă rezultatele sunt similare în două variante și colegii dvs. sunt de acord că una este mai bine aliniată cu cerințele mărcii dvs. decât cealaltă, puteți alege să alegeți una ca câștigătoare.
- Relansează experiența. Executarea aceluiași test de două ori pentru a valida sau invalida rezultatele inițiale este o practică inteligentă. Deoarece este puțin probabil ca circumstanțele să fie aceleași (perioadă de timp diferită, fluctuații de trafic etc.), rezultatele pot fi diferite!
- Lasă-i să fie. Este posibil ca originalul dvs. să fie deja optimizat.
Există o distribuție uniformă a traficului?
Când configurați o experiență A/B, atribuiți un procent de trafic fiecărei variante (în mod implicit, 50/50).
Numărul de vizitatori ar trebui să reprezinte împărțirea estimată a traficului.
În cazul unei diferențe semnificative, există aproape sigur o nepotrivire a raportului de eșantionare (SRM)
Într-o împărțire 50/50, dacă obțineți 400 de vizitatori pe o parte și 600 pe cealaltă, rezultatele nu sunt de încredere. Când se întâmplă acest lucru, este timpul să vă uitați la configurarea experienței dvs. A/B. Rezultatele ar putea fi denaturate de valori aberante, cum ar fi adresele IP interne sau roboții externi.
Amintiți-vă, datele sunt la fel de bune ca și analiza pe care o faceți cu ele. Profitați de toate instrumentele pe care le aveți la dispoziție, inclusiv de raportarea amănunțită a lui Convert Experiences, pentru informații precise și acționabile.
Dacă nu aveți deja un cont, înscrieți-vă pentru o perioadă de încercare gratuită și încercați-l timp de 15 zile. Veți avea acces la toate caracteristicile interesante pe care le-am discutat în această postare, plus multe altele. Și dacă aveți întrebări sau aveți nevoie de ajutor pentru a începe, echipa noastră este aici pentru a vă ajuta.