Cum să prezentați valorile Shopify într-un raport de testare A/B pentru a oferi o valoare clară

Publicat: 2022-08-31
Cum să prezentați valorile Shopify într-un raport de testare A:B pentru a oferi o valoare clară

Crearea unui raport de testare Shopify A/B remarcabil are două fațete principale: alegerea valorilor potrivite și știința cum să le prezinte.

Alegerea dvs. de valori influențează rezultatul testului și definește obiectivul întregului program de optimizare.

Shopify A/B meme cu raportul de testare
Sursă

Citiți: Ghidul complet pas cu pas pentru înțelegerea și utilizarea (detaliată) a valorilor de testare A/B

PS Nu alege prea multe valori. Folosiți regula Goldilocks: nu prea mulți și nici prea puțini. Prea multe și vei găsi un „câștigător” în fiecare experiment. Prea puține și veți pierde potențialul de învățare și, eventual, veți avea un impact negativ asupra altor valori cheie.

Și când vine vorba de prezentarea acestor valori în raportul dvs. Shopify, gândiți-vă cuprinzător, dar simplificat. Îmbinați elementele vizuale cu cifre, astfel încât schimbările cheie și tendințele sau modelele de valori care au condus la schimbare să fie evidențiate.

Consultați acest exemplu de raport Shopify de la Convert!

Fără un raport care să prezinte concluzii semnificative conducerii, poate fi dificil să obțineți acceptarea pentru mai multe experimente sau să dovediți rentabilitatea investiției testării A/B.

Poate că învățarea ta au fost toate riscurile pe care le-ai evitat nefiind difuzate idei proaste sau perspective pe care le-ai dobândit atunci când ai pierdut o variație, dar un segment a arătat o promisiune sau o măsurătoare s-a mutat într-un mod neașteptat. Și acum trebuie să înțelegeți de ce sa întâmplat asta printr-un experiment și să demonstrați cauzalitate.

Concluzie: creați un raport ușor de interpretat și ajutați echipa de experimentare să transmită cu claritate părților interesate valoarea eforturilor – victorii reale, învățare și perspective.

ascunde
  • Principalele valori Shopify de urmărit în testele A/B și ce înseamnă acestea
    • Shopify Analytics: cele 3 valori cărora ar trebui să le acordați o atenție sporită
  • Ce elemente și perspective ar trebui să includă un raport excelent de testare A/B Shopify?
    • Structurarea Raportului
    • Acoperirea obiectivelor și a KPI-urilor
    • Adăugarea de reclame pentru povestirea vizuală
    • Acoperă direcționarea și proiectarea experimentelor
    • Reducerea la zero pe segmentare
  • Transmiterea valorii testării Shopify A/B, pe plan intern și către clienți

Principalele valori Shopify de urmărit în testele A/B și ce înseamnă acestea

În timp ce valorile pe care ar trebui să le urmăriți depind de ipoteza dvs., iată câteva valori de la Shopify pe care ar trebui să vă luați în considerare

  • Total comenzi : numărul de comenzi plasate
  • Vânzări totale: suma totală este clasificată în funcție de canalul de vânzări
    Formula : Vânzări brute – reduceri – rambursări + transport + taxe
  • Principalele pagini de destinație: arată pagina în care clienții încep o sesiune.
  • Valoarea medie a comenzii : valoarea medie a tuturor comenzilor (minus cardurile cadou) împărțită la numărul total de comenzi.
  • Rata de conversie a magazinului online: procentul de sesiuni care au dus la o comandă

    • Adăugat în coș: numărul și procentul de sesiuni în care clienții au adăugat cel puțin un articol în coș.
      Formula : ((Sesiuni cu articolul din coș vizualizat) / (sesiuni totale))*100
    • Achiziționat: numărul și procentul de sesiuni în care cumpărătorii au adăugat cel puțin un articol în coșul lor, au ajuns la casă și au efectuat o acțiune.
    • Sesiuni convertite: numărul și procentul de sesiuni în care cumpărătorii au adăugat cel puțin un articol în coșul lor, au ajuns la finalizarea comenzii și apoi au făcut o achiziție.
  • Rata de coșuri abandonate : procentul de cărucioare pe care clienții le abandonează înainte de a ajunge la casă.
    Formula : (1 – (Număr de achiziții finalizate / Număr de vânzări inițiate))*100
  • Rata de respingere: procentul de sesiuni cu o singură interacțiune
    Formula: Total sesiuni de o pagină / Total vizite de intrare

De asemenea, puteți urmări clienții noi, clienții care revin, canalul de recomandare (SEO, social media, direct sau e-mail) și vânzările în funcție de locație.

Notă: valorile pe care le puteți urmări în rapoartele profesionale Shopify depind de planul Shopify la care sunteți abonat – planurile mai înalte oferă mai multe analize și rapoarte. Planul Shopify Plus vă permite, de asemenea, să creați rapoarte personalizate dincolo de rapoartele normale de marketing și de vânzări pe care le-ați obține.

Am întrebat peste 50 de optimizatori Shopify prin HARO despre valorile pe care preferă să le urmărească și au apărut câteva favorite clare:

  • Rata de conversie (CR)
  • Rata de clic (CTR)
  • Valoarea conversiei
  • Timpul pe pagină
  • Rata de respingere
  • Adâncimea derulării
  • Implicarea pe anumite pagini – cum ar fi pagina de catalog/categorie
  • Adâncimea de navigare a site-ului
  • Vizualizări de pagină
  • Vizualizări ale elementelor
  • Adaugă în coș
  • Achiziții nete
  • Timp până la checkout
  • AOV
  • NPS (post achiziție)
  • Venitul mediu per vizitator
  • Tariful coșului abandonat
  • Profit net

Realitatea este că, când vine vorba de valorile de urmărire, nu există un răspuns unic. Cea mai importantă valoare de urmărit va varia în funcție de obiectivele și obiectivele dvs. specifice.

Pentru unele magazine Shopify, poate arăta astfel:

Unele dintre obiectivele mele preferate de urmărit în magazinele Shopify sunt

  1. Generați clicuri pe anunțuri.
  2. Creșterea vânzărilor de produse specifice.
  3. Îmbunătățiți navigarea în pagina principală.

Jessica Kats, expert în comerț electronic și retail la Soxy

Shopify Analytics: cele 3 valori cărora ar trebui să le acordați o atenție sporită

La Convert, le cerem proprietarilor de magazine Shopify să acorde o atenție sporită celor trei parametri:

  1. Rata de conversie (CR) – Cu riscul de a afirma ceea ce este evident, rata de conversie poate fi un bun indicator al succesului sau eșecului experimentării tale. În cele din urmă, doriți mai multe vânzări și venituri mai mari. Dar s-ar putea ca aceasta să nu fie cea mai bună măsură dacă nu încercați să măsurați modul în care acțiunile dvs. afectează oamenii care efectuează o acțiune pe site-ul dvs.

    Citiți mai departe pentru a afla care valoare este cea mai importantă!

BTW, încercați acest calculator gratuit pentru rata de conversie.

  1. Valoarea medie a comenzii (AOV) : deși AOV nu este cea mai completă valoare, ar trebui să luați în considerare totuși monitorizarea acesteia. Este un indiciu al profitabilității pe diferite segmente – o măsură largă care cuantifică cât de mult cumpără oamenii din diferite categorii.
    Când îl utilizați ca valoare principală pentru comerțul electronic, asigurați-vă că:

    • AOV este monitorizat în SKU-uri
    • Urmăriți comenzile de la distribuitori și comenzile în vrac, deoarece poate elimina AOV
    • AOV nu indică profit, deoarece nu scade costul mărfurilor vândute, ceea ce reprezintă o cheltuială semnificativă.

Calculați gratuit AOV pre-test și post-test aici.

  1. Venitul mediu per vizitator (ARPV): Spre deosebire de AOV, care are comenzi ca unitate de randomizare, ceea ce face dificilă testarea corectă, ARPV folosește vizitatorii ca unitate de randomizare care este practică.

    ARPV este cea mai importantă măsură de urmărit, deoarece constă atât din CR, cât și din AOV.

Iată cum puteți calcula pre și post-test.

Și Alex Birkett, co-fondator al Omniscient Digital, este de acord cu:

Obiectivul experimentului este extrem de important atât pentru proiectarea experimentului, cât și pentru ceea ce învățați de fapt din experiment.

În prea multe companii, metrica proporțională simplă a „rata de conversie” este obiectivul experimentului universal. Acest lucru este în regulă dacă doriți să aflați dacă intervenția dvs. crește proporția de oameni care iau o acțiune, cum ar fi cumpărând *orice* pe site-ul dvs., dar dacă nu este ceea ce încercați să învățați sau dacă acesta nu este acul pe care îl aveți încercând să te miști, nu este cea mai bună măsurătoare.

Multe dintre site-urile Shopify cu care am lucrat și-au dorit
a) crește dimensiunea achiziției (sau valoarea medie a comenzii – AOV) pentru cei care cumpără sau
b) crește valoarea medie a vizitatorilor pe un set de pagini.

Pentru primul, veți dori să configurați AOV și urmărirea veniturilor. Acestea necesită integrare cu coșul de cumpărături, dar majoritatea instrumentelor de testare, inclusiv Convert, au integrări native cu Shopify.

Convert are, de asemenea, un ghid întreg pentru optimizarea AOV pe care îl puteți consulta.

Când optimizez pentru AOV, urmăresc și rata de conversie pentru a mă asigura că nu afectez acea valoare.

Dar îl privesc ca pe o metrică a balustradei.

Dacă pot crește AOV în timp ce îmi mențin rata de conversie de bază, trimit experimentul la producție. De asemenea, pot calcula valoarea marginală în cazul în care rata de conversie scade puțin, dar valoarea medie a comenzii o compensează prin creșterea venitului mediu per vizitator al experimentului.

Acest lucru mă duce la cel de-al doilea instrument de raportare post-hoc pentru Shopify: venitul mediu per vizitator.

Aceasta, susțin unii, este cea mai bună măsurătoare de optimizare a conversiilor în magazinul de comerț electronic, deoarece este o valoare compozită care poate fi influențată prin creșterea conversiilor sau prin creșterea valorii fiecărei conversii (adică valoarea medie a comenzii).

Valoarea medie a comenzii și venitul mediu datorat per vizitator prezintă unele complexități suplimentare în raportare.

Rata de conversie este o metrică binară și poate fi tratată ca o variabilă categorică (trece/eșec, conversie sau nu) și poate fi analizată folosind ceva de genul unui test chi-pătrat.

Valoarea medie a comenzii este o variabilă continuă și este adesea influențată de valori aberante (de exemplu, cineva intră și cumpără de 10 ori volumul unei achiziții obișnuite – ce faci cu acel valori aberante?).

Venitul mediu per vizitator este, de asemenea, influențat de valori aberante și este o variabilă continuă, dar ipotezele de bază ale modelului tind să se echilibreze la dimensiuni mai mari ale eșantionului.

Aceste două valori sunt subestimate în raportarea pentru experimentele Shopify, dar prezintă unele noi provocări pentru analiză în afara creșterilor simple ale ratei de conversie.

Cu toate acestea, majoritatea instrumentelor de testare A/B pot lua în considerare acest lucru și nu veți avea prea multe probleme cu inferența.

Sfat instrument: utilizați calculatorul de analiză pre-test Conversie pentru a evalua cerințele privind dimensiunea eșantionului pentru toleranța la risc și efectul pe care doresc să îl detecteze asupra valorilor importante enumerate mai sus.

Ce elemente și perspective ar trebui să includă un raport excelent de testare A/B Shopify?

Așadar, cum arată un raport de testare Shopify A/B remarcabil? Vom ajunge la asta într-o secundă.

În primul rând, înmuiați acest lucru în:

Puteți crea un raport de testare bun și valoros numai dacă ați început testul de la o ipoteză bună

Andra Baragan, fondator ONTRACK Digital

Dacă doriți câteva indicații despre cum să creați o ipoteză solidă, vă oferim acoperire.

Citiți: Construirea de ipoteze practice: modul în care o fac experții

Și verifică acest generator de ipoteze grozav pentru următorul tău test.

Acum că avem bazele noastre acoperite, iată mai multe sfaturi de la Andra Baragan despre cum să construiți un test A/B:

Orice nou test A/B ar trebui să înceapă prin a răspunde la aceste întrebări:

Problemă : care este problema pe care încerci să o rezolvi?

Oportunitate : cum va rezolva soluția dvs. problema?

Pista de optimizare : cum ne ajută acest lucru clientul să-și atingă obiectivele? Sursa : Ce surse de date ați folosit pentru a găsi soluția dvs.?

În cele din urmă, când vine vorba de raportare, Andra recomandă să te întorci și să răspunzi la acele întrebări cu cifre.

În orice raport de testare, includem următoarele:

  • Durata testului : (pentru câte zile a rulat testul)
  • Interval de testare: (interval de timp în care a rulat)
  • Ce am testat: (explicați ce ați schimbat)
  • Perspective : (1-2 rânduri despre motivul pentru care l-ați testat, ce ați observat care v-a făcut să doriți să îl testați)
  • Ce ai învățat din test? Care sunt următorii pași acum?
  • Este testul ceva care trebuie implementat pe site-ul live? Doriți să repetați varianta și să testați din nou? Care este acțiunea necesară după acest raport?

Obținem întotdeauna rezultatele testelor din Google Analytics – creăm segmente personalizate ale utilizatorilor pentru fiecare variantă și apoi putem rula acele segmente pe toate rapoartele relevante – acest lucru ne oferă o imagine de neegalat asupra impactului testului asupra comportamentului utilizatorului.

Notă : dacă obțineți analizele din tabloul de bord Shopify și le comparați cu Google Analytics, vor exista câteva discrepanțe din cauza modului în care sunt calculate valorile. Iată mai multe informații despre motivul pentru care se întâmplă asta.

Structurarea Raportului

Structura raportului dvs. poate varia în funcție de cine îl prezentați — directorii nu au nevoie de atâtea detalii ca echipa dvs. de testare. Dar, raportul dvs. ar trebui să includă de obicei aceste aspecte:

  • Slide 1: Scopul testului -De ce ați rulat testul și care a fost ipoteza dvs. care v-a determinat să proiectați acest test specific?

    Pentru părțile interesate și organizația dvs. mai largă, puteți menține acest nivel destul de ridicat. Când vă prezentați echipei dvs. de testare, includeți contextul din testele anterioare (dacă este cazul) și aruncați-vă în profunzime în valorile pe care sperați să le mutați.
  • Slide 2: Detaliile testului – Afișați diferitele variante ale testului și adăugați o scurtă notă pentru a explica diferențele. Includeți când ați rulat testele, cât timp au rulat și o prezentare generală a numărului de vizitatori în funcție de variație.

    Când prezentați conducerii sau altor echipe, puteți lăsa detalii care nu sunt relevante pentru învățare sau perspective. Pentru echipa dvs. de testare, puteți extinde acest diapozitiv sau această pagină pentru a acoperi fiecare detaliu mic.
  • Slide 3: Rezultatele testului – Afișați creșterea sau pierderea procentuală, ratele de conversie din diferite variante și semnificația statistică a testelor.

    Părților interesate le pasă de rezultate, ceea ce face ca aceasta să fie una dintre cele mai importante fațete ale raportului dvs. Evidențiați câștigurile și KPI-urile care s-au mișcat în modul corect. Eliminați valorile aberante care nu sunt relevante pentru rezultat. Amintiți-vă, trebuie să apelați la interesul lor propriu. Oferă-le ceva ce pot să-i facă să arate bine.

    Pentru echipa dvs. de testare, puteți petrece mai mult timp pe pierderi și pe ce valori nu s-au mutat așa cum vă așteptați.
  • Slide 4: Lecțiile învățate din test – Dacă testul nu a avut câștiguri clare, aceasta este șansa ta de a folosi datele pentru a spune o poveste. Explicați părților interesate ce înseamnă cifrele din raportul dvs., ce informații ați obținut în urma rulării acestor teste și cum intenționați să generați noi ipoteze pentru testele viitoare.

    Acest lucru este, de asemenea, foarte important pentru echipa dvs. de testare. Lecțiile pe care le înveți prin eșecuri pot determina următorii pași pentru echipă.
  • Diapositiva 5: Impactul asupra veniturilor : Dacă puteți, încercați să cuantificați creșterile procentuale pe care le-ați arătat mai devreme cu impactul estimat asupra veniturilor anuale.

    Amintiți-vă că părțile interesate executive trebuie să fie interesate de experimentare, trebuie să le arătați impactul asupra rezultatului companiei. Dacă nu aveți venituri estimate de afișat, asigurați-vă că învățările dvs. includ un plan pentru a rula teste viitoare care ar putea avea un impact.

Deoarece nu există o singură modalitate de a face acest lucru corect, am rugat câțiva experți să ne împărtășească modul în care și-au structurat rapoartele și iată ce au spus:

Am o metodă foarte standard de structurare a rapoartelor care include:

  1. Prezentare generală

    Un rezumat rapid, în limbaj simplu, a ceea ce am testat, de ce am făcut-o, ce am observat și ce intenționăm să facem în continuare.
  1. Conceptul de testare
  2. Experimentează creativ
  3. Date si durata
  4. Metrici
  5. Pagini
  6. Ipoteză
  7. Analiză
  8. Rezultate

    În opinia mea, este imperativ ca fiecare raport să includă toate rezultatele brute pentru a le permite să fie interogați de către alții și, de asemenea, în beneficiul posterității.

    S-ar putea să considerăm de la sine înțeles că putem accesa rezultatele în instrumentul nostru de testare A/B chiar acum, dar ce zici într-un an? Doi ani? Trei?
  1. Pasii urmatori

    Pe baza a ceea ce am văzut în acest experiment, ce vom face în continuare?

Oliver Palmer, consultant CRO la Oliver Palmer

Rapoartele noastre de testare A/B includ întotdeauna următoarele elemente:

1. O descriere clară a modificărilor care au fost făcute în fiecare versiune;

2. Rezultatele experimentului, inclusiv care versiune a avut performanțe mai bune; și

3. Recomandări pentru experimente ulterioare bazate pe rezultatele testului A/B

Aceste rapoarte ne ajută să înțelegem ce funcționează cel mai bine pentru magazinul nostru și să luăm decizii informate despre cum să ne îmbunătățim rata de conversie.

Luke Lee, CEO PalaLeather

  1. Experiment vizualizat (pagina) – Câte persoane au văzut experimentul?
  2. Experiment vizualizat (element) – Dacă experimentul este afișat numai pe defilare, câți oameni l-au văzut?
  3. Starea experimentului – Pe desktop, cursorul utilizatorului a trecut peste zona de experiment?
  4. Interacțiunea cu experimentul – Utilizatorul a interacționat cu experimentul? (Urmăriți fiecare element individual)
  5. Timpul pe pagină
  6. E timpul să faci checkout

Alex Halliday, fondator și CEO al AirOps

Iată un exemplu rapid despre cum arată unul dintre rapoartele de activitate ale ONTRACK Digital:

( Puteți folosi acesta ca șablon pentru raportul dvs.)

Slide 1:

  • Nume de marcă
  • Numele raportului
  • Perioada de timp
Șablon de raport de activitate Shopify

Slide 2:

Repere ale testului

  • Numărul de teste finalizate
  • Numărul de teste reușite
  • Caracteristici implementate
  • Numărul de teste în curs
  • Prezentarea tuturor testelor cu o actualizare de stare
Repere ale raportului Shopify

Slide 3:

Prezentare generală Google Analytics pentru o anumită perioadă

  • Venituri și rata de conversie
  • Tranzacții
  • AOV
Prezentare generală a raportului Shopify Google Analytics pentru testele A/B

Slide 4:

Teste în curs de desfășurare

  • Instantaneu al testelor aflate în desfășurare
  • Vizual din software-ul de testare A/B pentru a arăta care dintre ele devine câștigător
  • Valori de la Google Analytics pentru a sprijini progresul testului
Șablon de raport Shopify - teste A/B în curs

Slide 5:

Prezentare generală a testelor viitoare

  • Toate testele sunt planificate

Puteți avea un diapozitiv pentru a explica fiecare test însoțit de un vizual.

Prezentare generală a testelor viitoare a raportului Shopify

Acoperirea obiectivelor și a KPI-urilor

Obiectivele și KPI-urile sunt incluse în secțiunea „detalii ale testului”, astfel încât să puteți explica obiectivul experimentului.

Asigurați-vă că adăugați o notă pentru a explica alegerea dvs. S-ar putea să vă întrebați de ce ați ales un anumit obiectiv sau KPI pe care să îl urmăriți asupra altora.

Recapitulare rapidă: Indicatorii cheie de performanță sunt valori simple care dezvăluie starea dvs. actuală în raport cu obiectivele de afaceri. Obiectivele sunt concepte abstracte și trebuie să aveți o măsurare scalabilă a eforturilor care duc la atingerea acestor obiective.

Aveți nevoie de ajutor pentru a identifica obiectivele și KPI-urile de urmărit? Luați ghidul nostru final pentru utilizarea obiectivelor în testarea A/B.

De asemenea, am rugat câțiva experți să ne spună obiectivele pe care le urmăresc:

Scopul meu preferat de a testa pe magazinele Shopify este creșterea gradului de implicare pe pagina de catalog. Produsele noastre definesc veniturile din vânzări și creșterea clienților în cadrul canalului. Concentrarea asupra acestui obiectiv și testarea ne oferă informații pline de resurse asupra faptului că pagina este vizitată suficient de ori. Dacă implicarea este scăzută, testarea ne ajută să descoperim zonele în care ne lipsesc, determinând reînnoirea eforturilor de marketing.

Aviad Faruz, CEO Faruzo

În ceea ce privește urmărirea obiectivelor, aleg în general o valoare principală din lista de mai jos și apoi le folosesc pe celelalte ca valori de sănătate sau valori contrare. Este bine să fii cu ochii pe numere multiple în cazul unor consecințe nedorite.

  1. Rata de respingere
  2. CVR (creșterea generală a ratei de conversie)
  3. AOV (valoarea medie a comenzii)
  4. Venitul mediu per vizitator (o combinație a celor două dintre cele de mai sus)
  5. NPS sau similar

De asemenea, îmi place să segmentez utilizatorii după:

  1. Sursa UTM
  2. Tip de dispozitiv
  3. Locație
  4. Vizitator nou vs vizitator care revine”

Alex Halliday, fondator și CEO al AirOps

În ceea ce privește obiectivele, va exista în mod normal un indicator principal pe care încercăm să-l influențăm direct (să zicem, paginile de produse vizualizate sau interacțiunile cu un filtru de dimensiune/culoare) și apoi aproape întotdeauna Conversia și Venitul Per Vizitator. Obiectivele urmărite ar trebui să aibă legătură directă cu ipoteza și obiectivele comerciale ale experimentului, așa că rareori este util să urmăriți mai mult de trei sau patru cel mult.

Oliver Palmer, consultant CRO la Oliver Palmer

În general, urmărim două obiective în testele noastre A/B: rata de conversie și valoarea medie a comenzii . Cu toate acestea, în funcție de natura experimentului, este posibil să urmărim și alte obiective, cum ar fi rata de clic sau timpul petrecut pe site. Depinde în general de experiment. Alți utilizatori și companii pot avea criterii diferite pentru urmărirea obiectivelor lor respective.

Obiectivele noastre preferate de testat în magazinele Shopify sunt rata de conversie și valoarea medie a comenzii. Constatăm că acestea sunt cele mai importante valori pentru magazinul nostru și oferă cele mai multe perspective în ceea ce privește modul în care ne putem îmbunătăți magazinul. Cu toate acestea, fiecare magazin este diferit și este posibil să descoperiți că alte obiective sunt mai importante pentru afacerea dvs. Depinde cu adevărat pentru ce căutați să optimizați.

Luke Lee, CEO Palaleather

Adăugarea de reclame pentru povestirea vizuală

Majoritatea programelor de testare A/B pe care le utilizați vor oferi tabele și grafice sau șabloane gata făcute de un fel pe care le puteți utiliza atunci când exportați rapoarte. Puteți adăuga acele grafice la raportul dvs. (dacă sunt relevante, desigur) și luați în considerare crearea unora dintre ele.

Cifrele tale spun o poveste. Folosiți doar reclamele pentru a o reprezenta vizual. Trucul este să folosești vizualizări care sunt ușor de înțeles, de preferință dintr-o singură mișcare.

Annemarie Klaassen și Ton Wesseling de la CXL au mers pe această cale încercând diferite metode pentru a ajunge la o soluție care funcționează. Iată un rezumat rapid al sfatului lor:

Sfat 1: dacă nu sunteți sigur, respectați norma — foile de calcul Excel

Vizualizarea raportului de testare Shopify A/B
Sursă

Puteți vedea liftul și impactul imediat. De asemenea, puteți codifica cu culori câștigătorul, astfel încât toată lumea să poată vedea care variantă a câștigat cu ușurință.

Sfat 2: Adăugați un grafic

Puteți să vă uitați la rata de conversie pe zi de-a lungul timpului și să adăugați limita inferioară și superioară a variației implicite.

Cu toate acestea, acest lucru nu vă va oferi un răspuns clar la ce variantă a câștigat și cum au fost afectați KPI-urile; doar să vă arăt că există un efect stabil care nu este interesant pentru părțile interesate.

Graficul raportului de testare Shopify A/B
Sursă

Sfatul 3: imitați statisticienii

O altă modalitate (posibil mai precisă) este de a replica ceea ce fac statisticienii: 2 curbe clopot, o valoare critică și o zonă umbrită. Dar problema este că este prea greu de explicat cu claritate.

Așa că Annemarie și Ton au venit cu asta:

Imagini vizuale ale rapoartelor de testare Shopify A/B
Sursă

Două puncte clare pentru a arăta rata de conversie a ambelor variante. Linia punctată reprezintă intervalele de încredere.

„Dacă rata de conversie a variației B se află în afara intervalului de încredere al lui A, variația B este semnificativ mai bună. Zona umbrită verde accentuează acest lucru. Un punct în zona roșie ar însemna că variația are performanțe semnificativ mai proaste.”

Le-a fost nevoie de încă câteva încercări pentru a face totul corect. Ceea ce au ajuns să aibă a fost o versiune mai consolidată, care a avut sens pentru echipa lor și au reușit să automatizeze producția de reclame.

Puteți citi postarea integrală pentru a vedea cu ce au ajuns până la urmă.

PS Nu trebuie să complici prea mult asta. Asigurați-vă că aveți reclame care susțin rezultatele și învățările dvs. și asigurați-vă că este suficient de ușor de înțeles pentru toată lumea.

Acoperă direcționarea și proiectarea experimentelor

Modul în care ați conceput un experiment și ce segment de public a fost vizat este la fel de important ca și ceea ce ați învățat din el, mai ales că trebuie să utilizați aceste informații pentru a construi teste viitoare.

Acestea merg și în secțiunea „detalii”. S-ar putea să doriți să rezumați unele informații care nu sunt relevante pentru C-suite sau să prezentați o versiune prescurtată a acesteia.

Aveți nevoie de modalități mai eficiente de a viza un public, astfel încât să puteți desfășura experimente mai bune? Consultați: Direcționarea către public cu testarea A/B: Cât de precise pot deveni segmentele dvs.?

Iată cum abordează experții direcționarea și segmentarea:

Experimente diferite vor viza diferite segmente de utilizatori, cum ar fi clienții repetăți sau persoanele care au văzut pagina principală a produsului. Puteți viza clienții britanici cu engleza britanică dacă aveți utilizatori din toată Anglosfera. Prin segmentarea publicului, vă puteți expune experimentul numai unui anumit număr de vizitatori care îndeplinesc criteriile dvs., excluzându-i pe cei care nu le îndeplinesc.

Înainte de a efectua teste A/B în magazinul dvs., trebuie să vă dați seama care secțiune a publicului dvs. este potrivită pentru ipoteza dvs. Segmentarea garantează că experimentul corect este afișat clienților corecti.

Lulu Albanna, Co-fondator – WRC Media

Explicați de ce ați făcut aceste alegeri specifice. A fost rezultatul unui experiment anterior? Sau, ați ajuns la o anumită ipoteză bazată pe cercetarea conversiei?

Paul Somerville, director tehnic la Electric Scooter Guide, recomandă, de asemenea, să arătați unde a fost declanșat testul și de ce este important:

Am efectuat numeroase teste A/B pentru funcții precum chat live, butoane de îndemn, imagini ale produselor, poziționare cu vânzări suplimentare, pagini de destinație, meniuri de navigare și multe altele ca companie Shopify.

De exemplu, testarea A/B ne-a ajutat să stabilim echilibrul corect între vânzări încrucișate și upselling fără supărări sau fricțiuni în experiența clienților.

Am observat că publicului nostru le-au plăcut sugestiile extrem de relevante imediat pe paginile de produse, mai degrabă decât cele prezentate în timpul plății după mai multe experimente și, ca urmare, am crescut valoarea medie a tranzacției.

Reducerea la zero pe segmentare

Toate testele nu încep cu un segment de public în minte. Adesea, obiectivul testului este de a afla care segment răspunde mai bine la o schimbare.

Deci, dacă intenționați să definiți segmente de public după finalizarea testului, asigurați-vă că includeți concluziile dvs. în secțiunile „rezultate” și „învățare” ale raportului.

Câteva segmente comune pe care veți dori să le includeți în raport:

  • geografice
  • Comportamental
  • Vreme
  • Tehnologic

Toate acestea vă vor ajuta să rafinați rezultatele pe care le aveți pentru a vă înțelege mai bine publicul și pentru a crea teste superioare.

Cu toate acestea, ar trebui să rețineți că post-segmentarea se poate confrunta cu trei probleme comune - a avea o dimensiune prea mică a eșantionului, compararea mai multor segmente și concentrarea pe cele complet greșite.

Dar puteți depăși aceste probleme comune cu acest ghid: Ce este post-segmentarea în testarea A/B?

Notă : puteți, de asemenea, să progresați cu post-segmentarea - segmentați publicul pe baza cookie-urilor, a stratului de date sau chiar a listelor HubSpot.

Transmiterea valorii testării Shopify A/B, pe plan intern și către clienți

Acum că știți cum ar trebui să arate raportul dvs. de testare Shopify A/B, iată câteva sfaturi de la experții noștri:

  • B2C vs. B2B – Arată-le calea corectă
    Ciclurile de achiziție în B2C sunt mult mai scurte și există mult mai mult trafic, așa că în mod ideal aveți potențialul de a rula o mulțime de teste. Dar, veți descoperi că majoritatea mărcilor sunt încă concentrate pe canalele de achiziție „încercate și testate” care devin nesustenabile din cauza noilor actualizări de confidențialitate care au ca rezultat date slabe. Rezultatul? O creștere uluitoare a costului de achiziție a clienților. Explicați clienților/părților interesate că nu puteți cheltui mai mult decât toți concurenții.
  • Joacă în interesul conducerii
    Valoarea reală a testării A/B constă în informațiile pe care le obțineți din experimentare. Dar acestea nu sunt utile fondatorului și altor părți interesate. Este mai puțin probabil să fie impresionați de învățături și mai interesați de „câștigări”.
  • Nu stabiliți așteptări greșite
    Desigur, ar trebui să încercați să arătați impactul asupra veniturilor, dar expresia cheie aici este: atunci când este posibil. Nu proiectați venituri pe baza unei creșteri a ratelor de conversie sau a valorii medii a comenzii.
    În schimb, concentrați-vă pe ceea ce a fost testat:

    • Fii specific cu privire la ceea ce ai făcut și creează rapoarte vizuale și pertinente.
    • Care au fost învățăturile? Acest lucru poate proveni dintr-o măsurătoare precum CR sau ARPV în mișcare. Fixați-vă nu pe mișcare, ci dacă ipoteza s-a dovedit corectă. Dacă da, ce dezvăluie relația cauzală despre segmentele dvs. de public?
    • Ce vei face cu această perspectivă? Vei rafina pozitionarea? Sau poate îmbunătăți designul site-ului?
    • Ce înseamnă asta pentru afacerea în ansamblu? Și poate duce marca cu un pas mai aproape de îndeplinirea obiectivelor de afaceri?
  • Adăugați context numerelor pe care le-ați prezentat
    Trebuie să anunțați oamenii, în termeni siguri, la ce se uită. Aceasta ar putea însemna codificarea culorilor, adăugarea de repere din industrie, afișarea mediilor, segmentele de public sau chiar arătarea cât costă canalele diferite.

Respectarea acestei abordări vă asigură că nu sunteți întotdeauna sub presiune pentru a obține câștiguri rapide.

Sub presiune pentru a raporta rezultatele testului A/B meme
Sursă

Vă puteți reorienta atenția asupra experimentului – învățarea. Dar cheia nu este să acordați prioritate unui lucru față de celălalt.

Cele mai bune agenții de experimentare se concentrează pe interes și asumare la fel de mult ca pe ceea ce testează. Un adevărat act de echilibru între entuziasm (Da! Experimentele pot crește afacerile) și stabilirea așteptărilor inexacte (veniturile noastre se vor dubla).

Calea de urmat este (*roul de tobe va rog*) educatia. Luați o copie a „Experimentation Works”—o lectură fără jargon care vă va ghida să efectuați teste mai bune și să împărtășiți informații utile.

Și dacă sunteți în căutarea unui instrument de testare A/B care vă poate ajuta să vă împărțiți încărcătura, încercați Convert. Este gratuit timp de 15 zile, nu este necesar un card de credit.

Maestru CRO
Maestru CRO