Ghidul pas cu pas fără jargon pentru înțelegerea (aprofundată) a valorilor de testare A/B

Conținutul grozav nu este creat de o persoană. Spuneți „bună ziua” experților care au făcut posibil acest ghid. Peste 80 de ani de experimentare și experiență de testare A/B – în aminute citite.

Alex Birkett

Ben Labay

Curtis Stanier

Deborah O' Malley

Erik Bernhardsson

Justin Christianson

Max Bradley

Sumantha Shankaranarayana

Tim Mehta

Încercarea de a înțelege valorile de testare A/B este ca și cum ai merge într-o groapă de definiții prea complicate, jargon tehnic și „opinii” fără sfârșit ale experților.

Nu te învinovățim dacă ai scos mai mult de un oftat exasperat încercând să găsești ceva de valoare online.

Chiar dacă sunteți convins că doriți să efectuați experimente, s-ar putea să aibă impresia că cei care știu sunt informații de control.

Dar suntem hotărâți să schimbăm asta. Experimentarea este pentru toată lumea și, până la sfârșit, vei crede și tu asta.

Un adevăr dur despre începerea experimentării

Ne vom scufunda în modul în care sunt vizualizate valorile prin diferite lentile, dar, mai întâi, trebuie să ne clarificăm.

Probabil ați mai auzit această afirmație: „Nu există pierderi în testarea A/B – doar învățare”.

Acest lucru este parțial adevărat.

Testele neconcludente (plate) și chiar pierderile vă pot ajuta să vă faceți o idee clară despre ceea ce nu funcționează pentru publicul țintă. Dar dacă construiești programul de experimentare și nu ai încă abonamentul C-suite, fii pregătit să navighezi pe niște ape dificile. Înțelegeți că cei care țin sforile poșetei nu vor fi deosebit de fericiți că au discuții ezoterice despre „învățături” fără o educație considerabilă.

Pentru a obține aprobarea lor, va trebui mai întâi să arătați câștiguri rapide și tangibile . Rezultatele testelor A/B pe care managerii dvs. le pot raporta conducerii, astfel încât aceștia să demonstreze o anumită încredere în faptul că metoda științifică de experimentare, în mare parte academică, poate propulsa într-adevăr ceva la fel de practic ca o afacere.

Și cel mai simplu mod de a face asta?

Mergeți după cel mai jos fruct care nu se agăță: îmbunătățiți rata de conversie pentru o experiență de utilizator care este destul de aproape de a influența ofertele sau achizițiile. Să presupunem că o creștere directă de 1000 de unități a comenzilor plasate (după cum este indicat de rezultatul testului) este ușor de convertit în dolari și profit.

Aduceți acel raport într-o ședință a consiliului de administrație și veți avea camera plină de entuziasm - genul care vine din descoperirea unui alt „canal de achiziție” numit CRO.

Dar trimestrul va veni și va pleca fără ca tu să vezi vreodată vârful promis. Directorii care te-au salutat drept viitorul afacerii vor fi foarte dezamăgiți. Vor urma reduceri de buget. Iar cineva de sus (*tușește* incorigibilul HiPPO *tușește*) va arunca o oarecare nebunie despre cum experimentele nu pot depăși niciodată canalele tradiționale, cum ar fi reclamele și evenimentele care au trecut testul timpului.

[HiPPO = Cel mai bine plătită persoană cu o opinie]

Vezi ce tocmai sa întâmplat? Activându-ți viziunea de tunel, ai relegat experimentarea la a fi doar CRO - ceva care este văzut (aproape) ca un canal de achiziție nou pentru a recupera banii rămași pe masă. Și împreună cu asta? Toate marile revendicări, escrocherii și capcanele care tind să o însoțească.

Diferite moduri de a vizualiza valorile de testare A/B

Experimentarea este o mașinărie. Dar majoritatea oamenilor au o înțelegere greșită a modului în care funcționează.

Ei cred că intrările sunt probleme de afaceri, iar rezultatul sunt soluții de afaceri valide semnificative din punct de vedere statistic . Și aceasta poate fi imaginea de ansamblu ideală.

Mărită, mașina de experimentare acceptă învățarea și efortul depus în procesul științific ca intrare și furnizează metrici ale programului ca rezultat.

Dar există un mare IF aici: pentru ca rezultatul să producă în cele din urmă rezultatele anticipate și dorite, calitatea programului de experimentare este primordială.

Doar atunci când veți fi obsedat de calitatea experimentării, veți avea șanse mai mari de a vedea un rezultat care poate muta acul asupra problemelor mari de creștere și eficiență pe care toate companiile doresc să le rezolve.

Calea de a ajunge acolo este să ai o strategie de metrică care să nu pună rezultate pe un piedestal.

În schimb, ajută echipa să măsoare și să urmărească intrarea și ieșirea (intrarea fiind singurul factor care controlează în mod direct optimizatorul) și să le folosească ca un indicator al progresului. Călătoria către rezultat nu este un sprint, este un maraton care se rulează în fundal ca un produs secundar al unei bune experimente.

Nu ne înțelege greșit. Acest lucru este mai ușor de spus decât de făcut.

Adesea, experimentele vor arăta că anumite modificări nu ar trebui făcute. Caracteristicile speciale nu trebuie expediate! Iar experimentarea în sine este intenționată... concentrarea unei strategii de expediere în primul rând către o strategie de informații și învățare în primul rând (susținută de valorile potrivite).

Experimentarea-ezitarea este incredibil de comună în rândul directorilor. Majoritatea fondatorilor au ani buni de construire a companiei fără experimente și se poate simți că experimentarea este o forță conservatoare care împiedică viteza companiei, marketingul de produse și inovația lunară.

Erik Bernhardsson, fondatorul Modal Labs

Argumentul pentru trecerea la o strategie Insights First (cu valorile potrivite)

Pentru a face progrese reale, trebuie să facem trecerea de la urmărirea unei strategii de expediere la o strategie metrică. Acest lucru descentralizează strategia de produs, adică împinge ideea în jos, ceea ce este ideal. Și adoptarea unei strategii metrice înseamnă în mod intrinsec experimentare. Nu vă puteți sfii de a testa modul în care schimbările noilor produse vă afectează afacerea.

„De ce” programului dvs. de experimentare este codificat în strategia dvs. de valori.

• Tot efortul tău este concentrat pe câștiguri rapide și venituri?
• Experimentarea este modalitatea de a vă înțelege clienții și de a le oferi valoare pe tot parcursul ciclului lor de viață?
• Sau este experimentarea scopul în sine, în cazul în care cu cât testezi mai bine, cu atât vei genera informații mai fiabile și responsabilitatea ta este de a menține această roată în mișcare, fără a afecta negativ experiențele existente?

Mai multe despre asta mai târziu cu Ben Labay din Speero.

Pe o bază de la un experiment la altul, valorile vă cimentează concentrarea (reală). Puteți avea un manifest de 10 pagini care vorbește despre încorporarea experimentelor în ADN-ul afacerii dvs. pentru a accelera inovația, dar dacă obiectivul dvs. principal este întotdeauna orientat spre conversie, atunci programul dvs. de testare este în esență un program CRO. Acesta poate fi ceea ce doriți să obțineți, dar fiți conștienți de constrângerile care se vor manifesta pe linie, inclusiv să vă gândiți la testele A/B ca slujitori de achiziții/venituri - sincer, nu sunt.

Diferitele clase de valori fac posibilă urmărirea indicatorilor care contează pentru C-suite, optimizând în același timp programul pentru teste de calitate superioară, perspective cauzale și parcurgând diferite iterații pentru a îmbunătăți funcționarea interioară a mașinii, astfel încât rezultatele să poată începe să conducă la rezultate. pe termen lung.

Acest videoclip cu Tim Mehta este o privire sinceră a motivului pentru care o narațiune de experimentare care se învârte exclusiv în jurul învățării nu este o poziție practică de luat.

Cred că este foarte grozav să obții toate aceste învățăminte pe partea de implicare, dar pentru ca proprietarul afacerii tale să poată ști să continui să construiești resurse pentru program și să obții buget pentru el, în esență, știi că trebuie să te asiguri că ești capabil să arate cel puțin că, din perspectiva afacerii, valoarea în dolari pe care acest experiment ți-l aduce programul.

Așa că cred că pentru o mulțime de experimente este mai mult în jurul metodei științifice generale a tot ceea ce încerci să faci este să înveți că asta este că știi că nu este atât de mult câștig/pierdere, cât este ipoteză dovedită, știi, dovedit sau respins. în timp ce, cu ceea ce facem bine, majoritatea dintre noi suntem pe partea de marketing și, în mod firesc, trebuie să fim capabili să comunicăm un anumit tip de câștig sau valoare a veniturilor pentru a putea continua.

Tim Mehta, director de marketing de creștere la Lucid Software

La un nivel mai practic, valorile mențin învățarea. Executați teste plate spate în spate? Aceasta ar putea fi o problemă cu modul în care culegeți datele (problema centrată pe instrument) sau cu modul în care proiectați experimentele. Metricurile vă ajută să găsiți acul în carul de fân și să faceți mai bine.

TL&DR; Metricurile îi ajută pe testatori să surprindă diferite fațete ale experimentării și să distribuie impactul acesteia către părțile interesate într-un limbaj pe care ei înțeleg, prețuiesc și apreciază. Strategia de metrice depășește cu mult „obiective” și miza în teren în raport cu care sunt evaluate variațiile câștigătoare și pierderile.

Prin metrici, programele de experimentare trăiesc, se maturizează, evoluează și reușesc (sau eșuează).

Input, Output & Outcome Metrics: Deconstruirea programelor de experimentare cu Ben Labay și Alex Birkett

Există o mulțime de definiții în jurul valorilor primare, secundare și de protecție. Dar oricine a condus un program de experimentare știe că trebuie să existe un cadru pentru a defini diferitele niveluri de obiective.

Așa că i-am adresat lui Ben Labay, director general al Speero, și Alex Birkett, co-fondatorul Omniscient, această întrebare:

Care este cadrul dvs. de măsurători pentru a mapa variabilele măsurate la impactul experimentării pe mai multe straturi?

Cadrul lui Ben

1. Categoriile de valori ale programului

Acest „în etapă” trebuie luat cu ușurință. Vrei să monitorizezi toate acestea tot timpul, dar FOCUS este puțin diferit în funcție de stadiul programului.

2. Începeți cu o taxonomie metrică de nivel superior, iată a mea:

Apoi, pentru fiecare,

3. Exemple de valori ale obiectivelor:

Apoi

4. Exemple de metrici ale driverului

Apoi

5. Programul de valori ale balustradei

Asa de…. ATUNCI aveți ingredientele pentru o strategie metrică:

Notă: Experimentarea în stadiu incipient ar trebui să se concentreze pe valorile de intrare, dar trebuie să faceți față presiunii de a produce rezultate care nu se vor materializa dacă nu aveți educația, oamenii și procesele potrivite.

Este un ciclu de auto-înfrângere. De asemenea, valorile rezultatelor nu ar trebui sărbătorite de la început, mai ales dacă proiectați „venituri”.

Cel mai bun mod de a înțelege acest lucru este să te uiți la modul în care Airbnb a trecut la o strategie metrică:

„Oaspeții trebuiau mai întâi să ceară permisiunea gazdelor să rămână în Airbnb, iar gazdele ar putea decide dacă le place cererea de rezervare. Acest lucru a creat o mulțime de frecări, a fost o experiență îngrozitoare pentru oaspeți și a deschis ușa pentru o părtinire necorespunzătoare pentru a intra în proces.

O strategie de livrare a produselor ar fi dictat o grămadă de caracteristici de expediat. Dar Airbnb a creat o echipă puternică cu o strategie metrică: face ca Airbnb să ajungă la 100% carte instantanee.

Rezultatul a fost o strategie intensă de experimente care a schimbat cumulativ piața. Modificările produsului au cuprins ierarhizarea căutării, integrarea gazdei și funcționalitatea de bază a gazdei (de exemplu, controale pentru oaspeți, regulile casei, setările timpului de livrare etc.) care au permis gazdelor să aibă succes într-o lume în care oaspeții își rezervă casa instantaneu.

Erik Bernhardsson

Cadrul de acces al lui Alex

Cadrul meu de bază pentru cartografierea valorilor de experimentare este unul simplu: valorile de intrare și de ieșire .

Părților interesate le pasă de valorile rezultatelor. Acestea sunt utilizate în calculele rentabilității investiției și dovedesc valoarea programului - lucruri precum rata de conversie a site-ului web, rata de conversie a pâlniei, clienții potențiali de înaltă calitate etc.

Personal, cred că acestea sunt supraevaluate la nivel programatic și subevaluate la nivel de experiment. Prin aceasta, vreau să spun că, dacă urmăriți rata de conversie a paginilor dvs. web trimestrial, experimentarea nu va fi singurul lucru care s-a întâmplat în acea perioadă de timp. Strângerea de fonduri, tendințele macroeconomice, schimbarea canalelor de achiziție - toate acestea pot fi factori de confuzie masiv. Puteți ocoli unele dintre acestea având seturi de reținere sau retestând versiunea de bază a experienței dvs. digitale.

Sunt subevaluați pe baza unui experiment, deoarece oamenii tind să nu se gândească la KPI-ul lor principal al experimentului, ci optează pentru a include o varietate de obiective și îl alege pe cel care se potrivește narațiunii lor. Este foarte greu să vii cu un obiectiv compozit, un criteriu de evaluare generală, pentru a-ți defini experimentul. Valorile de intrare sunt o modalitate mai bună pentru mine de a obține un indicator al programului nostru. Principalele trei la care mă uit sunt
a) viteza experimentului
b) rata de câștig din experiment și
c) câștig mediu pe experiment.

Dacă mișc acul pe oricare dintre acestea, probabil că voi muta acul pe valorile mele de ieșire

Obiective, șoferi și balustrade: valori în funcție de domeniu

Ben Labay folosește analogia unei mașini pentru a explica aceste valori:

Esența este că aveți valori pe termen lung, cum ar fi valorile obiectivului, iar acesta este GPS-ul sau sistemul dvs. de navigație, adică valorile stelei nordice (NSM).

Acest lucru este în contrast cu valorile șoferului, care sunt valorile pe termen mai scurt, numite vitezometru. De exemplu, optimizarea ratei de conversie pentru valoarea medie a comenzii (AOV).

Puneți acest lucru în mai mult contrast cu valorile dvs. de alertă și aliniere, cum ar fi tahometrul sau indicatorul de căldură; acestea sunt valorile tale de protecție.

PS Urmărește acest videoclip de Ben pentru a înțelege mai bine aceste categorii:

Indicatori pentru obiectiv sau Steaua Nordului

O metrică North Star sau o metrică întârziată sau cu sferă largă, așa cum este definită de Ben, este de natură mai strategică decât tactică.

De exemplu, testele A/B de la Netflix nu sunt concepute pentru a îmbunătăți angajamentul - sunt concepute pentru a crește retenția. Dacă își păstrează clienții, înseamnă că abonații se angajează și găsesc valoare în produs. Deci, reținerea încapsulează mai multe valori tactice, cum ar fi procentul de utilizatori care plătesc sau vizionează mai mult de 3 piese de conținut.

Valorile driverului

Acești indicatori conducători sunt pe care vă concentrați pe termen scurt, adică rata de respingere și rata de conversie. Uneori, a avea o singură valoare nu este suficientă pentru a evalua un rezultat. Aici intervine Criteriul general de evaluare sau OEC .

Cunoscută și ca răspuns sau variabilă dependentă, variabilă de rezultat sau măsurătoare de performanță, OEC este în esență o combinație de KPI ponderați diferit ca un singur KPI principal.

O singură măsurătoare forțează ca compromisurile să fie făcute o singură dată pentru mai multe experimente și aliniază organizația în spatele unui obiectiv clar. Un OEC bun nu ar trebui să fie concentrat pe termen scurt (de exemplu, clicuri); dimpotrivă, ar trebui să includă factori care prezic obiective pe termen lung, cum ar fi valoarea estimată pe parcursul vieții și vizitele repetate.

Ronny Kohavi

Valori de gardă

Potrivit lui Ronny Kohavi,

Valorile de gardă sunt valori critice care sunt concepute pentru a alerta experimentatorii cu privire la o ipoteză încălcată. Valorile de gardă oferă ceea ce Spitzer (2007) numește „capacitatea de a instiga acțiuni informate”. Atunci când un efect de Tratament mută în mod neașteptat o valoare pentru balustradă, vă recomandăm să reduceți încrederea în rezultate sau să opriți un experiment în cazurile în care ar putea fi adus un rău utilizatorilor sau organizației.

Există două tipuri de valori pentru balustradă: valori pentru balustradă legate de încredere și valori pentru balustradă organizațională. Începem cu ceea ce credem că este cea mai importantă măsurătoare pentru balustradă pe care ar trebui să o aibă fiecare experiment: raportul de eșantion, apoi continuarea cu alte valori pentru balustradă și valorile pentru balustradă organizațională.

Raportul eșantionului = Într-un experiment controlat, raportul eșantionului este egal cu raportul de alocare a dimensiunii eșantionului între diferitele grupuri de testare: control și variante

O interpretare filozofică a metricii: Cele 5 Ws

Sumantha Shankaranarayana, fondatorul EndlessROI vede valorile diferit.

O altă abordare a valorilor vine de la Avinash Kaushik, evanghelist în marketing digital la Google.

Într-un număr recent al buletinului său informativ, The Marketing <> Analytics Intersect, el recomandă ignorarea valorilor vanitare precum aprecierile și adepții și zeii falși, cum ar fi vizualizările de pagină și „implicarea”.

În schimb, concentrați-vă pe microrezultate, cum ar fi înscrierile la buletine informative și ratele de finalizare a sarcinilor, macrorezultatele digitale, cum ar fi veniturile și veniturile din conversie, și valorile de impact, cum ar fi profitul și valoarea de viață.

O altă abordare a valorilor vine de la Simon Girardin de la Conversion Advocates:

Alegerea unor valori care fac diferența cu un arbore de drivere

Crearea unei strategii solide de valori se reduce la înțelegerea a ceea ce este un arbore de șoferi.

Un arbore de șoferi este o hartă a modului în care diferitele valori și pârghii dintr-o organizație se potrivesc. În partea stângă, aveți o valoare generală pe care doriți să o conduceți. Acesta este obiectivul final la care vrei să lucreze toate echipele.

Pe măsură ce vă deplasați spre dreapta, deveniți mai granular în ceea ce privește modul în care doriți să atingeți acest obiectiv. Fiecare ramură vă oferă un indicator al părților componente care alcătuiesc „ce” de deasupra lor.

Curtis Stanier, director de produs la Delivery Hero

Arborele driverului, atunci când este combinat cu valori, vă poate ajuta la identificarea potențialelor zone de oportunitate și vă poate ghida către soluție.

Curtis explică acest lucru cu un exemplu. De exemplu, dacă obiectivul dvs. este să creșteți numărul de înscrieri prin e-mail. Să presupunem că doar jumătate dintre clienți fac clic pe linkul de confirmare prin e-mail pe care le-ați trimis. Există două scenarii posibile aici: fie clienții nu primesc e-mailul, fie nu fac clic pe el. Acești factori pot avea diferiți factori de influență.

Când mapați fluxul procesului în arborele driverului, puteți ajunge la cauza principală. Poate că furnizorul de e-mail pe care îl utilizați are o rată de eroare de 10%, ceea ce înseamnă că e-mailul nu a fost trimis niciodată. Această problemă specifică devine o oportunitate de rezolvat pentru echipa ta.

Iată un exemplu specific oferit de Bhavik Patel, șeful departamentului de analiză a produselor la Hopin, pentru a ilustra modul în care puteți mapa un obiectiv, cum ar fi viteza de testare, adică numărul de teste efectuate la parametrii șoferului și a balustradei.

Urmați acești 3 pași pentru a vă porni programul de experimentare

1. Alegeți scopul programului dvs. de experimentare

Implicați-l pe HiPPO, alias C-suite, astfel încât să nu urmăriți o metrică a stelei nordice de care conducerea este dezinteresată. În caz contrar, programul dvs. de experimentare nu va vedea niciodată lumina zilei. Introduceți-vă oameni care înțeleg că marile probleme au nevoie de soluții inovatoare, nu de a fi în siguranță.

Ca regulă generală, Ben Labay spune că obiectivul pe termen lung al programului dumneavoastră de experimentare poate fi unul dintre trei lucruri – Venituri, Client sau Proces de experimentare .

De exemplu, Booking.com are calitatea experimentului ca valoare a stelei nordice. Iata de ce:

Ceea ce contează cu adevărat pentru noi nu este cât de multe decizii de produs sunt luate, nici cât de repede sunt luate deciziile, ci cât de bune sunt acele decizii.

Deși utilizarea experimentului ca parte a dezvoltării produselor și a luării deciziilor este o practică comună în zilele noastre, aceasta nu garantează, prin ea însăși, că sunt luate decizii bune. Executarea corectă a experimentelor poate fi dificilă, iar datele obținute dintr-un experiment sunt la fel de fiabile ca și execuția experimentului în sine. Derularea de experimente proaste este doar o modalitate foarte costisitoare și complicată de a lua decizii nesigure.

Christophe Perrin, Group Product Manager la Booking.com

2. Stabiliți un jurnal de valori acceptabile pentru Guardrail

Tim Mehta recomandă să aveți viteza de testare ca măsură de protecție cu o avertizare, adică numai dacă integritatea testului este bună sau îndeplinește standardul. Dacă nu rulați teste de calitate, orice măsurătoare pe care o alegeți ajunge să fie o măsurătoare vanitară.

La fel ca Tim, Ben Labay sugerează, de asemenea, să aveți viteza de testare împreună cu aceste alte valori ca un set de lucru de valori pentru balustradă:

3. Alegeți valorile driverului dvs. de la caz la caz

Nu toate valorile sunt valori bune. După ce a efectuat mii de teste A/B, Microsoft a identificat șase proprietăți cheie ale unei valori A/B bune:

1. Sensibilitate
2. De incredere
3. Eficienţă
4. Depanare
5. Interpretabilitate și acțiune
6. Incluziune și corectitudine

Puteți utiliza STEDII pentru a rafina valorile pentru a urmări și măsura modificările.

Max Bradley, Senior Web Optimization Manager la Zendesk, consideră că ar trebui să fii flexibil în ceea ce privește valorile driverului, astfel încât să poți gândi în interiorul sau în afara cutiei:

Am observat că câmpul de creare a subdomeniului (prezentat mai jos) a fost, de departe, cel mai dificil câmp de formular din fluxul nostru de înscriere de probă pentru vizitatori. Rata de abandon în acest domeniu a fost considerabil mai mare decât orice alt domeniu.

În mod esențial, am avut un sistem de urmărire care ne-a permis să analizăm performanța formularului în detaliu, în primul rând. Dacă sunteți la început, este puțin probabil ca acest nivel de urmărire să fie atins pe termen scurt, dar aș încuraja „să intrați în buruieni” cu urmărirea dvs. pe măsură ce timpul trece.

Când problema a fost identificată, am întreprins o varietate de pași pentru a determina abordarea pe care doream să o testăm. Ne-am uitat la ceea ce au făcut alte companii în cazul în care a fost implicat un subdomeniu, aș sugera să privim dincolo de concurenții dvs. aici. Am crezut că utilizatorul nu trebuie să se preocupe de crearea unui subdomeniu, acesta introduce o altă zonă pentru care utilizatorul să se oprească și să se gândească, crescându-și încărcătura cognitivă. Putem crea subdomeniul lor din numele companiei pe care l-au furnizat deja și ascunde câmpul subdomeniului de utilizatori.

Ne așteptam în mod firesc ca această modificare să crească numărul de utilizatori care se înscriu cu succes pentru o încercare, am putut estima creșterea așteptată datorită urmăririi menționate.

Cu toate acestea, ceea ce nu știam în acest moment era impactul general pe care îl va avea acest lucru asupra afacerii. Ne așteptam să vedem o creștere a conversiilor de încercare, dar s-ar traduce acest lucru până la final până la Win?

În plus, ascunzând câmpul subdomeniului și generând automat subdomeniul pentru utilizator, doream să ne asigurăm că nu transmitem pur și simplu această problemă într-o altă zonă a afacerii. Acest lucru a implicat implicarea de la început a sprijinirii clienților și a asistenței pentru clienți.

Domeniile principale pe care le credeam că ar fi importante în determinarea impactului acestui experiment au fost următoarele:

• Rata de probă de înregistrare pentru vizitatorii formularului
• Clienti potențiali, MQL-uri, oportunități și câștiguri
• Modificările făcute de utilizatori la numele subdomeniului în postarea de înregistrare a produsului
• Numărul de bilete primite de sprijinul clienților pentru modificările numelui subdomeniului.”

Pe baza obiectivului pe care îl alegeți și a modului în care vă abordați în mod constant șoferii, persoana dvs. de experimentare și traiectoria programului pot merge în câteva moduri diferite. Aruncă o privire la această diagramă de la Ben Labay:

Modele mentale: cum își aleg profesioniștii valorile în experimentele din lumea reală

Am rugat experților să ne prezinte un exemplu în care au văzut problema, au conceput ipoteza și apoi au ales valorile pentru măsurarea succesului și consolidarea învățării.

Iată ce au spus:

Ben Labay și Goal Mapping

Înțelegeți încotro merge afacerea și de ce.

Care este strategia de dezvoltare a afacerii? Crește cu 20% anul viitor prin achiziționarea de mai mulți utilizatori? Se vor concentra pe produse noi sau pe monetizarea bazei de utilizatori existente? Cu aceste informații știi unde să orientezi programul de optimizare, ar trebui să știi unde în pâlnie sau pe ce canale primare să te concentrezi.

Pentru multe companii de comerț electronic în 2021, a fost achiziționarea și conversia de noi utilizatori. La sfârșitul anului 2022, este centrat pe AOV, care se concentrează pe profitabilitate și eficiența achizițiilor.

• Cu SaaS, în ultimii câțiva ani, a existat un model de concentrare pe creșterea condusă de produse, deci o accent pe teste și integrare în special pentru segmentele de piață în jos.

Obțineți o înțelegere clară a comportamentului clienților (căderi, modele de navigare etc.) și a percepțiilor (motivații vs FUD, temeri, incertitudini și îndoieli).

Avem un model de date grozav în acest sens, ResearchXL, care nu numai că colectează date despre comportamente și percepții, dar transmite datele prin informații în perspective care construiesc o foaie de parcurs prioritizată.

Combinați pașii 2 și 3 și conectați temele de probleme/oportunități pe care le creați din cercetarea clienților la obiectivele de afaceri din harta arborelui obiectivelor.

Iată un prim plan al acelei hărți a arborelui obiectivelor, unde puteți vedea experimentele asociate cu o valoare a progresiei paginii de finalizare a achiziției, care a reprezentat un punct focal pentru acest client de comerț electronic:

Când am fost la Workato, am vrut să învățăm cât mai multe despre construirea unui tur interactiv al produsului. Având în vedere că nu aveam o versiune freemium, mulți potențiali au dorit să arate cum funcționează de fapt produsul.

Ceea ce speram să învățăm a determinat KPI-ul pentru fiecare experiment de aici.

Într-un experiment, am vrut doar să vedem dacă, spre deosebire de alte butoane de bază ale site-ului CTA, cum ar fi „cere demo”, oamenii au fost chiar interesați de conceptul unui tur al produsului. Acesta a fost un fel de test de „ușă vopsită”, deși de fapt am construit deja un tur minim de produs viabil. În acest experiment, doar am urmărit proporția de clicuri față de turul produsului și am folosit un experiment de non-inferioritate pentru clienții potențiali (pur și simplu nu am vrut ca aceștia să scadă).

Apoi, în optimizarea turului în sine, am folosit principalul KPI macro al ratei de conversie a site-ului web (clienți potențiali) și i-am segmentat pe cei care au făcut clic în turul produsului pentru a vedea dacă există și o corelație ridicată, precum și o îmbunătățire macro a KPI-ului nostru principal. .”

Cum a ajutat Deborah O' Malley la creșterea CTR

Valorile sunt adesea determinate de client. De obicei, sunt legate de venituri. Uneori, totuși, clienții doresc doar să sporească implicarea.

În acest exemplu, un client din sectorul educației a dorit să crească ratele de clic (CTR) de la o pagină care explică despre un program educațional la o pagină în care potențialii studenți ar putea afla mai multe despre program și pot aplica la acesta.

Pe baza unei analize bazate pe date, ipoteza a fost că există atât de multe informații concurente pe pagină, încât utilizatorii nu au fost clari cum să procedeze sau unde să facă clic pentru a afla mai multe.

În aplicarea cadrului în 5 pași descris mai sus, s-a decis că o fereastră pop-up formatată și programată optim, sau o notificare slide-in, ar funcționa cel mai bine pentru a informa vizitatorii unde să facă clic pentru a afla mai multe.

Prin urmare, au fost efectuate o serie de experimente pentru a determina formatul și momentul optim al unui pop-up de notificare. Au fost măsurate ratele de clic.

După cum arată aceste rezultate ale studiului de caz (testul 1, testul 2), optimizarea plasării și calendarului ferestrei pop-up a avut un impact extrem de pozitiv asupra conversiilor CTR.

Cu toate acestea, în timp ce rezultatele s-au dovedit pozitive, în cele din urmă, cererile depuse au fost măsura care a mutat cu adevărat acul pentru școală. Prin urmare, trebuie făcute teste suplimentare pentru a determina modalitatea optimă de a crește numărul de cereri.

Învățarea cheie din acest exemplu este că clienții au adesea o idee despre ceea ce doresc să îmbunătățească. În calitate de experimentator, treaba ta este să le îndeplinești așteptările, dar să mergi mai departe. CTR-urile crescute sunt bune. Dar urmăriți să creșteți conversiile mai adânc în canal. Împingeți cât de departe puteți în valorile finale ale canalului de câștig, cum ar fi aplicațiile finalizate sau finalizarea plății. Măsurați completările și cuantificați-vă succesul.

De ce Justin Christianson adaugă puncte de date secundare

Ne bazăm obiectivele pe obiective. Nu te poți gândi doar la vânzări și venituri. În general, valoarea noastră principală va fi atât conversiile vânzărilor, cât și RPV, dar asta nu oferă întotdeauna cea mai mare imagine a modului în care interacționează vizitatorii.

Pentru asta ne place să setăm puncte de date secundare, cum ar fi adăugarea în coș, clicurile pe elemente, vizitele pe anumite pagini, cum ar fi coșul sau finalizarea comenzii. Obiectivele secundare se modifica usor in functie de pagina sau de tipul testului. Uneori, vânzările și veniturile nu sunt ceea ce încercați să urmăriți în ceea ce privește rezultatul.

Ne folosim experimentarea pentru a ajuta cu adevărat să înțelegem ce le pasă vizitatorilor, ce elemente au greutate în UX-ul general, apoi construim strategia pe baza acestor rezultate. Ipoteza noastră pune, în general, întotdeauna întrebarea, de ce sau ce în situație. Ar putea fi ceva la fel de simplu ca mutarea unei secțiuni pe o pagină de pornire, atunci obiectivele noastre ar fi clicuri pe acea secțiune, vânzări, venituri, vizite pe paginile de produse. Atunci, modul de interpretare a datelor ar fi că, dacă vizitatorii au arătat o implicare mai mare prin mutarea secțiunii, atunci acea secțiune are greutate, prin urmare, vizitatorii preferă acea cale generală. Un exemplu în acest sens ar fi prezentarea unei defalcări a colecțiilor în comparație cu afișarea blocurilor de produse reale pe o pagină pentru un magazin de comerț electronic.

CXO: Apogeul învățării primului experiment?

Rata de conversie nu este o valoare vanitară. A devenit totuși un termen restrâns.

Annika Thompson, Director Servicii Clienți la Speero

Problema, explică Annika, nu este că CRO este neimportant, ci că vine cu o tonă de bagaje. Este doar un instantaneu în timp și fără context, poate fi irelevant și de-a dreptul periculos.

Pe de altă parte, CXO sau optimizarea experienței clienților se concentrează pe extragerea de informații de calitate despre preferințele și comportamentele clienților - hrănind totul, de la experimente de distrugere a blocurilor de conversie până la o strategie de afaceri robustă. Este doar mai mult pentru banii tăi de testare.