Aveți nevoie de un depozit de învățare de testare A/B pentru a rula experimente bazate pe experiență (spun experții)

Programul dvs. de testare simte că nu are structură sau impact?

Efectuați teste fără plan de atac și nu sunteți sigur ce să acordați prioritate sau unde să lucrați în continuare?

Poate te pierzi încercând să-ți amintești ce teste ai încercat înainte, ce a funcționat și ce a eșuat?

Sau poate tocmai v-ați alăturat unui program existent și nu aveți idee ce au rulat deja, cum a funcționat sau de unde să începeți?

Poate fi ușor să te pierzi în buruieni atunci când testează A/B, dar, din fericire, există o modalitate simplă de a rezolva toate acestea.

Am intervievat recent 5 CRO profesioniști și un lucru a fost imediat clar: dacă doriți să desfășurați experimente bazate pe experiență și să vă dezvoltați cultura de testare, trebuie să aveți un depozit centralizat de informații.

Ce este un depozit de învățare?

Mai simplu spus, este o locație unică pentru a stoca toate informațiile despre testele anterioare pe care le-ați efectuat.

• Pagina țintă,
• Ipoteza și ceea ce ați implementat,
• Elementele de testare și variantele,
• Rezultatele,
• Impactul său asupra unor valori importante etc.

Poate fi la fel de simplu ca un folder de pe un laptop sau un proiect Asana, dar un depozit de învățare este mult mai mult decât un sistem de arhivare glorificat...

Un „depozit de învățare prin experimente” permite întreprinderilor mai largi și părților interesate să vadă ce experimente au fost efectuate până în prezent și ce învățăminte au fost obținute. Depozitul oferă cititorului posibilitatea de a consuma conținutul la timpul și viteza propriu, ceea ce este important într-o afacere globală.

– Max Bradley, Gestionarea experimentelor web la Zendesk

Acest lucru înseamnă acces ușor la întreaga echipă a tuturor testelor tale anterioare, ceea ce te poate ajuta de fapt să construiești acea cultură de testare.

Cum?

Cu cât mai mulți oameni sunt implicați în testarea și văd testele rulate, cu atât mai repede adoptă mentalitatea.

Văzând ce teste au fost deja executate și rezultatele acestora, poate stârni idei și unghiuri noi pentru oricine are acces la aceste informații. Acest lucru poate duce apoi la un aha! moment în diferite zone ale companiei în afara echipei de testare, pe care apoi le pot testa singuri sau le pot prezenta echipei de testare.

De exemplu, dacă departamentul de reclame plătite a identificat limbajul cel mai eficient care a primit o creștere în testele de pagină, atunci ar putea dori să încerce acest lucru în textul publicitar, căutarea plătită sau rețelele sociale, deoarece rezonează în mod clar cu publicul.

Nu numai că accesul la testele anterioare deschide idei noi pentru membrii echipei externe, dar reduce și timpul petrecut încercând să găsească informații importante.

Totuși, există mai mult la un depozit de învățare decât acces la întreaga companie și economisire de timp:

Învățările sunt principiul de bază al construirii de produse semnificative și eficiente, iar singura modalitate de a colecta învățări semnificative și validate este derularea experimentelor și colectarea tuturor acestor învățăminte într-un depozit central. Învățăturile din acest depozit pot fi folosite în multe exerciții, cum ar fi, de exemplu: arbori de oportunitati/soluții, în care lucrați pentru un anumit obiectiv de utilizator cu mai multe abordări diferite ale soluțiilor.

Cheia derulării experimentelor bazate pe experiență este de a avea un depozit central accesibil, structurat, care poate fi căutat și actualizat/gestionat corespunzător. A face acest lucru într-un mod de succes poate avea un efect exponenţial asupra productivităţii şi calităţii rezultatelor generale ale programului de experimentare .

– Matthias Mandiau, Specialist în experimentare și analiză de date la H&M Group

După cum spune Matthias, cu cât ne putem înțelege mai mult publicul, cu atât mai bine le putem oferi produse și servicii.

Este posibil să nu obținem informațiile imediat, dar ne poate pune pe calea cea bună și, de acolo, ne putem îmbunătăți și mai mult și să oferim cea mai bună experiență de produs și de utilizator.

Mai bine?

Continuarea să învățăm și să gestionăm rezultatele testelor noastre ne poate ajuta să evităm greșelile costisitoare...

Ați efectuat experimente, acum evitați aceste greșeli

A avea un loc pentru a stoca și a accesa datele din trecut este grozav, dar nu este singurul beneficiu.

De fapt, în timpul interviurilor noastre, am găsit o serie de greșeli comune ale programului de testare despre care se vorbește din nou și din nou - aproape toate au fost rectificate prin existența unui depozit de învățare.

Nerespectarea datelor „scusitoare” ale companiei

Unul dintre cele mai convingătoare argumente pentru un depozit de învățare este simplul fapt că toate datele din teste sunt proprietatea companiei.

Petreci timp și bani prețios culegând acele date. Ultimul lucru pe care vrei să-l faci este să nu-l păstrezi sau să-l folosești sau, mai rău, să nu te mai întorci niciodată la el pentru a te ajuta să planifici noi teste și să înveți din cele trecute:

De ce să investești atât de mulți bani într-un program de experimentare când rezultatul major al acestuia (învățăturile) nu este luat în considerare?

O privire de ansamblu bună este esențială pentru a înțelege la ce sa lucrat deja, la ce ar trebui să se concentreze acum și la ce ar trebui să se lucreze în curând. Tot așa cunoștințele nu depind de oameni, pentru că oamenii vin și pleacă în companii.

În plus, permite o mai bună partajare a cunoștințelor, o mai bună integrare, pregătirea unor cazuri de afaceri mai bune, o cercetare mai bună...

– Matthias Mandiau

Având o vedere la o milă înaltă a programului dvs. de testare, vă poate ajuta nu numai să testați mai bine, ci și să pregătiți personal nou sau chiar lideri de echipă. (Și ocoliți problema pierderii tuturor informațiilor când managerul CRO părăsește compania).

Cum?

Ei bine, acum noii membri pot vedea ce s-a încercat înainte, ce a funcționat și poate ce a avut potențialul de a funcționa, dar nu a fost implementat corect sau ar putea fi repetat în continuare...

Pierderea dezvoltării unui „instinct intestinal” la nivel de companie, care este informat pe experiență (și date)

Nu e nimic rău în a-ți folosi instinctul pentru a veni cu idei de testare. Uneori pur și simplu aveți o intuiție din date sau experiențe care vă pot ajuta să vă formați o ipoteză și să obțineți un test inițial finalizat.

Cu toate acestea, trebuie să aveți grijă să vă bazați mereu pe acest instinct intestinal și să nu acordați atenție cercetărilor și datelor.

Un lucru pe care îl spun echipei mele (la Bouqs) este... când nu ai date (învățare înregistrată/artefacte din testare), trebuie să iei decizii bazate fie pe instinctul tău, fie pe instinctul părților interesate. O bază de date de învățare creează un
intestin pentru noi toți pe care îl putem folosi ca un control intestinal, dar unul care nu este doar al nostru sau părtinitor.

– Natalia Contreras-Brown, VP of Product Management la The Bouqs

Cele mai mari companii cu cele mai mature programe CRO sunt aproape toate bazate pe date. Ei fac alegeri pe baza a ceea ce datele le spun că este cel mai important și de multe ori de aceea devin lideri de piață.

Nu vă faceți vinovați de testarea doar pe alegeri și opinii instincte și nu vă concentrați numai pe valori. Fă-ți timp pentru a găsi informațiile contextuale din fiecare rezultat al testului. Urmărește informațiile și, cel mai important, urmărește și salvează ceea ce s-a întâmplat și de ce crezi că s-a întâmplat, astfel încât să nu faci greșeala de a uita ce ai încercat și de ce a funcționat.

Repetarea testelor care au fost efectuate înainte

Am sugerat deja acest lucru, dar fără a urmări ceea ce faceți, devine foarte ușor fie să reluați o idee de testare pe care ați încercat-o deja, fie să pierdeți o idee de testare pentru că credeți că a fost deja rulată.

Un depozit de învățare ajută la evitarea rulării din nou a experimentelor care au fost efectuate anterior. De asemenea, reduce timpul petrecut cu răspunsul la întrebările privind rezultatele și învățările de la părțile interesate pentru echipa de experimentare.

– Max Bradley

Fii amabil cu tine și cu viitoarea ta echipă și ține o evidență a ceea ce ai făcut și toate detaliile fiecărui test.

S-ar putea să doriți să rulați ceva similar, dar fără detaliile despre ceea ce ați încercat înainte, poate fi ușor să pierdeți sau să petreceți încă 30 de zile pentru a obține date pe care ar fi trebuit să le salvați.

Comunicare slabă sau lipsă de acces la informație

Una dintre cele mai mari diferențe dintre echipele CRO mature este capacitatea lor de a comunica sau de a accesa informații rapid și ușor. Nu doar prin ușurința accesului, ci și prin cât de eficient pot furniza informațiile potrivite.

Având un depozit de învățare bine documentat și organizat, poate reduce barierele de comunicare și poate ajuta chiar să nu marginalizați fluxurile de lucru de testare, în timp ce căutați informații și puneți lucrurile în pauză.

(Un depozit de experimentare) este un sistem de management al cunoștințelor care deține toate datele într-un grad detaliat și este accesibil de către echipă în general, dar cel mai important facilitează artefactele de comunicare (stratul de comunicații) care urmează să fie produse pentru persoanele potrivite în formatul potrivit la la fix.

Este „stratul de date” din fluxul de lucru de testare, așa cum se vede aici:

– Ben Labay, Managing Director / CRO & Experimentation @ Speero by CXL

Lăsând învățarea (și banii) pe masă

Nu uitați că majoritatea testelor eșuează. Doar prin iterare și prin învățarea din testele anterioare vă îmbunătățiți și obțineți acele câștiguri care afectează rentabilitatea investiției.

Fără a ține o evidență a ceea ce ai alergat și unde ai fost, devine foarte greu să mergi înainte și să vezi progrese sau chiar să te simți încrezător în procesul tău de testare.

Stefan Thomke a spus bine că „în ciuda faptului că sunt inundați de informații care vin din toate direcțiile, managerii de astăzi operează într-o lume incertă în care le lipsesc datele potrivite pentru a informa deciziile strategice și tactice”. Experimentarea validează și validarea ne ajută să învățăm . Este esențial să strângem acele învățăminte într-un depozit care este ușor accesibil pentru a revizui acele învățăminte pentru decizii viitoare.

– David Mannheim, VP CRO, BrainLabs

Iată o reprezentare vizuală a procesului ideal de la Ruben de Boer:

Învățarea și îmbunătățirea din fiecare test pe care îl rulați este incredibil de important. Nu numai că este direct legat de succesul viitoarelor teste, dar vă poate ajuta chiar să extindeți câștigurile actuale în alte domenii sau chiar alte site-uri.

Aproape orice alt experiment pe care îl desfășurăm la H&M în echipa noastră de produse este susținut de o învățare documentată a unui experiment anterior sau a unei alte metodologii de cercetare.

– Matthias Mandiau

Acest obicei de a învăța și de a reitera apare din nou și din nou cu aproape toți cei pe care i-am intervievat.

La Brainlabs, aproximativ 40-50% dintre experimentele noastre pentru Flannels, un cunoscut magazin de îmbrăcăminte pentru bărbați, au fost iterații unul de altul. Acest lucru a demonstrat puterea învățărilor în cadrul unui singur experiment și modul în care acesta poate evolua în altceva; pentru că învățăm mereu din modul în care stimulul practic poate afecta o variabilă .

– David Mannheim

Să vă mai dăm un exemplu.

Să presupunem că aveți o pagină de captare a clienților potențiali și aspectul pe care îl utilizați funcționează bine pentru o singură pagină. Puteți apoi să-l adaptați altora de pe site-ul dvs. pentru a vedea dacă crește și acolo.

Ce se întâmplă dacă ești o agenție cu mai mulți clienți în nișe similare?

Perspectivele și câștigurile de la o companie ar putea duce la idei și modele care pot funcționa și pentru ceilalți clienți...

Ceea ce a funcționat odată, are șanse mari să nu fi fost încă exploatat pe deplin:

• Poate funcționa din nou cu o intensitate mai mare (pentru același client)
• Poate funcționa din nou în altă parte (pentru același client)
• Poate funcționa din nou pentru cineva complet diferit

Cu alte cuvinte, victoriile trecute au un potențial predictiv care poate accelera optimizarea (mai multe victorii, o probabilitate mai mare de succes, o magnitudine mai mare a efectelor).

– Jakub Linowski, GOODUI.org

Drip Agency a făcut exact acest lucru cu 2 dintre clienții lor.

Ei au luat modele câștigătoare de aspect de pagină de la un client, apoi le-au testat pe altul pentru a crește imediat numărul de conversii.

GoodUI a făcut ceva similar. Au luat idei și informații câștigătoare de la un client și le-au folosit ca bază pentru a testa alte pagini de pe site.

Acest lucru le-a adus o creștere cu 42% a conversiilor!

Apoi au făcut un pas mai departe.

În loc să implementeze doar modele câștigătoare pentru un singur client, au realizat un studiu de caz pentru a vedea dacă puteți prezice teste câștigătoare pe baza campaniilor anterioare pe mai multe site-uri web.

Teoria este că anumite modele UX pot funcționa în alte industrii.

Prin urmare, au efectuat 51 de teste folosind modele de design câștigătoare anterioare și au obținut o rată de succes de 71% atunci când au folosit câștigători anteriori pentru a ajuta la proiectarea de noi teste pe alte site-uri.

Destul de misto, nu?

Ei bine, iată un alt motiv pentru care un depozit de învățare este atât de util și acesta este motivul pentru care testerii buni se uită la câștigătorii din trecut.

Dacă vă gândiți bine, GoodUI este practic un tip de depozit de învățare, în sensul că este o bază de date cu teste și câștigători din trecut pe mai multe site-uri și industrii.

Ideea este că ei vor vedea adesea modele reutilizate pe alte site-uri și vor observa că anumite modele vor oferi lifting. Poate altcineva a efectuat testul, dar a funcționat etc.

Fiind cookie-urile inteligente care sunt, GoodUI folosește aceste modele particulare ca sursă de inspirație pentru testele care urmează să fie rulate pentru clienți noi...

Și are sens, nu? Odată ce ați rezolvat problemele tehnice și ați decis asupra unei pagini de testat, nu strica să vă uitați la elementele de testare anterioare de pe pagini similare și la ceea ce a funcționat.

Puteți folosi alte site-uri pentru inspirație atunci când începeți, dar toți experții sunt de acord. Trebuie să începeți să vă construiți propriul depozit cât mai curând posibil.

Investește într-un depozit de experimente

Jakub Linowski a spus pe LinkedIn că, dacă te uiți la profesii precum medici, ingineri, sportivi și armata, ai vedea că majoritatea succeselor și creșterii lor se bazează pe învățăturile pe care le-au generat din experimentele trecute.

Cu această imagine mentală, vă puteți imagina cât de repede poate crește câmpul CRO în ansamblu, atunci când experimentele nu trebuie întotdeauna să înceapă de la nivelul 0. Dar fără un depozit de învățare, acesta este exact cazul.

Și multe echipe CRO interne sunt vinovate de acest lucru.

Dacă aduci această idee mai aproape de casă, este clar că construirea pe ceea ce știi deja este o modalitate solidă de a amplifica eforturile programului tău de experimentare.

Depozit = șansă mai mare de succes a experimentului

Numai atunci când ai mentalitatea testelor de învățare (și a testelor trecute) prețuiești cu adevărat ceea ce oferă experimentarea, adică o idee despre ceea ce funcționează și ce nu, dat fiind contextul și circumstanțele.

20 de „decizii bune” în UX, UI, produs, marketing (mulțumită experimentării) pot ajuta la flexibilizarea mușchilor de luare a deciziilor și la ascuțirea instinctului. Cu cât vă vedeți mai mult opiniile doborâte sau validate, cu atât aveți mai multă o busolă pentru a afla ce funcționează și de ce are nevoie publicul.

Cei care testează de dragul ratelor de conversie ratează această imagine de ansamblu. Este vorba despre a afla de ce are nevoie publicul tău, și nu despre a avea dreptate.

Să vă arătăm cum:

Cum să vă structurați depozitul de învățare

Un depozit de învățare este menit să elimine silozurile de date, să stimuleze colaborarea și să consolideze comunicarea.

Dacă al tău nu este structurat corespunzător, va fi extrem de dificil să îndeplinești acele cerințe de bază. Dar lucrul cu structurarea depozitului de învățare este că există opțiuni. Ele lucrează diferit pentru diferite organizații.

Aceasta nu este o problemă, deoarece vă vom descrie cele 3 modele și apoi vă puteți imagina care s-ar alinia perfect cu echipa, departamentul sau organizația dvs. Și mai bine, experții recomandă un model specific.

Se pare că există un câștigător în ceea ce privește structura echipei de experimentare: Centrul de excelență.

1. Un Centru de Excelență (CoE) permite și echipează echipe de experimentare specifice departamentului

În acest model, echipa de experimentare este CoE pentru întregul program de experimentare al organizației.

Deci, ei sunt un fel de concierge pentru oricine din alte departamente care vrea să facă experimente. Treci prin ele și te ajută să-l instalezi.

Apoi, ei supraveghează integritatea acestor experimente și mențin totul aliniat cu obiectivele largi de experimentare ale organizației.

Structurarea în acest fel astăzi va elimina problemele de downline mâine. Deoarece totul este menținut pe aceeași pistă, ușor de monitorizat și construirea unui depozit de învățare în acest fel este ușor de coordonat.

Provocarea majoră aici este că nu ar fi la fel de accesibil ca un model descentralizat.

2. Unitățile descentralizate stau în diferite departamente și îi atrag pe toți

Unitățile descentralizate sunt în diferite departamente și execută testele propriu-zise. Aceasta este o strategie grozavă, deoarece au cele mai multe cunoștințe despre propriile bucle și valori de creștere, așa că sunt în cea mai bună poziție pentru a proiecta și executa experimente cu impact mare.

În acest model, toată lumea poate rula teste - indiferent de departamentul și nivelul de experiență în experimentare. Atunci când este combinat cu CoE, atrage câțiva admiratori...

Sunt un mare fan al experimentării descentralizate, lucrând alături de un centru de excelență pentru controlul calității și evanghelizarea testării AB. Din experiența mea, aceste structuri funcționează cel mai bine pentru acele culturi care îmbrățișează cu adevărat puterea experimentării. În ceea ce privește un depozit de învățare, acesta ar trebui să urmeze exemplul; membrii echipei ar trebui să fie împuterniciți să efectueze experimente și să evidențieze învățările din roadele muncii lor .

– David Mannheim

Responsabilitatea menținerii depozitului de învățare urmează astfel și ea.

3. Gestionat de o singură persoană pentru a colecta și menține învățăturile de experimentare

Cu toate acestea, spre deosebire de modelul CoE singur, depozitul de învățare al modelului descentralizat este mai greu de coordonat.

Ajută să aveți un rol desemnat care este responsabil pentru documentarea și menținerea învățării. Și este ceva benefic în asta:

Gestionat de managerul de program/proiect (ține evidența) și strategul principal de testare (care introduce „povestirile), dar dacă este făcut corect, poate avea intrări în toate etapele, deoarece intrările vin sub formă de intrări de formular, cum ar fi formulare de emisiune, noi instrumente de urmărire a campaniilor, idei noi de soluții de testare etc.

– Ben Labay , Managing Director / CRO & Experimentation @ Speero by CXL

Matthias Mandiau este de acord cu Ben.

Prefer un hibrid între centralizat/descentralizat:

Depozitul trebuie să fie întotdeauna accesibil (cloud).

Necesitatea de a putea combina diferite metodologii de cercetare pentru a crea ipoteze puternice.

Configurarea și gestionarea depozitului și proprietatea ar trebui să fie cu o singură echipă/manager (centralizat). Bun pentru a urmări KPI-ul de performanță macro-experiment la nivel central.

Fiecare echipă de produs care lucrează cu experimentare ar trebui să aibă o parte interesată (analist de date/CRO) care are responsabilitatea de a avea grijă adecvată de toate învățările colectate care sunt încărcate în formatul potrivit în depozitul central. De asemenea, este bine să urmăriți KPI-ul performanței micro-experimentelor la nivel de echipa de produs în cadrul echipei descentralizate. Ar putea fi un tablou de bord care este conectat la GA sau la depozit, de exemplu .

La Zendesk, un manager este responsabil de întreținerea depozitului, dar intrările provin de la „proprietarii testului”:

În prezent, depozitul este gestionat de o echipă din cadrul afacerii, o persoană care deține proprietatea generală asupra acestuia. „Deținătorii” testului sunt rugați să adauge învățările după finalizarea testului în zona respectivă a depozitului.

– Max Bradley

Și așa o persoană (sau o echipă mică) care gestionează un model de tip descentralizat poate menține depozitul de învățare prin experimentare eficient și asigurat de calitate.

Este asemănător cu ceea ce face GoodUI – bazându-se pe învățările din toate domeniile și clienții pentru a crea o resursă excelentă de informații despre experimentare.

Deci, chiar dacă nu aveți încă un depozit de învățare, aveți o mulțime de cunoștințe din care să vă extrageți. Planurile Convert vin cu un abonament cu reducere GoodUI.

Cum să-ți documentezi învățările

La fel ca orice sistem de arhivare organizat, depozitul dvs. de învățare nu poate fi un loc pentru a descărca datele. Trebuie să existe un mod clar și adecvat de a documenta învățările, astfel încât să fie util pentru toată lumea.

Acest lucru va însemna o reprezentare vizuală intuitivă a datelor, povești de date fără jargon și o metodă ușoară de a localiza teste specifice atunci când este necesar.

Iată cum.

Capturați și înregistrați toate metadatele din teste

Primul pas evident este colectarea datelor din teste. Dar ce date colectezi? Este ușor să spui că colectezi totul, dar asta poate deveni cu ușurință copleșitor – și descurajator.

Deci, care sunt datele de inclus în depozitul dvs. de experimente?

Sunt metadatele complete ale unui concept de testare. Și ar trebui să urmărească în primul rând intrările pe baza întrebărilor care trebuie adresate, care sunt standard în categorii:

• Tipuri de teste
• Pagini
• Puncte de atingere
• Publicul
• Suprafețele de creștere

Dar nu este standard în cadrul acestor categorii, de exemplu, publicul va diferi în funcție de companie, dar toate companiile vor testa pe diferite segmente de public.

– Ben Labay

Și cum arată asta?

Să explorăm fiecare dintre aceste categorii, astfel încât să obțineți o imagine mai clară:

• Tipuri de teste

Ce fel de test a fost? Test A/B? MVT? Teste A/B/n?

• Pagini

Aici specificați pagina sau paginile de pe site-ul dvs. unde a avut loc testul. Este pagina de start? O pagină de produs anume? Pagina de prețuri a mărcii dvs. SaaS?

• Puncte de atingere

Punctele de contact sunt zone din călătoria clienților dvs. în care aceștia interacționează cu marca dvs. Acesta ar putea fi un anunț, un catalog de produse, o postare pe blog, e-mailuri de marketing, aplicația dvs. etc.

• Publicul

Care este publicul tău țintă pentru test? Vrești anumite segmente pe baza unor criterii? Date comportamentale? Goluri? Sursa vizitatorilor? Geolocalizare? Sau toate sunt alese aleatoriu?

• Suprafețele de creștere

Aceasta se referă la o interacțiune sau o funcție care încurajează utilizatorii să rămână pe site-ul dvs. sau să aprofundeze relația lor cu marca dvs. Deci, este un fel de cârlig care crește valoarea fiecărui vizitator. Aceasta poate fi o ofertă de probă gratuită sau o demonstrație.

Pentru a vă îmbogăți metadatele, doriți să includeți și:

• Datele
• URL/Regex
• Iterație la testul anterior — link la un test anterior care stă la baza testului despre care raportați.

Și sigilați acest lucru cu informații mai de impact. Include…

• Capturi de ecran pentru A și B
• Izolat sau nu (număr de modificări)
• % de impact cu intervale de încredere
• Tip metric

– Jakub Linowski

Cu cât mai mult, cu atât mai bine. Dar păstrați-l relevant și util.

Iată un alt exemplu de la Max Bradley de la Zendesk:

Pentru un raport de urmărire de bază sau un depozit, raportul Convert îți va arăta, de asemenea, câștigătorul și pentru ce ai testat.

Respectați diferitele stiluri de învățare, păstrând în același timp informațiile

Trebuie să apelați la diferitele moduri în care oamenii preferă să consume informații atunci când stochează datele de experimentare.

Sunt anumite lucruri de care trebuie să ții cont atunci când faci asta...

Am încercat o mulțime de metode diferite. În calitate de agenție, avem de-a face cu mai multe părți interesate diferite din afaceri diferite la un moment dat. Aici constă provocarea – oamenii preiau cunoștințe și învață diferit. Sunt elevi vizuali, auditivi sau kinestezici? Unde sunt pe cheia Myers-Briggs? Cum să comunicați cu părțile interesate este aproape la fel de important ca și conținutul în care comunicați. Din experiența mea, am învățat că un depozit de învățare ar trebui să fie două lucruri pentru a reuși:

• Tematică și memorată, astfel încât să fie ușor de filtrat
• Succint pentru învățăminte care pot fi scanate.

– David Mannheim

Puteți furniza cât mai multe informații despre experimentul raportat. Și faceți acest lucru în diferite formate. De aceea ai nevoie de capturi de ecran, înregistrări video și o poveste pentru a da context tuturor numerelor.

Nu uitați să -l păstrați relevant, concis și care poate fi scanat .

Etichetați-vă testele pentru a maximiza învățările

Etichetarea testelor face ca totul să fie ușor de accesat.

De asemenea, vă ajută să înțelegeți dintr-o privire scopul unui test.

Dacă depozitul dvs. crește constant, într-o zi, veți avea mii de teste înregistrate și sute de oameni îl vor folosi pentru a trece idei, a extrage informații și a informa deciziile.

Învățăturile vor fi mai utile dacă oamenii își pot face o idee despre poziția fiecărui test în spectrul de soluții al organizației dvs.

Cum să-ți comunici învățările pentru un efect maxim

Depozitul tău de învățare va aduce beneficii programului tău de experimentare doar atunci când oamenii îl folosesc efectiv.

Deci, pe lângă faptul că îl faceți accesibil, prezentați-l restului echipei și organizației dvs. într-un mod care să aibă sens și să trezească interes pentru experimentare.

Dar cum faci asta? Acestea sunt numere și câțiva termeni specifici industriei care ar putea fi înțeleși greșit. Cum îi faci pe oameni din diverse discipline să aprecieze învățările pe care le-ai adunat?

Comunicarea testelor A/B poate fi dificilă, dar dacă urmați acești pași, veți doborî acele bariere și veți profita la maximum de depozitul dvs. de învățare.

Fă din asta un obicei

În primul rând, dacă experimentarea este un concept străin în cazul în care vă aflați, a face un obicei din a parcurge învățările poate dura ceva timp. Așadar, ai puțină răbdare cu tine în această călătorie.

Misiunea ta aici este să faci din această parte a activităților tale obișnuite săptămânale. Ar putea face parte din partea de inspirație a brainstormingului sau un joc pe care îl jucați pentru a încheia întâlnirile. De exemplu, propria ta versiune a „ce test a câștigat?”

Face parte din imaginea grandioasă a construirii unei culturi în care experimentarea este o normă...

Fă-ți un obicei din a parcurge învățările împreună cu echipa într-un mod consistent, distractiv și inspirator. Trebuie să facă parte din afacere, ca de obicei. Cel puțin o dată pe săptămână ar trebui să existe o întâlnire pentru a analiza ipoteze și rezultatele experimentelor. Fiecare sprint ar trebui să conțină cel puțin 1 sau 2 experimente și transformarea experimentului într-un obicei creează o cultură pozitivă.

– Matthias Mandiau

Pe lângă faptul că îl prezintă în întâlnirile de echipă, testele de depozit sunt, de asemenea, foarte ușor de partajat în buletinele informative de învățare. Obișnuința de a le adăuga aici facilitează adoptarea experimentelor pe tot site-ul.

Fii umil și transparent pentru a construi încredere

Poate părea cool să convingi oamenii că experimentarea are toate răspunsurile, dar asta va induce în eroare. Ajută-ți colegii să înțeleagă cum funcționează totul, ce reprezintă numerele și cât de multă încredere poți avea într-o anumită perspectivă pe care ai desenat-o.

Nu prezentați perspective ca și cum ar veni cu o siguranță 100%. În schimb, arătați-le că acesta este unul dintre cele mai bune modalități prin care puteți lua decizii, spre deosebire de „sentiment” și cele mai bune practici.

Făcând invers, îi va face să-și piardă încrederea în depozitul de învățare pe care l-ați construit și ar putea fi abandonat pentru a aduna praf.

Iată câteva sfaturi de la Ben Labay de la Speero despre cum să comunici rezultatele:

Nu ascunde testele pierdute. În schimb, folosiți asta ca o oportunitate de a arăta beneficiul dublu al testării.

Dacă ai câștigat, ai obținut o perspectivă asupra a ceea ce funcționează. Dacă a pierdut, ați învățat ce nu funcționează, astfel încât să evitați să faceți o schimbare care afectează valorile cheie.

În ambele cazuri, ați învățat despre ceva ce poate fi îmbunătățit.

Când prezentați, structurați-o într-o poveste care arată aplicarea în lumea reală a perspectivelor și invitați părțile interesate să participe la scrierea poveștii, exact așa cum face Max:

Prezentăm cele mai recente învățăminte bi-săptămânale echipei noastre mai largi și lunar companiei mai largi. Încercăm să fim cât mai transparenți, prezentând teste care au pierdut la fel de mult ca și cele care au câștigat. În plus, cerem tuturor recenzenților să-și trimită ideile sau să pună orice întrebări pe care le au pe canalul nostru dedicat Slack. Acolo unde este posibil, căutăm să demonstrăm beneficiul în termeni reali, pe lângă creșterea procentuală, acest lucru îl face mai impactant pentru cititori.

– Max Bradley

Nu opriți învățarea, implicați-i pe toți

Experimentarea nu este doar pentru echipele de marketing, optimizare, producție și/sau creștere. A fi o organizație bazată pe date înseamnă saturați cea mai mare parte a proceselor de luare a deciziilor cu informații extrase din teste bine făcute.

Și depozitul tău de învățare se află chiar în mijlocul întregii misiuni.

Deci, aduceți-i pe toți la bord.

Da, oamenii vor avea diferite niveluri de experiență în domeniu, dar nu lăsați acest lucru să rănească programul. Atâta timp cât fiecare echipă are pe cineva sau oameni cu o experiență mai profundă în experimentare, ai ceva de mers.

Este, de asemenea, încurajator să ai în echipă unii oameni care sunt mai familiarizați cu experimentarea și unii care au mai puțină experiență cu ea. A avea cel puțin 2 sau 3 oameni în echipă care au experiență în experimentare face o mare diferență .

– Matthias Mandiau

Influența se răspândește în mod natural în acest fel.

Investește într-o pereche proaspătă de ochi și polenizare încrucișată de idei

Uneori, o perspectivă diferită îți va oferi idei la care nu te-ai gândit. Așadar, nu lăsați învățăturile voastre de experimentare să se odihnească într-un balon.

Fiți dispus să îl împărtășiți cu alți experți din domeniul dvs. și să vedeți ce puteți învăța din feedback-ul lor.

Poate că există ceva care nu a funcționat pe un segment de clienți, dar există o versiune ușor diferită a acestuia care poate funcționa pentru altul?

Sau poate ați dat peste ceva despre care toată lumea dezbate și acum vă puteți alătura conversației pentru a afla mai multe?

Veți fi încântat de ceea ce puteți descoperi atunci când implicați alți experți CRO. Chiar și apelurile de coaching pot face parte din strategia ta pentru a obține un alt punct de vedere.

Coaching – www.goodui.org/coaching – unul sau două apeluri lunare cu echipele de experimentare pentru a: revizui planurile de testare, oferi feedback cu privire la design-urile testelor și evidențiază ceea ce a funcționat pentru alții.
– Jakub Linowski

Faceți învățarea accesibilă

Unii oameni folosesc Notion, alții folosesc Google Slides, iar unii experți CRO sugerează utilizarea plăcilor Miro, dar scopul este același...

Comunicarea datelor și perspectivelor de testare cu restul echipei (sau cu orice altă parte interesată) pentru a vă asigura că învățările au suficientă acoperire.

Când utilizați acele instrumente online, cum ar fi Notion, Google Slides, Miro și orice alt pe care îl găsiți atrăgător pentru echipa dvs., faceți mai ușor să accesați depozitul de pe orice dispozitiv și de oriunde.

Acest lucru este grozav pentru echipele aflate la distanță și pentru a obține perechea de ochi proaspătă despre care am vorbit mai devreme.

Este portabil și poate fi partajat cu ușurință. Acum vă oferiți cu adevărat aripile experienței învățate pentru a avea un impact total.

Utilizați statistici pentru a planifica teste

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

Așa că haideți să dezvăluim totul...

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

Caracteristicile sale includ:

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• Progress reports
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

De ce?

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

Începeți depozitul din ziua 1. Începeți să educați părțile interesate că experimentarea înseamnă validare și învățare, nu neapărat bani. Cu cât demonstrezi mai mult „am învățat X din acest test” sau „Y din acel test”, cu atât vei fi mai aliniat tu și părțile interesate.

– David Mannheim

3. Construiți buy-in cu dovadă

Dacă nimeni sau doar câțiva oameni își documentează testele și împărtășesc informații între departamente, va trebui să arătați de ce toți ceilalți trebuie să se alăture efortului.

Demonstrarea cu succes a beneficiilor unui repo de învățare pentru suportul C-suites este doar primul pas. Următorul lucru pe care va trebui să-l faceți este să comunicați aceste beneficii și altor părți interesate.

Matthias a împărtășit o modalitate fantastică de a face asta:

Începe mic, slab și agil. Derulați experimente, colectați învățăminte și depuneți un efort bun pentru a le documenta. Faceți un raport decent după fiecare experiment și, de asemenea, trimiteți frecvent (lunar, trimestrial, anual). Concentrați-vă pe experimentele cu pești mari cu impact pozitiv și învățături puternice la început. Rezultatele pozitive îi motivează pe oameni să înceapă.

Odată ce ați adunat câteva învățăminte puternice cu impact, poate fi util să afișați rezultate negative și să explicați ce impact negativ ar fi avut dacă am implementat acest lucru fără experiment. Apoi explicați cât de importante sunt aceste învățături pentru afaceri și pentru luarea unor decizii mai bune despre produse.

4. Odată ce funcționează, începeți să căutați instrumente specifice (învățați și acționați mai întâi, cumpărați mai târziu)

Când ați configurat un depozit simplu pe Google Slides sau orice platformă gratuită pe care o alegeți și ați finalizat pașii 2 și 3, atunci puteți investi bani într-un instrument.

Nu săriți arma și pompați bani într-un depozit de învățare până nu sunteți sigur că există un ROI încurajator de realizat.

Concluzie

Dacă există o concluzie importantă pe care o obțineți din acest articol este că ar trebui să începeți să vedeți experiența învățată ca un bun al companiei. Acest activ vă va economisi timp și bani. Și va alimenta un program de optimizare mai bazat pe date în organizația dvs.

Nu rulați doar un test, obțineți un câștig sau eșuați și apoi grăbiți-vă la următoarea idee. Alocarea timpului pentru a comunica și a structura ceea ce ați descoperit în depozitul dvs. de învățare va oferi structura călătoriei dvs. de experimentare.

În plus, este cea mai simplă modalitate de a trece ștafeta, de a evalua impactul testelor și de a promova o cultură de experimentare interesantă.

Și cum începi să primești toate astea?

Faceți așa cum spun experții: începeți simplu.