Cum să conduci o întâlnire de experimentare care îți va transforma compania (și cum o fac la Workato)

În cea mai mare parte, urăsc întâlnirile.

Am spus-o de multe ori, în articole, tweet-uri și colegilor mei.

În principal, nu-mi place când oamenii folosesc întâlnirile ca o cârjă pentru a evita să-și desfășoare munca sau când oamenii conduc întrunirile prost și pierd timpul tuturor.

Dar, ca lider, recunosc importanța unor întâlniri. În special, în cazul meu, întâlnirea săptămânală de experimentare.

Așa este – piatra de temelie a programului de experimentare la Workato este doar o întâlnire. Nu facem standup-uri zilnice (le facem asincron pe Slack); în schimb, doar o întâlnire la începutul săptămânii cu alte artefacte și ritualuri presărate pentru a menține mașina în mișcare.

Acesta va fi primul și singurul meu articol care studiază în profunzime detaliile despre modul în care conduc această întâlnire, de ce o desfășoară în acest fel și cum o echilibrez cu alte instrumente ale programului de experimentare (cum ar fi e-mailurile, bazele de date de partajare a cunoștințelor și citirile).

Înainte de a vă prezenta procesele-verbale, aș dori să încep prin a pune o întrebare de nivel înalt – de ce să facem această întâlnire în primul rând?

Care este scopul unei întâlniri de echipă de experimentare?

Fiecare întâlnire are nevoie de un scop. Dacă nu are un scop, nu ar trebui să se întâmple.

Cele trei utilități ale întâlnirii mele săptămânale de experimentare sunt următoarele:

• Învățare și schimb de perspective
• Prioritizarea inițiativelor
• Identificarea și eliminarea blocajelor de proces

Aceasta înseamnă că eliminăm majoritatea celorlalte puncte de discuție care nu le oferă de la întâlnire.

Experimentarea este accelerată prin învățare

Când începi să construiești un program de experimentare, trebuie să faci munca grea de a pune bazele.

• Obținerea unui instrument de testare adecvat.
• Asigurându-vă că este integrat cu instrumentul dvs. de analiză și că urmăriți datele în mod corespunzător.
• Comunicarea cu directorii pentru a stabili așteptări adecvate pentru experimentare.

Totuși, odată ce începeți să scalați experimentarea, ceea ce învățați din fiecare experiment va acționa ca un potențator pentru restul programului dvs.

Pe măsură ce treceți de 5-10 experimente pe lună, cât de bine învățați de la câștigători, învinși și neconcludenți va afecta rata de succes a următorului lot de experimente pe care îl desfășurați. Și toate acestea ar trebui să fie esențiale în influențarea modului în care prioritizați foaia de parcurs.

Poate părea o pierdere de timp, dar nu este. Brian Balfour, fondatorul Reforge, subliniază, de asemenea, importanța învățării în desfășurarea unei întâlniri de creștere:

Așa că petrecem o mare parte a întâlnirii noastre mergând prin învățăminte și împărtășind perspective.

Acest lucru este util în special dacă întâlnirea dvs. este interfuncțională sau are membri din alte echipe la apel, deoarece obțineți adesea perspective pe care în mod normal nu le-ați avea.

De exemplu, deseori îi vom invita pe marketeri de produse la întâlnirea noastră de experimentare să apară și să împărtășească descoperirile recente din cercetările clienților sau să împărtășească schimbările narative strategice viitoare.

Lucrurile se schimbă; prioritizarea este agilă

În cadrul întâlnirii mele, vreau să clarific unde ne propunem, ce pași luăm pentru a ajunge acolo și cine este responsabil și responsabil pentru ce.

Aceasta este următoarea parte a întâlnirii.

Din ceea ce am învățat vine întrebarea „ce vom face în continuare?”

Experimentul nostru pe pagina de pornire a fost pierdut – deci ce am învățat și ce vom face în continuare?

O mulțime de prioritizări se face de fapt în mod asincron și trimestrial – cel puțin cele mai mari experimente și cele mai largi compartimente tematice ale proiectelor noastre.

Dar lăsăm mult spațiu pentru mici schimbări și iterații ale foii de parcurs bazate pe schimbări strategice și pe ceea ce am învățat din experimentele anterioare și folosim o parte a întâlnirii pentru a muta lucrurile pentru a reflecta acest lucru.

Identificarea și eliminarea blocajelor de proces

În cele din urmă, este important să descoperiți blocajele procesului, mai ales dacă vă aflați în faza de scalare a unui program de experimentare.

Acest lucru necesită gândire de sistem și este munca de bază a liderului de echipă sau a managerului de program. În mod eficient, va trebui să identificați și să măsurați fiecare pas al procesului de experimentare, de la idee până la producție.

Care pași durează cel mai mult timp, sau mai degrabă, mai mult decât se aștepta? Și cum puteți folosi această întâlnire săptămânală pentru a identifica acele întârzieri și decalaje, astfel încât să vă asigurați că restul procesului nu este prea afectat?

Aceasta este o parte critică a întâlnirii săptămânale și, mai mult, în general, pentru a vă menține trenul de experimentare pe șine.

Ce trebuie evitat în întâlnirile de experimentare

Vă puteți desfășura întâlnirile așa cum doriți, dar pentru întâlnirea săptămânală de experimentare a echipei, două lucruri tind să fie o pierdere masivă de timp.

• Extragerea de date ad-hoc sau solicitarea oricui să facă acest lucru
• Brainstorming nestructurat și ideație

Când extrageți date ad-hoc sau cereți cuiva să facă acest lucru, notați-o. Dacă solicitați în mod repetat câteva date, adăugați-le la lista de verificare a procesului. Nu ar trebui să fie ceva care apare la fiecare întâlnire (pierde mult timp și concentrare). Aici sunt utile tablourile de bord și rapoartele.

În ceea ce privește brainstormingul nestructurat, de fapt nu sunt un detestator al acestui lucru în general.

Dar există un timp și un loc și, de obicei, o metodă pentru nebunie.

Când petreceți o cantitate exagerată de timp lansând idei în timpul întâlnirii dvs. săptămânale, reduceți timpul petrecut identificând blocajele procesului și asigurându-vă că desfășurați experimentele potrivite.

Dacă apare o idee bună la întâmplare, e în regulă. Dacă se transformă într-o sesiune de brainstorming slab structurată, trebuie să puneți piciorul jos și să o luați offline.

Cum îmi conduc întâlnirile săptămânale ale echipei de experimentare

Bine, deci cum îmi conduc într-adevăr întâlnirea săptămânală a echipei de experimentare?

Va trebui să întâmpin câteva detalii despre experimentele reale pe care le desfășurăm și rezultatele, desigur, dar voi acoperi fiecare parte în cât mai multe detalii posibil.

Oamenii

În primul rând, oamenii care participă în fiecare săptămână fac parte din funcțiile de experimentare strategică de bază. Este un grup mic care include analiști, agenți de marketing de performanță, dezvoltatori web și manageri de produs. Managerul meu participă și el din când în când, dar nu la fiecare apel.

Am întâlniri separate cu echipa noastră de proiectare, deoarece acestea sunt un centru de excelență al companiei noastre.

Acești oameni participă în mod regulat, iar apoi invit „oaspeți” din când în când din echipe adiacente, cum ar fi design, marketing de marcă sau marketing de produs. De asemenea, pentru aceste apeluri pentru invitați, de obicei organizăm o sesiune separată, deoarece scopul acesteia este, de obicei, de a introduce idei noi, o mai bună comunicare în echipă sau de a face brainstorming.

Pentru a face acest lucru mai generic, în majoritatea cazurilor întâlnirea dvs. de experiment ar trebui să includă oameni care iau decizii cu privire la strategie și oameni care execută strategia respectivă. De obicei, acesta este:

• Lider / manager de program
• Manager de produs
• Dezvoltatori
• Designeri
• Analiștii

Programul

Conduc această întâlnire în fiecare luni la 15:00, ora Centrală. Luni dimineața sunt grozave pentru pregătirea și finalizarea lucrărilor în profunzime sau pentru a lega capetele în vrac din săptămâna precedentă. Până după-amiază, echipa este bine pregătită să discute despre săptămâna viitoare. Acest lucru ne permite, de asemenea, să știm cu toții la ce ar trebui să lucrăm și să stabilim prioritățile pe parcursul săptămânii.

Apoi, pe tot parcursul săptămânii, vom avea verificări asincrone și întâlniri 1:1 pentru a discuta detaliile despre ceea ce am decis că vom lucra în timpul întâlnirii echipei de luni.

Nu folosim o platformă de diapozitive în acest moment, dar este posibil să o încorporăm. Dacă acesta este cazul, voi păstra secțiunile individuale legate de limitele noastre de timp enumerate mai sus, iar pachetul va fi trimis vineri din săptămâna precedentă (cu scopul de a nu petrece mai mult de 20 de minute luni dimineața pentru a aduna secțiunea fiecărei persoane) . În prezent, parcurgem în principal baza noastră de date Airtable, pe care o folosim pentru managementul proiectelor.

Ordinea de zi

Iată agenda mea exactă:

Durata întâlnirii: 45 de minute

• Recuperare informală: 5-10 minute
• Învățături din experimente/cercetare încheiate: <10 minute
• Prioritizarea / îngrijirea restanțelor: <10 minute
• Identificarea blocajelor / blocantelor: restul timpului (10-15 minute)

Deja parcurgem fiecare dintre secțiunile de mai sus și scopul lor.

Vă voi oferi câteva instrumente și cadre care vă pot ajuta și cu fiecare dintre cele de mai sus.

Învățături din experimente / cercetări încheiate.

Principalul lucru de care aveți nevoie aici este un sistem de documentare bun.

Înainte ca un experiment să fie executat, am nevoie de completarea unui document de experiment cu următoarele secțiuni:

• fundal
• Obiectiv de învățare
• Ipoteză
• Predicție (care este diferită de o ipoteză).
• Design experiment (cuant și creativ)
• Urmărire (ce se întâmplă la încheiere)

Apoi, după derularea experimentului, se completează încă două secțiuni:

• Rezultate
• Învățăturile

Și în întâlnirea noastră, vom acoperi pe scurt rezultatele și vom acoperi mai profund secțiunea de învățare. Oricine a fost „proprietarul” experimentului este cel care prezintă învățăturile, iar apoi există o scurtă discuție despre cum le putem aplica. Uneori, aceasta înseamnă testarea la o scară mai largă sau pur și simplu scalarea învățării la experiențe similare. Uneori, aceasta înseamnă iterare într-un mod semnificativ.

Cele două instrumente alese în acest pas ar trebui să fie:

• Documentul experimentului (faceți clic aici pentru a-mi fura șablonul)
• Sistemul de partajare a cunoștințelor din experiment / Wiki

Prioritizarea / îngrijirea restanțelor: <10 minute

Există o dezbatere cu privire la utilitatea acestei părți, dar îmi place să o păstrez într-o discuție de grup, deoarece, spre deosebire de producția web simplă sau managementul produsului, experimentarea este supusă multor presiuni externe, blocanți și capricii.

De exemplu, este posibil să nu avem acceptarea pentru un experiment deosebit de mare pe care l-am planificat sau este posibil să avem un blocant din design. Dar vrem totuși să ne menținem cadența de testare, așa că, în acest caz, putem rămâne agili și putem avansa la o idee mai mică de efort din restanța.

În unele organizații, această luare a deciziei este pusă exclusiv pe seama liderului echipei de experimentare. Îmi place să deschid discuția către grup.

De ce?

În primul rând, nu vreau să zdrobesc echipa sub greutatea scorurilor mele de prioritizare. O parte din valoarea experimentării este în a învăța lucruri pe care nu te așteptai să le înveți și, permițând autonomie de prioritizare față de ceilalți din echipă, obținem idei pe care nu le-aș fi pus acolo. Acest lucru ajută, de asemenea, la îmbunătățirea comunicării și a raportului general al echipei.

În al doilea rând, oamenii sunt mai încântați să lucreze la lucrurile la care au ales să lucreze. Dacă încep să atribui toate ideile, limitez pasiunea pe care oamenii o pot simți pentru experimentele individuale (care, în multe privințe, limitează potențialul de câștig al experimentului).

Deci, în această secțiune, lucrăm practic din două instrumente:

• Kanban de management de proiect (folosim Airtable – iată un șablon grozav).
• Matricea de prioritizare (folosim PXL).

Identificarea blocajelor/blocantelor: restul timpului

În sfârșit, identificarea blocajelor.

Este greu. La început, face două lucruri:

• Găsirea modelelor în livrările întârziate
• Adresarea unei întrebări calitative și deschise echipei

În Airtable (pe care îmi pare rău să spun că nu îl pot partaja), am patru coloane în fiecare card:

• Design datorat
• Design livrat
• Dezvoltare datorată
• Dezvoltare livrată

Aceasta este în plus față de pașii Kanban pe care îi urmăm:

• Idee
• Document de experiment în curs
• Document de experiment în revizuire
• În dezvoltare
• Asigurarea calității
• QA și gata de lansare
• Alergare
• Încheiat
• Impins la productie

Acest lucru îmi permite să văd unde lucrurile sunt în întârziere. Dacă, de exemplu, am efectuat 10 teste, dar niciunul dintre ele nu a fost implementat, avem o problemă de producție. Sau poate că experimentele noastre se blochează în asigurarea calității și avem un număr de experimente gata de publicare care așteaptă să fie lansate.

În etapa de dezvoltare, vrem să vedem, de asemenea, dacă așteptăm proiectul sau dezvoltatorii să creeze experiența. Dacă rămânem în urmă în mod repetat, înseamnă că trebuie să refactorăm prioritățile acestor echipe sau potențial să creștem numărul de angajați.

Întrebările calitative sună așa:

• Are cineva nevoie de sprijin din partea mea săptămâna aceasta?
• Există potențiali blocanți pentru a ne îndeplini obiectivele în această săptămână?

Răspunsurile la acestea ar trebui să vă permită să remediați aceste blocaje pe termen scurt și, de asemenea, să identificați modele atunci când se repetă pentru a fi remediate pe termen lung.

Completarea golurilor: alte instrumente utile ale programului de experimentare

Întâlnirea echipei de experimentare nu este singurul instrument care ar trebui să fie în setul de instrumente al managerului dvs.

De fapt, cea mai mare greșeală pe care o văd că o fac managerii de experimentare este că încearcă să facă totul într-o singură întâlnire.

Mai degrabă, doriți să vă răspândiți ritualurile și artefactele, astfel încât să utilizați cel mai bun instrument pentru fiecare sarcină pe care doriți să o îndepliniți.

Întâlnirea echipei de experimentare realizează trei lucruri:

• Învățături și perspective
• Prioritizarea și repartizarea muncii
• Identificarea blocantelor și remedieri.

Alte obiective ale programului de experimentare care v-ar putea interesa sunt următoarele:

• Obține idei de la alte echipe
• Menținerea directorilor și a părților interesate la curent cu privire la rentabilitatea investiției și rezultatele
• Împărtășirea rezultatelor cu alte echipe pentru a răspândi cunoștințele în afara experimentului

În funcție de organizația dvs., este posibil să aveți mai multe de lucrat, cum ar fi păstrarea tablourilor de bord pentru experimente sau colaborarea cu oamenii de știință în date pentru a implementa procesul DataOps pentru a automatiza părți ale analizei sau platformei dvs.

Dar, pentru scopurile de mai sus, consider că aceste instrumente sunt un efort redus și extrem de eficiente:

• E-mailul de revizuire a experimentelor
• Întâlnirea de citire a experimentelor interfuncționale
• Arhiva de experimentare / instrumentul de partajare a cunoștințelor

E-mailul de revizuire a experimentelor

Întâlnirea echipei de experimentare nu ar trebui cheltuită analizând rezultatele, în cea mai mare parte. Acest lucru ar trebui făcut în mod eficient într-un tablou de bord și un e-mail săptămânal pe care dvs., managerul de program, îl trimiteți restului echipei și oricăror părți interesate.

Ar trebui să includă:

• Experimentele anterioare care s-au încheiat + rezultate
• Experimente în desfășurare în prezent
• Experimente viitoare

Orice analiză și tablouri de bord cu autoservire pot fi, de asemenea, incluse aici. Îmi place să creez diagrame cu rezultate atractive din punct de vedere vizual și să fac link la mai multe detalii pentru cei tocilari din grup. Dar, în general, vicepreședintelui tău nu îi va păsa prea mult de statisticile detaliate ale fiecărui test individual. Prin urmare, acest e-mail este pentru a obține vizibilitate pentru eforturile dvs. și pentru a împărtăși rezultate și învățari la nivel înalt.

Întâlnirea de citire a experimentelor interfuncționale

Echipele de experiment nu ar trebui să acționeze niciodată ca un siloz teritorial. Limitați răspândirea cunoștințelor acumulate de echipa dvs. și, de asemenea, limitați afluxul de idei perturbatoare.

Așa că, în fiecare trimestru, îmi place să rulez o citire de experimentare interfuncțională în care parcurgem toate experimentele pe care le-am desfășurat și învățările de nivel înalt, apoi deschidem microfonul pentru ca restul echipelor să comenteze și să prezinte idei.

Acest lucru oferă celorlalte echipe – pentru mine, în general marketing de produs, brand, produs și generație de cerere – o privire asupra a ceea ce am învățat. Poate că îl pot folosi pentru a-și influența munca, mesajele și designul.

De asemenea, le permite să pună pe radarul nostru lucruri despre care poate nu știam – o campanie viitoare, un experiment desfășurat pe fluxul de onboarding etc.

Arhiva de experimentare / instrumentul de partajare a cunoștințelor

În cele din urmă, cel mai subestimat instrument dintr-un program de experimentare este un loc în care să vă stocați toate rezultatele și învățările. De preferință, acesta este un instrument cu o bună funcționalitate de căutare și etichetare.

Acest lucru permite părților foarte interesate și implicate să caute pur și simplu ceea ce a fost condus.

Personal, folosesc o combinație de Airtable și Google Docs. Dar puteți folosi Notion, Confluence sau un instrument dedicat de arhivare a testelor A/B, cum ar fi Experimente eficiente.

Concluzie

Întâlnirea echipei de experimentare este un ritual important care poate face sau distruge eficiența echipei tale (viteza și calitatea experimentului) și eficacitatea (cât de vizibilă și respectată este echipa ta în organizație).

Tratați întâlnirea și participanții cu respect și rămâneți fideli scopului acesteia. Evitați distragerile și scăderea domeniului de aplicare - există și alte instrumente pentru brainstorming și raportare. Și rapid vei descoperi că, în loc să te temi de o altă întâlnire, o aștepți cu nerăbdare pentru că este foarte productivă. Acolo am aterizat oricum.