Jak przeprowadzić spotkanie eksperymentalne, które zmieni Twoją firmę (i jak to robię w Workato)

W większości nienawidzę spotkań.

Mówiłem to wielokrotnie, w artykułach, tweetach i moim kolegom.

Przede wszystkim nie lubię, gdy ludzie używają spotkań jako podpory, aby uniknąć wykonywania pracy, lub gdy ludzie źle prowadzą spotkania i marnują czas wszystkich.

Ale jako lider dostrzegam wagę niektórych spotkań. Szczególnie w moim przypadku cotygodniowe spotkanie eksperymentalne.

Zgadza się – kamieniem węgielnym programu eksperymentów w Workato jest tylko jedno spotkanie. Nie robimy codziennych standupów (robimy je asynchronicznie na Slacku); zamiast tego jedno spotkanie na początku tygodnia z kilkoma innymi artefaktami i rytuałami posypanymi, aby utrzymać maszynę w ruchu.

To będzie mój pierwszy i jedyny artykuł szczegółowo opisujący, jak prowadzę to spotkanie, dlaczego prowadzę je w ten sposób i jak równoważę je z innymi narzędziami programu eksperymentalnego (takimi jak e-maile, bazy danych dzielenia się wiedzą i odczyty).

Zanim przeprowadzę Cię przez te minuty, chciałbym zacząć od zadania wysokiego poziomu pytania – po co w ogóle to spotkanie?

Jaki jest cel spotkania zespołu eksperymentującego?

Każde spotkanie potrzebuje celu. Jeśli nie ma celu, nie powinno się zdarzyć.

Trzy narzędzia mojego cotygodniowego spotkania eksperymentalnego są następujące:

• Nauka i dzielenie się spostrzeżeniami
• Priorytetyzacja inicjatyw
• Identyfikacja i eliminacja wąskich gardeł procesowych

Oznacza to, że ze spotkania eliminujemy większość innych punktów dyskusji, które ich nie zawierają.

Eksperymentowanie przyspiesza nauka

Kiedy zaczynasz budować program eksperymentów, musisz wykonać ciężką pracę polegającą na kładzeniu fundamentów.

• Uzyskanie odpowiedniego narzędzia do testowania.
• Upewnij się, że jest zintegrowany z Twoim narzędziem analitycznym i odpowiednio śledzisz dane.
• Komunikowanie się z kadrą kierowniczą w celu ustalenia właściwych oczekiwań dotyczących eksperymentów.

Jednak gdy zaczniesz eksperymentować ze skalowaniem, to, czego nauczysz się w każdym eksperymencie, będzie działać jako wzmacniacz dla reszty twojego programu.

Gdy przechodzisz 5-10 eksperymentów miesięcznie, to, jak dobrze uczysz się od zwycięzców, przegranych i niejednoznacznych, wpłynie na wskaźnik powodzenia następnej partii eksperymentów, które przeprowadzisz. A wszystko to powinno mieć kluczowe znaczenie dla wpływania na to, jak ustalasz priorytety swojej mapy drogowej.

To może wydawać się stratą czasu, ale tak nie jest. Brian Balfour, założyciel Reforge, również podkreśla znaczenie nauki w prowadzeniu spotkania rozwojowego:

Dlatego dużą część naszego spotkania spędzamy na przechodzeniu przez naukę i dzieleniu się spostrzeżeniami.

Jest to szczególnie przydatne, jeśli spotkanie jest wielofunkcyjne lub obejmuje członków z innych zespołów podczas rozmowy, ponieważ często otrzymujesz perspektywy, których normalnie nie miałbyś.

Na przykład często zapraszamy sprzedawców produktów na nasze spotkanie eksperymentalne, aby wpadli i podzielili się najnowszymi odkryciami z badań klientów lub podzielili się nadchodzącymi strategicznymi zmianami narracji.

Rzeczy się zmieniają; ustalanie priorytetów jest zwinne

Na moim spotkaniu chcę jasno określić, dokąd zmierzamy, jakie podejmujemy kroki, aby tam dotrzeć oraz kto jest za co odpowiedzialny i odpowiedzialny.

To kolejna część spotkania.

Z tego, czego się nauczyliśmy, wypływa pytanie: „co będziemy dalej robić?”

Nasz eksperyment na stronie głównej przegrał – więc czego się nauczyliśmy i co będziemy dalej robić?

Wiele priorytetów odbywa się właściwie asynchronicznie i kwartalnie – przynajmniej największe eksperymenty i najszersze wiadra tematyczne naszych projektów.

Ale zostawiamy dużo miejsca na drobne zmiany i iteracje w planie działania w oparciu o strategiczne zmiany i to, czego nauczyliśmy się z poprzednich eksperymentów, i wykorzystujemy część spotkania, aby przenieść rzeczy, aby to odzwierciedlić.

Identyfikacja i eliminacja wąskich gardeł procesowych

Na koniec ważne jest, aby odkryć wąskie gardła procesu, zwłaszcza jeśli jesteś w fazie skalowania programu eksperymentalnego.

Wymaga to myślenia systemowego i jest to podstawowa praca lidera zespołu lub menedżera programu. W rzeczywistości będziesz musiał zidentyfikować i zmierzyć każdy etap procesu eksperymentowania, od pomysłu do produkcji.

Które kroki zajmują najwięcej czasu, a raczej więcej czasu niż oczekiwano? Jak możesz wykorzystać to cotygodniowe spotkanie do zidentyfikowania tych opóźnień i opóźnień, aby mieć pewność, że reszta procesu nie zostanie nadmiernie naruszona?

Jest to kluczowa część cotygodniowego spotkania, a bardziej ogólnie mówiąc, aby utrzymać swój trening eksperymentalny na torach.

Czego unikać podczas spotkań eksperymentalnych

Możesz prowadzić swoje spotkania w dowolny sposób, ale w przypadku cotygodniowego spotkania eksperymentów zespołowych dwie rzeczy są zwykle ogromną stratą czasu.

• Pobieranie danych ad hoc lub proszenie kogokolwiek o zrobienie tego
• Nieustrukturyzowana burza mózgów i ideacja

Kiedy pobierasz dane ad hoc lub poprosisz kogoś o to, zanotuj to. Jeśli wielokrotnie prosisz o trochę danych, dodaj je do listy kontrolnej procesu. Nie powinno to być czymś, co pojawia się na każdym spotkaniu (marnuje dużo czasu i skupienia). Tutaj przydają się pulpity nawigacyjne i raportowanie.

Jeśli chodzi o nieustrukturyzowaną burzę mózgów, generalnie nie jestem tego nienawidzący.

Ale jest czas, miejsce i zazwyczaj metoda na szaleństwo.

Jeśli spędzasz zbyt dużo czasu na sprawdzaniu pomysłów podczas cotygodniowych spotkań, skracasz czas poświęcony na identyfikowanie wąskich gardeł procesu i upewnianie się, że przeprowadzasz właściwe eksperymenty.

Jeśli wpadnie jakiś dobry pomysł, to w porządku. Jeśli przekształci się w luźną sesję burzy mózgów, musisz postawić stopę i wyłączyć ją.

Jak prowadzę cotygodniowe spotkania zespołu eksperymentującego

Dobrze, więc jak właściwie przeprowadzić cotygodniowe spotkanie zespołu eksperymentującego?

Oczywiście będę musiał zaciemnić pewne szczegóły dotyczące rzeczywistych eksperymentów i wyników, ale omówię każdą część tak szczegółowo, jak tylko mogę.

Ludzie

Po pierwsze, ludzie, którzy biorą udział co tydzień, są częścią kluczowych strategicznych funkcji eksperymentalnych. To niewielka grupa, w skład której wchodzą analitycy, specjaliści ds. marketingu wydajności, twórcy stron internetowych i menedżerowie produktów. Mój przełożony też jest obecny od czasu do czasu, ale nie przy każdej rozmowie.

Odbywam osobne spotkania z naszym zespołem projektowym, ponieważ są oni centrum doskonałości w naszej firmie.

Osoby te uczestniczą regularnie, a następnie co jakiś czas zapraszam „gości” z sąsiednich zespołów, takich jak projektowanie, marketing marki lub marketing produktu. Ponadto w przypadku takich rozmów z gośćmi zwykle ustalamy osobną sesję, ponieważ jej celem jest zwykle przedstawienie nowych pomysłów, lepsza komunikacja w zespole lub burza mózgów.

Aby uczynić to bardziej ogólnym, w większości przypadków spotkanie eksperymentalne powinno obejmować osoby podejmujące decyzje dotyczące strategii i osoby, które ją realizują. Zazwyczaj jest to:

• Lider/Kierownik Programu
• Menedżer produktu
• Deweloperzy
• Projektanci
• Analitycy

Harmonogram

Spotkanie prowadzę w każdy poniedziałek o 15:00 czasu centralnego. Poniedziałkowe poranki są świetne na przygotowanie i wykonanie głębokiej pracy lub związanie luźnych końcówek z poprzedniego tygodnia. Po południu zespół jest dobrze przygotowany do dyskusji na nadchodzący tydzień. Dzięki temu wszyscy wiemy, nad czym mamy pracować i ustalać priorytety przez cały tydzień.

Następnie przez cały tydzień będziemy mieć asynchroniczne kontrole i spotkania 1:1, aby omówić szczegóły tego, nad czym postanowiliśmy pracować podczas poniedziałkowego spotkania zespołu.

Obecnie nie korzystamy ze zjeżdżalni, ale możemy ją włączyć. Jeśli tak jest, będę trzymać poszczególne sekcje związane z naszymi limitami czasowymi wymienionymi powyżej, a talia zostanie wysłana w piątek z poprzedniego tygodnia (w celu spędzenia więcej niż 20 minut w poniedziałek rano na składanie sekcji każdej osoby) . W tej chwili przeglądamy głównie naszą bazę danych Airtable, której używamy do zarządzania projektami.

Terminarz

Oto mój dokładny plan:

Czas trwania spotkania: 45 minut

• Nieformalne nadrabianie zaległości: 5-10 minut
• Wnioski z zakończonych eksperymentów/badań: <10 minut
• Priorytetyzacja / pielęgnacja zaległości: <10 minut
• Identyfikacja wąskich gardeł/blokerów: reszta czasu (10-15 minut)

Przechodzimy już przez każdą z powyższych sekcji i ich cel.

Dam ci kilka narzędzi i frameworków, które mogą również pomóc w każdym z powyższych.

Wnioski z zakończonych eksperymentów/badań.

Najważniejsze, czego potrzebujesz, to dobry system dokumentacji.

Przed rozpoczęciem eksperymentu wymagam, aby dokument dotyczący eksperymentu był wypełniony następującymi sekcjami:

• Tło
• Cel uczenia się
• Hipoteza
• Przewidywanie (co różni się od hipotezy).
• Projekt eksperymentu (ilościowy i kreatywny)
• Kontynuacja (co dzieje się po zakończeniu)

Następnie po uruchomieniu eksperymentu wypełniane są jeszcze dwie sekcje:

• Wyniki
• Nauka

A na naszym spotkaniu krótko omawiamy wyniki i głębiej omawiamy sekcję dotyczącą wiedzy. Ktokolwiek był „właścicielem” eksperymentu, jest tym, który przedstawia wnioski, a następnie następuje krótka dyskusja, jak możemy je zastosować. Czasami oznacza to testowanie na szerszą skalę lub po prostu skalowanie wiedzy do podobnych doświadczeń. Czasami oznacza to iterację w znaczący sposób.

Twoimi dwoma narzędziami do wyboru na tym etapie powinny być:

• Dokument eksperymentu (kliknij tutaj, aby ukraść mój szablon)
• Eksperymentalny system dzielenia się wiedzą / Wiki

Priorytetyzacja / pielęgnacja zaległości: <10 minut

Toczy się debata na temat użyteczności tej części, ale lubię prowadzić dyskusję grupową, ponieważ w przeciwieństwie do prostej produkcji internetowej lub zarządzania produktem, eksperymentowanie podlega wielu zewnętrznym naciskom, blokadom i kaprysom.

Na przykład możemy nie mieć wpisowego do szczególnie dużego eksperymentu, który zaplanowaliśmy, lub możemy mieć blokadę z projektu. Ale nadal chcemy utrzymać naszą kadencję testową, więc w takim przypadku możemy pozostać zwinni i przenieść ideę o mniejszym nakładzie pracy z listy zaległości.

W niektórych organizacjach ten proces decyzyjny spoczywa wyłącznie na kierowniku zespołu eksperymentującego. Lubię otwierać dyskusję na grupę.

Czemu?

Po pierwsze, nie chcę zmiażdżyć zespołu pod ciężarem moich wyników ustalania priorytetów. Częścią wartości eksperymentowania jest uczenie się rzeczy, których nie spodziewałeś się nauczyć, a pozwalając na autonomię ustalania priorytetów od innych członków zespołu, otrzymujemy pomysły na stół, których ja bym tam nie umieścił. Pomaga to również poprawić ogólną komunikację i relacje w zespole.

Po drugie, ludzie są bardziej podekscytowani pracą nad rzeczami, nad którymi wybrali pracę. Jeśli zacznę przypisywać wszystkie pomysły, ograniczę pasję, jaką ludzie mogą odczuwać do indywidualnych eksperymentów (co pod wieloma względami ogranicza potencjał eksperymentu do wygrania).

W tej sekcji zasadniczo pracujemy z dwoma narzędziami:

• Kanban do zarządzania projektami (używamy Airtable – oto świetny szablon).
• Macierz priorytetów (używamy PXL).

Identyfikowanie wąskich gardeł/blokerów: reszta czasu

Wreszcie identyfikacja wąskich gardeł.

To jest trudne. Na początku robi dwie rzeczy:

• Znajdowanie wzorców w opóźnionych dostawach
• Zadawanie jakościowego i otwartego pytania zespołu

W moim Airtable (którego z przykrością nie mogę udostępnić) mam cztery kolumny na każdej karcie:

• Projekt z powodu
• Projekt dostarczony
• Termin rozwoju
• Rozwój dostarczony

Jest to dodatek do kroków Kanban, które wykonujemy:

• Pomysł
• Dokument eksperymentu w toku
• Dokument eksperymentalny w przeglądzie
• W rozwoju
• Zapewnienie jakości
• Kontrola jakości i gotowa do uruchomienia
• Działanie
• Zawarte
• Zepchnięte do produkcji

To pozwala mi zobaczyć, gdzie sprawy wychodzą z harmonogramem. Jeśli np. przeprowadziliśmy 10 testów, ale żaden z nich nie został wdrożony, mamy problem produkcyjny. A może nasze eksperymenty przeciągają się w zapewnianiu jakości i mamy zaległości w zakresie gotowych do opublikowania eksperymentów, które czekają na uruchomienie.

Na etapie rozwoju chcemy również sprawdzić, czy czekamy na projekt lub programistów, aby stworzyć doświadczenie. Jeśli wielokrotnie pozostajemy w tyle, oznacza to konieczność refaktoryzacji priorytetów tych zespołów lub potencjalnego zwiększenia liczby pracowników.

Pytania jakościowe brzmią tak:

• Czy ktoś potrzebuje ode mnie wsparcia w tym tygodniu?
• Czy są jakieś potencjalne przeszkody w realizacji naszych celów w tym tygodniu?

Odpowiedzi na te pytania powinny zarówno umożliwić naprawienie tych wąskich gardeł w najbliższym czasie, jak i zidentyfikować wzorce, które powtarzają się, aby zostać naprawione w dłuższej perspektywie.

Wypełnianie luk: inne przydatne narzędzia programu eksperymentalnego

Spotkanie zespołu eksperymentującego nie jest jedynym narzędziem, które powinno znaleźć się w zestawie narzędzi twojego menedżera.

W rzeczywistości największym błędem, jaki popełniają menedżerowie eksperymentów, jest próba zrobienia tego wszystkiego na jednym spotkaniu.

Raczej chcesz rozłożyć swoje rytuały i artefakty, aby używać najlepszego narzędzia do każdej pracy, którą chcesz wykonać.

Spotkanie zespołu eksperymentującego osiąga trzy rzeczy:

• Nauki i spostrzeżenia
• Priorytetyzacja i alokacja pracy
• Identyfikacja i poprawki blokera.

Inne cele programu eksperymentów, na których możesz się zainteresować, są następujące:

• Pozyskiwanie pomysłów od innych zespołów
• Informowanie kadry kierowniczej i interesariuszy na temat zwrotu z inwestycji i wyników
• Udostępnianie wyników innym zespołom w celu rozpowszechniania wiedzy poza eksperymentami

W zależności od organizacji możesz mieć więcej do pracy, na przykład prowadzenie tablic wyników eksperymentów lub współpracę z analitykami danych w celu wdrożenia procesu DataOps w celu zautomatyzowania części analizy lub platformy.

Ale do powyższych celów uważam, że te narzędzia nie wymagają dużego wysiłku i są bardzo skuteczne:

• E-mail z recenzją eksperymentów
• Spotkanie odczytowe dotyczące eksperymentów wielozadaniowych
• Archiwum eksperymentów / narzędzie do dzielenia się wiedzą

E-mail z recenzją eksperymentów

W większości przypadków nie powinno się spędzać spotkania zespołu eksperymentującego na przeglądaniu wyników. Powinno to być skutecznie zrobione w desce rozdzielczej i cotygodniowym e-mailu do Ciebie, kierownika programu, wysyłaj do reszty zespołu i wszystkich zainteresowanych stron.

Powinien zawierać:

• Wcześniejsze eksperymenty, które zakończyły się + wyniki
• Obecnie trwają eksperymenty
• Przyszłe eksperymenty

Można tu również uwzględnić wszelkie samoobsługowe analizy i pulpity nawigacyjne. Lubię tworzyć atrakcyjne wizualnie wykresy wyników i łączyć się z dodatkowymi szczegółami dla frajerów w grupie. Ale ogólnie rzecz biorąc, twój wiceprezes nie będzie dbał zbytnio o szczegółowe statystyki każdego testu. Tak więc ten e-mail ma na celu zwiększenie widoczności Twoich wysiłków oraz dzielenie się wynikami i wiedzą na wysokim poziomie.

Spotkanie odczytowe dotyczące eksperymentów wielozadaniowych

Zespoły eksperymentalne nigdy nie powinny działać jako silos terytorialny. Ograniczasz rozpowszechnianie wiedzy, którą zdobywa Twój zespół, a także ograniczasz napływ przełomowych pomysłów.

Dlatego co kwartał lubię przeprowadzać interdyscyplinarny odczyt eksperymentów, w którym przechodzimy przez wszystkie przeprowadzone przez nas eksperymenty i naukę na wysokim poziomie, a następnie otwieramy mikrofon pozostałym zespołom, aby komentowali i przedstawiali pomysły.

To daje innym zespołom – dla mnie, ogólnie rzecz biorąc, marketingowi produktu, markom, produktom i genowi popytu – spojrzenie na to, czego się nauczyliśmy. Być może będą mogli go użyć, aby wpłynąć na swoją pracę, komunikaty i projekt.

Pozwala im również umieścić na naszym radarze rzeczy, o których być może nie wiedzieliśmy – nadchodzącą kampanię, eksperyment prowadzony w ramach procesu onboardingu itp.

Archiwum eksperymentów / narzędzie do dzielenia się wiedzą

Wreszcie, najbardziej niedocenianym narzędziem w programie eksperymentów jest miejsce do przechowywania wszystkich wyników i wniosków. Najlepiej jest to narzędzie z dobrą funkcjonalnością wyszukiwania i tagowania.

Pozwala to wysoce zainteresowanym i zaangażowanym stronom po prostu spojrzeć na to, co zostało uruchomione.

Osobiście używam kombinacji Airtable i Google Docs. Ale możesz użyć Notion, Confluence lub dedykowanego narzędzia do archiwizacji testów A/B, takiego jak Efektywne eksperymenty.

Wniosek

Spotkanie zespołu eksperymentującego to ważny rytuał, który może podnieść lub złamać wydajność zespołu (szybkość i jakość eksperymentów) oraz skuteczność (jak widoczny i szanowany jest zespół w organizacji).

Traktuj spotkanie i uczestników z szacunkiem i pozostań wierny jego celowi. Unikaj rozpraszania uwagi i pełzania zakresu — istnieją inne narzędzia do burzy mózgów i raportowania. I szybko przekonasz się, że zamiast bać się kolejnego spotkania, czekasz na to, ponieważ jest bardzo produktywne. I tak tam wylądowaliśmy.