Wie man ein Experimentiermeeting durchführt, das Ihr Unternehmen verändert (und wie ich es bei Workato mache)

Meistens hasse ich Meetings.

Ich habe es oft gesagt, in Artikeln, Tweets und gegenüber meinen Kollegen.

Hauptsächlich mag ich es nicht, wenn Leute Meetings als Krücke benutzen, um zu vermeiden, dass die Arbeit erledigt wird, oder wenn Leute Meetings schlecht leiten und die Zeit aller verschwenden.

Aber als Führungskraft erkenne ich die Bedeutung einiger Meetings an. In meinem Fall besonders das wöchentliche Experimentiertreffen.

Richtig – der Eckpfeiler des Experimentierprogramms bei Workato ist nur ein Treffen. Wir machen keine täglichen Standups (wir machen diese asynchron auf Slack); stattdessen nur ein Treffen zu Beginn der Woche mit einigen anderen Artefakten und Ritualen, die eingestreut sind, um die Maschine am Laufen zu halten.

Dies wird mein erster und einziger Artikel sein, der tief in die Details eintaucht, wie ich dieses Meeting organisiere, warum ich es so organisiere und wie ich es mit anderen Experimentierprogramm-Tools (wie E-Mails, Datenbanken zum Wissensaustausch und Auslesen) ausbalanciere.

Bevor ich Sie durch die Protokolle führe, möchte ich damit beginnen, eine hochrangige Frage zu stellen – warum kommt es überhaupt zu diesem Treffen?

Was ist der Zweck eines Experimentierteam-Meetings?

Jedes Meeting braucht einen Zweck. Wenn es keinen Zweck hat, sollte es nicht passieren.

Die drei Hilfsmittel meines wöchentlichen Experimentiertreffens sind wie folgt:

• Lernen und Austausch von Erkenntnissen
• Priorisierung von Initiativen
• Identifizierung und Beseitigung von Prozessengpässen

Das bedeutet, dass wir die meisten anderen Gesprächsthemen, die diese nicht erfüllen, aus dem Meeting eliminieren.

Das Experimentieren wird durch Lernen beschleunigt

Wenn Sie mit dem Aufbau eines Experimentierprogramms beginnen, müssen Sie die harte Arbeit leisten, um die Grundlagen zu schaffen.

• Besorgen Sie sich ein geeignetes Testwerkzeug.
• Stellen Sie sicher, dass es in Ihr Analysetool integriert ist und Sie die Daten angemessen verfolgen.
• Kommunikation mit Führungskräften, um die richtigen Erwartungen für Experimente festzulegen.

Sobald Sie jedoch mit dem Skalieren von Experimenten beginnen, wirkt das, was Sie bei jedem Experiment lernen, als Potenziator für den Rest Ihres Programms.

Wenn Sie 5-10 Experimente pro Monat bestehen, wirkt sich Ihre Lernfähigkeit von Gewinnern, Verlierern und nicht schlüssigen Tests auf die Erfolgsrate der nächsten von Ihnen durchgeführten Experimente aus. Und all dies sollte von zentraler Bedeutung dafür sein, wie Sie Ihre Roadmap priorisieren.

Es mag wie Zeitverschwendung erscheinen, ist es aber nicht. Brian Balfour, Gründer von Reforge, betont auch die Bedeutung von Learnings bei der Durchführung eines Wachstumsmeetings:

Daher verbringen wir einen großen Teil unseres Meetings damit, Erkenntnisse durchzugehen und Erkenntnisse auszutauschen.

Dies ist besonders hilfreich, wenn Ihr Meeting funktionsübergreifend ist oder Mitglieder aus anderen Teams telefonieren, da Sie oft Perspektiven erhalten, die Sie normalerweise nicht erhalten würden.

Zum Beispiel laden wir häufig Produktvermarkter zu unserem Experimentiertreffen ein, um vorbeizuschauen und aktuelle Entdeckungen aus der Kundenforschung oder bevorstehende strategische narrative Änderungen mitzuteilen.

Dinge ändern sich; Priorisierung ist agil

In meinem Meeting möchte ich deutlich machen, wohin wir zielen, welche Schritte wir unternehmen, um dorthin zu gelangen, und wer für was verantwortlich und verantwortlich ist.

Das ist der nächste Teil des Treffens.

Aus dem, was wir gelernt haben, ergibt sich die Frage: „Was werden wir als nächstes tun?“

Unser Homepage-Experiment ist verloren – was haben wir also gelernt und was werden wir als nächstes tun?

Viele Priorisierungen erfolgen tatsächlich asynchron und quartalsweise – zumindest bei den größten Experimenten und den breitesten Themenblöcken unserer Projekte.

Aber wir lassen viel Spielraum für kleine Änderungen und Iterationen der Roadmap, basierend auf strategischen Änderungen und dem, was wir aus früheren Experimenten gelernt haben, und wir nutzen einen Teil des Meetings, um Dinge zu verschieben, um dies widerzuspiegeln.

Identifizierung und Beseitigung von Prozessengpässen

Schließlich ist es wichtig, Prozessengpässe aufzudecken, insbesondere wenn Sie sich in der Skalierungsphase eines Experimentierprogramms befinden.

Dies erfordert Systemdenken und ist die Kernaufgabe des Teamleiters oder Programmmanagers. Tatsächlich müssen Sie jeden Schritt des Experimentierprozesses von der Idee bis zur Produktion identifizieren und messen.

Welche Schritte dauern am längsten oder besser gesagt länger als erwartet? Und wie können Sie dieses wöchentliche Meeting nutzen, um diese Verzögerungen und Zeitverzögerungen zu identifizieren, damit Sie sicherstellen können, dass der Rest des Prozesses nicht übermäßig beeinträchtigt wird?

Dies ist ein entscheidender Teil des wöchentlichen Treffens und im Allgemeinen mehr, um Ihren Experimentierzug auf den Gleisen zu halten.

Was Sie bei Experimentiertreffen vermeiden sollten

Sie können Ihre Meetings so gestalten, wie Sie möchten, aber für das wöchentliche Team-Experimentiermeeting sind zwei Dinge in der Regel eine massive Zeitverschwendung.

• Ad-hoc-Daten abrufen oder jemanden darum bitten
• Unstrukturiertes Brainstorming und Ideenfindung

Wenn Sie Ad-hoc-Daten abrufen oder jemanden darum bitten, notieren Sie sich das. Wenn Sie wiederholt nach einigen Daten fragen, fügen Sie diese Ihrer Prozess-Checkliste hinzu. Es sollte nicht etwas sein, das bei jedem Meeting auftaucht (es verschwendet viel Zeit und Konzentration). Hier sind Dashboards und Berichte hilfreich.

Was das unstrukturierte Brainstorming angeht, bin ich im Allgemeinen eigentlich kein Hasser davon.

Aber es gibt eine Zeit und einen Ort und normalerweise eine Methode für den Wahnsinn.

Wenn Sie während Ihres wöchentlichen Meetings übermäßig viel Zeit damit verbringen, Ideen zu sammeln, reduzieren Sie die Zeit, die Sie damit verbringen, Prozessengpässe zu identifizieren und sicherzustellen, dass Sie die richtigen Experimente durchführen.

Wenn zufällig eine gute Idee auftaucht, ist das in Ordnung. Wenn es zu einer locker strukturierten Brainstorming-Sitzung wird, müssen Sie Gas geben und es offline nehmen.

Wie ich meine wöchentlichen Experimentierteam-Meetings durchführe

In Ordnung, wie führe ich eigentlich mein wöchentliches Experimentierteam-Meeting durch?

Ich muss natürlich einige Details zu den eigentlichen Experimenten, die wir durchführen, und den Ergebnissen verschleiern, aber ich werde jeden Teil so detailliert wie möglich behandeln.

Die Menschen

Zunächst einmal sind die Leute, die jede Woche teilnehmen, Teil der zentralen strategischen Experimentierfunktionen. Es ist eine kleine Gruppe, die Analysten, Performance-Vermarkter, Webentwickler und Produktmanager umfasst. Mein Vorgesetzter ist auch ab und zu anwesend, aber nicht bei jedem Anruf.

Ich habe separate Treffen mit unserem Designteam, da sie ein Kompetenzzentrum in unserem Unternehmen sind.

Diese Leute nehmen regelmäßig teil, und dann lade ich ab und zu „Gäste“ aus angrenzenden Teams wie Design, Markenmarketing oder Produktmarketing ein. Außerdem richten wir für diese Gastanrufe normalerweise nur eine separate Sitzung ein, da deren Zweck normalerweise darin besteht, neue Ideen vorzustellen, die Teamkommunikation zu verbessern oder ein Brainstorming durchzuführen.

Um dies allgemeiner zu gestalten, sollte Ihr Experimentmeeting in den meisten Fällen Personen umfassen, die Entscheidungen über die Strategie treffen, und Personen, die diese Strategie umsetzen. Typischerweise ist dies:

• Leiter / Programmmanager
• Produktmanager
• Entwickler
• Designer
• Analysten

Der Stundenplan

Ich führe dieses Meeting jeden Montag um 15 Uhr Central Time durch. Der Montagmorgen eignet sich hervorragend, um sich vorzubereiten und tiefgreifende Arbeit zu erledigen oder lose Enden der vorangegangenen Woche zu verknüpfen. Am Nachmittag ist das Team gut vorbereitet, um die kommende Woche zu besprechen. Dies lässt uns alle auch wissen, woran wir die ganze Woche über arbeiten und Prioritäten setzen sollen.

Dann werden wir die ganze Woche über asynchrone Untersuchungen und 1:1-Meetings haben, um die Einzelheiten dessen zu besprechen, woran wir beschlossen haben, während des Teammeetings am Montag zu arbeiten.

Wir verwenden derzeit kein Slide-Deck, aber wir können es einbauen. Wenn das der Fall ist, werde ich einzelne Abschnitte an unsere oben aufgeführten Fristen gebunden halten, und das Deck wird am Freitag der vorangegangenen Woche verschickt (mit dem Ziel, am Montagmorgen nicht mehr als 20 Minuten damit zu verbringen, den Abschnitt jeder Person zusammenzustellen). . Momentan gehen wir hauptsächlich durch unsere Airtable-Datenbank, die wir für das Projektmanagement verwenden.

Die Tagesordnung

Hier ist meine genaue Agenda:

Sitzungsdauer: 45 Minuten

• Informelles Aufholen: 5-10 Minuten
• Erkenntnisse aus abgeschlossenen Experimenten / Forschung: <10 Minuten
• Priorisierung / Pflege des Rückstands: <10 Minuten
• Engpässe / Blocker identifizieren: restliche Zeit (10-15 Minuten)

Wir gehen bereits durch jeden der oben genannten Abschnitte und ihren Zweck.

Ich gebe Ihnen ein paar Tools und Frameworks, die auch bei jedem der oben genannten Punkte hilfreich sein können.

Erkenntnisse aus abgeschlossenen Experimenten / Forschung.

Hier brauchen Sie vor allem ein gutes Dokumentationssystem.

Bevor ein Experiment überhaupt durchgeführt wird, benötige ich ein Experimentdokument, das mit den folgenden Abschnitten ausgefüllt werden muss:

• Hintergrund
• Lernziel
• Hypothese
• Vorhersage (was anders ist als eine Hypothese).
• Experimentdesign (quantitativ und kreativ)
• Follow-up (was passiert nach Abschluss)

Dann, nachdem das Experiment durchgeführt wurde, werden zwei weitere Abschnitte ausgefüllt:

• Ergebnisse
• Lernen

Und in unserem Treffen gehen wir kurz auf die Ergebnisse ein und befassen uns eingehender mit dem Abschnitt „Lernen“. Wer auch immer der „Besitzer“ des Experiments war, ist derjenige, der die Erkenntnisse präsentiert, und dann gibt es eine kurze Diskussion darüber, wie wir sie anwenden können. Manchmal bedeutet dies, in einem breiteren Maßstab zu testen oder die Erkenntnisse einfach auf ähnliche Erfahrungen zu skalieren. Manchmal bedeutet dies, auf sinnvolle Weise zu iterieren.

Ihre zwei Werkzeuge der Wahl in diesem Schritt sollten sein:

• Das Experimentdokument (hier klicken, um meine Vorlage zu stehlen)
• Das Experiment Wissensaustauschsystem / Wiki

Priorisierung / Pflege des Rückstands: <10 Minuten

Es gibt Diskussionen über die Nützlichkeit dieses Teils, aber ich halte es gerne für eine Gruppendiskussion, weil das Experimentieren anders als in der einfachen Webproduktion oder im Produktmanagement vielen äußeren Zwängen, Blockaden und Launen ausgesetzt ist.

Zum Beispiel haben wir vielleicht nicht das Buy-in für ein besonders großes Experiment, das wir geplant hatten, oder wir haben vielleicht einen Blocker vom Design. Aber wir wollen trotzdem unseren Testrhythmus beibehalten, damit wir in diesem Fall agil bleiben und eine Idee mit geringerem Aufwand aus dem Rückstand nach oben verschieben können.

In einigen Organisationen wird diese Entscheidungsfindung ausschließlich dem Leiter des Experimentierteams übertragen. Ich öffne die Diskussion gerne für die Gruppe.

Wieso den?

Erstens möchte ich das Team nicht unter dem Gewicht meiner Priorisierungsergebnisse zermalmen. Ein Teil des Wertes des Experimentierens besteht darin, Dinge zu lernen, die Sie nicht erwartet hatten, und indem wir die Autonomie der Priorisierung von anderen im Team zulassen, bekommen wir Ideen auf den Tisch, die ich dort nicht hingelegt hätte. Dies trägt auch dazu bei, die allgemeine Teamkommunikation und den Rapport zu verbessern.

Zweitens sind die Menschen gespannter darauf, an Dingen zu arbeiten, an denen sie sich entschieden haben. Wenn ich anfange, alle Ideen zuzuweisen, schränke ich die Leidenschaft ein, die Menschen für einzelne Experimente empfinden können (was in vielerlei Hinsicht das Erfolgspotenzial des Experiments einschränkt).

In diesem Abschnitt arbeiten wir also im Wesentlichen mit zwei Tools:

• Das Projektmanagement-Kanban (wir verwenden Airtable – hier ist eine großartige Vorlage).
• Die Priorisierungsmatrix (wir verwenden PXL).

Identifizierung von Engpässen / Blockern: Rest der Zeit

Abschließend Engpässe identifizieren.

Das ist schwer. Am Anfang macht es zwei Dinge:

• Muster in verspäteten Lieferungen finden
• Qualitative und offene Fragen an das Team stellen

In meiner Airtable (die ich leider nicht teilen kann) habe ich vier Spalten in jeder Karte:

• Entwurf fällig
• Gestaltung geliefert
• Entwicklung fällig
• Entwicklung geliefert

Dies ist zusätzlich zu den Kanban-Schritten, die wir befolgen:

• Idee
• Experimentdokument in Bearbeitung
• Experimentdokument im Review
• In Entwicklung
• Qualitätssicherung
• QA und startbereit
• Betrieb
• Abgeschlossen
• Zur Produktion geschoben

Dadurch kann ich sehen, wo Dinge hinter dem Zeitplan zurückbleiben. Wenn wir zum Beispiel 10 Tests durchgeführt haben, aber keiner davon implementiert wurde, haben wir ein Produktionsproblem. Oder vielleicht geraten unsere Experimente bei der Qualitätssicherung ins Stocken und wir haben einen Rückstand an veröffentlichungsfertigen Experimenten, die auf den Start warten.

In der Entwicklungsphase wollen wir auch sehen, ob wir auf Design oder Entwickler warten, um das Erlebnis zu schaffen. Wenn wir wiederholt ins Hintertreffen geraten, bedeutet dies, dass wir die Prioritäten dieser Teams überdenken oder möglicherweise die Mitarbeiterzahl erhöhen müssen.

Qualitative Fragen klingen so:

• Braucht jemand diese Woche Unterstützung von mir?
• Gibt es irgendwelche potenziellen Hindernisse für das Erreichen unserer Ziele in dieser Woche?

Die Antworten darauf sollten es Ihnen sowohl ermöglichen, diese Engpässe kurzfristig zu beheben, als auch Muster zu erkennen, wenn sie sich wiederholen, um sie langfristig zu beheben.

Füllen Sie die Lücken: andere nützliche Werkzeuge des Experimentierprogramms

Das Experimentierteam-Meeting ist nicht das einzige Tool, das im Toolkit Ihres Managers enthalten sein sollte.

Tatsächlich ist der größte Fehler, den Experimentmanager meiner Meinung nach machen, der Versuch, alles in einem Meeting zu erledigen.

Vielmehr möchten Sie Ihre Rituale und Artefakte so verteilen, dass Sie für jede Aufgabe, die Sie erledigen möchten, das beste Werkzeug verwenden.

Das Experimentierteam-Meeting erreicht drei Dinge:

• Erkenntnisse und Erkenntnisse
• Priorisierung und Arbeitsverteilung
• Blocker-Identifikation und -Korrekturen.

Andere Ziele des Experimentierprogramms, die Sie interessieren könnten, sind wie folgt:

• Ideen von anderen Teams sammeln
• Führungskräfte und Stakeholder über ROI und Ergebnisse auf dem Laufenden halten
• Teilen von Ergebnissen mit anderen Teams, um Wissen außerhalb des Experimentierens zu verbreiten

Abhängig von Ihrer Organisation haben Sie möglicherweise mehr zu tun, z. B. das Führen von Experimentier-Scoreboards oder die Zusammenarbeit mit Data Scientists, um den DataOps-Prozess zu implementieren, um Teile der Analyse oder Ihrer Plattform zu automatisieren.

Aber für die oben genannten Zwecke halte ich diese Tools für wenig Aufwand und sehr effektiv:

• Die Überprüfungs-E-Mail für Experimente
• Das funktionsübergreifende Experimentier-Readout-Meeting
• Das Experimentierarchiv / Tool zum Teilen von Wissen

Die Überprüfungs-E-Mail für Experimente

Ihr Experimentierteam-Meeting sollte größtenteils nicht damit verbracht werden, Ergebnisse zu besprechen. Dies sollte effektiv in einem Dashboard und einer wöchentlichen E-Mail erfolgen, die Sie als Programmmanager an den Rest des Teams und alle interessierten Parteien senden.

Es sollte enthalten:

• Frühere abgeschlossene Experimente + Ergebnisse
• Derzeit laufende Experimente
• Zukünftige Experimente

Hier können auch beliebige Self-Service-Analysen und Dashboards eingebunden werden. Ich erstelle gerne optisch ansprechende Ergebnisdiagramme und verlinke zu weiteren Details für die Nerds in der Gruppe. Aber im Großen und Ganzen wird sich Ihr VP nicht viel um die detaillierten Statistiken jedes einzelnen Tests kümmern. Diese E-Mail soll also Sichtbarkeit für Ihre Bemühungen gewinnen und Ergebnisse und Erkenntnisse auf hohem Niveau teilen.

Das funktionsübergreifende Experimentier-Readout-Meeting

Experimentteams sollten niemals als territoriales Silo agieren. Sie begrenzen die Verbreitung des Wissens, das Ihr Team gewinnt, und Sie begrenzen auch den Zufluss störender Ideen.

Daher führe ich gerne jedes Quartal eine funktionsübergreifende Experimentiersitzung durch, bei der wir alle von uns durchgeführten Experimente und Erkenntnisse auf hoher Ebene durchgehen und dann das Mikrofon für den Rest des Teams öffnen, um Ideen zu kommentieren und vorzustellen.

Dies gibt den anderen Teams – für mich im Allgemeinen Produktmarketing, Marke, Produkt und Nachfragegenerierung – einen Einblick in das, was wir gelernt haben. Vielleicht können sie es nutzen, um ihre Arbeit, Botschaften und ihr Design zu beeinflussen.

Es ermöglicht ihnen auch, Dinge auf unser Radar zu setzen, von denen wir möglicherweise nichts wussten – eine bevorstehende Kampagne, ein Experiment zum Onboarding-Flow usw.

Das Experimentierarchiv / Tool zum Teilen von Wissen

Schließlich ist das am meisten unterschätzte Werkzeug in einem Experimentierprogramm ein Ort, an dem Sie alle Ihre Ergebnisse und Erkenntnisse speichern können. Vorzugsweise ist dies ein Tool mit guter Such- und Tagging-Funktionalität.

So können sich hochinteressierte und engagierte Kreise einfach selbst ein Bild von dem machen, was gelaufen ist.

Ich persönlich verwende eine Kombination aus Airtable und Google Docs. Aber Sie können Notion, Confluence oder ein dediziertes A/B-Testarchiv-Tool wie Effective Experiments verwenden.

Fazit

Das Treffen des Experimentierteams ist ein wichtiges Ritual, das die Effizienz Ihres Teams (Experimentgeschwindigkeit und -qualität) und Effektivität (wie sichtbar und respektiert Ihr Team in der Organisation ist) beeinflussen oder beeinträchtigen kann.

Behandeln Sie das Meeting und die Teilnehmer mit Respekt und bleiben Sie seinem Zweck treu. Vermeiden Sie Ablenkungen und Scope Creep – es gibt andere Tools für Brainstorming und Reporting. Und schnell werden Sie feststellen, dass Sie sich nicht mehr vor einem weiteren Meeting fürchten, sondern sich auf dieses freuen, weil es sehr produktiv ist. Dort sind wir sowieso gelandet.