あなたの会社を変革する実験会議を実行する方法（＆Workatoでそれを行う方法）

公開: 2022-05-27

ほとんどの場合、私は会議が嫌いです。

記事、ツイート、そして同僚に何度も言ってきました。

主に、仕事を避けるために会議を松葉杖として使用する場合や、会議の運営が不十分で全員の時間を無駄にする場合は嫌いです。

しかし、リーダーとして、私はいくつかの会議の重要性を認識しています。特に私の場合、毎週の実験会議です。

そうです–Workatoの実験プログラムの要はたった1回の会議です。毎日のスタンドアップは行いません（Slackでは非同期で行います）。代わりに、週の初めに1回だけ会議を行い、他のアーティファクトや儀式を散りばめて、マシンを動かし続けました。

これは、この会議の実行方法、その方法で実行する理由、および他の実験プログラムツール（電子メール、知識共有データベース、読み出しなど）とのバランスをとる方法の詳細を深く掘り下げた最初で唯一の記事になります。

議事録を説明する前に、まず高レベルの質問をしたいと思います。そもそもなぜこの会議を行うのでしょうか。

実験チーム会議の目的は何ですか？

すべての会議には目的が必要です。目的がなければ、それは起こらないはずです。

私の毎週の実験会議の3つのユーティリティは次のとおりです。

学習と洞察の共有
イニシアチブの優先順位付け
プロセスのボトルネックの特定と排除

これは、これらを実現しない他のほとんどの論点を会議から排除することを意味します。

実験は学習によって加速されます

実験プログラムの構築を開始するときは、基礎を築くという大変な作業をしなければなりません。

適切なテストツールを入手する。
分析ツールと統合されており、データを適切に追跡していることを確認してください。
実験に対する適切な期待を設定するために経営幹部とコミュニケーションをとる。

ただし、実験のスケーリングを開始すると、各実験で学んだことは、プログラムの残りの部分の増強剤として機能します。

月に5〜10回の実験に合格すると、勝者、敗者、および不確定からどれだけよく学ぶかが、次に実行する実験のバッチの成功率に影響します。そして、これらすべてが、ロードマップの優先順位付けに影響を与える上で中核となるはずです。

時間の無駄に思えるかもしれませんが、そうではありません。 Reforgeの創設者であるBrianBalfourは、成長会議を運営する上での学習の重要性も強調しています。

そのため、会議の大部分を学習と洞察の共有に費やしています。

これは、会議が部門の枠を超えている場合や、他のチームのメンバーが電話に参加している場合に特に役立ちます。これは、通常は得られない視点が得られることが多いためです。

たとえば、実験会議に製品マーケターを招き、顧客調査からの最近の発見を共有したり、今後の戦略的な物語の変更を共有したりすることがよくあります。

物事は変わります。優先順位付けはアジャイルです

私の会議では、私たちがどこを目指しているのか、そこに到達するためにどのようなステップを踏んでいるのか、そして誰が何に対して責任を負っているのかを明確にしたいと思います。

それが会議の次の部分です。

私たちが学んだことから、「次に何をするのか」という質問が出てきます。

私たちのホームページの実験は失われました–それで、私たちは何を学び、次に何をしますか？

多くの優先順位付けは、実際には非同期で四半期ごとに行われます。少なくとも、プロジェクトの最大の実験と最も幅広いテーマのバケットです。

しかし、戦略的な変更と過去の実験から学んだことに基づいて、ロードマップに小さな変更と反復の余地をたくさん残し、会議の一部を使用して、それを反映するように物事を動かします。

プロセスのボトルネックの特定と排除

最後に、特に実験プログラムのスケーリング段階にいる場合は、プロセスのボトルネックを明らかにすることが重要です。

これにはシステム思考が必要であり、それはチームリーダーまたはプログラムマネージャーの中心的な仕事です。事実上、アイデアから生産に至るまでの実験プロセスの各ステップを特定して測定する必要があります。

どのステップに最も時間がかかりますか、それとも予想よりも時間がかかりますか？そして、この毎週の会議をどのように使用して、これらの遅延とタイムラグを特定し、残りのプロセスが過度に影響を受けないようにすることができますか？

これは毎週の会議の重要な部分であり、より一般的に言えば、実験列車を軌道に乗せるためです。

実験会議で避けるべきこと

ミーティングは好きなように実行できますが、毎週のチーム実験ミーティングでは、2つのことが時間の無駄になる傾向があります。

アドホックデータを取得するか、誰かにそうするように依頼する
構造化されていないブレーンストーミングとアイデア

アドホックデータを取得する場合、または誰かにそうするように依頼する場合は、そのことをメモしてください。少しのデータを繰り返し要求する場合は、それをプロセスチェックリストに追加してください。それはすべての会議で出てくるものであってはなりません（それは多くの時間と集中力を浪費します）。これは、ダッシュボードとレポートが役立つ場所です。

構造化されていないブレーンストーミングについては、私は実際には一般的にそれを嫌いではありません。

しかし、時間と場所があり、通常は狂気への方法があります。

毎週の会議でアイデアの提出に膨大な時間を費やすと、プロセスのボトルネックを特定し、適切な実験を実行していることを確認するために費やす時間を削減できます。

ランダムに良いアイデアが浮かんだら、それで結構です。それが大まかに構造化されたブレインストーミングセッションに発展した場合は、足を下ろしてオフラインにする必要があります。

毎週の実験チームミーティングの運営方法

では、毎週の実験チーム会議を実際に実行するにはどうすればよいですか？

もちろん、実際に実行した実験と結果については、いくつかの詳細を難読化する必要がありますが、各部分については、できる限り詳細に説明します。

人々

まず、毎週出席する人々は、中核的な戦略的実験機能の一部です。これは、アナリスト、パフォーマンスマーケター、Web開発者、および製品マネージャーを含む小さなグループです。私のマネージャーも頻繁に出席しますが、すべての電話に出席するわけではありません。

デザインチームは当社の研究拠点であるため、個別にミーティングを行っています。

これらの人々は定期的に出席し、デザイン、ブランドマーケティング、製品マーケティングなどの隣接するチームから時々「ゲスト」を招待します。また、これらのゲストコールについては、通常、別のセッションを設定するだけです。これは、通常、新しいアイデアの紹介、チームコミュニケーションの改善、またはブレインストーミングを目的としているためです。

これをより一般的にするために、ほとんどの場合、実験会議には、戦略について決定を下す人々とその戦略を実行する人々を含める必要があります。通常、これは次のとおりです。

リーダー/プログラムマネージャー
プロダクトマネージャー
開発者
デザイナー
アナリスト

スケジュール

私はこの会議を毎週月曜日の中部標準時午後3時に実行します。月曜日の朝は、準備をして深い仕事をしたり、前の週のルーズエンドを縛ったりするのに最適です。午後までに、チームは次の週について話し合う準備ができています。これにより、1週間を通して何に取り組み、優先順位を付けるかを全員に知らせることができます。

その後、1週間を通して、非同期のチェックアップと1対1のミーティングを行い、月曜日のチームミーティングで取り組むことを決定した内容の詳細について話し合います。

現時点ではスライドデッキは使用していませんが、組み込む場合があります。その場合は、上記の制限時間に合わせて個々のセクションを維持し、デッキは前週の金曜日に発送されます（月曜日の朝に各人のセクションをまとめるのに20分以上費やさないことを目標としています）。現在、私たちは主にプロジェクト管理に使用するAirtableデータベースをウォークスルーしています。

アジェンダ

これが私の正確な議題です：

会議の長さ：45分

非公式のキャッチアップ：5〜10分
終了した実験/研究からの学習：<10分
バックログの優先順位付け/グルーミング：<10分
ボトルネック/ブロッカーの特定：残りの時間（10〜15分）

上記の各セクションとその目的については、すでに説明しました。

上記のそれぞれに役立つ可能性のあるいくつかのツールとフレームワークを紹介します。

終了した実験/研究からの学習。

ここで必要な主なものは、優れたドキュメントシステムです。

実験を実行する前に、実験ドキュメントに次のセクションを記入する必要があります。

バックグラウンド
学習目標
仮説
予測（仮説とは異なります）。
実験計画（定量的かつ創造的）
フォローアップ（結論として何が起こるか）

次に、実験が実行された後、さらに2つのセクションが入力されます。

結果
学習

そして、私たちの会議では、結果について簡単に説明し、学習セクションについてさらに詳しく説明します。実験の「所有者」は誰でも、学習内容を提示する人であり、次に、それらをどのように適用できるかについて簡単な議論があります。これは、より広いスケールでテストすること、または単に学習を同様の経験にスケーリングすることを意味する場合があります。これは、意味のある方法で反復することを意味する場合があります。

このステップで選択する2つのツールは、次のとおりです。

実験文書（テンプレートを盗むにはここをクリックしてください）
実験知識共有システム/Wiki

バックログの優先順位付け/グルーミング：<10分

この部分の有用性については議論がありますが、単純なWeb制作や製品管理とは異なり、実験は多くの外部からの圧力、ブロッカー、気まぐれにさらされるため、グループディスカッションを続けるのが好きです。

たとえば、私たちが計画した特に大規模な実験への賛同が得られなかったり、設計の妨げになったりする可能性があります。しかし、それでもテストのリズムを維持したいので、その場合でも、アジャイルを維持し、バックログからより少ない労力のアイデアに進むことができます。

一部の組織では、この意思決定は実験チームのリーダーのみに委ねられています。私はグループに議論を開くのが好きです。

なんで？

まず、優先順位のスコアの重みでチームを粉砕したくありません。実験の価値の一部は、あなたが学ぶことを期待していなかったことを学ぶことです。チームの他のメンバーからの優先順位付けの自律性を許可することで、私がそこに置くことのなかったアイデアをテーブルに得ることができます。これは、チーム全体のコミュニケーションと信頼関係の向上にも役立ちます。

第二に、人々は自分が取り組むことを選んだことに取り組むことにもっと興奮しています。私がすべてのアイデアを割り当て始めると、個々の実験に対して人々が感じることができる情熱を制限します（これは、多くの点で、実験が勝つ可能性を制限します）。

したがって、このセクションでは、基本的に2つのツールを使用しています。

プロジェクト管理かんばん（Airtableを使用しています–これは素晴らしいテンプレートです）。
優先順位マトリックス（PXLを使用）。

ボトルネック/ブロッカーの特定：残りの時間

最後に、ボトルネックを特定します。

これは難しい。最初は、2つのことを行っています。

遅い配達のパターンを見つける
チームに定性的で自由形式の質問をする

私のAirtable（共有できないと言って申し訳ありません）では、各カードに4つの列があります。

設計期限
提供されたデザイン
開発期限
開発が提供されました

これは、私たちが従うかんばんの手順に追加されます。

考え
進行中の実験文書
レビュー中の実験文書
開発中
品質保証
QAを行い、ローンチの準備ができました
ランニング
結論
本番環境にプッシュ

これにより、物事が予定より遅れている場所を確認できます。たとえば、10個のテストを実行したが、どれも実装されていない場合は、本番環境に問題があります。または、おそらく私たちの実験は品質保証で行き詰まり、すぐに公開できる実験のバックログが開始されるのを待っています。

開発段階では、エクスペリエンスを作成するための設計または開発者を待っているかどうかも確認したいと思います。繰り返し遅れる場合は、これらのチームの優先順位をリファクタリングするか、人員を増やす必要があることを意味します。

定性的な質問は次のように聞こえます。

今週、誰かが私からのサポートを必要としていますか？
今週の目標を達成するための潜在的な阻害要因はありますか？

これらに対する答えは、短期的にこれらのボトルネックを修正することと、長期的に修正を繰り返す場合のパターンを特定することの両方を可能にするはずです。

ギャップを埋める：他の便利な実験プログラムツール

実験チームの会議は、マネージャーのツールキットに含める必要がある唯一のツールではありません。

実際、実験マネージャーが犯す最大の過ちは、すべてを1回の会議でやろうとしていることです。

むしろ、あなたはあなたの儀式とアーティファクトを広げたいので、あなたはあなたが達成したいそれぞれの仕事に最適なツールを使用しています。

実験チーム会議は、次の3つのことを達成します。

学習と洞察
優先順位付けと作業の割り当て
ブロッカーの識別と修正。

気になるその他の実験プログラムの目標は次のとおりです。

他のチームからアイデアを得る
経営幹部と利害関係者をROIと結果のループに保つ
結果を他のチームと共有して、実験以外の知識を広める

組織によっては、実験のスコアボードを保持したり、データサイエンティストと協力して、分析の一部やプラットフォームを自動化するDataOpsプロセスを実装したりするなど、さらに多くの作業が必要になる場合があります。

しかし、上記の目的のために、私はこれらのツールが手間がかからず、非常に効果的であると思います。

実験レビューメール
部門の枠を超えた実験の読み出し会議
実験アーカイブ/知識共有ツール

実験レビューメール

ほとんどの場合、実験チームの会議は結果の検討に費やされるべきではありません。これはダッシュボードで効果的に行う必要があり、プログラムマネージャーであるあなたに毎週メールを送り、チームの他のメンバーや関係者に送信します。

以下を含める必要があります。

結論を出した過去の実験+結果
現在実行中の実験
今後の実験

セルフサービスの分析とダッシュボードもここに含めることができます。私は視覚的に魅力的な結果チャートを作成し、グループ内のオタクなものの詳細にリンクするのが好きです。しかし、概して、あなたのVPは、個々のテストの詳細な統計についてはあまり気にしません。したがって、このメールは、あなたの努力を可視化し、高レベルの結果と学習を共有するためのものです。

部門の枠を超えた実験の読み出し会議

実験チームは、領土のサイロとして機能してはなりません。チームが得た知識の広がりを制限し、混乱を招くアイデアの流入も制限します。

そのため、四半期ごとに、クロスファンクショナルな実験の読み取りを実行して、実行したすべての実験と高レベルの学習を確認し、残りのチームがアイデアをコメントしたり提案したりできるようにマイクを開きます。

これにより、他のチーム（私にとっては、一般的に製品マーケティング、ブランド、製品、需要世代）が、私たちが学んだことを確認できます。おそらく、彼らはそれを使って彼らの仕事、メッセージ、そしてデザインに影響を与えることができます。

また、今後のキャンペーン、オンボーディングフローでの実験など、私たちが知らなかった可能性のあるものをレーダーに載せることもできます。

実験アーカイブ/知識共有ツール

最後に、実験プログラムで最も過小評価されているツールは、すべての結果と学習を保存する場所です。できれば、これは優れた検索およびタグ付け機能を備えたツールです。

これにより、非常に関心が高く、熱心な関係者は、実行されたものを簡単に探すことができます。

個人的には、AirtableとGoogleDocsを組み合わせて使用しています。ただし、Notion、Confluence、またはEffectiveExperimentsなどの専用のA/Bテストアーカイブツールを使用できます。

結論

実験チーム会議は、チームの効率（実験の速度と品質）と有効性（組織内でのチームの可視性と尊敬度）を左右する重要な儀式です。

会議と参加者を尊重して扱い、その目的に忠実であり続けます。気を散らすものやスコープクリープを避けてください。ブレーンストーミングやレポート作成のための他のツールがあります。そしてすぐに、別の会議を恐れる代わりに、生産性が高いため、この会議を楽しみにしていることがわかります。とにかくそこに着陸しました。