A/Bテストチーム用の通信システムを作成する方法

私たちは世界で最高のテストを実行し、最も正確なデータを得ることができますが、それが実行されない限り、それは役に立たなくなります。

会社の顔を変える可能性のある重要なテスト結果は、無視されて、騒がしくなり、さらに悪いことに失われる可能性があります。証拠が目の前にある場合でも、意見に反して議論されます。

それは信じられないほど苛立たしく、多くのA/Bテストチームの悩みの種になる可能性があります。 ただし、明確なことが1つあります。 これを乗り越えたいのであれば、より良いコミュニケーションを学ぶ必要があります。

• 利害関係者とのコミュニケーションを合理化するために、
• 結果からアクションを取得するには、
• チーム全体から新しいテストのアイデアを収集するには、
• そして、はるかに。

幸いなことに、それが今日のガイドで取り上げる内容です。 A / Bテストでコミュニケーションが重要である理由、それを改善する方法、および社内で話している相手に応じてその情報の配信を構成する方法。 （注：このガイドは、社内でテストを実施している企業を対象としています。代理店と協力している場合は、この包括的なガイドを読むことをお勧めします。）

では、飛び込みましょう…

実験の文化とは何ですか？なぜそれがコミュニケーションに影響を与えるのですか？

A / Bテストプログラム「成熟」として、それは単に改善のためのテストから離れて進化し始めます。 最終的な目標は、理想的にはデータ主導の企業になることです。 データと情報に基づいて、意見から離れて意思決定を行うビジネス。

これは、企業が成長し、オーディエンスと市場が望むものに基づいてオファーを行うのに役立ち、多くの市場リーダーにとって重要な方法論です。

その進化の大部分は、単により多くのコンバージョンをテストすることから、1つの部門での実験を考えることから離れ、代わりに実験の文化に移行しています。 これは、会社全体が実験の考え方と実践を受け入れるところです。 （テストが民主化され、すべてのチームと部門で使用される場合。）

これは（誰もがテストの原則を適用しているため）賛同を得るために役立つだけでなく、これらの新しい考え方を採用すると、会社全体で多くの改善が見られることに驚かれることでしょう。 販売ページのリフトは素晴らしいですが、返品部門が、コミュニケーションプロセスをA / Bテストするだけで、解約を減らす新しい方法に気付いたとしたらどうでしょうか。

しかし現実は厳しいです。 この文化を望んで構築することは、誰もがその考えに同意するほど簡単ではありません。

企業が実験文化の構築に失敗する原因となる一般的な間違い

通信が失敗すると、テストプログラムは苦労します。 実際、通信が途絶えると、すべてのプロジェクトが失敗する可能性があります。

プロジェクトマネジメント協会の調査では、失敗したプロジェクトの56％がコミュニケーション不足に起因していることがわかりました。

Pumbleの調査では、役員と従業員の86％が、コミュニケーション不足が大きな失敗の原因であると感じていると述べています。 興味深いことに、同じ調査で、コミュニケーションが良好なチームでは効率が25％向上したことがわかりました。 （彼らはまた、完了したプロジェクトの80％が通常コミュニケーション計画を実施していることを発見しました）。

ご覧のとおり、より良いコミュニケーションを学ぶことは非常に重要です。 しかし、CROプログラムのコミュニケーションの問題を見ると、通常、次のような大きな問題があります…

問題＃1：情報がサイロに閉じ込められており、これを使用して部門を支援できるすべてのチーム間で共有されていない

Speeroの調査によると、長期間実験を行ってきた企業は、部門や階層間で調査結果を共有していますが（67％）、新規参入者はこれを頻繁に行わないか、まったく行わない場合があります（94％）。

問題＃2：考え方を推進する責任者を1人にするというバンドエイドを、実験の文化にシフトさせる

一人で変更を担わないでください。 コミュニケーションを担当してもらいますが、プログラムのリソースを調達したり、プログラムの成功の主要な推進力になることを期待しないでください。 これは、組織全体の認識の結果としてのみ発生する可能性があります。

そうは言っても、適切な独身者は大きな影響を与えることができますが、通常はテスターではなく、エグゼクティブです…

問題＃3：経営幹部の利害関係者は、予算を増やすことだけに専念し、他の人が従うべきトップダウンの例を作成しないため、会社全体で変化と採用が不足しています。

あなたが文化を構築したいなら、それはトップダウンから来る必要があります。

問題＃4：洞察ではなく、収益のみについて報告する

データ駆動型であるということは、ビジネスのすべての領域とその影響を理解することを意味します。 実験文化への変更は、データの提示方法から始まります。 常にROIのみに焦点を当てているとは限りません。 リスクを冒して1日目から学ぶという物語を設定する機会を利用してください。

問題＃5：効果的なコミュニケーションが取れていない

または、必要な情報を取得して提供するのに苦労するのと同じくらい簡単な場合もあります。 アクセスが難しいか、人々がそれを消費していないかのどちらかです。

問題の事実は次のとおりです。明確なコミュニケーションラインを設定できるようになるまで、テストプログラムを拡張し、必要なテスト文化を構築するのに苦労します。

それでは、改善する方法をお見せしましょう。

実験プログラムでコミュニケーションを構築する方法は？

これを最もよく理解するために、RACI割り当てマトリックスをお勧めします。 これは、関係する人々または「利害関係者」のそれぞれについて、プロジェクトの主要な目的、マイルストーン、タスク、および責任のそれぞれを計画するのに役立つ責任割り当てチャートです。

実験プログラムの利害関係者を特定する

RACIマトリックスの目標は、タスクが完了していることを確認しながら、コミュニケーションのフローを作成できるようにすることです。

その頭字語を使用して、利害関係者が誰であり、誰もがプロジェクトのどこに適合するかを計画するのに役立てることができます。

• 責任あり。 タスクの完了または意思決定の責任者は誰ですか？ これは通常、人々のグループです。
• 説明責任。 誰がタスクを承認し、マイルストーンが完了したことを確認しますか？ 誰がタスクを完了する責任者にタスクを割り当てますか？ これは通常、プロジェクトリーダーであり、最終的な決定を下せるようにするための唯一の役割です。
• 相談しました。 プロジェクトのタスクについて誰に相談する必要がありますか？ タスクを完了するために、誰がタスクに入力する必要がありますか？
• 通知されます。 プロジェクトのステータスについて誰に通知する必要がありますか？ 進捗状況の更新が必要であるが、日常の入力は必要ないのは誰ですか？

それらの人々は複数の役割を果たすことができ、さまざまな会議やコミュニケーションチャネルに参加する必要がある場合がありますが、誰が何をどこに含めるかを明確にすることが最善です。 このようにして、これらのポジション間で情報を伝達および転送する方法を決定できます。

A / Bテストプログラムに関しては、通常の利害関係者のリストには次のものが含まれます。

• Cスイートの概要（情報提供）
• チームリーダー/プロジェクトマネージャー（説明責任）
• テスター（相談、責任）
• 開発者（責任者）
• デザイナー（責任者）
• QA研究者（相談、責任）

もちろん、すべてのテストチームが同じであるとは限らないため、利害関係者を特定して独自のRACIマトリックスを作成するための最良の方法は次のとおりです。

• このプロジェクトを完了するために必要な各タスクを計画することから始めます。 単純化するために、最初に主要なマイルストーンを追加するだけです。 左側に降順の列としてこれらを持っています。
• 次に、先に進んで、このプロジェクトの各利害関係者を特定します。 マトリックスの上部を横切る行としてそれらを持っています。
• 次に、各セルに「責任」、「説明責任」、「相談」、または「情報提供」のいずれかを記入し始めます。 まだ正確なタスクを記入する必要はありません。これは今のところ単なるガイドラインです。
• すべてのタスクに、少なくとも1人の利害関係者が責任者として定義されていることを確認してください。
• 同時に、各タスクに責任を持つのは1人の利害関係者だけであることを確認してください。 これにより、タスクの競合や完了の失敗を防ぐことができます。
• この大まかな概要がわかったら、これを使用して利害関係者とチャットし、各マイルストーンの特定のタスクに記入し、全員がこの評価に同意することを確認できます。

ノート：

すべてのセルに入力する必要はありません。 重要なことは、誰かが説明責任を負い、誰かが責任を負い、相談する必要がある人だけが責任を負い、人々が必要のないことすべてについて知らされていないことを確認することです。

実験プログラムのコミュニケーションツールを事前に決定する

2つの主な決定は、使用するツールとチームの運用方法を決定することです。 あなたのコミュニケーションは直接、同期、または非同期ですか？

在宅勤務や国際的なチームの増加に伴い、早い段階で非同期の習慣を形成することは、オンサイトのチームにも利益をもたらす可能性があります。 （これらのいくつかについては説明しますが、Zapierには非同期チーム管理に関するすばらしいガイドがいくつかあります。）

次に、ツールとその使用方法を決定する必要があります。

事前に全員が同じツールを使用していることを確認し、それらを統合する方法を計画することで、メッセージの欠落やコミュニケーションの問題を防ぐことができます。

実際、これが明確になっていないことが、コミュニケーション計画が失敗する主な原因です。 CitrixとEconomicTimesの調査によると、明確なコミュニケーションや情報インフラストラクチャが整っていない場合、従業員は時間のほぼ25％を情報の検索に費やしています。

そうは言っても、テストチーム向けの私のトップ5ツールのリストは次のとおりです。

• 日常のコミュニケーションのためのたるみ
• プロジェクト管理のためのAsana
• Zoom、Skype、またはMeet for call
• カレンダー会議での予約、メッセージの送信、およびSlackまたはAsanaプロジェクトに参加していない可能性のある他のチームとのやり取りのための電子メール。
• これまでに試したこと、A / Bテストの結果、機能したものと機能しなかったもの、学習、洞察を追跡するためのテストデータベース/学習リポジトリ。 すべての作業のバックアップを作成するだけでなく、新しいテスターのオンボードに役立ちます。また、テストを保存して、Cスイート、チーム、さらには全社的なレポートに使用するための素晴らしい方法です（これについては以下で詳しく説明します）。 。

これらの利害関係者のための4つの異なるコミュニケーションタイプ

利害関係者が誰であり、RACIチャートのどこに適合するかを特定したので、次は、利害関係者とどのように通信するか、何をカバーする必要があるか、およびその頻度を決定します。

私の推奨事項に基づいて、以下に簡単なRACIチャートをまとめましたが、ニーズに合わせてこれを変更できます。

4つの主要なコミュニケーション目標があり、それぞれがRACIモデルと一致しています。

• ビジョンとミッション（情報提供）
• ロードマップ（説明責任）
• プロセス（相談、責任）
• 結果、学習、勝利（情報に基づく）

1.ビジョンとミッション

このタイプのコミュニケーションは、最終目標を達成するために全員を参加させることを目的としています。 通常、プロジェクトの開始時に1回だけ実行されますが、四半期ごとに要約して、作業とアクションを再調整してください。

理論的には、これはエグゼクティブチーム、プロジェクトリーダー、テストチームに限定される可能性がありますが、実験の文化を構築したい場合は、そのプロジェクトのビジョンを設定し、全社的な賛同を得るべきだと私は信じています。それらを実験プロジェクトのビジョンに含めることによって。

TradePressの調査によると、従業員の85％が会社情報について更新されたときに最も意欲的であると主張していますが、74％はこの情報を見逃していると感じています。

ですから、実験に対するあなたのビジョンを組織全体と共有してください。 これは、その文化を創造し、人々を一致させるのに役立つだけでなく、あなたが考えていないかもしれないあなたの目標を助けることができる他のチームを見つけることもできます。

例

最近、AAから基本レベルの自動車保険を購入しました。

カバーについてはあまり考えていませんでした。できるだけ早く新しい車をカバーしたかっただけです。 24時間後、私は彼らの最も包括的なパッケージにアップグレードしたいと思いました。これは、月にほぼ55％向上したため、ROIに大きな違いがあります。

問題は、彼らにもっとお金を払い始めるのが非常に困難だったということです。 摩擦点と、テスト以外のチームのメンバーが私たちを助ける可能性がある場所を見てみましょう（特に彼らが実験的な考え方を持っている場合）。

摩擦点＃1 。 ワンクリックアップグレードはありませんでした（ただし、2番目の見積もりを取得できました）。

摩擦点＃2。 オンラインチャットによると、アップグレードする唯一の方法は直接電話することでした。

摩擦点＃3。 通話中にこれを行うオプションはありませんでした。 私は25分間一般的な順番待ちリストに送られました。

AAの目標が包括的な計画のメンバーを増やすことであった場合、ウェブマスターはワンクリックの問題を簡単に見つけることができます。 （各レベルがカバーする内容に関する明確なデータがなかったため、これが頻繁に発生することを想像する必要があります。したがって、多くの人が基本計画をできるだけ早く入手して、後で詳細を調べる直前に車両を運転できるようになると思います。）

クールなアイデアは、誰かがすでに別のレベルでカバーされている車両の別の見積もりを記入した場合、これはおそらく直接彼らに連絡するきっかけになる可能性があるということかもしれません。

コールセンターは、キャンセル、請求、アップグレードを含むすべての通話を処理しているようでした。 それは彼らが広く訓練されたオペレーターであることを意味します、しかしアップグレードしてより多くのお金を使うための速い道はありません！ （アップグレードについてチャットするためにXオプションを押す必要はありません。）

電話回線とライブチャットで最後にQAを実行したのはいつだったので、テスターはこれを見ようとは思わないかもしれません。 しかし、その特定の役割の誰かが一般的な問題、言語、苦情を拾い上げ、それをテストチームにフィードバックする可能性があります。そのため、全社的な文化が非常に重要であり、ビジョンとミッションにそれらを含める必要があると思います。

2.ロードマップコミュニケーション

これがあなたの攻撃計画です。 最終目標、そのパスの主要なマイルストーン、およびそれらのマイルストーンに関連付けられたタスクを設定する必要があります。

エグゼクティブチームは、ヒットした主要なマイルストーンと月次および四半期の進捗状況を知りたいと思うでしょう。

チームリーダーは同じだけでなく、週次レポートも必要になります。 このようにして、タスクを実行し、それに応じてチームメンバーと通信するための目標を確実に達成できます。

最適化チームは、主要なマイルストーンとそれらを達成するためのOKRを認識する必要があります。 彼らは毎週のレポートを提供し、次にチームリーダーと毎月+四半期ごとに集まり、すべてが順調に進んでいることを確認する必要があります。

3. A/Bテストプロセスの通信

ここでの目的は、ロードマップのマイルストーンを達成するためにすべてが順調に進んでいることを確認することです。

ここでは、実行中の実験とそれらがどのように結びついているか、リソースを要求し、予算を割り当てるなどを分類できます。ロードマップがレシピリストである場合、これはケーキの作り方の「ハウツー」です。

これを追跡することで、プロジェクトが時間どおりに完了し、作業に集中し、重複するタスクや見逃したタスクの問題を取り除き、後日提示された場合に経営幹部レベルの賛同を維持できます。 繰り返しになりますが、これは月次および四半期ごとの電話でカバーできます。

4. A / Bテストの結果、学習、および勝利

これは、あなたが作っている影響を見て共有する場所です。 利害関係者によっては、すべての人がある程度これを確認する必要があります。 プロジェクトリーダーとテストチームがこの情報をまとめ、C-Suiteおよび全社と共有します。

これを共有できる主な領域は3つあります。

• ニュースレター、
• あなたの学習リポジトリ、
• そして、あなたが本当に実験の文化を構築しようとしているのなら、Slackチャンネルを学びましょう。

それでは、これらをどのように使用するかを見てみましょう。

あなたの勝利ともしもニュースレター

この社内ニュースレターの目標は、賛同を得て実験文化を構築することです。

洞察と学習とともに、現在のテストとその結果を特徴とする必要があります。 これにより、全員が参加し続け、実験の力を実際に確認できます。 それだけでなく、特定のテスト結果も、複数の役割に影響を与える洞察を追加するのに役立つ場合があります。

また、来月の今後のテストを発表し、「テストを推測する」クイズを実行することで、さらに賛同を得ることもできます。

この方法は、どのバージョンが勝つか、そしてその理由を人々が推測することを楽しむことができるテスト文化を理解し、構築するのに役立ちます。 これは、すべての利害関係者が関与するのに役立ちますが、結果の背後にあるデータを確認したときにテストに関する意見を削除することもでき、「常にそのように行われている」データファーストアプローチを育成するのに役立ちます。

これは単純なアイデアですが、うまく機能します。

学習リポジトリ

リポジトリは、勝ち負けのすべてのテスト、各テストからの洞察、試行した内容、および各テストの画像のデータベースです。

実際には、その主な目的は、テストのアイデアを誤って再実行するのを助けることではなく、新しい実験者を訓練するのを助けることでもあります。

そうは言っても、このアクセス可能な全社的なものを持つことは、特にニュースレターからリポジトリに保持されているテスト結果にリンクする場合、あなたの会社のより多くの関心と関与を得るのに役立ちます！

さらに一歩進んで、この情報をどのように提示するかに楽しさとセンスを加えてください。

派手なサムネイルは必要ありませんが、先月のテスト結果をヒントにして、ニュースレターでテストを推測し、リポジトリに送信してすべての情報を入手することができます。

答えが欲しい人は結果を見つけることができ、実験に夢中になっている人はあなたがテストしているものをさらに見ることができます！

実験を社交し、インセンティブを与える

最後に、勝利と学習に専念するオールハンズのSlackチャネルで勝利を共有することで、さらに多くのエンゲージメントを得ることができます。

それはまさにSpecsaversが行うことです：

Specsaversには、毎週および毎月の集まりがあるだけでなく、最適化に携わるすべての人が見つけたものを共有するための「学習」チャネルがあります。 これは、新しいアイデアを迅速に追跡しながら、対話を作成するのに役立ちます。

それをさらに一歩進めたいですか？

同じチャネルを使用して、コミュニケーションとテストにインセンティブを与えます。 チームが新しいテストのアイデアを改善することで直接個人的な利益を得ることができるときにもたらされる革新とアイデアに驚かれることでしょう。

これは多くの場合、アイデアや洞察の共有を増やし、他のチームやメンバーにノックオン効果をもたらす可能性があります。

どのくらいの頻度で利害関係者と通信する必要がありますか？

経験則として、コミュニケーションの頻度は、さまざまなコミュニケーション方法における利害関係者とその役割/目標、および達成しようとしているコミュニケーション目標によって異なります。

すべての人が常にコミュニケーションをとる必要はないので、各利害関係者グループを、コミュニケーションの頻度が最も高いものから最も少ないものへ、そして何をカバーすべきかを分類してみましょう。

各タイプの利害関係者のコミュニケーションを正しく行う方法は？

重要なことは、RACI指定のレンズを通して各利害関係者を見ることです。

実験チーム+リード（説明責任、責任、相談）

• 最初のビジョンとロードマップの会議およびプロセス計画。
• 必要に応じて毎日のコミュニケーションを利用できます。 （これにはSlackが最適です。）
• 彼らが取り組んできたものの毎週の進捗状況。 細かく管理するのではなく、何が機能しているか、ロードマップの目標に向けたプロセスを把握するためです。 Asanaはこれに最適です。 また、その週に終了し、マイルストーンがヒットしたテストやプロジェクトにチェックインすることもできます。
• 新しいテスト計画/反復テストとともに、議論されるテストと学習の毎月の分析。 すべてのチームが順調に進んでいることを確認するための毎月のロードマップ会議。
• 四半期ごとの計画とロードマップ分析。 これを使用して、現在のプロセスに固執するか、編集して調整するかを決定します。

製品チーム（相談済み）

• 最初のビジョンとロードマップの会議およびプロセス計画（特に、全社的な実験文化を構築しようとする場合）。
• 一緒にプロジェクトに取り組んでいる場合は、毎週の進捗レポート。
• それ以外の場合は、月次および四半期ごとの分析と学習のレポートをチーム間で共有して、チームが調査結果に対してもアクションを実行できるようにします。

C-Suite（情報提供）

• 最初のビジョンとロードマップの会議およびプロセス計画。
• 月次および四半期ごとのロードマップとプロセスの進捗レポート、およびテストと学習。 必ず彼らの目標に基づいて情報を提供してください（これについては後で詳しく説明します）。

残りの会社（情報提供）

• 最初のビジョンとロードマップの会議と目標。 彼らはすべての詳細を必要としませんが、最終目標と主要なマイルストーンは彼らが計画を理解するのに役立ちます。 「第3四半期のリピート販売などを検討する前に、第2四半期の販売プロセスを改善し、解約率を減らすことで、ROIの向上を目指しています。」
• 月刊ニュースレターは、テスト、学習、勝利について報告し、彼らの関与を維持し、文化を構築するのに役立ちます。 実行されたテスト、調査結果と洞察、何が機能し、何が失敗したかをカバーします。 ボーナスとして、今後登場する新しいテストについて話し合ったり、会社全体で彼らが最も効果的だと思うことについてクイズをしたりすることができます。

理解しておくべき重要なことの1つは、プロジェクトを開始する前に、これらのコミュニケーションのリズムと頻度を事前に設定して決定し、各利害関係者が自分の責任と情報を期待または提供する時期を把握できるようにすることです。

A / Bテストの結果をC-Suiteに伝達する方法は？

C-suiteとの通信はテストプログラムに共通の問題であり、C-suiteの賛同とサポートはテストプログラムの円滑な実行を維持するための重要な部分であるため、ここでベストプラクティスを要約したいと思います。

これについては、別のガイドで詳しく説明しましたが、簡単な概要は次のとおりです。

• 合意したリズムと頻度に注意してください。
• コミュニケーションは特定の目標に集中するようにしてください。 それはロードマップ会議、プロセスチェックインですか、それとも学習の最新情報ですか？
• 初日からプロジェクトの現実を理解してもらいましょう。
• あなたの学習を共有し、「テストを推測する」キャンペーンによって彼らを巻き込むようにしてください。 トップダウンの採用は、実験文化に最適であることを忘れないでください。
• できるだけ簡単に情報を提示してください。 事前に学んだことと、どのようにしてテストのアイデアにたどり着いたか。 あなたがテストしたもの。 コントロール、バリエーション、勝者を表示します。 ミクロおよびマクロレベルでどのように機能したか。 結果を含めます。
• 見栄えを良くします。 収益の共有だけに焦点を合わせるのではなく、彼らが最初に気にかけていることで結果を提示します。 次に、さらなる洞察を共有し、それを彼らが目標を達成するのにどのように役立つかと結び付けます。
• 意見を非難しないでください。 テストが失敗した場合は、それがあなたと彼らに役立つ理由と方法を理解してください。 設計変更をライブでプッシュしないことで、少額の財産を節約できたのではないでしょうか。 重要なのは、彼らに脅迫や非難を感じさせたくないということです。 実験とは、何がうまくいくかを見つけるのに失敗したことから学ぶことです。
• テストに勝った場合は、実際の焦点を絞った指標とともに、ROIとMRRの効果を示します。 テストが収益に直接影響するページではなかった可能性がありますが、特定のリフトのモデルと、それがビジネス全体にどのように影響するかについての洞察を与えるようにしてください。 （リードが増え、チャーンが減り、ページ滞在時間が長くなり、ROIが向上します。）
• 特にエゴや役割がテストに直接関係している人々からは、結果に反発する可能性があります。 （おそらく彼らはXの専門家ですが、あなたの聴衆にとって、彼らのアドバイスはうまく機能しません）。 結果が間違っている可能性があることを認めますが、「はい、間違っている可能性がありますが、正しい場合はどうなりますか？ それは私たちにどのような影響を与えるでしょうか？」 そうすれば、重要性をそれらから状況に移すことができます。

結論

だからあなたはそれを持っています。 実験の文化を構築できるように、A/Bテストチームのコミュニケーションを改善するための詳細なガイド。

あなたはいくつかの学習曲線にぶつかるでしょうが、それに固執します。 コミュニケーションをとるほど、それを押し進めてメリットを確認できる可能性が高くなります。