経験に基づいた実験を実行するには、A / Bテストの学習リポジトリが必要です（専門家によると）

テストプログラムは、構造や影響が不足しているように感じますか？

攻撃の計画がなく、何を優先するか、次にどこで作業するかわからないテストを実行していますか？

おそらく、以前に試したテスト、機能したテスト、失敗したテストを思い出そうとして迷子になりますか？

あるいは、既存のプログラムに参加したばかりで、それらがすでに何を実行しているか、どのように実行されたか、どこから始めればよいかわからない場合は、

A / Bテストでは雑草に迷うのは簡単ですが、幸いなことに、これらすべてを解決する簡単な方法があります。

最近、5人のプロのCROにインタビューしましたが、すぐに明らかになったことが1つあります。経験に基づいた実験を実行し、テスト文化を成長させたい場合は、一元化されたインサイトリポジトリが必要です。

ラーニングリポジトリとは何ですか？

簡単に言えば、これは、実行した過去のテストに関するすべての情報を保存するための唯一の場所です。

• ターゲットページ、
• 仮説とあなたが実装したもの、
• テスト要素とバリアント、
• 結果、
• 重要な指標などへの影響。

ラップトップやAsanaプロジェクトのフォルダーと同じくらい基本的なものにすることができますが、学習リポジトリは単なる栄光のファイリングシステムではありません…

「実験学習リポジトリ」により、より幅広いビジネスと利害関係者は、これまでにどのような実験が行われ、どのような学習が得られたかを確認できます。 リポジトリは、グローバルビジネスで重要な独自の時間と速度でコンテンツを消費する機能を読者に提供します。

– Max Bradley、ZendeskでのWeb実験の管理

これは、過去のすべてのテストのチーム全体に簡単にアクセスできることを意味し、実際にそのテスト文化を構築するのに役立ちます。

どのように？

より多くの人々がテストに関与し、テストが実行されるのを見るほど、彼らはより早く考え方を採用します。

すでに実行されたテストとその結果を確認することで、この情報にアクセスできるすべての人に新しいアイデアと角度を与えることができます。 これは、ああにつながる可能性があります！ テストチームの外で会社のさまざまな領域で瞬間を過ごし、それを自分でテストしたり、テストチームに持ち込んだりすることができます。

たとえば、有料広告部門がページテストで効果を上げた最も効果的な言語を特定した場合、視聴者の共感を呼ぶため、広告コピー、有料検索、ソーシャルメディアでこれを試してみるとよいでしょう。

過去のテストにアクセスすることで、外部のチームメンバーとの新しいアイデアが生まれるだけでなく、重要な情報を見つけるために費やす時間が短縮されます。

ただし、学習リポジトリには、全社的なアクセスと時間の節約だけではありません。

学習は、意味のある効果的な製品を構築するための基本原則であり、意味のある検証済みの学習を収集する唯一の方法は、実験を実行し、それらすべての学習を中央リポジトリに収集することです。 このリポジトリの学習は、たとえば次のような多くの演習で使用できます。機会/ソリューションツリーでは、いくつかの異なるソリューションアプローチを使用して特定のユーザー目標に向けて取り組みます。

経験に基づいた実験を実行するための鍵は、アクセス可能で、構造化され、検索可能で、適切に更新/管理される中央リポジトリを持つことです。 これを成功させると、実験プログラム全体の出力の生産性と品質に指数関数的な影響を与える可能性があります。

– Matthias Mandiau、 H＆Mグループの実験およびデータ分析スペシャリスト

マティアスが言うように、私たちが私たちの聴衆を理解することができるほど、私たちは彼らのために製品やサービスをよりよく提供することができます。

すぐに洞察を得ることができないかもしれませんが、それは私たちを正しい道に導くことができ、そこからさらに改善し、最高の製品とユーザーエクスペリエンスを提供することができます。

それでもいいですか？

テストの結果を学習して管理し続けることで、コストのかかるミスを回避できます…

あなたは実験を実行しました、今これらの間違いを避けてください

過去のデータを保存してアクセスする場所があることは素晴らしいことですが、それだけがメリットではありません。

実際、インタビュー中に、多くの一般的なテストプログラムの間違いが何度も話題になっていることがわかりました。そのほとんどすべてが、学習リポジトリを用意することで修正されました。

「高価な」企業データを尊重しない

学習リポジトリの最も説得力のある議論の1つは、テストからのすべてのデータが会社の所有物であるという単純な事実です。

あなたはそのデータを収集するために貴重な時間とお金を費やしています。 あなたがしたい最後のことはそれを保存したり使用したりしないことです、あるいはさらに悪いことに、あなたが新しいテストを計画し、過去のテストから学ぶのを助けるために決してそれに戻ってこないでください：

実験プログラムの主要な成果（学習）が処理されていないのに、なぜこれほど多くのお金を実験プログラムに投資するのでしょうか。

すでに取り組んでいること、今焦点を当てるべきこと、そしてすぐに取り組むべきことを理解するためには、適切な概要が重要です。 また、このように知識は人に依存しません。なぜなら、人は会社に出入りするからです。

その上、より良い知識の共有、より良いオンボーディング、より良いビジネスケースの準備、より良い研究を可能にします…

–マティアスマンディアウ

テストプログラムを1マイルの高さで把握することは、テストを改善するだけでなく、新しいスタッフやチームリーダーをトレーニングするのにも役立ちます。 （そして、CROマネージャーが会社を辞めたときにすべての洞察を失うという問題を回避します）。

どのように？

さて、今、新しいメンバーは、以前に何が試されたか、何がうまくいったか、そしておそらく何がうまくいく可能性があったが正しく実装されなかったか、さらに繰り返すことができるかを見ることができます…

経験（およびデータ）に基づいた企業全体の「直感」の開発を見逃している

腸を使ってテストのアイデアを思いつくのは何も悪いことではありません。 仮説を立てて最初のテストを完了するのに役立つデータや経験からの直感を持っているだけの場合もあります。

ただし、常にこの直感に依存し、代わりに研究やデータに注意を払わないように注意する必要があります。

私が（Bouqsで）私のチームに伝えていることの1つは、データ（ログに記録された学習/テストからの成果物）がない場合、自分の内臓または利害関係者の内臓の本能に基づいて決定を下さなければならないということです。 学習のデータベースは、
私たち全員にとって、腸のチェックとして使用できる腸ですが、それは私たち自身のものや偏ったものだけではありません。

–TheBouqsの製品管理担当副社長NataliaContreras-Brown

最も成熟したCROプログラムを持つ最大の企業は、ほとんどすべてデータ駆動型です。 彼らは、データが彼らに最も重要であると言っていることに基づいて選択を行い、それが彼らがマーケットリーダーになる理由であることがよくあります。

腸の選択と意見だけでテストすることに罪を犯さないでください。また、メトリックだけに焦点を合わせないでください。 時間をかけて、各テスト結果からコンテキストの洞察を見つけてください。 情報に従い、最も重要なこととして、何が起こったのか、なぜ起こったと思うのかを追跡して保存します。そうすれば、試したことやうまくいった理由を忘れないようにできます。

以前に実行されたテストの繰り返し

これについてはすでに示唆しましたが、何をしているかを追跡しなくても、すでに試したテストアイデアを再実行したり、すでに実行されたと思うためにテストアイデアを見逃したりするのは非常に簡単になります。

学習リポジトリは、以前に実施された実験の再実行を回避するのに役立ちます。 また、実験チームの結果や利害関係者からの学習に関する質問に答えるのにかかる時間を短縮します。

–マックスブラッドリー

あなた自身とあなたの将来のチームに親切にし、あなたが実行してきたことと各テストのすべての詳細を記録してください。

同様のことを実行したい場合もありますが、以前に試したことの詳細がないと、保存する必要のあるデータを取得するのを見逃したり、さらに30日を費やしたりする可能性があります。

コミュニケーション不足または情報へのアクセスの欠如

成熟したCROチームの最大の違いの1つは、情報をすばやく簡単に伝達またはアクセスできることです。 アクセスのしやすさだけでなく、適切な情報をいかに効率的に提供できるかという点でも。

十分に文書化され、整理された学習リポジトリがあると、コミュニケーションの障壁が減り、情報を検索して一時停止している間、テストワークフローを回避するのに役立ちます。

（実験リポジトリ）は、すべてのデータを詳細に保持する知識管理システムであり、チームは一般的にアクセスできますが、最も重要なことは、適切な人々のために適切な形式で適切な形式でコミュニケーションアーティファクト（commsレイヤー）を作成できるようにすることです。適切なタイミング。

これは、次のように、テストワークフローの「データレイヤー」です。

– Ben Labay、マネージングディレクター/ CRO＆Experimentation @ Speero by CXL

学習（およびお金）をテーブルに残す

テストの大部分が失敗することを忘れないでください。 反復と過去のテストからの学習によってのみ、ROIに影響を与える勝利を向上させることができます。

何を実行し、どこに行ったかを追跡しないと、前進して進捗状況を確認したり、テストプロセスに自信を持ったりすることが非常に困難になります。

Stefan Thomke氏は、「あらゆる方向からの情報に溢れているにもかかわらず、今日のマネージャーは、戦略的および戦術的な決定を通知するための適切なデータが不足している不確実な世界で活動しています」と述べています。 実験による検証と検証は、学習に役立ちます。 将来の決定のためにそれらの学習をレビューするために簡単にアクセスできるリポジトリにそれらの学習を照合することが重要です。

– BrainLabs、CRO担当副社長、David Mannheim

RubendeBoerの理想的なプロセスを視覚的に表したものは次のとおりです。

実行するすべてのテストから学び、改善することは非常に重要です。 それはあなたの将来のテストの成功に直接結びつくだけでなく、あなたが現在の勝利を他の分野や他のサイトにまで拡大するのを助けることさえできます。

製品チームのH＆Mで実行する他のほとんどすべての実験は、以前の実験または他の調査方法の文書化された学習によって裏付けられています。

–マティアスマンディアウ

この学習と繰り返しの習慣は、私たちがインタビューしたほとんどすべての人に何度も現れます。

Brainlabsでは、有名なメンズウェアストアであるFlannelsの実験の約40〜50％が互いに繰り返されていました。 これは、単一の実験内での学習の力と、それがどのように他の何かに進化することができるかを示しました。 なぜなら、実際の刺激が変数にどのように影響するかを常に学んでいるからです。

–デビッド・マンハイム

別の例を挙げましょう。

リードキャプチャページがあり、使用するレイアウトが1ページで適切に機能するとします。 次に、それをサイトの他の人に適応させて、そこでもリフトが増加するかどうかを確認できます。

同様のニッチに複数のクライアントを持つ代理店の場合はどうなりますか？

ある会社からの洞察と勝利は、他のクライアントにも役立つ可能性のあるアイデアやデザインにつながる可能性があります…

かつては機能していたものが、まだ十分に活用されていない可能性があります。

• それはより大きな強度で再び機能する可能性があります（同じ顧客の場合）
• それはどこか別の場所で再び機能する可能性があります（同じ顧客の場合）
• それは完全に異なる誰かのために再び働くかもしれません

言い換えれば、過去の勝利には、最適化をスピードアップできる予測の可能性があります（より多くの勝利、より大きな成功の確率、より大きな効果）。

– Jakub Linowski、GOODUI.org

ドリップエージェンシーは、2人のクライアントでまさにこれを行いました。

彼らは、あるクライアントから受賞したページレイアウトのデザインを取得し、別のクライアントでテストして、コンバージョンを即座に増やしました。

GoodUIも同様のことをしました。 彼らは、あるクライアントから受賞したテストのアイデアと情報を受け取り、それをサイトの他のページをテストするための基礎として使用しました。

これにより、コンバージョンが42％増加しました。

その後、彼らはそれをさらに一歩進めました。

彼らは、1人のクライアントに勝利のデザインを実装するだけでなく、ケーススタディを実行して、複数のWebサイトにわたる以前のキャンペーンに基づいて勝利のテストを予測できるかどうかを確認しました。

特定のUXデザインが他の業界で機能する可能性があるという理論。

そのため、以前の受賞者のデザインレイアウトを使用して51のテストを実行し、以前の受賞者を使用して他のサイトで新しいテストを設計する際に71％の成功率を達成しました。

かなりかっこいいですよね？

学習リポジトリが非常に役立つもう1つの理由は、優れたテスターが過去の勝者を見る理由です。

考えてみれば、GoodUIは基本的に一種の学習リポジトリであり、複数のサイトや業界にわたる過去のテストと受賞者のデータベースです。

重要なのは、他のサイトで再利用されたデザインをよく目にし、特定のパターンがリフトを提供することに気付くということです。 たぶん他の誰かがテストを実行しましたが、それはうまくいきました、など。

GoodUIはスマートCookieであるため、これらの特定のパターンを、新しいクライアントに対して実行するテストのインスピレーションとして使用します…

そしてそれは理にかなっていますよね？ 技術的な問題を修正し、テストするページを決定したら、同様のページの過去のテスト要素と何が機能したかを確認しても問題ありません。

始めるときにインスピレーションを得るために他のサイトを使用することもできますが、すべての専門家が同意します。 できるだけ早く独自のリポジトリの構築を開始する必要があります。

実験リポジトリに投資する

Jakub LinowskiはLinkedInで、医師、エンジニア、アスリート、軍隊などの職業を見ると、彼らの成功と成長のほとんどは、過去の実験から得た学習に基づいていることがわかると述べています。

その精神的なイメージで、実験が必ずしもレベル0から開始する必要がない場合に、CROフィールドが全体としてどれほど速く成長できるかを想像できます。しかし、学習リポジトリがなければ、まさにその通りです。

そして、多くの社内CROチームがこれに罪を犯しています。

このアイデアを家に近づけると、すでに知っていることを基に、実験プログラムの取り組みを強化するための確実な方法であることが明らかです。

リポジトリ=実験成功の可能性が高い

学習テスト（および過去のテスト）の考え方を持っている場合にのみ、実際に実験が提供するもの、つまり、コンテキストと状況を考慮して、何が機能し、何が機能しないかについてのアイデアを評価します。

UX、UI、製品、マーケティングにおける20の「適切な決定」（実験のおかげで）は、意思決定の筋を曲げ、本能を研ぎ澄ますのに役立ちます。 自分の意見が打ち切られたり検証されたりするのを見るほど、何が効果的で、視聴者が何を必要としているかを知るための羅針盤が増えます。

コンバージョン率のためにテストする人は、この全体像を見逃します。 それはあなたの聴衆が何を必要としているかを学ぶことであり、正しいことではありません。

方法をお見せしましょう：

学習リポジトリを構築する方法

学習リポジトリは、データサイロを排除し、コラボレーションを促進し、コミュニケーションを強化することを目的としています。

適切に構成されていない場合、これらの基本的な要件を満たすことは非常に困難になります。 しかし、学習リポジトリを構築することについてのことは、オプションがあるということです。 組織によって機能が異なります。

3つのモデルについて説明し、チーム、部門、または組織と完全に一致するモデルを想像できるため、これは問題ではありません。 さらに良いことに、専門家は1つの特定のモデルを推奨しています。

実験チームの構造に関しては、センターオブエクセレンスという勝者がいるようです。

1. センターオブエクセレンス（CoE）は、部門固有の実験チームを可能にし、装備します

このモデルでは、実験チームは組織全体の実験プログラムのCoEです。

ですから、彼らは実験を実行したい他の部門の誰にとっても一種のコンシェルジュです。 あなたはそれらを通り抜け、彼らはそれをセットアップするのを手伝います。

次に、これらの実験の整合性を監視し、組織の幅広い実験目標にすべてを合わせます。

今日このように構造化することで、明日はダウンラインの問題を取り除くことができます。 すべてが同じトラック上に保持されているため、監視が容易であり、この方法で学習リポジトリを構築することは簡単に調整できます。

ここでの主な課題は、分散型モデルほどアクセスしにくいことです。

2. 分散型ユニットは部門間で配置され、全員が参加します

分散型ユニットはさまざまな部門にあり、実際のテストを実行します。 独自の成長ループと指標に関するノウハウが最も豊富であり、影響力の大きい実験を設計および実行するのに最適な立場にあるため、これは優れた戦略です。

このモデルでは、部門や実験の経験レベルに関係なく、誰でもテストを実行できます。 CoEと組み合わせると、一部のファンを魅了します…

私は分散型実験の大ファンであり、センターオブエクセレンスと協力して品質管理とABテストの普及に取り組んでいます。 私の経験では、これらの構造は、実験の力を真に受け入れる文化に最適です。 学習リポジトリに関しては、これはそれに続くはずです。 チームメンバーは、実験を実行し、彼らの労働の成果から学んだことを強調する権限を与えられるべきです。

–デビッド・マンハイム

したがって、学習リポジトリを維持する責任も同様に続きます。

3. 実験学習を収集して維持するために1人で管理

ただし、CoEのみのモデルとは異なり、分散型モデルの学習リポジトリは調整が困難です。

学習の文書化と維持を担当する指定された役割を持つことが役立ちます。 そして、これには何か有益なことがあります。

プログラム/プロジェクトマネージャー（追跡）とプライマリテストストラテジスト（ストーリーを入力する）によって管理されますが、適切に行われると、入力が発行フォームなどのフォームエントリとして送信されるため、すべての段階で入力を行うことができます。キャンペーントラッカー、新しいテストソリューションのアイデアなど。

– Ben Labay 、マネージングディレクター/ CRO＆Experimentation @ Speero by CXL

マティアス・マンディアウはベンに同意します。

私は集中型/分散型のハイブリッドを好みます：

リポジトリは常にアクセス可能である必要があります（クラウド）。

強力な仮説を立てるために、さまざまな調査方法を組み合わせることができる必要があります。

リポジトリと所有権の設定と管理は、1つのチーム/マネージャー（集中型）で行う必要があります。 中央レベルでの高レベルのマクロ実験パフォーマンスKPIをフォローアップするのに適しています。

実験を行うすべての製品チームには、中央リポジトリに適切な形式でアップロードされたすべての収集された学習を適切に処理する責任を持つ利害関係者（データアナリスト/ CRO）が必要です。 また、分散型チーム内の製品チームレベルのマイクロ実験パフォーマンスKPIをフォローアップすることもできます。 たとえば、GAまたはリポジトリにリンクされているダッシュボードである可能性があります。

Zendeskでは、1人のマネージャーがリポジトリの保守を担当していますが、入力は「テスト所有者」からのものです。

現在、リポジトリはビジネス内の1つのチームによって管理されており、1人がリポジトリの全体的な所有権を取得しています。 テストの「所有者」は、テスト完了後の学習をリポジトリのそれぞれの領域に追加するように要求されます。

–マックスブラッドリー

このようにして、分散型モデルを管理する1人の人（または小さなチーム）が、実験学習リポジトリを効率的かつ品質保証された状態に保つことができます。

これは、GoodUIが行っていることと似ています。さまざまな業種や顧客からの学習を利用して、実験的洞察の優れたリソースを作成します。

したがって、学習リポジトリをまだ持っていない場合でも、そこから引き出すための十分な知識があります。 Convertのプランには、GoodUIの割引サブスクリプションが付属しています。

学習内容を文書化する方法

他の組織化されたファイリングシステムと同様に、学習リポジトリをデータをダンプする場所にすることはできません。 誰にとっても役立つように、学習を文書化する明確で適切な方法が必要です。

これは、データの直感的な視覚的表現、専門用語のないデータストーリー、および必要に応じて特定のテストを見つける簡単な方法を意味します。

方法は次のとおりです。

テストからすべてのメタデータをキャプチャして記録する

明らかな最初のステップは、テストからデータを収集することです。 しかし、どのようなデータを収集しますか？ すべてを収集すると言うのは簡単ですが、それは簡単に圧倒され、落胆する可能性があります。

では、実験リポジトリに含めるデータは何ですか？

これは、テストコンセプトの完全なメタデータです。 そして、それは主に、質問する必要のある質問に基づいて入力を追跡する必要があります。これは、カテゴリの標準です。

• テストタイプ
• ページ
• タッチポイント
• 聴衆
• 成長表面積

ただし、これらのカテゴリ内の標準ではありません。たとえば、オーディエンスは会社によって異なりますが、すべての会社がオーディエンスのさまざまなセグメントでテストします。

–ベンラベイ

そして、これはどのように見えますか？

より明確な画像が得られるように、これらの各カテゴリを調べてみましょう。

• テストタイプ

どんなテストでしたか？ A / Bテスト？ MVT？ A / B / nテスト？

• ページ

ここでは、テストが発生したサイト上の1つまたは複数のページを指定します。 ホームページですか？ 特定の製品ページ？ あなたのSaaSブランドの価格設定ページ？

• タッチポイント

タッチポイントは、顧客がブランドとやり取りする過程の領域です。 これは、広告、製品カタログ、ブログ投稿、マーケティングメール、アプリなどです。

• 聴衆

テストの対象読者は誰ですか？ 基準に基づいて特定のセグメントをターゲットにしていますか？ 行動データ？ 目標は？ 訪問者の情報源？ ジオロケーション？ それとも、それらはすべてランダムに選択されていますか？

• 成長表面積

これは、ユーザーがサイトに固執したり、ブランドとの関係を深く掘り下げたりすることを奨励するインタラクションまたは機能を指します。 つまり、それは各訪問者の価値を高める一種のフックです。 これは、無料の試用版またはデモの場合があります。

メタデータを充実させるには、次のものも含める必要があります。

• 日付
• URL/正規表現
• 前のテストの反復—報告しているテストの基礎となる前のテストへのリンク。

そして、あなたはこれをより影響力のある情報で封印します。 含む…

• AとBのスクリーンショット
• 分離されているかどうか（変更数）
• 信頼区間での影響％
• メトリックタイプ

– Jakub Linowski

多いほど良いです。 しかし、それを適切で有用なものにしてください。

ZendeskのMaxBradleyの別の例を次に示します。

基本的な追跡レポートまたはリポジトリの場合、Convertのレポートには、勝者とテスト対象も表示されます。

情報を保存しながら、さまざまな学習スタイルを尊重する

実験データを保存するときに、人々が情報を消費することを好むさまざまな方法にアピールする必要があります。

それを行うときに覚えておくべき特定のことがあります…

私たちはさまざまな方法を試しました。 代理店として、私たちは常にさまざまなビジネスの複数のさまざまな利害関係者に対応しています。 そこに課題があります。人々は知識を取り入れ、異なる方法で学習します。 彼らは視覚、聴覚、運動感覚の学習者ですか？ Myers-Briggsキーのどこにありますか？ 利害関係者とのコミュニケーション方法は、コミュニケーションを行うコンテンツとほぼ同じくらい重要です。 私の経験から、学習リポジトリは成功するために2つのものでなければならないことを学びました。

• それらとメモが付いているので、簡単にフィルタリングできます
• スキャン可能な学習のための簡潔な。

–デビッド・マンハイム

報告された実験について可能な限り多くの情報を提供できます。 そして、さまざまな形式でそうします。 そのため、すべての数字にコンテキストを与えるために、スクリーンショット、ビデオレコーディング、およびストーリーが必要です。

関連性があり、簡潔で、スキャン可能であることを忘れないでください。

学習を最大化するためにテストにタグを付ける

テストにタグを付けると、すべてに簡単にアクセスできます。

また、テストの目的を一目で理解するのにも役立ちます。

リポジトリが一貫して成長している場合、ある日、何千ものテストが記録され、何百人もの人々がそれを使用してアイデアをスワイプし、洞察を抽出し、決定を通知します。

組織のソリューションスペクトルにおける各テストの位置を人々が理解できれば、学習はより役立ちます。

最大の効果を得るためにあなたの学習を伝える方法

あなたの学習リポジトリは、人々が実際にそれを使用するときにのみあなたの実験プログラムに利益をもたらすでしょう。

したがって、アクセス可能にするだけでなく、意味があり、実験への関心を刺激する方法で、チームや組織の他のメンバーに提示します。

しかし、どうやってそれをしますか？ これらは、誤解される可能性のある数値および業界固有の用語です。 さまざまな分野の人々に、集めた学習をどのように評価してもらうのですか？

A / Bテストの伝達には注意が必要ですが、これらの手順に従うと、これらの障壁を打ち破り、学習リポジトリを最大限に活用できます。

それを習慣にする

まず、実験があなたのいる外国の概念である場合、学習を経験することから習慣を作ることは時間がかかるかもしれません。 だから、この旅であなたと一緒にいくつかの忍耐を詰めてください。

ここでのあなたの任務は、あなたの通常の毎週の活動のこの部分を作ることです。 ブレーンストーミングのインスピレーションの一部や、会議を閉じるためにプレイするゲームの一部である可能性があります。 たとえば、あなた自身のバージョンの「どのテストが勝ったのですか？」

これは、実験が標準である文化を構築するという全体像の一部です…

一貫性のある、楽しく、刺激的な方法でチームと一緒に学習を実行することを習慣にします。 それはいつものようにビジネスの一部である必要があります。 少なくとも週に1回、仮説と実験結果を検討するための会議が必要です。 すべてのスプリントには少なくとも1つまたは2つの実験が含まれている必要があり、実験を習慣にすることで前向きな文化が生まれます。

–マティアスマンディアウ

チームミーティングで取り上げるだけでなく、リポジトリテストは学習ニュースレターで非常に簡単に共有できます。 ここにそれらを追加する習慣があると、サイト全体での実験の採用も容易になります。

謙虚で透明性を保ち、信頼を築く

実験がすべての答えを持っていることを人々に納得させるのはクールに思えるかもしれませんが、それは誤解を招くでしょう。 同僚がそれがどのように機能するか、数字が何を表すか、そしてあなたが引き出した特定の洞察にどれだけの自信を置くことができるかを理解するのを手伝ってください。

100％確実に洞察が得られるかのように洞察を提示しないでください。 代わりに、これが「直感」やベストプラクティスとは対照的に、意思決定を行うための最良の方法の1つであることを示してください。

逆のことをすると、作成した学習リポジトリへの信頼が失われ、ほこりを集めるために放棄される可能性があります。

結果を伝達する方法に関するSpeeroのBenLabayからのヒントを次に示します。

失ったテストを隠さないでください。 代わりに、それをテストの両面的な利点を示す機会として使用してください。

あなたが勝利を収めた場合、あなたは何がうまくいくかについての洞察を得ています。 それが失われた場合、あなたは何がうまくいかないかを学んだので、主要な測定基準を傷つけるような変更を加えることを避けます。

どちらの場合も、改善できることについて学びました。

プレゼンテーションを行うときは、洞察の実際の適用を示すストーリーで構成し、Maxと同じように、関係者にストーリーの作成に参加してもらいます。

最新の学習内容を隔週でより広いチームに提示し、月単位でより広いビジネスに提示します。 勝ったテストと同じくらい負けたテストを提示することで、可能な限り透明性を保つようにしています。 これに加えて、すべてのレビュー担当者にアイデアを提出するか、専用のSlackチャネルで質問をするようにお願いしています。 可能であれば、上昇率に加えて実際の観点からメリットを示すことも検討します。これにより、読者にとってよりインパクトのあるものになります。

–マックスブラッドリー

学習をゲートしないで、全員を巻き込む

実験は、マーケティング、最適化、生産、および/または成長チームだけのものではありません。 データ主導の組織であるということは、よく行われたテストから抽出された洞察で意思決定プロセスの大部分を飽和させることを意味します。

そして、学習リポジトリはミッション全体の真ん中にあります。

だから、みんなを乗せてください。

はい、人々はこの分野でさまざまなレベルの経験を積むでしょうが、それがプログラムを傷つけないようにしてください。 各チームに実験の経験が豊富な人がいる限り、何かが起こっています。

また、実験に精通している人もいれば、実験の経験が少ない人もいることは、チームの中には励みになります。 実験の経験があるチームに少なくとも2、3人いると、大きな違いが生まれます。

–マティアスマンディアウ

影響はこのように自然に広がります。

新鮮な目とアイデアの相互受粉に投資する

時々、異なる視点があなたにあなたが考えていなかったアイデアを与えるでしょう。 ですから、実験の学習をバブルの中で休ませないでください。

あなたの分野の他の専門家とそれを共有し、彼らのフィードバックから何を学ぶことができるかを見てください。

ある顧客セグメントでは機能しなかったものがあるかもしれませんが、別のセグメントでは機能する可能性のあるわずかに異なるバージョンがありますか？

それとも、誰もが議論している何かに出くわしたことがあり、会話に参加して詳細を学ぶことができますか？

他のCROの専門家を巻き込むと、発見できることにワクワクします。 コーチングコールでさえ、異なる視点を得るための戦略の一部になる可能性があります。

コーチング– www.goodui.org/coaching –実験チームとの月1回または2回の電話で、テスト計画を確認し、テスト設計に関するフィードバックを提供し、他の人のために何がうまくいったかを明らかにします。
– Jakub Linowski

学習を共有可能にする

Notionを使用する人もいれば、Googleスライドを使用する人もいれば、CROの専門家がMiroボードの使用を提案する人もいますが、目的は同じです…

学習内容が十分に届くようにするために、テストデータと洞察をチームの他のメンバー（または他の利害関係者）と伝達します。

Notion、Googleスライド、Miroなど、チームにとって魅力的なオンラインツールを使用すると、どのデバイスからでも、どこからでもリポジトリに簡単にアクセスできます。

これは、リモートチームや、前に説明した新鮮な目を取得するのに最適です。

ポータブルで、簡単に共有できます。 今、あなたは完全な影響を与えるためにあなたの実験学習の翼を本当に与えています。

インサイトを使用してテストを計画する

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

それでは、すべてを分解しましょう…

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

Its features include:

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• 進捗報告
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

なんで？

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

リポジトリを1日目から開始します。実験は検証と学習に関するものであり、必ずしもお金ではないことを関係者に教育し始めます。 「このテストからXを学んだ」または「そのテストからYを学んだ」ことを示すほど、あなたとあなたの利害関係者はより一致するようになります。

–デビッド・マンハイム

3.証明付きのバイインを構築する

テストを文書化し、部門間で洞察を共有している人がいないか、数人しかない場合は、他のすべての人がその取り組みに参加する必要がある理由を示す必要があります。

C-suitesのサポートのための学習リポジトリの利点をうまく示すことは、最初のステップにすぎません。 次にやらなければならないことは、これらの利点を他の利害関係者にも伝えることです。

マティアスはそれについて行くための素晴らしい方法を共有しました：

小さく、無駄のない、アジャイルから始めましょう。 実験を実行し、学習内容を収集し、それらを文書化するために十分な努力を払います。 すべての実験の後にまともなレポートを作成し、頻繁に送信します（毎月、四半期ごと、毎年）。 最初はポジティブな影響と強力な学習を伴う大きな魚の実験に焦点を合わせます。 肯定的な結果は、人々が始めようと動機づけます。

いくつかの強力な影響力のある学習を収集したら、否定的な結果を示し、実験なしでこれを実装した場合にどのような悪影響があったかを説明することも役立ちます。 次に、これらの学習がビジネスにとって、そしてより良い製品の意思決定を行うためにどれほど重要であるかを説明します。

4.動作したら、特定のツールを検討し始めます（最初に学習して行動し、後で購入します）

Googleスライドまたは選択した無料のプラットフォームで簡単なリポジトリを設定し、手順2と3を完了すると、ツールにお金を投資できます。

実現するための有望なROIがあることが確実になるまで、銃を飛び越えて学習リポジトリにお金を送り込まないでください。

結論

この記事から得られる大きなポイントが1つあるとすれば、実験の学習を会社の資産と見なし始める必要があるということです。 この資産はあなたに時間とお金を節約します。 また、組織内のよりデータ主導の最適化プログラムを強化します。

ただテストを実行して、勝つか失敗してから、次のアイデアに急いでください。 時間をかけて学習リポジトリで発見したことを伝え、構造化することで、実験の旅に構造を与えることができます。

その上、バトンに合格し、テストの影響を評価し、刺激的な実験文化を促進するための最もスムーズな方法です。

そして、どのようにしてこれらすべてを手に入れ始めますか？

専門家が言うようにやってください：簡単に始めてください。