マインドマップシリーズのテスト：CROプロのように考える方法（パート11）

RubendeBoerへのインタビュー

あなたは実験からもっと多くを得ようとしている人ですか？

私たちのゲストは今日これを何年も行っており、あなたがあなた自身の実験の旅を始めるのを手伝うことができます。 さらに、彼はあなたの実験があなたに正しいROIを与えることを確実にする方法についていくつかの素晴らしいアドバイスを持っています。

すべてを理解したら、すべての学習を追跡して、会社全体に適用できるようにする必要があります。 私たちの専門家は、まさにそれを行う方法についてたくさんのアドバイスを持っています。

飛び込みましょう。

ルーベン、あなた自身について教えてください。 テストと最適化を始めたきっかけは何ですか？

2009年、私は人々に社会的スキルの向上に自信を持って幸せになることを教える会社を支援しました。 その時、あなたが好きなことを通して他の人をサポートし、刺激することの重要性を私は本当に感じました。 私も次の質問に魅了されました。

オフラインで人々の行動を変えることができるとしたら、どうすればこれをオンラインで行うことができますか？

これが私が人間の行動と心理学の研究に取り掛かった方法です。 データは常に私のものです。 私はデータのパターンと解決策を見つけることを楽しんでいます（学校では、他のどのトピックよりもデータのトピックがはるかに上手でした）。

そして、私は最適化と結果の取得が大好きです。 仕事だけでなく、私生活でも。

この興味と情熱の組み合わせにより、私は当然、テストと最適化に取り組むようになりました。

最適化して何年になりますか？ 意欲的なテスターとオプティマイザーに推奨するリソースはどれですか。

2009年に、私はWebサイトの最適化と、ビジネスおよびオンラインデータの分析を開始しました。 私が最初のA/Bテストを行ったのは2011年のことでした。 もちろん、コンバージョン率の最適化を開始するときに犯す可能性のあるすべての間違いを犯しました。

私の一番のリソースは、この分野の他の専門家に会うことです。 アイデアや経験を共有し、お互いから学びます。 イベントでは、講演者だけでなく、聴衆からもアイデアを得ることができます。 互いに助け合い、共に学ぶことで、私たちは自分自身と自分の仕事を次のレベルに引き上げることができます。

5語以内で答えてください：あなたにとって最適化の規律は何ですか？

継続的な改善の考え方、学習、および実験。

最適化を開始する前に人々が理解しなければならない上位3つのことは何ですか？

まず、基本を正しく理解します。 スペシャリストは、一般的な慣行に基づいて実験を実行することがよくあります。 ただし、これらの方法はさまざまなWebサイトでテストされており（テストされている場合）、Webサイトまたは（デジタル）製品ではまったく機能しない可能性があります。

データ、ユーザー、科学研究からテストのアイデアを入手してください。 そして、実験を完了するときは、何を学んだか、そしてそれらの学習に基づいてどのような新しいテストのアイデアを思いつくことができるかを考えてください。 これらの情報源は、勝利のバリエーションを見つける可能性が高い、確かなテストのアイデアを作成するのに役立ちます。

多くの専門家が失敗しているのを見るもう1つの基本的な手順は、統計です。 すべての実験について、テスト前の分析を行います。 最小サンプルサイズとテスト期間を計算し、それらに達した後にのみテストを停止します。

テスト前の計算でA/Bテストに十分なトラフィックがないことがわかった場合は、ユーザビリティテストなど、テストのアイデアを検証する他の手段を見つけてください。

第二に、プロセスが重要です。 適切なプロセスが整っていないと、成功しません。 プロセスを最適化するには、実験の投資収益率（ROI）を理解する必要があります。

ROI =（数量*品質）/コスト

数量は、実行する実験の数です。 品質とは、勝者1人あたりの勝率と価値です。 コストは時間とお金なので、効率が高くなります。

適切なプロセス（プロセス、進捗状況、洞察を追跡するためのツールを含む）が整っていると、ROIと実験の成功を最適化できます。

そして第三に、あなたの仕事はA/Bテストを実行することだけではないことを理解してください。 作業の大部分は変更管理に専念する必要があります。 繁栄し、実験文化に向けて取り組むには、A/Bテストだけでは不十分です。 文化、考え方、組織全体の働き方を変える必要があります。 人、特に上級管理職を巻き込むことから始めます。

偏りのないストーリーを伝えることができるように、定性的および定量的データをどのように扱いますか？

手短に：

最初のステップは、Webデータ、カスタマーサービス、調査、世論調査、科学記事などのさまざまなリソースを使用して徹底的な調査を実施することです。

プロセスの2番目のステップは、調査の洞察を確かな包括的な仮説に変えることです。 単一の要素やWebページに関連するのではなく、（潜在的な）顧客について何かを述べる5〜10の仮説を目指します。

例えば：

• お客様は当社の製品が高すぎると感じています
• サインアップする前に、私たちのサービスに関する詳細情報が必要です
• 彼らは所属する必要があるので、人々は私たちの顧客になります

次に、これもあなたの研究に基づいて、いくつかの関連する実験を通じてこれらの仮説を検証することができます。 これはメタ分析と呼ばれます。

なんで？ 単一のA/Bテストではエラーが発生しやすくなります。 実験の結果、誤検知が発生したり、実験に勝った理由が仮説に記載されている理由と異なる場合があります。 メタアナリシスにより、私たちは真実に最も近づきます。 したがって、私たちの洞察はより信頼性が高く、より良いフォローアップ実験を作成します。

メタアナリシスは、証拠の階層に基づいて、取得できる最高品質の証拠です。

プロセスの最後のステップでは、どの包括的な仮説が機能し、カスタマージャーニーのどこで（どのページで）機能するかを追跡し、それに基づいてテストアイデアに優先順位を付けて、勝率と学習を最大化します。

最適化チームのためにどのような学習プログラムを設定しましたか？ そして、なぜこの特定のアプローチを採用したのですか？

上記のプロセスは、あなたとあなたの組織が実際に学ぶことができる信頼できる洞察を集めるのに役立ちます。

これらのメタ分析を（Airtableのようなツールで）うまく文書化すると、成功がどこにあるのかがわかりやすくなります。 すべての実験に包括的な仮説と心理的方向性をタグ付けすることで、潜在的な顧客のニーズ（および問題）に関する信じられないほどの量の知識を得ると同時に、顧客がそれらに対処するための旅の場所と、どのような種類の実験を行うかを知ることができます。

多くの実験を行い、明確な状況を把握し始めたら、これらの洞察を共有して、組織全体が学び、利益を得ることができます。

あなたが望む最も厄介な最適化の神話は何ですか？

私は2つ言及します

信じられないほどの隆起の実験は（単一のA / Bテストで）達成することができます。 これを非難するのは主に一部のベンダーです。彼らの場合やランディングページで、彼らは大きな隆起を宣伝し、誤った期待をもたらしています。

より良い意思決定のために実験を使用する組織は、多くの場合、繁栄している組織です。 お金だけに焦点を当てている人ではありません。

次に、一般的なコンバージョン率の最適化という名前です。 それは間違った印象を与え、実験の専門家が成し遂げることができるには狭すぎます。

うまくいけば、ルーベンとのインタビューがあなたの実験戦略を正しい方向に導くのに役立つでしょう！ どのアドバイスがあなたに最も共感しましたか？

さらに高度な戦略を紹介してくれるCROの専門家との次のインタビューにご期待ください。 まだ行っていない場合は、 Gursimran Gujral 、 Haley Carpenter 、 Rishi Rawat 、 Sina Fak、 Eden Bidani 、 Jakub Linowski 、 Shiva Manjunath 、 Andra Baragan 、および最新のRichPageへのインタビューをご覧ください。