A / Bテストに勝つために定性的データと定量的データをどのように扱うか？

それをコアコンセプトに分解すると、CROはコンバージョンではなく、オーディエンスとそれらがWebサイトとどのように相互作用するかを理解することに重点を置いています。

それらを理解すればするほど、彼らが何を望んでいるか、そして彼らがあなたのサイトでどのように行動するか、より良い顧客体験とあなたが提供できるオファーを提供することができます。

これは、テスターとしての私たちの主な目標は、可能な限り多くの情報を見つけることであることを意味します。 データが多ければ多いほど、テストを計画し、結果の上昇を確認することができます。

問題？

そのデータの収集や理解が常に得意であるとは限りません。 使用するツールや情報を見つけるプロセスがわからない場合や、経験不足またはさらに悪いことに、結果を損なう独自のバイアスを追加して、正確な洞察を分析および取得していない場合があります。

それが、今日のガイドで取り上げる内容です。視聴者に関する情報を収集し、理解し、使用する方法です。 新しいテストについてさらに多くのアイデアや洞察を収集できるように、他のテスターとそのプロセスをさらに深く掘り下げて調べます。

詳細については、読み続けてください。または、ここをクリックして、「データを使用して勝利したA/Bテストを推進する方法」を確認してください。

サイトやアプリの情報をテストして見つける場合、2種類のデータを確認する必要があります。

定量的データ分析の例は次のとおりです。

• ページへのトラフィックの測定
• そのトラフィックのバウンス率
• CTR
• 加入者率
• 販売率
• 平均販売額。

ほとんどのテストプログラムは、Webサイトで機能しているものや壊れているものに関するデータを取得するためのテクニカル分析と、サイトが現在どのように機能しているかのベースラインを取得するための定量分析の両方から始まり、定性分析に進みます。

定性的データの例は次のとおりです。

• ユーザー調査
• マップをスクロールする
• クリックトラッキング
• ヒートマッピング
• 調査。

目標は、オーディエンスとそのインタラクションをよりよく理解することです。これにより、サイトの使用に関する潜在的な問題を特定したり、サイトでのアクションに影響を与える可能性のある外部の問題を学習したりできます。

たとえば、CTAが多くのクリックを獲得していないことはわかっていますが、言語が明確でないか、視聴者の共感を呼んでいないことがわかったのは、顧客へのインタビューを通じてのみです。

A / Bテストでデータを使用する正しい方法は何ですか？

特定のコンバージョンイベントを追跡したり、ユーザーの行動を監視したりしているように見えますが、目標は定量的データと定性的データの両方を組み合わせることです。 技術的な欠陥や一般的な問題を見つけることもできますが、理想的には、それらを組み合わせて、自分自身を教育し、聴​​衆に対してより包括的な洞察を得ることができるようにします。

ただちに情報が欲しいだけではありません。 なぜ起こっているのかを突き止め、さらに一歩進んで根本的な原因を突き止めたいと思います。

定量的調査を行っており、ページのコンバージョン率が低いことがわかったとします。 オファーや製品は単に欲しくないのですか？ それとも、プロセスを改善する必要がありますか？

次に、ランディングページでヒートマップを実行し、オーディエンスの大多数が特定のCTAをクリックしていないことを確認します。そのため、その理由を推測できます。 多分言語は明確ではありませんか？

しかし、さらに詳しく調べてみると、一部のデバイスでは単に画面外にあることがわかりますが、他のデバイスでは、押すボタンであることを明確にするのに十分なほど目立たないことがわかります。

• 私たちが見たのが定性的なデータだけだったとしたら、それは低いクリック率だと思うでしょう。
• 私たちが見たのが定性的なデータだけだったとしたら、人々がクリックしていないだけだと思う​​かもしれません。

しかし、それらを組み合わせることで、私たちははるかに深く見ることができます。 （これが、A / Bテストのデータを実際に理解する方法です。）

古いイディオムは、「測定されるものが管理される」という点で真実です。 もちろん、重要なのは、限られたデータセットや欠陥のあるデータセットに基づいて決定を下さないようにすることです。そのため、常に複数のデータソースを調べます。

速度を落とし、理由を尋ね、データを吸収させることを学ぶことは、はるかに優れたテスターおよび問題解決者になるのに役立ちます。

すぐに答えを見つけようとするのではなく、十分な情報があるかどうかを自問してください。

• ユーザーには簡単に修正できる問題（ボタンの破損やCTAの弱さ）がありますか、それとも改善できる問題が他にもありますか？
• 最初のアイデアに影響を与えている固有の偏見や以前の経験がありますか？
• 最初にあなたの聴衆についてもっと知りたいですか？

このCTAとレイアウトの問題を詳しく調べて、オーディエンスの大多数が、画面解像度と読み込み速度が異なる古いモバイルデバイスを使用していることに気付いた場合はどうでしょうか。 CTAや販売ページだけでなく、コンテンツやインタラクションのほとんどが欠落している可能性があります。 ソーシャルメディアやブログのコンテンツでさえ影響を受ける可能性があります。

もう一度深く行きます。 なぜ彼らはこれらのデバイスを持っているのですか？ 彼らはもっと高価なデバイスを買う余裕がないのでしょうか？ 彼らにとってそれは重要ではありませんか？ そうでない場合は、何ですか？

これまでのところからすべての決定を下そうとしないでください。 時間をかけて考え、深く掘り下げて、得られる結果を見つけてください。 理由を見つけてください。

データを収集および分析する際に避けるべき大きな間違い

さて、あなたが彼らの最初の研究から即座の洞察を見つけようとするタイプのテスターであるかどうか心配しないでください。あなたはこれに一人ではないからです。

これは、ほとんどの人がデータを収集または理解しようとするときに発生する数少ない問題の1つにすぎません…

問題＃1：意見を証明するためのデータの収集

新しい洞察を見つけるためにデータを使用していますか？ または、データを使用して現在のアイデアを検証していますか？

データを使用してアイデアを検証することは問題ありません。 それが仮説の目標です。 私たちは何が間違っているのか、そしてそれをどのように修正するのかについての考えを持っているので、テストとその結果でそれを証明しようとします。

しかし、科学的方法を忘れないでください！ 私たちは自分の考えや意見に執着することはできません。 データを信頼し、本当の理由を見つける必要があります。 それが私たちが気にしていることです。 仮説を立てて「間違っている」ことは問題ありません。 失敗したテストから別の洞察を見つけることは、単にあなたの聴衆についてもっと教えてくれます！

データが1つのことを示していることに注意してください。ただし、別のことを証明するためにデータを歪めています。

問題＃2：問題を明確に表現せずに分析を後援する

テスト（およびほとんどの企業）でよくある問題は、データを分析する人が必ずしもアナリストであるとは限らないことです。

代わりに、アナリストは、問題を解決しようとしているサードパーティのレポートに情報を取り込むための媒体として使用されます。 （それらはほとんど栄光のダッシュボードになります。）

次に例を示します。

• 上司には目標と問題があります。
• 彼らは解決策と原因について大まかな考えを持っているので、アナリストにXYZに関するデータを求めますが、コンテキストはありません。 彼らは、この問題と解決策がうまくいくかどうかを理解しようとしています。
• 通常、より多くのデータを要求するために前後にあります。 この要求は、そのアイデアを誤って支持しているか、それ以上の理解が得られていません。
• そのため、新しいテストやアイデアが提案され、問題は未解決のままです。

良くないですよね？

しかし、上司が特定の問題のコンテキストでアナリストに来て、彼らが協力して問題を明確にし、根本的な原因を見つけたとしたらどうでしょうか。

これにより、理解とそれを解決するための新しいテストの両方を迅速に進めることができます。

問題＃3：さまざまな視点に没頭することなく単一のデータソースに依存する

以前にこれをほのめかしましたが、理解と潜在的なテストソリューションおよびアイデアを厳しく制限するため、単一のデータソースだけに固執しないことが非常に重要です。

ソースが多ければ多いほど、何が起こっているのか、そしてその理由をよりよく描くことができます。

はい、時間がかかりますが、コンバージョン率の最適化は、そのオーディエンスを理解することがすべてです。 仕事をして、できるだけ多くを学びましょう。

知っているほど良いです！

GIPHY経由

問題＃4：スキルとして批判的思考を優先しない

私たちの脳は奇妙です。 私たちは、基本的な衝動、感情的なドライバー、および以前の経験のシステムで機能します。 目標は、私たちを生き続け、多くのエネルギーを無駄にすることなく、創造し、決定を下すことです。

これを知っていると、テスター（およびすべてのビジネスオーナー）が批判的思考と認知バイアスの両方のプロセスと、それらが私たちの理解と決定にどのように影響するかを認識することは常に賢明です…

批判的思考とは何ですか？

批判的思考とは、事実とデータを分析して、偏見のない判断を下す能力です。

私たちの意思決定には何百もの異なることがありますが、その1つは、以前の人生の経験や状況に基づく意思決定のバイアスです。 これらを認知バイアスと呼びます。

批判的思考を実践する人はこれを理解しているので、彼らは偏りのない判断を下すのを助けるために特定のプロセスを使用します：

• 識別。 問題を見つけます。
• データを収集します。 必ず複数のソースを使用してください。 ソースの選択にバイアスを加えないように注意してください。
• 分析。 これらの情報源を信頼できますか？ 彼らは信頼できますか？ データセットは真になるのに十分な大きさですか？
• 解釈+推論。 このデータからどのようなパターンを見ることができますか？ これまでのところ何を言っていますか？ 最も重要なものは何ですか？ 因果関係や相関関係が見られますか？
• 説明。 なぜこれが起こっていると思いますか？
• 自己調整。 この分析とテストの仮説に影響を与える認知バイアスはありますか？ 間違った仮定をしていますか？ 確実にそれらを処理します。
• オープンマインド、そして問題解決。 現在の理解で、この問題をどのように解決できますか？ 最初にもっと学ぶ必要がありますか？

ご覧のとおり、この情報を分析するプロセスを持つことは非常に重要です。 それでも、意思決定やこのデータの分析方法に影響を与える可能性のある潜在意識のバイアスを確認する必要があります。

認知バイアスとは何ですか？

認知バイアスは、パターン認識を使用して意思決定のエネルギーを節約するための脳のチートコードです。 もちろん問題は、私たちの偏見が常に正しいとは限らず、それらが私たちの決定や行動にプラスまたはマイナスの影響を与える可能性があるということです。 Ikこれは、テストに関して特に顕著です。

ここではいくつかの例を示します。

• アクションバイアス：データが改善できないことを示唆している場合でもアクションを実行したい傾向はありますか？
• 固定バイアス：以前に取得した情報に基づいて意思決定を行う傾向。
• 権威バイアス：権威の立場からの意見をより重視する傾向。

これらがデータ分析とテストのアイデアにどのように影響するかわかりますか？

これらの数が多すぎてここで説明できません（合計で約150と見積もられています）。 自分でリストを作成することを強くお勧めします。 次に、前に説明したようにデータを分析するための批判的思考プロセスを組み込み、分析に影響を与える可能性のある潜在的なバイアスを「チェックリスト」することができます。

問題＃5：因果関係として相関をとる

これは、存在する可能性のあるデータにパターンが見られるが、結果の原因ではない可能性があるという点で、ほとんど認知バイアスに結びついています。

それらは、副産物または単純な偶然の一致として、しばしば一緒に発生します。

たとえば、ほとんどのサーファーは午前中に仕事をせず、代わりにサーフィンをします。 （それはあなたが波のために最高の洋上風力を持っているときです）。

ビーチで見ている人にとって、おそらくこれらの人々は仕事を持っていなかったか、病気で呼ばれたと思います。 しかし、海で何度も会話をした後、サーフィンをしているほとんどの人が自分で働いているので、時間を選んで選ぶことができることが明らかになりました。

今、彼らの中には、この柔軟性と自由時間（相関関係）を持っていたためにサーフィンを始めた人もいましたが、サーフィンに行くことができるようにこの柔軟性を持つことができる職業を選んだ人もいました（因果関係）。

かなりかっこいいですよね？

ただし、実際には、最初の調査と「インタビュー」の後でさえ、データセットの不正確なビューを取得するのは簡単です。 心を開いてデータを確認し、真の原因を見つけるためにさらに深く掘り下げてください。

定性的および定量的データを収集するさまざまな方法

このデータを収集するために何を使用できますか？

定量的なデータ収集のために、私たちは通常2種類のツールを検討しています。

• 現在の結果を取得するためのGoogleAnalyticsやサードパーティプロバイダーなどの分析ツール。
• ConvertExperiencesなどのA/Bテストツール。これにより、バリエーションとコントロールの間のパフォーマンスの数値変化を測定できます。

これらは両方とも、生の数値データを提供します。

（ここでA / Bテストツールの比較ガイドを確認して、どれが最適かを確認してください。）

定性的調査では、複数の異なる要素をテストしているため、より幅広い選択肢を検討しています。

• ヒートマッピング
• クリックトラッキング
• アイトラッキング
• ユーザーの記録
• オンサイト調査、および
• 直接の顧客調査。

アイトラッキングは、ハードウェア要件のために最もコストのかかるツールになる傾向があります。 社内でインストールして使用できるソフトウェアオプションがいくつかありますが、別のオプションは、眼球運動と関心のある場所をチェックするために視線追跡メガネまたはカメラをセットアップする外部企業を雇うことです。

ヒートマッピング、クリックトラッキング、基本的なユーザーレコーディング、および調査には、これらすべての機能を組み合わせたHotjarなどの低コストのツールを使用できます。 これは、サードパーティの支援を受けなくても、一般的な問題を見つけてほぼ即座に洞察を得るのに役立ち、*ほぼ*アイトラッキングと同様の機能を実行します。

最後に、ユーザーレコーディングをさらに一歩進めて、独立したユーザーを連れてきてWebページを使用し、設定されたタスクを実行させ、インタラクションを記録して情報を渡す代理店を雇うこともできます。

サイドノート：

これらは定量的ツールのセクションには記載されていませんが、定性的ツールを定量的データ取得に使用できる場合は重複することがあります。

調査ツールを使用して、X人の参加者の回答を測定し、セールスコピーに対する彼らの考えの数値と、彼らがそれにどのように反応すると思うかを取得できます。

しかし…人々が言うことは必ずしも彼らがすることではないので、これはまだ主観的です。

アクションに対するフィードバック（彼らの言うこと）を測定してから、実際のアクションの応答（彼らがとるアクション）も測定することは常に良い考えです。 これにより、何を提供し、どのようにフレーム化するかについて、より深いアイデアが得られる場合があります。

実験のプロはどのように定性的および定量的データにアプローチしますか？

プロがデータを収集して使用する方法を知りたいですか？ 最近、「CROプロのように考える」シリーズの一環として7人のCRO専門家にインタビューしました。

インタビューを読むことを強くお勧めしますので、インタビューを台無しにすることはしませんが、以下のデータについての彼らの考え方や、彼らの方法についての私の考えについて、いくつかの興味深い情報を引き出しました…

Gursimran Gurjal – OptiPhoenix

定量的データは一般に、ユーザーがドロップする場所、さまざまなチャネルのパフォーマンス、さまざまなデバイスからのCR、ユーザーがWebサイトを終了する場所などを理解するための基本的なコンバージョンホールを明らかにするのに役立ちますが、定性的データは、ユーザーがドロップまたは特定のアクションを実行する理由の詳細を明らかにするのに役立ちます。

「Where+Why」と実験を組み合わせることで、ユーザーの行動の全体像を描くことができます。

ヒートマップ、セッション記録、調査結果などの定性的データの調査、またはユーザビリティテストの実行には、統計的に有意なパターンを作成するために多くの時間が必要ですが、定量的データは分析が容易です。より詳細で意味のある洞察を収集する場合、それは重要です。 GAまたはHotjarに依存してデータを収集するだけでなく、独自のカスタムイベントをプッシュして、チェックアウトプロセスでエラーが発生したすべてのユーザーの記録にタグを付けたり、フィルターの対象となるGAにイベントを送信したりするなど、データをより意味のあるものにします。または並べ替えオプションが最も使用されているなど、利用可能なデータを最大限に活用できます。

データのスルーラインを取得するためにカスタムタグを追加することは、とても素晴らしいアイデアです。 このようにして、問題とその原因だけでなく、発生した場所とトラフィックソースも確認できます。

ヘイリーカーペンター、シニアCRO戦略エキスパート

私たち全員には偏見があることを常に自覚してください。 可能な限り誠実かつ正確に報告することがあなたの仕事であることを知ってください。 誠実さは高く保つための重要な価値です。

また、自分の作品を再確認するか、不明な点がある場合は他の人にレビューしてもらいます。 特に数時間、数日、または数週間何かを見つめている場合は、2番目の目が非常に有益な場合があります。

私はかつて、録音を書き写さなければならない人類学のコースを受講しました。 教授は、言葉を話した人に文字起こしを忠実に保つことが最も重要であると強調しました。 2文字の単語を1つ切り取ったり、小さな文法エラーを修正したりすることすらできませんでした。

私はこのレッスンを今日まで開催しており、データ分析、特にユーザーテストの記録に適用しています。 分析を可能な限り元のデータに忠実に保つことが重要です

調査と結果に複数の目を向けることは、問題を見逃さず、潜在的なバイアスを取り除き、さまざまな視点を得るのに最適な方法です。 これは、多くの場合、1人のテスターが見逃していたであろう洞察につながる可能性があります。

Rishi Rawat –摩擦のない商取引

定量的データに関する私の見解：

データはデータです。 それを理解するために目を細めないでください。 感情的にそれに縛られないでください。 データ収集を開始する前に、仮説を述べてください。 データが本能を否定する場合は、新しいテストを再設計して起動します。 データはデータです。 それを尊重しなさい。

定性的データに関する私の見解：

このトピックについては物議を醸す見解があります。 私たちはエンドユーザーの調査を信じていません。つまり、製品を購入した人とは話しません。 この種の研究が重要だとは思わないということではありません。 それはただ高価です。 私は、自分が取り組んでいる製品の創設者または発明者からすべての定性的データを入手することを好みます。

エンドバイヤーのユーザーエクスペリエンスが、その瞬間に行われた1回の購入のスナップショットにすぎない場合、発明者は全過程についてのコンテキストを持っています。 私は創設者から私の定量的な「感触」を得たいと思っています。創設者/発明者はあなたの頭を回転させるほど多くの制度的知識を持っています。 どこから始めればいいのかわからない限り、彼らは「真ん中」にいるだけです。 ここで、オプティマイザーの質問スキルが役立ちます。 オプティマイザーは、作成者の外観を支援します。 私はこの種の定性的データに多くの価値を置いています

さて、これは興味深いアイデアです…

CROでは、カスタマージャーニーを理解するためにユーザーに焦点を合わせる傾向があります。 問題は、顧客が何が悪いのか、それをどのように表現するのかわからない場合があることです。

しかし、同様に、事業主は製品を裏返しに知ることはできますが、それを伝えるのは苦手です。 彼らにはすべての経験があるので明らかですが、顧客にとっては、そのメッセージには何かが欠けている可能性があります。 理想的な世界では、別の会社のテストを実行している場合は、聴衆と所有者の両方に話しかけたいと思うでしょう。

時間やリソースが足りない場合は、事業主に相談してください。 リシが言うように、彼らはしばしば、引き出すことができるこのすべての洞察を持っています。 テスターとしての私たちの仕事は、それがどこに欠けているのか、そしてそれがどのように顧客とつながるのかを見つけることです。

Sina Fak –コンバージョンの支持者

現実には、すべてのデータにはバイアスが組み込まれています。

データの収集方法から、分析に使用されるサンプルデータ、データを確認して分析を実行する人まで、すべてを完全に制御できないバイアスの要素があります。

データだけでは全体像はわかりません。 それはあなたに物語の一部を理解し、洞察を引き出すための出発点を与えるだけです。 偏りのないストーリーを伝える方法でデータを処理する唯一の方法は、データをテストして実験を実行することです。

これは、私たちが以前に言っていたことと結びついています。

すべてのテストと研究にはバイアスがあります。 批判的思考と分析のプロセスでその一部を否定しようとすることはできますが、それでも忍び寄ることはできます。

アイデアをテストし、さらにいくつかを見つけてテストします。 科学的方法を忘れないでください。 「フェイルフォワード」して、探している答えを見つけることもできます。

Jakub Linowski – GoodUI

一般に、一貫性のある測定値が多ければ多いほど、実験の信頼性と信頼性が高まります。

A / Bテストの結果を比較する場合、いくつかの方法があります。

●同じ実験からの複数の指標の比較（たとえば、カートへの追加、売上、収益、返品購入などでの効果の一貫性）

●別々の実験間での履歴データの比較（たとえば、2つの別々のWebサイトで実行された2つの別々の実験間の効果の一貫性

QuantおよびQualデータ分析は、初期計画と同様に重要なPOSTTESTであることを忘れないでください。

「アハモーメント」の潜在的な問題と場所をチェックリストするプロセスを用意しておくと、最初の一瞥よりもはるかに良い結果が得られます。

（データがすぐそこにあり、それを見逃している場合があります。）

Eden Bidani –グリーンライトコピー

私は、両方のタイプのデータを目の前に並べて、可能な限り作業するようにしています。 私にとって、それは全体像のバランスをとるのに役立ちます。

qualデータは、quantに深さと意味を与え、quantデータは、qualデータのどの要素にさらにw8を与えるべきかに関する一般的な方向性を提供します。

比較対照できるように両方のデータセットをまとめることは、何が起こっているのかを分析して理解するための最良の方法です。

これは、問題と解決策を見つけるための単一のデータセットを持つことについて以前に言っていたことと結びついています。 私たちが持っていたのが1つだけだったとしたら、私たちはさまざまな結論に達するでしょう。 両方を使用して、その相関関係を見つけてください。

シヴァマンジュナス– Speero

私がQuant+Qual分析にアプローチしようとする方法は、警察の尋問のようなものです。 動機や仮説はありますが、尋問のために連れてきた人が無実または有罪であるとは限りません。 持ち込まれた人（実験データ）は無実であると想定され、合理的な疑いを超えて有罪であることを証明するのはあなたの仕事です（統計的有意性）。

したがって、自分でデータを確認したり、他の人にインタビューしたり（定性的データ）、銀行の明細書を確認したり、誰かが仕事に出入りしたときのログを調べて、アリバイがチェックアウトしたかどうかを確認したりできます（定量的データ）。

最良の例ではないかもしれませんが、常に客観的にアプローチする必要があります。 そして、データソース（たとえば、定量的データを使用したサイトでの投票を含むヒートマップ）を裏付けて、ストーリーを考え出し、それが仮説をサポートするかどうかを確認します。 統計的に厳密に、明らかにy！

私はこのアナロジーが大好きで、シャーロックホームズを思い出し、テストに直接結びついています。

私はまだデータを持っていません。 （または十分ではありません）。 データを入手する前に理論化することは、資本の間違いです。 無意味に、事実に合う理論ではなく、理論に合うように事実をねじり始めます。

実験者として、私たちはすべての偏見を取り除く必要があります。 経験したか、単に仮説を立てたからです。 代わりに、結果を公平に扱い、真実を見つける必要があります。

私たちの目標は正しくないことです。 何が機能するかを見つけて、それを基に構築できるようにすることです。

勝利テストを設計するためにデータを使用する最良の方法は何ですか？

あなたがしばらくテストしているなら、あなたはほとんどのテストが勝者を作成しないことを知っています。 実際、勝つのは約3/10だけですが、他の人は失敗と見なされます。

ただし、勝ち負けの用語はあまりよくありません。 はい、テストはリフトを提供しませんでしたが、それは私たちが改善し、理由を見つけるために使用できるデータを私たちに与えます。

覚えて：

単一のテストに焦点を当てていません。 それが勝ったとしても、私たちは学習と改善の反復プロセスを使用します。 私たちはテストし、学び、仮説を立て、そしてもう一度テストします。

これは、アイデアを支持または反証するための新しいデータのフィードバックループを作成するのに役立ちます。

• 私たちはテストして失敗しますが、学びます。
• 私たちはそれらの学習を取り入れ、勝って改善が得られるまでテストします。
• そして、極大値に達し、それ以上改善できなくなるまでテストを続けます。

すぐに勝者を獲得しようとすることに集中しないでください。 これは、CROが機能しないと主張するための最速の道です。 代わりに、データを洞察に変えて、毎回詳細を学びましょう。

あなたは勝者に近いかもしれませんが、それはただより良い実行が必要です。

または、メッセージ全体を根本的に変える可能性のあるahaの瞬間に近いかもしれません。 それに固執し、各テストで学び続けてください！

そのフィードバックループをデータ処理およびテストプロセスに組み込みます。

しかし、最も重要ですか？ 収集しているデータにアクセスして理解できること、そのデータを正しく使用していること、信頼できることを確認してください！…

組織のデータアクセシビリティを改善する方法

使用するデータがすべて非常にうまく機能していますが、データにアクセスして学習できない場合は役に立ちません。

一部の企業は、データサイエンティストを介してのみデータにアクセスできるため、データフローにボトルネックが生じることがよくあります。 情報が必要な場合は、アクセスするか、直接操作する必要があり、問題が発生します。

これを乗り越えるための優れた方法は、データアクセスを民主化することです。

• 従来の単一の役割ツール（GAなど）のデータアクセスを、それを必要とするチームに許可します。
• チーム全体が使用できるデータレポート機能が組み込まれたセルフサービスツールの使用を検討してください。
• データ結果の一元化された学習リポジトリを構築します。 これにより、直接のテストチームだけでなく、組織全体がデータの洞察を得ることができます。

なぜデータアクセスを気にするのですか？

データへのアクセスにより、ビジネスのROIに影響を与える可能性のある意思決定の数が増えるためです。

もちろん秘訣は、アクセスできるようになったら、必要なものを見つけられるようにすることです…

信頼できるデータを収集してデータの使いやすさを向上させる方法

データの使いやすさは、データを使用して質問に答えるのが簡単なことを指します。

概要から見ると、データの目標は次のようになります。

• ビジネスのROIに影響を与える洞察を見つけるため。 それがなければ、それは目標のない単なる情報データです。
• それらをすばやく見つけ、情報を取得するのに苦労する必要はありません。
• そして、それらの洞察を使用して、迅速で信頼できる決定を下します。 データが信頼されているか、結果を理解して操作していないか、誤検知が発生しているためです。

ご想像のとおり、使用しているシステムとプロセスによっては、ここでいくつかの問題が発生する可能性があります。

その情報にアクセスできることの重要性と、全社的にデータレポートを開くためのセルフサービス機能を備えたツールまたはプロセスを使用することの利点については、すでに説明しました。

しかし、そのデータにアクセスできるようになったので、必要な情報を見つけて信頼できるようにする必要があります。

理想的には、データセットを整理するためにプロセスを積極的に実行する必要があります。

• 最も重要な指標を簡単に見つけられるようにします。
• 参照モデルと目標を使用して、従来のツールでは追跡できない特定のデータセットを見つけます。
• データソース間の同期を確保して、更新と編集、および新しい情報が失われないようにします。
• また、データサイエンスチームがビッグデータを処理できるようにして、このすべての情報を簡単に見つけて信頼できるようにします。

データのこの最終目標を念頭に置くと、新しいデータセットが入ってくるための準備プロセスを事前に構築し始めることが容易になります（なりたいことがわかっている場合は、特定のアクションに事前にタグを付けることを覚えておく方がはるかに簡単です。後でそれらを見つけることができます）。

偏りのないデータ分析を実行して、仮説に情報を提供する洞察を生成する方法

では、このデータをどのように使用して洞察やアイデアを得るのでしょうか。

さて、ネタバレ注意、私たちは実際にこれまでこのガイドを通してこれをずっとカバーしてきました。

• 全体像を把握するために、複数のデータソースを使用することを目指します。
• そのデータを収集するために公平なプロセスを使用するようにしてください。 可能であれば、特定の人口統計やデバイスに限定しないでください。
• 批判的思考を使用して情報を評価します。
• 認知バイアスとそれらが分析にどのように影響しているのかを見てください。
• 組み合わせた各データソースを必ず調査してください。 （技術的、定量的、および定性的を一緒に）。

より多くのテストを刺激するためにテストから学ぶことを許可する

さらなる改善のために、テストをフィードバックループとして扱う必要があります。 これは、現在のテストで改善を続け、より多くのリフトを得ることができます。または、新しい洞察がさらに役立つ可能性がある古いテストにこれを適用することもできます。

いずれにせよ、目標は、それ以上のリフトが得られなくなるまで、テスト、学習、改善、そして繰り返すことです。

しかし…これらのテスト結果から実際にどのように学習するのでしょうか。

幸いなことに、ここで確認できるA/Bテストの結果から学習するための7ステップのガイドを作成しました。

今時間がない場合は、簡単に要約します。

• 結果を信頼できることを確認することから始めます。 それらは正確ですか？ それらは重要ですか？ あなたはそれらに自信がありますか？ テストは十分に長く実行されましたか？ それらに影響を与える外部要因はありましたか？
• マイクロとマクロに行きます。 テストが勝った、または失敗したという理由だけで、それがガードレールのメトリックにどのように影響するかを確認する必要があります。 皮肉なことに、CTRの上昇は、間違ったオーディエンスにアピールした場合、売上の減少を意味する可能性があります。 同様に、CTRの低下は、現在最高のオーディエンスにしかアピールできない可能性があるため、売り上げの伸びにつながる可能性があります。 したがって、テスト結果だけでなく、メトリックを確認してください。
• さらに深く掘り下げて、結果をセグメント化します。 すべてのオーディエンス、トラフィックチャネル、およびデバイスが同じように機能するわけではありません。 一部のチャネルが壊れている可能性があります。 これにより、詳細な画像がないため、結果が良くも悪くも歪む可能性があります。 （これにより、特定のチャネルで最高のパフォーマンスを発揮するバリアントについての洞察が得られ、配信をセグメント化してより高いリフトを得ることができます）。
• パフォーマンスとユーザーの動作を確認します。 以前に定性的および定量的データ分析を実行したからといって、テスト後にそれをスキップする必要があるという意味ではありません。 In fact, this is the best way to understand what happened and how you got these results.
• Learn from the failures. 何が悪かったのか？ How can you fix this?
• Learn from the winners and improve further. Did you get a new aha moment? Do you have more ideas of how to improve the page again after the QA and Qual analysis? Keep pushing for more lift!
• Don't forget what you did! Get in the habit of creating and using a learning repository. This way you can see past tests, learn from them, train new staff and even go back and apply new insights to old ideas.

結論

だからあなたはそれを持っています。 Our entire guide to using technical, quantitative, and qualitative data to create winning tests.

It doesn't matter if it's A/B, split URL, or multivariate testing. You can use this same methodology to learn more from every test you run, so go ahead. Run those tests, learn from those mistakes, analyze that data and then let us know how much lift you got!