A/A テストとは何ですか? マーケティング担当者が気にする必要があるのはなぜですか?

公開: 2017-05-18

このシナリオを経験したことがありますか? A/B テストを設定して、新しいボタンと見出しの組み合わせがより多くのコンバージョンを生み出すかどうかを調べます…

ポストクリックランディングページ (コントロールとバリエーション) の両方に同等のトラフィックを誘導し、1 か月後、ソフトウェアがバリエーションを 99% の信頼度で勝者と宣言すると停止します…

新しい「成功した」デザインを展開しますが、数回のビジネスサイクルの後、コンバージョン率が 50% 向上しても、最終的な収益には何の影響もありません。あなたは混乱しています。あなたはイライラしています…

そして、あなたはおそらく偽陽性のテスト結果の犠牲者です.

偽陽性のテスト結果とは何ですか?

コンバージョン率が 50% 向上しても、売り上げが伸びないのはなぜですか? その理由は、Copyhackers の Lance Jones 氏によると、おそらく存在しなかったからです。

そもそもテストからの売上や収益の増加が見られない可能性は十分にあり得ます (可能性も高いです)。 知らないうちに、テストで「偽陽性」を受け取っている可能性があります。これは、タイプ I の統計的エラーとして知られています。また、真の帰無仮説の誤った棄却としても知られています。 それは一口なので、誤検知として覚えているだけです。

一口かどうかにかかわらず、これらのタイプ 1 の統計的エラーは、あなたが思っているよりも一般的です。 AB テストの結果の約 80% は想像上のものであると推定されています。

AB テストの結果の約 80% は想像上のものであると推定されています。

クリックしてツイート

誤検知に基づいて重要な決定を下している場合、せいぜい、最適化を偶然に任せていることになります。最悪の場合、実際にはクリック後のランディングページのコンバージョン率が悪化しています。

幸いなことに、有毒なデータに対抗する方法がいくつかあります。それらの 1 つは、おそらく既におなじみのテスト方法に似ています…

A/A テストとは何ですか?

A/B テストでは、オリジナル (コントロール) と別のバージョン (バリエーション) の 2 つの異なるページにトラフィックを誘導し、どちらのパフォーマンスが優れているかを確認します。

同様に、A/A テストでは、トラフィックを 2 つのページに誘導して、どちらのパフォーマンスが優れているかを確認します。しかし、A/B テストとは異なり、A/A テストは 2 つの同一のページを互いに比較します。リフトを発見する代わりに、コントロールとバリエーションの違いを見つけることが目標です。

なぜ A/A テストを行うのですか?

「2 つの同一のページを相互にテストすることで一体何ができるのだろうか?」と頭を悩ませたとしても、私たちはあなたを責めません。

ばかげているように聞こえるかもしれませんが、一部のプロのテスターがテスト前に A/B テストをテストするために使用する手法です。（は？）

正確なテスト結果には、統計的有意性以上のものが必要です

誰でも A/B テストを実行できますが、有効なA/B テストを実行できる人はほとんどいません (覚えておいてください: テスト結果の約 20% だけが実際に正当なものです)。

正確なテストデータを生成するには、代表的な大規模なサンプルサイズで統計的有意性を達成するだけでは不十分です。結果に自信を持たせるには、サンプルが多くの妥当性の脅威によって汚染されていないことを確認する必要があります。

これらの脅威の 1 つである機器効果は、A/A テストが対処に最も役立つものです。

楽器効果とは？

有効性の脅威に対する保護は、A/B テストを開始する前から始まります。 CXL の Peep Laja によると、機器効果は、ほとんどのテスト結果を害するものです。

これは最も一般的な問題です。 これは、テストツール (または機器) で何かが発生し、テストでデータに欠陥が生じた場合です。 多くの場合、Web サイトでのコードの実装が間違っていることが原因であり、すべての結果が歪められます。

そのため、テストをセットアップするときは、ツールが正しく構成され、本来の方法で機能していることを確認することが重要です。そうでない場合は、次の一般的な問題が発生する可能性があります。

重要業績評価指標の誤った報告。 1 つのツールで 1 つのエラーが発生すると、データがごちゃごちゃになります。そのため、すべてのテスト情報を追跡するために単一のプラットフォームに依存するべきではありません。少なくとも、Google Analytics と統合して、テストソフトウェアと Web サイトトラッキングで表示される指標が正確であることを再確認してください。さらに良い結果を得るには、別のツールでトリプルチェックしてください。比較的厳密に一致しないレポートには疑いを持ってください。
クリック後のランディングページの表示の問題。 小さなコーディングのミスが、A/B テスト中に表示の問題など、有効性の大きな脅威を引き起こす可能性があります。そのため、クリック後のランディングページがすべてのデバイスやブラウザーで想定どおりに表示され、訪問者が「ちらつき効果」と呼ばれるものの影響を受けないようにすることが重要です。とりわけ、遅い Web サイトはこの問題を引き起こす可能性があります。これは、コントロールがバリエーションの直前に訪問者に一時的に表示される場合に発生します。
テストの停止が早すぎる。 一部のテストソフトウェアは、サンプルサイズが十分に大きくない場合、またはターゲット顧客を代表していない場合に、勝者ページを時期尚早に宣言します。覚えておいてください: 統計的有意性に達したからといって、テストをやめる時が来たというわけではありません。 実行時間が長いほど、結果はより正確になります。

これらの問題 (およびそれ以上) のいずれかが、テストの終了時に偽陽性につながる可能性があります。そのため、Peep はテスターに注意するよう警告しています。

テストを設定するときは、タカのように監視してください。追跡するすべての目標と指標が記録されていることを確認してください。 一部のメトリクスがデータを送信していない場合 (例: カートのクリックデータに追加)、テストを停止し、問題を見つけて修正し、データをリセットして最初からやり直します。

しかし、誰もがすぐに両足で A/B テストを開始できるとは限りません。新しいソフトウェアを使用する場合は特にそうです。そのため、追加の予防策として、A/B テストを開始する前にツールを評価するために A/A テストを行う実務家もいます。

テストが正しく設定されていれば、A/A テストの最後に、両方のページが同様のコンバージョン率で表示されるはずです。ただし、次のテスターが示すように、常にそうであるとは限りません。

A/A テストの例

偽陽性は本当に一般的ですか? 1 つのページがそのクローンを本当に上回ることができるでしょうか? これらの人たちは、A/A テストを使用して発見し、次のブログ投稿で発見を明らかにしました…

1. ホームページ分割テストにより、一般的なテストツールの主な欠点が明らかになった

2012 年 11 月 11 日、Copyhackers チームは、下の写真のようなホームページで A/A 分割テストを開始しました。

6 日後の 18 日、彼らのテストツールは 95% の信頼度で勝者を宣言しました。ただし、正確性を期すために、チームはテストをもう 1 日実行することにしました。その時点で、ソフトウェアは 99.6% の信頼度で勝者を宣言しました。

ソフトウェアによると、彼らのホームページはまったく同じページよりも 24% 近くパフォーマンスが高く、結果が誤検知である可能性はわずか 0.4% でした。それでも、チームはさらに約 3 日間テストを実行し、最終的に違いが均一になりました。

しかし、それは重要ではありません。ポイントは、テストツールが勝者を宣言するのが早すぎたということです。 Copyhackers チームがそれを実行し続けていなければ、実験に問題があると誤って想定していたでしょう。テストの詳細については、こちらをご覧ください。

2. A/A テスト: まったく何もせずにコンバージョンを 300% 増加させた方法

この皮肉なタイトルは、750,000 人の電子メール購読者に対して 8 か月にわたって多数の A/A テストを実行した著者であり、自称「回復中の起業家」である David Kadavy に由来します。その間、彼は次のような統計的に有意な結果を生み出しました。

それらの結果には次のようなものがあります。

メールの開封数が 9% 増加
クリック数が 300% 増加
51% 低い購読解除率

彼は言います：

多くの起業家志望者 (以前の私を含む) にとって、これは「おお、開封数が 10% 増加した!」のように見えます。 ビジュアルウェブサイトオプティマイザーの有意性計算ツールに入力して、p=.048 と表示されることさえあります。 「統計的に有意です！」 彼ら（または私）は叫ぶかもしれません。

しかし、実際には、これらはすべて A/A テストでした。互いにテストされたコンテンツは同一でした。彼の結果の詳細については、こちらをご覧ください。

A/A テストを実行する必要がありますか?

この質問に対する答えは、誰に尋ねるかによって異なります。

収益の増加につながらない大きなコンバージョンリフトを見続けてきた Neil Patel 氏は、「最初に A/A テストを実行することが非常に重要です。これにより、不正確なソフトウェアで時間を無駄にしないようにすることができます」と述べています。

一方、CXL の Peep Laja 氏は、A/A テスト自体が時間の無駄だと述べています。誰が正しいの？

A/A テストの 2 つの主な問題

理論的な観点からは、A/A テストは非常に理にかなっています。何よりも、A/B テストを実行するときは精度が最も重要であり、テストをテストすることは、それを保証するための多くの方法の 1 つにすぎません。

ただし、実際のテスト環境では、A/A テストは効果よりも害を及ぼす可能性があります。クレイグ・サリバンは次のように説明しています。

私にとって、問題は常に実際のトラフィックとテスト時間を消費することであり、A/A テストの期間でテスト実行時間をプリロードする必要があります。 1 か月に 40 件のテストを実行しようとしている場合、これにより、データをライブにする能力が損なわれます。 2 ～ 4 週間の A/A テストを実行して整合性を確認するよりも、実験の QA テストを半日行う方がよいと思います。

それが問題 1 です。 A/A テストでは、A/B テストで Web サイトの訪問者について詳しく知るために使用できるリアルタイムとトラフィックがかかります。

問題 2は、Copyhackers のケーススタディで例示されています。 A/B テストと同様に、A/A テストも誤検知の影響を受けやすいため、慎重に設計および監視する必要があります。

つまり、A/A テストでは、あるページのパフォーマンスが他のページよりも優れていることがわかりますが、そうではない可能性があります (その可能性は、あなたが思っているよりもはるかに高く、約 50% です)。

Copyhackers のチームがテストツールに耳を傾け、わずか 6 日後に勝者を宣言したとしたら、彼らのホームページが同一の双子よりも優れたパフォーマンスを示した理由を突き止めるのにさらに多くの時間を費やしたでしょう (実際にはそうではなかったのに)。 .

A/A テストの主なメリット

これらの問題にもかかわらず、A/A テストには、実際のテスト中にさらに大きな問題を発見するのに役立つ可能性があります。これらのテストの結果が、重要なビジネス上の意思決定の基礎となるものである場合、それは考慮すべき強力な利点です。

A/A テストを行うことにした場合は、A/A/B テストと呼ばれる無駄の少ない方法があります。

A/A/B テストと A/A テストの比較

A/A テストの従来の方法では、最後に訪問者について何も分からないため、トラフィックが無駄になります。ただし、そのテストに「B」のバリエーションを追加すると、可能性があります。両者の違いは次のとおりです。

A/A テスト= 互いにテストされた 2 つの同一ページ
A/A/B テスト= 2 つの同一ページと 1 つのバリエーションを相互にテスト

A/A/B テストでは、トラフィックが 3 つのセグメントに分割されます。つまり、統計的有意性に達するまでに時間がかかります。ただし、利点は、一度実行すると、テストツールと訪問者の両方に関するデータが得られることです。

A と A の結果を比較して、テストが信頼できるかどうかを判断します。統計的に類似している場合は、A と B の結果を比較します。そうでない場合は、テスト全体の結果を破棄する必要があります (従来の A/A テストよりも実行に時間がかかりました)。トラフィックが 3 つの方法でセグメント化されているためです)。

A/A テストのメリットはデメリットを上回っていますか?

「はい」と言う専門家もいれば、「いいえ」と言う専門家もいます。 Leadplum の Andrew First は、答えは次の中間にあると考えているようです。

A/A テストはおそらく毎月行うべきではありませんが、新しいツールをセットアップするときは、時間をかけてデータをテストする価値があります。 悪いデータを今傍受すれば、数か月後のテスト結果に自信を持つことができます。

最終的には、あなた次第です。新しいツールを使用している場合は、Andrew のアドバイスに従うのが賢明かもしれません。そうでない場合は、Craig Sullivan のリードに従い、代わりに厳密なテスト前の QA プロセスを設定することをお勧めします。 A/B テストの時間、リソース、トラフィックを節約します。

テストの取り組みとデジタル広告キャンペーンを最大限に活用するには、今すぐ Instapage Enterprise のデモにサインアップしてください。