サイトで実行できるさまざまな種類のテスト (および実行するタイミング)

実験の世界は、単純なボタンの色の A/B テストをはるかに超えています。

それらはあなたが実行している実験のポートフォリオの中にあるかもしれませんが、うまくいけば、現時点では実験や CRO と同義ではありません。

実験は非常に大きくなる可能性があります。

さまざまな種類の実験を使用して、Web サイトの分散について学び、新しいエクスペリエンスをテストし、新しいページ パスを発見し、大きな飛躍や小さな一歩を踏み出し、ページ上の要素の最適な組み合わせを特定できます。

実験から学びたいことは、その設計に反映されるべきであり、実験の設計は、具体的な仮説を使用して A と B を単純にテストするだけではありません。

実際、これをカバーする実験計画法 (DoE) として知られる研究のサブフィールド全体があります。

実験計画法: 実験計画法入門

実験計画法 (DoE) は、プロセスに影響を与える要因とそのプロセスの出力との関係を決定するために使用される科学的手法です。

実験計画法は、1920 年代と 1930 年代に統計学者のロン フィッシャーによって広められた概念です。

DoE を使用すると、インプットを体系的に変更し、結果として生じるアウトプットの変化を観察することで、さまざまなインプット変数がプロセスのアウトプットにどのように影響するかを理解できます。 このアプローチは、プロセスを最適化したり、新しい製品や機能を開発したり、どの要素が互いに連携して最適に機能するかを学習したりするために使用できます。

マーケティングでは、DoE を使用して、ページ上のさまざまな要素 (要因) がコンバージョン率 (出力) にどのように影響するかについての理解を深めます。 テストを効果的に設計することで、コンバージョン率に最も大きな影響を与える要素を特定できます。

実験にはさまざまな種類があり、それぞれの種類を使用して、ウェブサイトやアプリについてさまざまなことを学ぶことができます。

この記事では、16 種類の実験について説明します。

つまらない人は、これらがすべて根本的に異なる実験計画ではないことに気付くかもしれません。 むしろ、仮説をどのように生成したか、または実験を実行する理由の根底にあるフレームワークのために、いくつかは異なる「タイプ」です。

さらに、一部は「実験」ではなく、機械学習モデルに基づいて構築された最適化ルールです。

それでも、以下のそれぞれには明確な目的があり、実験者のツールキットのユニークなツールと見なすことができます.

1. A/A テスト

A/A テストは単純な概念です。同じページの 2 つのバージョンをテストします。

なぜこれを行うのですか？

主にキャリブレーションを追求し、基礎となるデータ、ユーザーの行動、およびテスト ツールのランダム化メカニズムを理解するために、多くの理由があります。 A/A テストは次のことに役立ちます。

• データの分散レベルを決定する
• テスト ツール内のサンプリング エラーを特定する
• ベースラインのコンバージョン率とデータ パターンを確立します。

A/A テストの実行は、奇妙に物議を醸しています。 それを誓う人もいます。 時間の無駄だと言う人もいます。

私の見解？ 前述のすべての理由から、おそらく少なくとも 1 回は実行する価値があります。 私が A/A テストを実行するのが大好きなもう 1 つの理由は、テスト初心者に統計を説明することです。

2 日間のデータが収集された「重要な」実験を誰かに見せた後、それが A/A テストであったことが明らかになった場合、利害関係者は通常、実験を完了するまで実行する必要がある理由を理解します。

A/A テストについて詳しく知りたい場合 (実際、これは非常に大きなテーマです)、Convert に詳細なガイドがあります。

2.簡単なA/Bテスト

簡単な A/B テストが何であるかは誰もが知っています。ページの 2 つのバージョンをテストします。1 つは変更あり、もう 1 つは変更なしです。

A/B テストは、実験のパンとバターです。 セットアップが簡単で理解しやすいだけでなく、大きな変更をテストするためにも使用できます。

A/B テストは、ユーザー インターフェースの変更をテストするために最も一般的に使用されます。単純な A/B テストの目的は、ほとんどの場合、特定のページのコンバージョン率を向上させることです。

ちなみに、コンバージョン率は、新製品ユーザーのアクティブ化率、フリーミアム ユーザーの収益化率、Web サイトでのリード コンバージョン率、クリックスルー率など、あらゆる種類の比率をカバーする一般的な指標です。

単純な A/B テストでは、単一の仮説を立て、一度に 1 つの要素を変更して、変更の原因となる要素についてできる限り多くのことを学びます。 これは、見出しの変更、ボタンの色やサイズの変更、動画の追加や削除など、何でも構いません。

「A/B テスト」と言うときは、この投稿でリストする残りの実験タイプのほとんどを網羅する一般的な用語を使用しています。 これは通常、「メトリクスを改善するために、*何か* (大きな要素、小さな要素、または多くの要素) を変更した」という意味で使用されます。

3. A/B/n テスト

A/B/n テストは A/B テストと非常に似ていますが、ページの 2 つのバージョンをテストする代わりに、複数のバージョンをテストしています。

A/B/n テストは、いくつかの点で、多変量​​テスト (次に説明します) に似ています。 ただし、「多変量」テストではなく、これらを多変量テストと見なします。

多変量テストは、ページ上のさまざまな要素間の関係を理解するのに役立ちます。 たとえば、商品ページのさまざまな見出し、画像、説明をテストし、どの組み合わせが最も効果的かを確認したい場合は、多変量テストを使用します。

A/B/n テストは、1 つの要素の複数のバージョンをテストするのに役立ち、要素間の相互作用の影響はあまり気にしません。

たとえば、ランディング ページで 3 つの異なる見出しをテストする場合は、A/B/n テストを使用します。 または、ページの 7 つの完全に異なるバージョンをテストすることもできます。 これは、2 つ以上のエクスペリエンスをテストした単なる A/B テストです。

A/B/n テストは、大量のトラフィックがあり、複数のバリアントを効率的にテストしたい場合に適しています。 もちろん、統計は複数のバリアントに対して修正する必要があります。 A/B/n テストに含めるバリアントの数についても、多くの議論があります。

多くの場合、複数の単純な A/B テストを繰り返し行うのではなく、複数のエクスペリエンスを一度にテストするときに、より独創的で創造的なバリエーションをプッシュできます。

4. 多変量テスト

多変量テストは、複数の変更を伴う実験です。 A/B/n テストでは、各バリアントの複合バージョンを他のバリアントに対してテストしますが、多変量テストでは、テストされた要素間の相互作用効果を判断することも目的としています。

たとえば、ホームページを再設計しているとします。 コンバージョン調査を行った結果、見出しの明瞭性の問題が明らかになりましたが、CTA のコントラストと明瞭さのレベルに関する仮説もいくつかありました。

これら 2 つの要素を個別に改善することに関心があるだけでなく、これらの要素のパフォーマンスも依存している可能性があります。 したがって、新しい見出しと CTA のどの組み合わせが最も効果的かを確認する必要があります。

多変量の領域に入ると、実験計画はさらに複雑になります。 多変量実験の設定には、完全実施要因計画、部分実施要因計画または一部実施要因計画、タグチ検定など、いくつかの種類があります。

そして、統計的な常識の問題として、多変量テストは単純な A/B テストよりも多くのトラフィックを必要とすることはほぼ確実です。 変更する要素やエクスペリエンスを追加するたびに、有効な結果を得るために必要なトラフィック量が増加します。

5. ターゲティングテスト

パーソナライゼーションとしてよく知られているターゲティング テストは、適切なメッセージを適切な人に適切なタイミングで表示することがすべてです。

ターゲティング テストを使用すると、ページのさまざまなバージョンを作成し、各バージョンをさまざまなユーザー グループに表示できます。 通常、目標は、各ユーザーに関連するコンテンツを表示することで、コンバージョン率を高めることです。

パーソナライズと実験は同義語ではないことに注意してください。 エクスペリエンスを実験として扱わずにパーソナライズできます。 たとえば、データをまったく使用しない、またはデータを収集する意図がある場合は、メールでファースト ネーム トークンを使用してメッセージを受信者の名前でパーソナライズすることを決定できます。

パーソナライズ？ はい。 実験？ いいえ。

ただし、特定のユーザー セグメントを対象としたテストを実行することもできます。 これは、価格帯、サインアップ時間、サインアップ ソースなどに基づいてコホートを分離できる製品の実験では特に一般的です。

パーソナライゼーションの実験にも同じ統計が適用されるため、ターゲットとする意味のあるセグメントを選択することが重要です。 細かく設定しすぎると (たとえば、カンザス州の地方のモバイル Chrome ユーザーでセッション数が 5 ～ 6 の場合)、影響を統計的に定量化することが不可能になるだけでなく、ビジネスに意味のある影響を与える可能性も低くなります。

パーソナライゼーションは通常、単純な A/B テストの自然な拡張と見なされますが、多くの点で、非常に多くの新しい複雑性が導入されます。 採用する新しいパーソナライゼーション ルールごとに、それはユーザーが管理、更新、および最適化するために作成した新しい「ユニバース」です。

予測パーソナライゼーション ツールは、ターゲット セグメントと、それらのセグメントでより効果的と思われるエクスペリエンスを特定するのに役立ちます。 それ以外の場合、パーソナライゼーション ルールは、テスト後のセグメンテーションによって識別されることがよくあります。

6.バンディットテスト

バンディット テスト、またはバンディット アルゴリズムの使用は少し技術的です。 ただし、基本的に A/B テストとは異なります。ユーザーに表示されるバリアントを常に学習して変更しているためです。

A/B テストは通常​​、「固定期間」の実験です (順次テストを使用するという技術的な注意事項があります)。つまり、テストを実行するときに試用期間を事前に決定します。 完了したら、新しいバリアントをロールアウトするか、元のバリアントに戻すかを決定します。

バンディット テストは動的です。 パフォーマンスに基づいて、各バリアントへのトラフィックの割り当てを常に更新します。

理論は次のようになります。カジノに足を踏み入れると、いくつかのスロット マシン (多腕の盗賊) に出くわします。 各マシンの報酬が異なると仮定すると、バンディット問題は、「どのマシンをプレイするか、各マシンを何回プレイするか、どの順番でプレイするか、現在のマシンを続行するか別のマシンを試すかを決定する」のに役立ちます。

ここでの意思決定プロセスは、データや情報を収集しようとする「探索」と、その知識を利用して平均以上の報酬を生み出す「活用」に分けられます。

そのため、Web サイトのバンディット テストでは、リアルタイムで最適なバリアントを見つけ、そのバリアントにより多くのトラフィックを送信しようとします。

7. 進化的アルゴリズム

進化的アルゴリズムは、多変量テストとバンディット テストを組み合わせたようなものです。 マーケティング実験のコンテキストでは、進化的アルゴリズムにより、多数のバリアントを同時にテストできます。

進化的アルゴリズムの目標は、ページ上の要素の最適な組み合わせを見つけることです。 それらは、亜種の「母集団」を作成し、それらすべてを相互にテストすることで機能します。 次に、最もパフォーマンスの高いバリアントが、次世代の開始点として使用されます。

名前が示すように、最適化のモデルとして進化的反復を使用します。 見出し、ボタン、本文コピー、動画のさまざまなバージョンが大量にあり、それらをつなぎ合わせて新しい変異を作成し、弱いバリアントを動的に排除して、より多くのトラフィックを強力なバリアントに送信しようとします。

これは、ステロイドの多変量テストのようなものですが、相互作用効果の透明性は低くなります (したがって、学習の可能性は低くなります)。

これらの実験をうまく機能させるには、かなりの量の Web サイト トラフィックも必要です。

8. 分割ページ パス テスト

分割ページ パス テストも、非常に一般的なタイプの A/B テストです。

1 つのページの要素を変更するのではなく、ユーザーが Web サイトでたどるパス全体を変更します。

分割ページ パス テストでは、基本的に、Web サイト、製品、または目標到達プロセスの 2 つの異なるバージョンをテストしています。 通常、目標は、より多くのコンバージョンや売り上げをもたらすバージョンを見つけることです。 また、ファネルのドロップオフ ポイントを特定するのにも役立ちます。これにより、さらに最適化するためにフォーカス エリアを診断できます。

基本的に、ボタンのコピーを変更する代わりに、ボタンをクリックしたときに送信される次のページを変更します。 これは、カスタマー ジャーニーを試す強力な方法です。

9. 存在テスト

存在テストは興味深い概念です。 あなたがやろうとしているのは、製品やウェブサイトの特定の要素の影響 (またはその欠如) を定量化することです.

CXL の記事によると、「簡単に言えば、サイトの要素を削除して、コンバージョン率がどうなるかを確認します。」

つまり、変更が何らかの影響を与えるかどうかをテストしています。

戦略的には、これは過小評価されている戦略です。 私たちはしばしば、独自のヒューリスティックまたは定性調査を通じて、どの要素がページで最も重要であるかを推測します。

確かに、製品のデモビデオは重要です。 存在テストは、その信念に疑問を投げかけ、すぐに答えを得る方法です。

ビデオを削除して、何が起こるかを確認するだけです。

コンバージョン率の増減？ 興味深い - それが占める要素または不動産が何らかの形で影響力があることを意味します。

影響なし？ それも興味深い。 その場合、要素を完全に削除しても KPI には何の影響もないことを知っているので、私のチームはデジタル エクスペリエンスの他の部分に焦点を合わせます。

10.塗装ドアテスト

塗装されたドアのテストは、ある意味で存在テストに似ています。 これらは、新しい製品機能の需要をテストするだけでなく、新しいオファーをテストするために非常に一般的です。

基本的に、塗装ドアテストは、人々が実際に新しい機能を使用するかどうかを確認するための実験です. 新しいオファーや機能を *作成* するために実際に時間とリソースを費やすことはありません。 むしろ、通り過ぎる人がそれを開けようとするかどうかを確認するために、「ペイントされたドア」を作成します (つまり、ボタンまたはランディング ページを作成し、人々がクリックするかどうかを確認して、関心を推測します)。

ドアの塗装テストの目的は、テスト対象のものに需要があるかどうかを調べることです。 人々が実際に新しい機能を使用している場合、それを追求する価値があることがわかります。 そうでない場合は、時間の価値がないことがわかり、アイデアを捨てることができます。

スモーク テストとも呼ばれます。

塗装ドアのテストは、多くの時間やお金を投資することなく、新しいアイデアをテストするための優れた方法です.

実際にオファーや作成経験がないため、通常、コンバージョン率などの KPI を使用することはできません。 むしろ、期待値の最小しきい値をモデル化する必要があります。 たとえば、X の機能を作成するには Y の費用がかかるため、既存のベースライン データを考えると、「実際の」エクスペリエンスの作成を保証するには、Y のクリック率を確認する必要があります。

発売前の順番待ちリストは、ある意味では塗装されたドアのテストです (有名な例はハリーのカミソリです)。

11.発見テスト

Andrew Anderson の Discipline-Based Testing Methodology から引用したディスカバリー テストは、可能な選択肢の範囲を広げることを目的としています。

ほとんどの場合、複数のバリアントを持つ A/B/n テストのバージョンですが、必ずしもそのように設計する必要はありません。 これらのより大きな目的は、通常妥当と考えられる範囲外のオプションをテストすることです。 これにより、検討するオプションの範囲が制限される可能性がある独自の偏見が緩和されます。

仮説を狭義に定義するのではなく、自分の偏見から抜け出して、聴衆に何が効果的かについてまったく新しいことを学びたいと考えています。

発見テストを行うには、製品または Web サイトの不動産の一部を取り、さまざまなバリエーションを多数生成します。 目標は、各バリアントが最後のものとはかなり異なり、さまざまな異なるオプションを提供することです. 目標は、それが何であるかを事前に知らなくても、機能するものを見つけることです。

発見テストでは、実験をマクロ KPI にマッピングし、マイクロ コンバージョンを最適化しないことが重要です。 多くのバリエーションの中からリフトを明らかにするには、適切な統計力が必要になるため、有意義でトラフィックの多いエクスペリエンスをテストすることも重要です。

このような実験の例を見るには、Malwarebytes の Andrew Anderson の例をチェックしてください。彼らは 11 の非常に異なる亜種をテストしました。

12.反復テスト

コンピューター サイエンスで「山登り問題」として知られている概念があります。 基本的に、ヒル クライミング アルゴリズムは、下から始めて常に上に移動することで、地形の最高点を見つけようとします。

マーケティングの実験にも同じ概念を適用できます。

反復テストでは、小さな変更から始めて、収益が減少するポイントに到達するまで、変更を大きくし続けます。 この収穫逓減点は「極大値」と呼ばれます。 極大値は、開始点から到達可能なランドスケープの最高点です。

反復テストの目的は、特定の変化の局所的な最大値を見つけることです。 これは、オファーの変更や価格の変更などをテストするための非常に効果的な方法であり、調査や存在テストを通じて影響力があることがわかった要素もテストできます。

基本的に、あなたは X 要素が重要であることを知っており、要素 X を改善することで KPI Y を改善する余地があることを知っています。そうすることは非常に困難です）。

反復テストの簡単な例は、私の Web サイトにあります。 リード マグネット ポップアップを実行します。 私は彼らが電子メールを推進していることを知っており、利益が減少するポイントがある可能性がありますが、私はまだそれを達成していないと思います. そのため、数か月ごとに 1 つの変数 (見出し、オファー自体、または画像) を変更して、わずかなリフトを絞り出すことを期待しています。

13.革新的なテスト

反復的なテストとは対照的に、革新的なテストでは、登るべきまったく新しい丘を見つけようとします。

CXL の記事によると、革新的なテストは「未知の領域を探索し、新しい機会を見つけるように設計されています」。

革新的なテストとは、まったく新しいことに挑戦することです。 通常、他の種類の実験よりも少しリスクが高くなりますが、非常にやりがいのあるものになることもあります。 大きな勝利をお探しなら、革新的なテストが最適です。

完全なホームページまたはランディング ページの再設計は、このカテゴリに分類されます。 ディスカバリー テストは、革新的なテストの一形態です。 ボタンの色のテストは、革新的なテストとは正反対です。

革新的なテストは、あなたやあなたの利害関係者を少し不快にさせるはずです（ただし、実験の利点は、期間が限られており、マイナス面を抑えていることです）.

CXL は、クライアントのために実行した革新的なテストの例を以下に示します。

14. 非劣性試験

非劣性試験は、新しい治療法が標準治療法より悪くないかどうかを判断するために使用されます。

非劣性試験の目的は、新しい治療法が少なくとも標準的な治療法と同等の効果があることを示すことです。

なぜこのようなテストを実行するのですか?

多くの理由。 私が考えることができる最善の方法は、別の側面で「より優れた」バリアントがある場合です (維持するのが安価である、ブランドの基準に準拠しているなど)。コア ビジネスの KPI。

または、医療臨床試験のレンズで、一般的に処方される薬の 10 分の 1 の費用で薬が開発されたと想像してみてください。 既存の薬よりも*悪い*効果がない限り、その手頃な価格は、展開するためのはるかに優れたオプションであることを意味します.

私がこれらを実行するもう 1 つの理由は、処理が経営陣または利害関係者によって非常に支持されている場合です。 壊すのは嫌ですが、私たちが実験の専門家としてデータにアクセスできるからといって、偏った考え方や人間の政治の混乱を回避できるわけではありません.

時折 HiPPO が提出するテストを喜んで受け、非劣性テストのように確実性の低いしきい値で実行します。 *私の* KPI を台無しにしない限り、それを展開しても害はなく、政治的支持を獲得します。

15. 機能フラグ

機能フラグは、特定の機能のオンとオフを切り替えて、運用環境で新しい機能をテストできるようにするソフトウェア開発手法です。

大量の技術的な詳細に入ることなく、本番環境で機能をテストしたり、ユーザーの小さなサブセットにゆっくりとロールアウトしたりできますが、機能しない場合は機能をすばやくスケールバックまたは強制終了する機能を維持できます。

多くの点で、それらは品質保証の方法論です。 しかし、多くの点で、A/B テストも同様です。

「機能フラグ」という用語は、カナリア リリース、本番環境でのテスト、継続的開発、ロールバック、機能ゲートなど、関連する多くの「トグル」機能を含む包括的な用語のようなものです。

16. 準実験

最後に、最も複雑で、広範で、最も定義が難しい実験のカテゴリーである準実験です。

準実験は、ユーザーをランダムにテスト グループに割り当てることができない場合によく使用されます。

たとえば、Web サイトの新機能をテストしている場合は、A/B テスト、機能フラグ、さらにはパーソナライゼーション アームを実行できます。

しかし、SEO のさまざまな変更をテストしてトラフィックへの影響を確認したい場合はどうすればよいでしょうか。 それともさらに、ブログのコンバージョンへの影響は? 屋外看板広告の有効性をテストしたい場合はどうすればよいでしょうか?

驚くほど多くの場合、厳密に組織化され、真に制御された実験を設定することは、不可能ではないにしても困難です。

このような場合、私たちは持っているもので間に合うように準実験を設計します。

SEO の変更の場合、Causal Impact などのツールを使用して時系列の変更を定量化できます。 特に、ページまたはその他の識別可能なディメンションに基づいて実験を制御する場合、これにより、介入が機能したかどうかについて長期的な考えが得られます.

ラジオ広告やビルボード広告の場合、代表的な地理的位置を選択し、同様のベイジアン統計を使用して経時的な効果を定量化することができます。

これは複雑なトピックなので、次の 2 つの優れたリソースにリンクします。

• Netflix が準実験を実施する方法
• Shopify が準実験を実行する方法

結論

A/B テストは、コンバージョン率を最適化するために見出しや CTA ボタンを変更するだけではありません。

実験で達成できることの幅を広げると、それが信じられないほどの学習ツールであることがわかります。

ランディング ページの影響力のある要素をマッピングし、要素の最適な組み合わせを特定し、新しい改善されたユーザー ページ パスを見つけ出し、技術的負債やユーザー エクスペリエンスの低下を招くことなく新しい機能とエクスペリエンスを開発し、新しいマーケティング チャネルをテストすることもできます。当社のウェブサイトまたは当社の製品以外の介入。