A/Bテストと多変量テストとマルチページテスト

CRO実験の実行に関しては、A / Bテスト、分割テスト、多変量テスト、および複数ページテストの4種類のテストから選択できます。

これらの各テストには、独自の長所と制限があります。

また、実験に適切なテストを選択しない限り、データに裏付けられた最終的なCROの決定を下すのは困難になる可能性があります。

それでは、これらのさまざまな最適化テスト手法とは何か、それらが互いにどのように比較されるか、そして実験を実行するたびに適切なテストを確実に選択する方法を理解しましょう。

ここに行きます。

A/Bテストとは

A / Bテストは、ページ上の1つ以上の要素への変更をテストする方法です。

A / Bテストでは、要素をページに追加したり、削除または変更したりして、追加、削除、または変更がページのコンバージョン率にどのように影響するかを確認できます。

これらの要素は、ページの任意のグラフィックまたはテキストアイテム（たとえば、CTAまたは見出しのコピーまたはヒーロー画像）である可能性があります。

A / Bテストでは、元のページの1つ以上の正確なコピーを作成し、テストする要素は同一ではない要素のみを使用します。

そして、これらのコピー（チャレンジャーと呼ばれる）を元のコピー（コントロールと呼ばれる）に対してテストすると、変更がコンバージョン率にどのように影響するかを確認できます。

分割URLテスト

多くの場合A/Bテストと組み合わせられる別の形式のテストがありますが、A/Bテストとは根本的に異なります。

これらは、分割URLテストまたは分割テストとして知られています。

分割テストでは、ページが受信するトラフィックが中央に分割され、同じページの2つの完全に異なるバージョンに転送されて、指定された目標に対してより優れたパフォーマンスを発揮するバージョンが特定されます。

通常、これらのバージョンは異なるURLでホストされますが、最終的な目標は、フォームの入力やカートへの追加など、特定のアクションのコンバージョンを増やすことです。

分割URLテストは、ページのまったく異なるデザインまたはバージョンをテストするために使用されていました。

ここでの目標は、最高のパフォーマンスを発揮するものを見つけることです。

したがって、2つの根本的に異なるアイデアをテストする場合は、分割URLテストを使用する必要があります。 たとえば、2つのホームページのデザインをテストする場合は、これが適切な手法です。

A/Bテストの例

生産性向上ツールのトップセラーであるBestSelfCoは、CROを使用することで主力製品の売上を改善できることに気づきました。 そこで、CROエージェンシー（SplitBase）を雇って、これがどのように発生するかを調査しました。

SplitBaseは調査を実施し、ランディングページ（元々見出しがなかった）に利益主導の見出しを追加することで、売り上げを伸ばすことができると仮定しました。

SplitBaseは、A / Bテストを実行し、元のページに対して見出しのあるページをテストすることを決定しました。 SplitBaseは、2つのバージョンの見出しをテストすることも決定しました。

したがって、単純なA / Bテストを使用した実験では、次の3つのバージョンが作成されました。

• バージョンA（見出しのないコントロール）
• バージョンB（見出しのあるチャレンジャー）
• バージョンC（見出しのバリエーションを持つチャレンジャー）

トラフィックは3つのバージョンすべてで均等に分割され（それぞれ約33％）、どのバージョンが最も売上が高かったかを確認しました。

ご覧のとおり、A/Bテスト実験はA/B / C/D…nテスト実験になる可能性が非常に高いです。

A/Bテストのユースケース

A / Bテストには、非常に特殊なユースケースがあります。

非常に類似した設計をテストします（テスト要素の変更を除く）。

これは、1つの要素だけで実験し、変更がコンバージョン率にどのように影響するかを確認するA/Bテストの最も一般的な使用例です。

特定の要素がコンバージョン率にプラスの影響を与える可能性があると仮定する場合は、このテスト手法を使用する必要があります。 たとえば、この最適化テスト手法を使用して、ホームページのCTAへの変更の影響を確認できます。

A/Bテストの長所

• A / Bテストの実装は簡単です。2つの非常に類似したエクスペリエンスをテストする場合でも、2つのまったく異なるエクスペリエンスをテストする場合でも、A/Bテストの設定は非常に簡単です。 通常、時間やリソースをあまり消費しません。
• A / Bテストでは、（多変量と比較して）トラフィックが少なくて済み、最終的な結果が得られます。各バリアントに約1万人の訪問者を送信するのに十分なトラフィックが得られるウェブサイトがある場合は、A/Bテストを使用して検索できます。 Webサイトにデザイン、UI、またはコピーの変更を加えるための統計的に有意な結果。 これは、コントロールとチャレンジャー（または2人のチャレンジャー）だけでA / Bテストを実行する場合に特に当てはまります。これは、それぞれに大量のテストトラフィックを送信できるためです。
• A / Bテストは、実行するのにそれほど長くは必要ありません。 通常、A / Bテストは2〜3週間で統計的に有意な結果をもたらす可能性があり、何ヶ月も何ヶ月も実行する必要はありません。

A/Bテストの制限

• A / Bテストは通常​​、限られた洞察しか提供しません。同様のエクスペリエンス（1つの要素のみが変化する）のA / Bテストは、通常2つのバージョンを実行します。 つまり、マーケティング担当者が実験から学ぶことができるのは、3つのバージョン（1つのオリジナル+ 2つのチャレンジャー）のどれが最も優れていたかということです。 それがすべてです—たった3つの可能性についての洞察。 より多くのバリアントをテストする場合（たとえば、5つのバージョンのCTAボタンをテストする場合）、その多くのバリエーションのトラフィックを分割した後でも、統計的に有意な決定を生成するのに十分なトラフィックが必要になります。
• A / Bテストは、ほとんどの場合、高レベルのWebサイトの決定を行う場合にのみ適しています。A/ Bテストは、どのバージョンが最適であるかについて客観的な回答を与えるのに優れているため、高レベルの決定を行うのに最適です。 そのため、Webサイト、ランディングページのデザイン、UIで採用するアプローチを決定したり、A/Bテストでコピーしたりできます。 ただし、デザイン、UI、またはコピーのより詳細な要素を微調整する場合は、いくつかのA / Bテストを実行する必要があります。これには、時間と労力がかかる可能性があります。

A/Bテストツール

Convert Experiencesは、すべてのA / Bテスト実験を強化し、Webサイトで使用する最も効果的なCTAボタン、見出しのコピー、ヒーロー画像、配色、ロゴの配置などを見つけるために使用できる強力なCROソリューションです。

Convertは、従来のA / B / nテストと、ビジュアルエディターおよびより堅牢なコードエディターを介した分割URLテストの両方を可能にします。

多変量テスト（MVT）とは

多変量テストまたはMVTは、コントロールに対して複数のバリアントをテストする方法です。

多変量テストでは、ページ上の要素のグループを追加、削除、または変更して、複数の調整を加えた複数のバージョンを作成し、要素のグループへの追加、削除、または変更がコンバージョン率にどのように影響するかを確認できます。

多変量テストの要素のグループは、少なくとも2つの要素で構成されている必要があります。 また、各要素には2つのバリアントが必要です。 つまり、多変量テストでは、テストするバージョンが少なくとも4つあります。

単純な多変量テストの内訳は次のとおりです。

テストする要素のグループ：要素1、要素2。

要素1のバリアント：

要素1バリアントA

要素1バリアントB

要素2のバリアント

要素2バリアントA

エレメント2バリアントB

多変量テストの数学：

テストするバージョンの数=グループ内の要素の数*各要素のバリアントの数

多変量テストのユースケース

企業は通常、テストをよりきめ細かくするための最適化手法として多変量テストを使用します。 すぐに明確にしましょう。 これが実験サイクルが長くなる理由です。

ただし、バリアントごとに要素のクラスターに変更を加えることができるという事実のおかげで、より大きな問題/変換の障害（A / Bテストで行う）の特定から、特定のページの訪問者エクスペリエンスの微調整に進むことができます。

多変量テストの例/ケーススタディ

上からケーススタディの例の仮想的な多変量テスト拡張を作成しましょう。

現在、このeコマースストアはすでにA / Bテストを使用して、主力製品ページの受賞バージョンを見つけているため、多変量テストのラウンドをフォローアップして、受賞デザインの要素のさまざまな組み合わせを実験してさらに進めることができます。コンバージョン率を向上させます。

そのため、たとえば、多変量テストでは、CTAボタン、ヒーロー画像、CTAボタンのコピーの色を変更して複数のバリエーションを作成し、オリジナルに対して実行して、「より多くの」勝利の組み合わせを見つけることができます。

多変量テストの長所

• 多変量テストは、マイクロコンバージョンの決定を行うのに最適です。多変量テストを使用すると、デザイン、UI、テキストの変更のさまざまな組み合わせを試すことができます。 つまり、コンバージョン率を高めるために、ウェブサイトを「微調整」するプロセスからすべての当て推量を取り除くことができます。 あなたは実際にあなたの最も細かい選択でさえ検証することができます。
• 多変量テストでは、要素がどのように連携するかについてより深い洞察が得られます。多変量テストでは要素の組み合わせをテストできるため、A /の場合のようにスタンドアロン要素をテストするだけでなく、さまざまな組み合わせがユーザーの選択にどのように影響するかを確認できます。 Bテスト）。 多変量テストでは、1つの変更だけではなく、バリアントに複数の変更が適用された場合に、観察される効果は常に大きくなります。 これは相互作用効果と呼ばれます。

多変量テストの制限

• 多変量テストには大量のトラフィックが必要です。多変量テストの計算を見ると、テストする要素の数とそのバリエーションに応じて、テストするバージョンの数が膨大になることがわかります。 たとえば、多変量テストを使用して、CTAボタンのさまざまな組み合わせをテストする場合（3色：1つのコントロールと2つのチャレンジャー、3つのコピー：1つのコントロールと2つのチャレンジャー）を作成する必要があります3 * 3、つまり9つのバージョン。 非常に多くのバージョン間で分割するのに十分なトラフィックを持つことは、トラフィックの多いWebサイトにとっても課題です。
• 多変量テストの計画は難しくなる可能性があります。テストできる（ページ上のさまざまな要素の）組み合わせの数が非常に多いため、意味のある多変量テストの計画には注意が必要です。 見出し、ヒーロー画像、ヒーローエリアCTA、または見出し、USP、ヘッダーなどの組み合わせを選択すると、多くの労力がかかる可能性があります。 また、多変量テストであまりにも多くの要素をテストすると、結果が歪む可能性があります。
• 多変量テストは、明確な高レベルの決定を行うのには適していません。多変量テストは要素の組み合わせをテストするため、特定の組み合わせが勝った理由を常に決定的に判断できるとは限りません。 つまり、多変量テストでは、根本的なCROの決定を下すことが常に可能であるとは限りません。 これにより、多変量テストが、適切に機能することがすでにわかっているバージョンの要素の配置/グラフィックス/コピーのテストなど、より詳細なCRO決定に役立つようになります。

多変量テストツール

Convert Experiencesを使用すると、Webサイトで多変量テストを簡単に設定し、要素のさまざまな組み合わせがコンバージョン率にどのように影響するかを確認できます。

どの多変量テストツールを選ぶべきかまだわかりませんか？ 最高の多変量テストツールのこの完全な内訳を確認してください。

多変量テストと分割テスト：どちらを使用する必要がありますか？

以下の多変量テストと分割ベーステスト（またはA / Bテスト）の比較表を確認して、2つの手法のいずれかをいつ使用する必要があるかを確認してください。

マルチページテストと目標到達プロセスのテストとは

マルチページテストは、複数のページにわたる特定の要素への変更をテストする実験の形式です。

これを行うには2つの方法があります。

セールスファネルのすべてのページを取得して、それぞれの新しいバージョンを作成します。 この新しいページのセットは、「チャレンジャー」の販売ファネルを作成し、それを元の販売ファネル（または「コントロール」）に対して実行します。 これは「ファンネルテスト」と呼ばれます。

または、セキュリティバッジなどの定期的な要素の有無が、目標到達プロセス全体のコンバージョンにどのように影響するかをテストできます。 これは、従来のマルチページテストです。

マルチページテストとファネルテストのユースケース

複数ページのテストを使用すると、購入者の全過程で要素に加えられた変更の影響を自由に測定できます。

目標到達プロセスのテストに投資することを選択した企業は、大量の高レベルの洞察を生み出します。

たとえば、目標到達プロセスのテストを使用して、最も効果的なものを見つけることができます。

• 目標到達プロセスのテストを実行して、ページ上のさまざまな声やトーンをテストできます。たとえば、ウイルス対策サービスプロバイダーの場合は、販売目標到達プロセスで恐怖を刺激するコピーを、中立的または信頼を刺激するコピーに対してテストできます。そして、どのメッセージングが訪問者に最も共鳴し、最も多くの売り上げを得るかを確認します。
• デザイン哲学。 さまざまな設計理論を試して、どれが最も効果的かを確認できます。
• 販売/サポート戦略。 ファネルのいくつかの選択したページでライブチャットサポートを提供するチャレンジャーセールスファネルバージョンを設計し、ライブチャット対応のファネルが通常のセールスファネル（ライブチャットサポートなし）とどのように比較されるかを確認できます。 同様に、多数の販売/サポート戦略をテストして、販売目標到達プロセス全体でより多くのコンバージョンを支援する方法を確認できます。

複数ページのテスト例/ケーススタディ

繰り返しになりますが、上から同じケーススタディの例への架空の拡張を構築しましょう。

現在、この特定のWebサイトはオンラインストアであるため、その最も基本的な販売ファネルは次のとおりです。

商品ページ>カートに追加ページ>チェックアウトページ

したがって、複数ページのテストを実行するには、このストアはこれらのページごとにバリエーションを作成し、次のようなチャレンジャーファネルを作成する必要があります。

商品ページのバージョンA>カートページへの追加バージョンA>チェックアウトページのバージョンA

チャレンジャーファネルでは、e小売業者は、「10,000人の専門家に信頼されている」という凡例の追加が、購入者の旅の各段階でのコンバージョンにどのように変換されるかをテストすることを決定する場合があります。 または、非常に異なるページを表示することを選択する場合もあります（2つの完全に一意のページを使用した分割テストと同様）。

ただし、野心的な場合は、目標到達プロセスのテストに参加して、実際にコピーやカート放棄戦略などを試してみることができます。

わかりますよね？

マルチページテストの長所

• マルチページファネルテストは、セールスファネルのリークを埋めるのに役立ちます。Googleアナリティクスのデータがセールスファネルの特定のページで大きな落ち込みを示している場合は、マルチページテストを設定して、何がそれらを減らし、より多くのコンバージョンを獲得できるかを見つけることができます。
• マルチページテストでは、ユーザーの行動についてより深い洞察を得ることができます。マルチページテストを使用すると、ユーザーが最も関与しているコントロールとチャレンジャーの目標到達プロセスのさまざまな要素を特定できます。 このような洞察を使用して、より多くの情報に基づいた設計、コピー、およびユーザーエクスペリエンスの決定を行うことができます。

マルチページテストの短所

• 複数ページの実験は数ヶ月続くことがあります。 B2Bには長い購入の旅があり（多くの場合、数か月に及ぶ）、B2Bマルチページテストは何ヶ月も続けて実行できます。
• 複数ページのテストの結果から洞察を得るのは難しい場合があります。チャレンジャーのバージョンで変数が多すぎる場合（たとえば、デザインとチャレンジャーでコピーの両方を実験する場合）、デザインがより多くの原因であるかどうかを判断できない場合があります。変換またはコピー。 多数のチャレンジャー（たとえば、デザインのテスト用とコピーのテスト用）を作成するには、トラフィックを3つに分割する必要があります。 あなたがあなたのウェブサイトに何千もの訪問者を獲得しない限り、あなたがあまりにも多くのそのようなバリエーションを実行するとき、あなたは統計的に有意な結果を得るのに十分なトラフィックを持っていないかもしれません。

マルチページテストツール

Convertを使用すると、複数ページのテストや目標到達プロセスのテストを簡単に設定して、さまざまな変更がページ間のコンバージョンにどのように影響するかを確認できます。

A/Bテストと多変量テストとマルチページテスト

A/Bテスト

それは何ですか：

A / Bテストでは、同じページ/広告/アセットの2つの非常に類似したバージョンをテストして、最もパフォーマンスの高いバリアントを見つけます。

いつ使用するか：

基本的に、A / Bテストは、オプティマイザーがコンバージョンへの最大の障害を特定するために使用する方法です。 コンバージョン率が低い（とされる）理由を特定し、要素の変更/調整によって問題がどのように軽減されるかをテストする仮説を立てる必要があります。

A / Bテストを通じて、高レベルの設計とコピーの決定を行うことができます。

たとえば、ホームページからの高いバウンス率は、一般に、訪問者が製品またはソリューションが提供する「価値」を獲得していないという事実を示しています。 バリュープロポジションの見出しのさまざまなバージョンを使用したA/Bテストが一般的です。

洞察の獲得のしやすさ：

A / Bテストでは、洞察を得るために、各バリアントへの約10,000人の訪問者と約1000回のコンバージョンが必要です。 ただし、多変量テストと比較すると、実行は比較的高速です。

多変量テスト

それは何ですか：

多変量テストでは、コントロールに対して複数のバリアントをテストします（すでにうまく機能していることがわかっています）。

いつ使用するか：

多変量テストを使用して、より詳細な決定を行うことができます。 たとえば、さらに最適化したい高性能のホームページがある場合は、多変量テストを使用して、ホームページ上の要素のグループのより根本的に異なるバリエーションを試すことができます。

大洪水がA/Bテストによって阻止された後、小さなリークを塞ぐことと考えてください。

洞察の獲得のしやすさ：

多変量テストは、いくつかのバリアントにいくつかの要素が含まれているため、非常に複雑です。 したがって、トラフィックのニーズと最終的な結果に到達するまでの時間の両方が複雑になります。

マルチページテスト

それは何ですか：

マルチページテストでは、さまざまな購入経路をテストして、最適なものを見つけます。 マルチページテストは、販売ファネル全体の複数のページで一連のA / B/Nテストと多変量テストを一緒に実行することに似ています。

いつ使用するか：

マルチページテストまたは目標到達プロセステストを使用して、セールスジャーニー全体にわたって高レベルの意思決定を行うことができます。

たとえば、パーソナライズされたセールスジャーニーを通常のセールスジャーニーと比較してテストできます。

洞察の獲得のしやすさ：

限定バージョン（たとえば2）を使用した複数ページのテストでは、比較的迅速に重要な結果を得ることができます。

A / Bテスト、多変量テスト、マルチページテストの比較

実験では、適切なテスト形式を使用した場合にのみ、最終的な結果を得ることができます。

概要として、これはあなたが心に留めておくべきことです：

• A / Bテスト–通常、他の1つのバージョン（バリアント）全体の仮説で変換の障害として識別された少なくとも1つの重要な要素をテストします。
• 分割テスト–分割テストは、2つの完全に異なるページと訪問者向けのエクスペリエンスを2つの別々のURLでホストし、同じコンバージョン目標を評価することに重点を置いています。 分割テストを通じて、ホスティングプラットフォームやテーマなど、2つのまったく異なるセットアップを相互にテストできます。
• 多変量テストまたはA/B / Nテスト– MVTは通常、A/Bテストの勝者に対して実施されます。 多変量テストでは、ページの要素のクラスターに変更を加えます。各クラスターは、独自のクラスターまたは微調整されたクラスターになり、独自のバリアントまたはバージョンになります。 MVTバリアントのより高い変換を特定の要素に帰することは困難ですが、オプティマイザーはコピーと設計のための詳細な変更をテストできます。
• マルチページテスト–マルチページテストの実行は、セールスファネルの一連のページで複数のA / B/Nテストを一緒に実行することに似ています。 または、まったく異なるセールスファネルエクスペリエンスをテストすることもできます（たとえば、トラフィックの半分をコントロールバージョンのページ1>ページ2>ページ3に送信し、残りの半分をチャレンジャーバージョンのページ1バリアント>ページ2バリアント>ページ3に送信します。チャレンジャーがコントロールとはまったく異なるバリアント。）

実験に適切なテストを選択することは、仮説を正しくすることに大きく依存します。 実験を実行するたびに明確な仮説を立てるのに役立つCROツールをいくつか紹介します。

また、実験のA / B、多変量、または複数ページのテストを開始する準備ができたら、Convertを確認してください。 Convert Experiencesは、データプライバシーに敏感な業界であっても、トラフィックの多いWebサイトで考えられるすべての最適化実験を簡単に処理できます。

Convert Experiencesに15日間の義務のない無料トライアルを提供し、テストによってKPIをどのように改善できるかを再考してください。