2022年の多変量テストの完全ガイド

多変量テスト（MVT）は、同時に実行されている複数のA / Bテストだけではありませんか？

いいえ。それはMVTについて最も人気のある神話の1つです。 それよりもはるかに微妙なニュアンスがあります。

多変量テストはA/Bテストに似ていますが、1つではなく複数のバリアントに対してコントロールをテストしています。 ほら、それはAに対してBだけでなく、C、D、Eなどに対してもです。 また、トラフィックの多いサイトが最高のパフォーマンスを発揮する変更の組み合わせを見つけるための効率的な方法です。

そう…

• A / Bテストの代わりにMVTを使用する必要があるのはいつですか？
• 多変量テストはA/B / nテストと同じですか？
• 多変量テストの例は何ですか？
• 信頼できる結果を得るためにどのように実行できますか？

多変量テストに関する質問に回答し、プロセスの実験とCROスキルを向上させて、このガイドの最後で30分で展開できるようにします。

実験スキルを次のレベルに引き上げたい場合は、このガイドが最適です。

いいですね？ さぁ、始めよう…

多変量テストとは何ですか？

Webページ上のさまざまな要素のさまざまなバージョンを同時にテストして、それらがどのように連携して機能するかを学習したいとします。多変量テストは、実行するテストです。

多変量テスト（MVTテスト）は、Webページ上の複数の変数をさまざまな組み合わせでテストするための手法です。 これらの可能な組み合わせは、ページの複数のバリアント、つまり「マルチ」を作成します。

したがって、多変量テストは、コントロールに対して2つ以上のバリエーションをテストしているため、A / B/nテストに似ています。 違いは、A / B / nテストは単変量であるのに対し、多変量テストはタンデムの変化の組み合わせをテストすることです。

たとえば、ページ上の2つの異なる見出し、2つの画像、および2つのボタンの色をテストする場合、MVTテストは次のようになります。

上記のMVTテストでは、さまざまな要素（見出し、色、画像）をさまざまな組み合わせで一度にテストして、最適な要素を見つけます。

しかし、それは単一の要素の2つ以上のバリエーションを行うことができないという意味ではありません。 3つ、4つ、またはそれ以上を使用して、同時にテストすることができます。 コンバージョン率の上昇をさかのぼって追跡できるように、人々は1つの変更を好むだけです。

注意すべきもう1つの重要な点は、 MVTテストは同時テストと同じではないということです。 同時テストでは、同じサンプルセットで同時に複数の実験を実行します。 そして、これは干渉を引き起こす可能性があります。

同時テストは次のようになります。A/Bテストを実行して2つのバージョン間で最適な見出しを見つけ、MVTテストを実行して、同じランディングページの見出し、ヒーロー画像、CTAまたはアクションボタンの最適な組み合わせを見つけます。同時。

A / B / n（または多変量）テストでは、同じユーザー行動仮説を提供する複数のバリアントを使用しています。 1つの質問に答えるために、そのランディングページで一度に実行される多くのA/Bテストを想像してみてください。 たとえば、「このロットのどのバージョンが私たちに最高のリフトを与えますか？」

多変量テストとA/Bテスト：違いは何ですか？

MVTテストは、訓練を受けていない人にとっては、A/Bテストのより高度な形式のように思われるかもしれません。 しかし、両方のタイプのテストは非常に異なります。

A / Bテストと多変量テストの違いは、一度にテストされるバリアントの数にあります。 A / Bテストでは、コントロールに対して1つのバリアントがテストされますが、多変量テストでは2つ以上のバリアントがテストされます。

A / Bテストでは、1つの要素をテストします。 たとえば、Webページに画像を追加することをテストしています。 実験は次のようになります。

• コントロール=画像なし
• バリエーション1=画像

この場合、Webサイトで画像をテストしているだけなので、A/Bテストです。

A / B / nテストでは、多変量テストと同様に、複数のバリエーションを持つことができます。 ただし、違いは、A / B / nテストでは、1つの要素（または変数）のみをテストしているのに対し、多変量テストでは、各バリアントで複数の要素をテストしていることです。

これは、ConvertPartnerAgencyであるiProspectの優れた例です。 代理店は、価格設定ページ情報を特徴とするテストを実行しました。 彼らの実験の特徴：

• 価格情報のないコントロール、
• 開始価格が低いバリエーション1、
• 開始価格が高いバリエーション2。

これがどんな種類のテストか推測できますか？

この場合、価格情報を追加して1つの要素のみをテストしているため、A / B / C（またはA / B / n）タイプのテストがあります。

A / Bテストと多変量テストのどちらが優れているかは、何を達成しようとしているかによって異なります。 MVTがA/Bテストよりも効率的である場合があります。

ページ上のさまざまな要素（およびそれらの相互作用効果）をテストする場合は、A/Bテストの代わりにMVTを使用する方が簡単です。 A / Bテストでは、要素のバリエーションに対していくつかの連続したテストを作成する必要があります。 一方、多変量はそれらを一度に処理します。

多変量テストをいつ実行するか？

1つのバリアントが元のバリアントと比較してどのように機能するかを測定する場合は、A/Bテストを使用します。 これは、たとえば、別の見出しや別のボタンの色など、1つの要素を変更する場合に機能します。 それらの変更が1つのバリアントに該当し、AとBが得られる限り。

コントロールに対して複数のバリアントをテストしているが、一度に1つの要素のみを変更する場合は、A / B/nテストを使用します。

説明しましょう：ランディングページに見出しを追加するとコンバージョンが向上するかどうかをテストしたいとします。 ConvertPartnerAgencyであるSplitBaseのようなA/B/nテストを実行できます。 彼らは、利益主導の見出しを追加することでコンバージョンが増えるかどうかを判断するためのテストを実行しました。

PS：やった！ 収益が27％増加しました。

複数のバリアントと複数の変数がある場合は、多変量テストを使用します。 たとえば、さらに2つの見出しのアイデアとCTAオプションがあり、その結果、バリアントCとDが作成されます。MVTは、これらの変更がどのように相互作用するかを確認するための最も効率的な方法です。

「ボタンの色が3の見出し2を使用した場合はどうなりますか？ それはサインアップの数にどのように影響しますか？」 これらは、MVTが答える種類の質問です。つまり、MVTが同時に機能する場合、ページ要素の変更によってパフォーマンスに与える影響です。

多変量テストは、1つの見出しをテストするだけでなく、そのページのより多くのバリエーションをテストします。 設計と実行はより複雑であるため、A/Bテストよりも選択する価値があります。

多くの場合、A / Bテストは、私たちが探している答えを提供するのに十分です。 MVTは、1つまたは複数のバリアントがAおよびBを打ち負かす可能性があると思われる場合にはるかに適しています。

それらのインスタンスのいくつかは次のとおりです。

1. トラフィックが多く、より短い期間でより多くの学習を収集したいと考えています。 多変量テストは、トラフィックの多いサイトにアイデアの組み合わせを短時間でテストする機会を提供しますが、リソースを無駄にしないために、これらは高品質のアイデアである必要があります。
2. どの要素の組み合わせがコンバージョンの伸びにつながったかを知る必要があります。 さまざまなA/Bテストのシーケンスが冗長になるためです。

必要なすべての変更が組み込まれたバリアントをデプロイすることは困難です。 たぶん、あなたのテストプラットフォームはそのレベルの自由を許していません。 これは、それを回避する1つの方法です。 ただし、これらの変更を後でハードコーディングすることが不可能な場合は、テスト結果を使用できなくなります。

多変量テストの利点

多変量テストは、コンバージョン率と収益に否定できない影響を及ぼします。 考えてみてください。 そうでなければ、誰もそれを使うことについて話しませんでした！

MVTテストの利点の1つは、Webサイトの変更がコンバージョン率にどのように影響するかを確認できることです。 また、多変量テストを使用すると、これらの変更間の交互作用の影響を測定できます。 さまざまな小さな変更の複合効果を測定し、それが会話率にどのように影響するかを確認できます。

多変量テストの欠点

トラフィックが多く、予算が大きいWebサイトのみが多変量テストを実行するのには理由があります。 MVTテストを実行することの欠点について話しましょう。

1.大きなサンプルサイズが必要です

テストする要素の変更が多いほど、バリエーションも多くなります。 これらの各バリアントは、stat sigに到達するために十分なトラフィックを受信する必要があるため、正確な結果を得るには、さらに長く待つ必要があります。 そのため、多くのWebサイトは、トラフィックが不足しているためにMVTテストを実行できません。

2.MVTテストには時間がかかります

上で述べたように、各バリアントにはトラフィックと大量のトラフィックが必要です。 テストする組み合わせが多いほど、バリエーションが多くなり、待機時間が長くなります。

しかし、これはほとんどのCROの場合に正当化されます。 MVTテストを一連のA/Bテストに分割すると、より多くの時間とトラフィックが費やされるためです。

3.実行するのにより多くの費用がかかります

各バリアントの開発とQAには、余分な時間（およびお金）が必要になります。 そのため、これらのテストをより単純なA / Bテストで実行するという決定は、確かな理由で行う必要があります。そうしないと、テストのROIが低下します。

4.エラーが発生しやすい

A / B / Nテストを実行する場合、A/Bテストに使用するのと同じ統計を適用しません。 追加のバリアントは、統計的有意性検定の調整を必要とします。 ファミリーワイズエラー率（FWER）の増加は、タイプIエラーを起こし、間違ったバリアントを勝者としてタグ付けする可能性が高いことを意味します。

大きな影響を示した多変量テストの例

1. MicrosoftはSMBサイトで多変量テストを実行し、コンバージョンを40％増加させるバリアントを上陸させました。

2. 2009年、YouTubeはホームページでMVTを実行して、より多くの人にアカウントに登録してもらいました。 彼らはそれを「1,024レシピ実験」と呼んでいます。 1つのバリアントが15.7％のリフトで勝ちました。

3. Booking.comはテストで知られています。 彼らは多変量テストを使用して、新しい機能を展開する前に、より少ないオーディエンスでどのように使用されるかを学習します。

4. HawkHostは彼らのホームページでリフトを見たいと思っていました、そして彼らはそれを手に入れました。 これらは、多変量テストで見出し、小見出し、ヒーローの画像をテストした結果、売上が204％増加しました。 それは巨大です。

5. Amazonのランディングページのレイアウトは、多変量テストの結果です。 彼らはそれを機械学習と組み合わせて使用​​し、コンバージョンを促進し、7日間で購入率を21％向上させるスイートスポットに到達する最適なレイアウトを見つけました。

ソース

多変量テスト統計：多変量解析の概要

テストツールの洗練されたUIの下で、その背後にある原則に至るまで、多変量​​テストがどのように機能するかについて知りたい場合は、スリルを味わいましょう。

多変量解析（MVA）は、複数の従属変数が他の変数と同時に分析される統計分析の一種です。 これは、現実の世界がどのように機能するかに基づいています。特定の結果には複数の要因が関与しています。

デジタルマーケティング（つまり、コンバージョン率の最適化）で使用されるだけでなく、探索的データ分析の一部として、ヘルスケア、製造、輸送などのさまざまな分野で適用されます。これは、企業の世界で多くの意思決定を促進します。政府だけでなく。

複雑ですが、従属変数と独立変数の関係を分析する正確な方法です。

MVTとトラフィック：多変量テストのサンプルサイズを計算する方法は？

最良の方法は、サンプルサイズ計算ツールを使用することです。 これにより、健全な多変量テストの設計を開始するために必要なすべてが提供されます。

多変量テストをいつ停止するか？

収集されたデータは正確な分析を行うのに十分ではないため、テストの停止が早すぎるとエラーが発生する可能性があります。

明確な勝者がいるときに停止するか、コンバージョン率が10％を下回り、トラフィックをトップパフォーマーに移動する場合はバリエーションを停止する必要があると言う人がいるかもしれません。これは結果を大幅に汚染します。

次の前に多変量テストを停止しないでください。

1. 各バリアントに対して十分な大きさのサンプルサイズを収集します。 したがって、関連性のある十分なコンバージョンを収集するために、より長く実行します。
2. 1回または2回の完全な販売サイクルを実行して、30〜60日間のトラフィックとショッピング期間のバランスを取ります。
3. 統計的有意性に達する。 つまり、ライブにプッシュすると、95％の精度で結果を複製できるはずです。

多変量テストを設計する方法は？

A / Bテストと多変量テストは、設計と実施の方法が似ています。

以下に、MVTを実行するための段階的なテスト方法の概要を示します。 しかし、ここに簡単な説明があります：

1. 問題を特定し、目標を立てます。データを確認するときは、Webサイトの訪問者がどのような体験をしているのかを理解し、問題を見つけてください。 仮説（目標を持った解決策）を作成し、これに基づいてテストを行います。
2. 何をテストするかを決定します。仮説には、Webページ要素の組み合わせが含まれます。 目標を達成するために彼らをどうするかを考えてください。 オリジナルに反するように、これのバリアントを作成します。
3. 時間枠とサンプルサイズを見積もる：これを自分で行う必要はありません。 テスト前のサンプルサイズ計算機を使用してください。 それはあなたがあなたが必要とする本質的な数を理解するのを助けるでしょう。
4. テストを構築する：テストプラットフォームで、それらの組み合わせにバリエーションを設定します。
5. 確実に機能する：新しい処理ごとに品質保証テストを実行して、意図したとおりに機能することを確認します。
6. テストを実行します。トラフィックの促進を開始します。

それでは、データ収集からQAまでの各ステップを詳しく見ていきましょう。

多変量テストのためのデータ収集

多変量テスト中にデータはどのように収集されますか？ 注意を払うべき2つの主要なアプローチがあります：

1.完全階乗

仕組みは次のとおりです。MVTのすべてのバリアントは、サイトに到達するすべてのトラフィックと同じ量を取得します。 5つのバリエーションがある場合、それぞれがサイトに到達するトラフィックの20％を取得します。

もちろん、統計的有意性に達するには、この方法は大量のトラフィックを必要とし、長時間実行する必要があります。 しかし、この特性により、完全な階乗が最も正確なオプションになります。

2.フラクショナルファクター

その「完全な」対応物とは異なり、分数階乗はバリアントのサブセットのみをテストします。 そのため、その名前には「分数」が含まれています。

10個のバリアントがある場合、そのうち5個をテストし、その結果に基づいて、テストしなかった5個のパフォーマンスを予測します。

このため、完全な階乗よりも高速に実行されますが、精度は大幅に低下します。 その利点は、コミットする前に完全なテストがどのように見えるかを垣間見ることができることです。

タグチメソッドはどうですか？ フラクショナルファクターの別名だと言う人もいます。 使用するのは複雑です。 したがって、ほとんどのツールはそれを提供していません。

多変量テストの仮説生成

正確な定性的および定量的データに基づいて、多変量検定の仮説を作成する必要があります。

ブログで見つけた一般的なテストのアイデアを推測したり使用したりして、テストを実行することは望ましくありません。 データをふるいにかけているときに見つけた問題を解決したり、リフトを生み出すことができると思うアイデアをテストしたりするなど、関連性のあるものを選択してください。

これは、テストの目標として機能します。 仮説ジェネレーターを使用して、確実な仮説を立てることができます。

多変量テストの品質保証

品質保証がなければ、どのテストも誤解を招く可能性があります。 QAなしで進めることは危険であり、費用のかかる間違いを引き起こす可能性があります。 テストの洞察を信頼する前に、いくつかのチェックポイントを通過してください。

• QAの設定： QAプロセスに使用する設定を決定する場合は、QAを行うデバイスやブラウザなどでユーザーエクスペリエンスをテストするための特別な使用例を特定します。
• 外部要因：イベントや休日、同時に実行される他のテスト、イベント、サイトトラフィックなど、テストに影響を与える可能性のある制御できない要因を認識します。
• 実験のセットアップ：仮説の定式化の品質、トラフィックの割り当て、ちらつきがテストに影響を与えるかどうか、その他の遅延やエラーなどを確認します。
• クロスブラウザとクロスデバイス：デバイスと画面解像度全体のタイポグラフィ、フォント、配色を確認し、余白とパディングを確認し、使いやすさ、さまざまなデバイスでのページ要素のパフォーマンスなどを確認する必要があります。

そして、あなたが検出したかもしれない他の矛盾：修正のためにあなたのチームとこれについての言葉を共有する必要があります。

多変量テストをどのように実行しますか？ ConvertExperiencesでの多変量テストの展開。

Convert Experiencesで多変量テストを作成するには、4つの簡単な手順を実行するだけです。 何をすべきかは次のとおりです。

1. あなたの経験に名前を付けてください
   
   [エクスペリエンスの変換]で、[新しいエクスペリエンス]、[多変量]の順に選択し、エクスペリエンスに名前を付けます。

   

2. バリエーションを作る
   
   テストに使用するページのURLが読み込まれると、最初のバリエーションを編集できるようになります。 コピーを編集したり、新しいビジュアルを追加したり、名前を付けたりすることができます。 以下の例では、次のようになっています。
   
   –変更する要素をクリックしました（オレンジ色で強調表示されています）
   –メニューでアクションを選択しました。つまり、画像ソースを変更します

   

3. バリエーションに名前を付ける
   
   これはかなり自明です。 後で報告する際に目立つものを選びたいと思うでしょう。
4. 目標と対象者を定義する
   
   実験の概要に移動し、対象者と実験の目標を設定します。
   
   あります！ あなたの経験は稼働しています。

多変量テストとは何か、そして多変量テストを正常に設定する方法を理解したところで、選択できるいくつかの異なるプラットフォームを分解してみましょう。 市場に出回っているトップA/Bテストツールの多くは、1つのソフトウェアで多変量テストとA/Bテストを提供します。 では、どちらがあなたのニーズに最も適していますか？

多変量テスト方法があなたにとって決定的な要因である場合、あなたは正しい場所にいます。 以下のリストは、市場での多変量テストの上位9社を示しています。

利用可能な最高のA/Bおよび多変量テストツールは何ですか？

CROの専門家が好む多変量テストツールと、それらが提供する多変量テスト方法を以下に示します。

• 経験の変換–完全な階乗
• ABおいしい–完全な階乗
• Google Optimize＆Optimize 360​​ –完全な階乗でもフラクショナルでもないハイブリッドアプローチ
• Adobe Target –フル階乗とタグチ
• カメレオン–完全階乗および分数階乗
• Optimizely –完全な階乗、部分的、およびタグチ
• Sitespect –完全階乗および分数階乗
• VWO –完全階乗
• Webtrends Optimize –完全な階乗と部分的な階乗

どの多変量テストツールを選ぶべきかまだわかりませんか？ 最高の多変量テストツールのこの完全な内訳を確認してください。

2022年に避けるべき多変量テストの間違いのトップ

これらのテストは、正しい方法で使用している場合にのみ、最適化の目標を達成するのに役立ちます。

しかし、私たちは人間であり、ツールは完璧ではないため、間違いが発生します。 これらを回避することで、テストを台無しにする可能性を減らすことができます。

1. MVTツールの精度をテストしていません

ページのバリエーションを作成しますが、何も変更しないでください。 それを同じに保ち、残りを実行します。 人々は同じものを見ているので、結果は同じでなければなりません。

2. 確かな仮説から始めない

ベースラインなしでテストを実行し、何を期待するかはブラインドで実行されます。 それはあなたやあなたがテストしているサイトを助けません。 最初に仮説を立てます。

3. 競合他社をコピーする

あなたの組織はユニークであり、あなたの目標は異なります。 競合他社をコピーすることは有益ではありません。 彼らのテストの多くはあなたのケースに当てはまらないだけでなく、彼らは彼らが何をしているのかわからないかもしれません。

4. 季節的なイベントまたは主要なサイト/プラットフォームイベント中にテストを実行する

テストがイベントを対象としていない場合は、イベント中に多変量テストを実行しないでください。 結果は、通常の日の正確なパフォーマンスを反映していません。

5. 覗く

誘惑に抵抗するのは難しいです。 あなたはそれがどうなっているのかを見たいだけです。 バリアントに賭けて、どちらが勝っているのかを確認したい場合もあります。 しないでください。

不正確な期待を抱くだけでなく、それに基づいて間違った決定を下す可能性もあります。 それらが実行されているかどうか、またはエラーがあるかどうかを確認することができます。それだけです。

6. テストを十分に長く実行していない

多変量テストは長時間実行する必要があります。 統計的有意性に到達するために十分なトラフィックを取得する必要がある個別のA/Bテストのように考えてください。 多変量テストを十分に長く実行して、正確で有意な結果を得ることができます。

7. テストの実行中に変更を加える

エラーを修正することはできますが、Webサイトを再設計したり、コピーを変更したりすることはできません。 バリアントのルックアンドフィールを変更するものは、テストが開始された後もそのままにしておく必要があります。

8. 正確な結果を得た後、テストを停止するのを忘れる

それはあなたが思っているよりも頻繁に起こります。 これが意味することは、明確な勝者が得られた後でも、残りのトラフィックには弱いバージョンのサイトが表示されるということです。 あなたはそれをしたくありません。

9. 1回のテストで諦める

たぶん、すべてのバリアントがコントロールよりも悪いことが判明したので、何ですか？ あなたはそれが機能しないさまざまな方法を学んだばかりです。 より多くのテストを実行し、より多くの洞察を取得します。 すべての知識は貴重です。

10. テスト後に有効性をチェックしない

すべてが言われ、行われ、あなたがあなたの結果を得たとき、それは終わりですか？ テストプラットフォームをシャットダウンして先に進みますか？ 結果の正確さを信頼する前に、座ってすべてがスムーズに進んだかどうかを確認することをお勧めします。

11. 十分なテストを実行していません

あなたがテストを実行するとき、それが勝者であるか敗者であるかにかかわらず、それから学びます。 新しく見つけた知識を使用して、より多くの情報に基づいた仮説を作成し、再実行します。 そしてまた。 それがあなたがあなたのために実験を機能させる方法です。

12. テストを文書化しない

テストのデータベースを保管してください。 これにより、最適化チームがあなただけであっても、そのチームのパフォーマンスが向上します。 次の経験をより良くするために、私たちは皆、以前の経験から学ぶ必要があります。

また、同じテストを2回実行することに時間を浪費することを避けるため。

結論

eコマースストア、SaaS、または単純なランディングページのいずれを使用している場合でも、多変量テストを実行することが理にかなっているシナリオがあります。 トラフィックの多いWebサイトがある場合でも、多変量テストがWebサイトに適しているかどうかを判断する必要があります。 多変量解析を実行する前に、コスト、トラフィック、および多変量解析の必要性を評価します。