多変量テスト: 最良の結果を得るために最良のテストを実行する方法

公開: 2017-02-09

A/B テストは、クリック後のランディング ページの最適化のアイデアを見つける最も簡単な方法の 1 つですが、常に最も効率的な方法とは限りません。

一度に 2 ページ、3 ページ、または 4 ページのテストを開始する前に、さらに多くのテストを行う方法を確認し、訪問者をコンバージョンに導く要素の最適な組み合わせを見つけてください。

A/B テストは、クリック後のランディング ページを最適化する最も簡単な方法の 1 つですが、常に最も効率的であるとは限りません。

クリックしてツイート

A/B テストとは何ですか?

分割テストとも呼ばれる A/B テストを使用すると、Web ページの 2 つの異なるバージョンを比較して、訪問者のコンバージョン率が高い方を判断できます。

これらの 2 つのページは次のようになります。

  • 少し違う

コンバージョン率の高いデザインを使用していて、1 つの要素を改善する方法を知りたい場合は、1 つの違いだけで 2 つの異なるページをテストできます。 好奇心やニュースに焦点を当てた見出しのパフォーマンスが高いかどうかを確認したい場合は、見出しと見出しをテストできます。 ビデオまたは GIF がコンバージョンに大きな影響を与えるかどうかを確認したい場合は、各ページでテストできます。

それぞれに同等のトラフィックを誘導した後、最も多くのコンバージョンを生成したものが勝者です。 2 つのページの違いは 1 つだけであるため、一方がより多くのコンバージョンを生成した理由は明らかです。

  • 劇的に違う

複数の点で異なる 2 つのページをテストすることもできます。 元のページには、バリエーションとは異なる見出し、アイキャッチ画像、CTA ボタンを含めることができます。 テストは次のようになります。

この図は、マーケティング担当者がクリック後のランディング ページ レイアウトとバージョン A とバージョン B で多変量テストがどのように機能するかを示しています。

元のページ (A または「コントロール」) とバリエーション ページ (B) の両方に同等のトラフィックを集めた後、コンバージョン率の高いページが勝者となります。 ただし、テストごとに 1 つの要素のみを変更する場合とは異なり、大幅に異なるページをテストする場合、特定のページが勝った理由を判断する方法はありません。

上記の例の結果を見ると、バージョン「b」がバージョン「a」よりも優れていることがわかりますが、それが優れている理由はわかりません。多くの原因が考えられるためです。 コンバージョンは、ナビゲーション バーを左から右に調整したり、サインアップ フォームを上から下に調整したりすることで発生した可能性があります。 大幅に異なるデザインの A/B テストを行ったときに確実に言えることは、あるページが他のページよりも優れているということだけです。

ただし、複数の要素への変更が互いにどのように相互作用するかを判断するために実行できる別の種類のテストがあります。 いわゆる多変量検定です。

多変量テストとは

多変量テストは、オプティマイザーが 2 つの異なる Web ページを比較するために使用するプロセスです。 この方法では、複数の要素間の微妙な変化を比較し、それらの要素がどのように相互作用するかを測定して、最高のパフォーマンスを発揮するものを見つけることに焦点を当てています。

A/B テストと多変量テストの違い

ある見出しを別の見出しと比較したり、注目の画像と動画を比較したり、ある行動を促すフレーズとわずかに異なるものを比較したりして、勝者のページを見つける A/B テストのケース スタディをたくさん読んだことがあるでしょう。 ワイドマイルのオプティマイザーによると、正確にそれを行うために使用できますが、A/B テストを使用するより理想的な方法があります。

この図は、マーケターが多変量テストと A/B テストの最大の違いと、それぞれの方法をいつ使用するかを示しています。

彼らによると、A/B テストの理想的な用途は、「2 つ以上の根本的に異なるページをテストすること」です。 テストの観点から言えば、A/B テストでいわゆる「グローバル最大値」を見つけ、多変量テストで「ローカル最大値」を絞り込むほうがよいでしょう。

グローバル最大値とローカル最大値

想像するのは難しいですが、今まで一度もアイスクリームを食べたことがなく、アイスクリーム パーラーに立ち、30 種類のフレーバーのうちどれを購入するか決めようとしているところを想像してみてください。 .

チョコは10種類、バニラは10種類、ストロベリーは10種類。 どれをスクープしたいか決める前に、30 種類すべてのフレーバーを試すつもりですか?

おそらくそうではありません。 チョコレート、ストロベリー、バニラなど、大きく異なるフレーバーを 1 つずつ試して、一番好きなフレーバーを絞り込むことになるでしょう。 バニラやストロベリーよりもチョコレートが好きだとわかったら、「チョコレート チップ クッキー生地」、「チョコレート ピーナッツ バター」、「チョコレート ファッジ」などのフレーバーを試して、どのチョコレートが一番好きかを決めます。

統計的に言えば、あなたが最も気に入った品種 (チョコレート、バニラ、またはストロベリー) をグローバル最大値と呼びます。 大きく異なる3種類の味の中で一番好みの味です。 品種の特定のフレーバー (チョコレート ファッジ、チョコレート チップ クッキー生地、チョコレート ピーナッツ バター) は、極大値になります。 あなたが選んだ品種の最高のバージョンです。

オプティマイザーとして、同様にテストに取り組みたいと考えています。 訪問者のコンバージョン率が最も高いページ (グローバル最大値) を見つけ、そのページの特定の要素を微調整して、コンバージョン率が最も高いページ (ローカル最大値) に改善します。 探しているものによって、使用するテストが決まります。

A/B テストを使用する場合と多変量テストを使用する場合

A/B テストは、グローバルな最大値をテストするのに最適です。 訪問者がコンバージョンしたいページを見つけるのが得意です。 A/B テストを使用して、Investopedia がニュースレター、Investopedia Advisor のコンバージョンを促進するのを支援した MarketingExperiments の例を見てみましょう。

オファーはシンプルで、株式のヒントが掲載された無料のニュースレターでした。元のページにはそれが反映されていました。 長くも、複雑でも、多くの要素が散らかっていたわけでもありません。 1 つのフィールドのリード キャプチャ フォーム、箇条書きのコピー、およびインフォグラフィックが特徴でした。

この図は、Investopedia が短い形式のポスト クリック ランディング ページで多変量テストを使用してコンバージョン率を高めた方法をマーケターが示しています。

しかし、貴重な無料オファーにもかかわらず、コンバージョン率はわずか 1.33% でした。 MarketingExperiments のチームは、ページを完全に見直すことにしました。 見出し、レイアウト、CTA ボタンを変更し、バッジをいくつか追加しました。 次に、新しいページと元のページの A/B テストを行ったところ、新しいページのコンバージョン率が 89.4% 高いことがわかりました。 外観は次のとおりです。

この図は、Investopedia がクリック後の長いランディング ページで多変量テストを使用して、コンバージョン率を向上させたマーケティング担当者を示しています。

この A/B テストでは、実験者は新しいページが古いページよりもコンバージョン率が高かった理由を正確には理解していませんでしたが、コンバージョン率の高い新しいページを発見したことを覚えておくことが重要です。 言い換えれば、彼らは新しい世界最大値を発見しました。 その時点で、必要に応じて、多変量テストを使用してこのページを改良し、どの要素の組み合わせが最も多くの訪問者をコンバージョンに導くかを判断できます。

たとえば、これはまさに、Optimizely のこの架空の例のテスターがやりたいことです。 彼らは、見出しと画像のどの組み合わせが最も多くの訪問者をコンバージョンに導くかを把握したいと考えています。

この図は、マーケティング担当者が見出しと画像を使用して多変量テストを行う方法を示しています。

そのため、見出しと画像のさまざまな組み合わせで複数のページを作成し、どれが最も効果的かを確認します。

この図は、マーケティング担当者が、多変量テストを使用して画像と見出しの組み合わせをテストし、優れたバリエーションを決定する方法を示しています。

これら 4 つのバージョンのうち、コンバージョン率が最も高いテストから出てきたバージョンが勝者です。 電球を使用した 2 つのバージョンの掲載結果がギアを使用した 2 つのバージョンよりも優れている場合は、電球の画像がコンバージョンに最も大きな影響を与えていると結論付けることができます。 そこから、どの付随する見出しがより多くのコンバージョンを生み出したかを確認し、そのページを使用します.

多変量テストの実施方法

数年前、VWO の創設者である Paras Chopra が自分の Web ページでダウンロード数を増やしたいと考えたとき、彼は多変量テストを使用してその方法を見つけました。 A/B テストを実施する手順に精通している場合は、この多変量テストの例のほとんどの手順を認識できます。

1. 問題を特定する

Web ページの改善に着手する前に、データを掘り下げて、訪問者がデータをどのように操作しているかを調べることをお勧めします。 彼が見つけたのは、人々が彼の「ダウンロード」ボタンをクリックするべきだと思っていたほどではなかったため、その理由を突き止めるためにページを調査したことです。

2. 仮説を立てる

徹底的な調査の後、彼はダウンロード リンクがまったく目立たないことに気付きました。 そこで彼は、ページを改善するための仮説を立てました。

訪問者にダウンロード リンクに気付かせるための明白な解決策は、ダウンロード セクションをページの最も目立つ部分にすることです。 ページのデザインでは、「ダウンロード」の見出しのサイズと色がページの残りの部分にうまく溶け込んでいたため、ユーザーはダウンロード リンクを見逃していました。

「ダウンロード」リンクを目立たせることで、コンバージョンを促進できると彼は信じていました。 彼がそうすることにした方法は次のとおりです。

3.バリエーションを作る

次に、テスト用のバリエーション ページを作成します。 パラスによると：

多変量テストでは、バリエーションを作成するためにページで 2 つの要素を選択しました。サイドバーの「ダウンロード」見出しと、その下の「PDFProducer」ダウンロード リンクです。 テストの焦点は、「無料」という言葉の効果と、ダウンロード セクションを強調する効果を観察することでした。

ダウンロード セクションをより目立たせ、魅力的なものにするために彼が決めた方法を次に示します。

元の「ダウンロード」リンクについて、彼は 3 つの異なるバリエーションをテストしました。

  • 赤色の「ダウンロード」
  • 赤色の「無料でダウンロード」
  • 「ダウンロード」はデフォルトの色ですが、フォントサイズが大きくなっています

元の「PDFProducer」リンクについて、彼は 2 つの異なるバリエーションをテストしました。

  • 「PDFProducer」はデフォルトの色ですが、フォントサイズが大きくなっています
  • 赤色の「PDFProducer」

これは、すべての組み合わせがどのように見えるかです：

この図は、さまざまな「ダウンロード」とサブタイトルのテキストの組み合わせが、勝者のバリエーションを決定するのにどのように役立つかをマーケティング担当者に示しています。

ダウンロード リンクの 4 つのバージョン (オリジナルを含む) と「PDFProducer」テキストの 3 つのバージョン (これもオリジナルを含む) を使用して、完全な要因テストを実施するために 12 の異なるバリエーションが作成されました。 最も影響力のあるものだけをテストする部分実施要因とは対照的に、完全実施要因はすべての組み合わせをテストします。

多変量解析には複数の方法 (完全実施要因、部分実施要因、およびタグチ) がありますが、ほとんどのオプティマイザーは、その正確さのために完全実施要因を実行することを推奨しています、と CXL の Alex Birkett は主張しています。

4. サンプルサイズを決定する

ページにトラフィックを誘導する前に、サンプル サイズ (テストの結果について結論を出す前に各ページが生成する必要がある訪問者の数) を決定する必要があります。

VWO のこの計算機は、訪問者数、Web サイトのトラフィック、バリエーションの数、統計的有意性に基づいてテストを実行する必要がある期間を把握するのに役立ちます。

統計的有意性を達成する方法と、電卓に入力する必要があるすべてのことについて詳しくは、このブログ投稿をご覧ください。

5. ツールをテストする

トラフィックの実行を開始する前に、すべてをテストしてください。 クリック後のランディング ページは、すべてのブラウザーで同じように見えますか? CTAボタンは機能していますか？ 広告内のすべてのリンクは正しいですか?

実行を開始する前に、キャンペーンのあらゆる側面を QA して、結果を損なうものがないことを確認することが重要です。

6.トラフィックの促進を開始する

バリエーションを作成し、それぞれに生成する必要があるトラフィックの量を把握したので、安全にそれらへのトラフィックを開始できます。 多変量テストの最大の欠点は、結論を出すまでに膨大な量のトラフィックが必要になることです。そのため、辛抱強く待つ必要があります。

A/B テストを行っている場合、大量のトラフィックを誘導する必要があるページは 2 つだけです。 しかし、たとえば Paras のような多変量テストでは、テストを呼び出す前に大きなサンプル サイズを収集する必要がある 12 の異なるページがあります。

正当性に対する脅威に注意を払い、偽陽性結果の増加率を考慮することを忘れないでください、と Leonid Pekelis は言います。

「基本的に、インタラクションごとに個別の A/B テストを実行しています。 測定するインタラクションが 20 あり、テスト手順で各インタラクションが 5% の割合で誤検出される場合、1 つのインタラクションが完全に偶然に有意に検出されることを予期することになります。 これを説明する方法はいくつかあります。一般的に複数回のテスト修正と呼ばれていますが、繰り返しますが、最終的な結果を確認するには、より多くの訪問者が必要になる傾向があります。」

7. 結果を分析する

テストを 4 週間実行した後、これが Paras が見つけたものです。

この図は、マーケティング担当者が多変量テストの結果を分析し、データに基づいてクリック後のランディング ページをさらに最適化する方法を示しています。

赤字の「無料でダウンロード」という見出しが、ダウンロードのコンバージョン率を 39% から 63% に押し上げ、なんと 60% も増加したことがわかります。 「ダウンロード」を大きなフォント サイズにする (リンクの色を赤にする) と、デフォルトよりもプラス (43%) の改善が見られました。 すべての結果のうち、上位 3 つは 95% 以上の信頼水準で統計的に有意です。

Paras は、新しいページを実装してこのテストを忘れていた可能性がありますが、代わりに、重要な最終ステップを強調しています。

8. 結果から学ぶ

各テストを使用して、Web ページとその訪問者について学習し、将来のテストに使用できるようにする必要があります。

彼は自分のウェブページで次のことを知りました。

  • 「無料」という言葉は、彼の Web サイト訪問者の共感を呼んでいました。
  • オファーの無料性は、行動を促すフレーズの上または近くで宣伝するのが最適です。
  • 赤は訪問者の注目を集めました。
  • より大きな行動を促すフレーズは、より多くの訪問者の注目を集めました。

ただし、これらは彼のテストの結果であることを忘れないでください。 「無料」という言葉は、無料オファーを宣伝する Web ページで使用するのに常に適していますが、CTA の最適な位置、サイズ、および色は Web ページによって異なる場合があります。 確実に知る唯一の方法は、テストすることです。

多変量テストを試しましたか?

複雑すぎると思って、多変量テストから離れたことはありませんか? Instapage Enterprise のデモに今すぐサインアップしてください。