2022年に最も人気のある多変量テストツール

そのため、現在A / Bテストを実行しており、テストプログラムのスケールアウトを検討しています。

トラフィックは良好で、すばらしい結果が得られています。今度は、はるかに多くのテストを実行して、そのデータをできるだけ早く取得したいと考えています。

しかし、どうすればより速くテストを開始できますか？ さらに良いことに、同じ期間に、より多くのテストを実行してより多くの情報を取得するにはどうすればよいでしょうか。

そこで、多変量​​テストが登場します。これにより、複数のバリエーションを一度にテストして、どの特定のバリエーションが最適かを確認できます。

このガイドでは、MVTとは何か、どのように機能するか、MVTを使用するために必要なもの、および利用可能な上位の多変量テストツールの選択について説明します。

価格や機能からビジネスのやり方まで、どの多変量テストツールを入手するかを決めるときに正しい選択をすることができます。

それでは、それに飛び込みましょう…

多変量テストとは何ですか？

多変量テストを理解する最良の方法は、それを他のテスト方法と比較して、それがどのように異なるかを確認することです。

それでは、A / Bテストと多変量テスト、およびそれらの比較を見てみましょう。

A / Bテストでは、元のコントロールバージョンに対して単一のバリエーションをテストします。 見出しを改善する方法を知っているかもしれないので、そのバリエーションを作成して、どれが最も効果的かを確認します。

A/Bテストは次のようになります。

見出し1（コントロール）と見出し2（バリエーションのアイデア）

実行できるもう1つのテストは、 A / B/nテストです。

ここで、コントロールに対して複数のバリエーションをテストして、全体的な勝者を見つけることができます。 A / B/nテストは単変量です。

たとえば、見出しのアイデアが山ほどあり、どれがうまくいくかわからない場合があります。 ただし、いくつかのテストバリエーションを実行しても正確な結果を得ることができるため、複数の見出しのアイデアをテストして、どれが最も効果的かを確認することにしました。

見出し1（コントロール）vs見出し2vs見出し3

優勝した見出しのバリエーションを見つけたら、ヒーローショットの画像をテストし、CTAアングルをテストすることもできます。

ご想像のとおり、これには時間がかかりますよね？

もう1つのオプションは、一連の変更を一度に行うテストを実行して、それによってメトリックが改善されるかどうかを確認することです。

他のすべてのテストのアイデアが停滞しているか、影響を与えていないため、根本的な変更を行うことを検討している場合、つまり、新しい勝者を見つけるためにヘイルメリーを投げる場合を除いて、ほとんどのA/Bテストではこれを行わない傾向があります。

では、通常のキャンペーンでこのような根本的な変更を行うことをお勧めしませんか。また、多変量テストとは何の関係があるのでしょうか。

一度に1つの要素をテストします。これは、大きな変更を加えて新しいページが成功または失敗した場合、それらの変更のどれがその上昇を引き起こしたのかわからないためです。

多変量テストまたはMVTを使用すると、複数のバリアントをテストしながら、それらの各変更とそれらが結果にどのように影響するかを追跡できます。

要素の複数のバリエーションをテストできるだけでなく、最終的な勝者が見つかるまで、それらのさまざまな組み合わせを実行することもできます。

ホームページを改善したいとしましょう。最大の伸びを確認するために何をテストするかについて、いくつかのアイデアがあります。

• 見出し
• 主人公の撮影画像
• CTA。

多変量テストでは、すべての見出しのアイデア、ヒーローショットの画像オプション、CTA角度をテストできるだけでなく、これらのバリエーションの各組み合わせをテストして、勝者の組み合わせを見つけることもできます。

見出し1+ヒーロー画像1+CTA 1 vs

見出し1+ヒーロー画像2+CTA 1 vs

見出し1+ヒーロー画像1+CTA 2 vs

見出し2+ヒーロー画像1+CTA 1 vs

見出し2+ヒーロー画像2+CTA 1 vs

見出し2+ヒーロー画像2+CTA 2

多変量テストは、要素の最適な組み合わせを見つけて、それらの変更の原因を理解するのに役立ちます。

それでも、適切な多変量テストを行うには、多くの時間とリソースを費やす必要があります。 テストだけでなく、QAや分析にも多くのリソースを投資してもよろしいですか？ ただし、一部のシナリオでは、それがより適切なオプションである可能性があります。 それらが何であるか見てみましょう。

多変量テストをいつ使用するか？

多変量テストは何に使用されますか？ MVTテストがA/Bテストよりも役立つ場合がいくつかあります。

1.トラフィックが多く、テストプログラムを強化したい場合

トラフィックは多変量テストの主要な核心です。 各変更をテストし、テスト結果を信頼できるようにするには、大量のトラフィックが必要です。

ただし、トラフィックがあり、テストをスケールアップしてより多くのデータを取得し、より多くの意思決定を行う場合は、MVTを使用して複数のアイデアを一度に実行できます。

2.リフトを増やしてアイデアが少ないが、それらを1つずつテストするのを待ちたくない場合

時間の投資のために、MVTを使用して現在のWebページをわずかな変更で改良するだけでよいと考える人もいますが、そうではありません。 もちろん、そのために使用できますが、より大きな要素のより広範な「whatif」テストにも使用できます。

（たぶん、どの要素が最高のリフトを提供するかわからないので、壁にいくつかの賢明な仮説のアイデアを投げて、どれが機能するかを確認したいと思います。）

MVTを実行するためのトラフィックの量がある場合は、幅広いページの組み合わせをはるかに速く見つけようとしないのは簡単です。 各バリエーションのテスト後に、そのトラフィックの影響を必ず測定してください。これにより、オーディエンスとそれが機能した理由をさらに詳しく知ることができます。

たとえば、Facebookでは、サムネイル画像、見出し、本文のコピーなどのバリエーションを追加することで、基本的な多変量テスト広告を設定できます。

テストが実行され、その広告のどのバリエーションが最も高いクリック率を獲得するかがわかります。

クリック数を増やすことが目標であれば、この広告が勝ちますよね？

しかし、そのすべてのトラフィックが送信先のページで跳ね返った場合、あなたが見つけたのは、そのオーディエンスがクリックする原因となるバリエーションであり、彼らを留まらせてコンバージョンさせるものではありません。

これは、ページでMVTテストを実行する場合も同じです。特に、より広範なアイデア収集方法として使用している場合はそうです。 ページで何が起こるかだけでなく、クリックした後に何が起こるかを確認してください。

3.インクリメンタルリフトを取得するために以前のテストを改良する場合

MVTを使用して、小さな改良を測定および改善することもできます。 実際、多くのエージェンシーは、それらを使用して、現在の勝利キャンペーンをさらに強化し、小さな変更をテストすることを好みます。

たとえば、ページを複数回A / Bテストして勝利のバリエーションを見つけたが、0.5％であっても、できるだけ多くのリフトを取得したいとします。 そのページでMVTテストを実行して、さらにテストすることができます（月に100,000人の訪問者がいるため、0.5％ごとにヘルプが目立ちます！）

4.アイデアの組み合わせから可能な最大リフトを検索する場合（相互作用効果）

場合によっては、連続したA / Bテストで紙に勝者が出ることがありますが、それらを組み合わせると、必ずしもページで最高のパフォーマンスを発揮するオプションとは限りません。

次に例を示します。

• 見出しのテストを実行し、勝者を選んで実装します。
• 次に、同じページでヒーローショットの画像テストを実行し、見出しのバリエーションを獲得して実装します。
• 次に、前の受賞要素と同じページでCTAテストを実行し、実装します。

理論的には、これはページの最高のパフォーマンスバージョンであるはずですが、相互作用またはその欠如のために奇妙なことが起こる可能性があります。 簡単に言えば、あるテストで負けた要素が、別の要素のバリエーションと組み合わされたときに、シーケンシャルA/Bテストの勝者を上回る場合があります。

どのように？

ええと、最初のテストで見出しを失うと、画像とCTAテストの勝者と組み合わせると、バックエンドのコンバージョン率が高くなる可能性があります。

これは発生する可能性がありますが、A/Bテストを実行しただけではわかりません。 代わりに、他の要素をテストする前に、オプションから削除していたはずです。 これが、多変量テストが非常に強力である理由です。 これにより、テストの一部からパフォーマンスの低い要素を取得している場合でも、ページ全体のパフォーマンスが最も高くなることがわかります。

さらに良いことに、どの要素が最も役立ったかを知ることさえできます…

5.将来のテストとページのために、あなたの聴衆のためにページ上で最も重要な要素を検索するとき

MVTは、さまざまなバリエーションと要素の勝利の組み合わせを表示するだけでなく、最もリフトを提供する要素も表示します。

ヒーローショットのリフトが増えるかもしれませんが、バリエーションページのすべての要素の中で、それが最終結果に最も貢献していることもわかりますか？

これにより、さらに改善するために最初にテストする場所についての洞察が得られるため、最初にヒーローショットの改善などに集中できます。

6.テストプロセスに機械学習を適用する場合

MVTは大量のデータと相互作用を必要とし、追跡する性質があるため、実際には、機械学習テストプログラムにフィードするための優れたソースとして使用できます。

MLが最適に機能するには大量のデータが必要ですが、MLを取得すると、実際にパターンを確認し、時間の経過とともに少ないトラフィックで結果と動作を予測できるようになります。 実際、Amazonのようなサイトはまさにこれを行っています…

多変量テストの例

多変量テストの例＃1

AmazonはMVTと機械学習を使用してランディングページのレイアウトを調整し、わずか7日間で購入率が21％向上しました。

多変量テストの例＃2

Booking.comは、多変量テストを使用して、特定のオーディエンスに新しい独自の機能をテストし、サイト全体に展開する前にパフォーマンスを測定します。

多変量テストの例＃3

Microsoftは、複数のページ要素（8×4！）でMVTテストを実行した後、SMB Webサイトのコンバージョン率が40％向上したことを確認しました。

多変量テストの例＃4

ただし、MVTを使用できるのはジャガーノートだけではありません。 HawkHostは、ホームページでMVTテスト（ヘッドライン、サブヘッド、ヒーローショットのテスト）を実行したときに、売上が204％増加しました。

多変量テストの長所と短所

多変量テストが非常に強力な場合、なぜ私たち全員がそれを使用しないのですか？

ご覧のとおり、A / Bテストの利点は、比較的小さなオーディエンスサイズで、1つのアイデアをすばやくテストできることです。 つまり、ほとんどの企業は、トラフィックがかなり少ない場合でもテストを実行して、14〜30日以内に結果を確認できます。

ただし、多変量テストでは、一度に複数のテストを行うため、実行するにははるかに多くのオーディエンスが必要です。 （特に、複数ページのテストを行っている場合、またはバリエーションの複数の組み合わせをテストしている場合はそうです。）

ホームページの見出しをテストしたいとしましょう。

• ヘッドラインコントロール
• 見出しのバリエーション

単一のバリエーションをテストしているだけなので、合計2つのオプションになります。

簡単な例として、テスト結果が信頼できるものであることを確認できるように、ページの各バージョン（バリアントとコントロール）に1,000人の訪問者を表示するとします。

（必要なトラフィックはページとそのコンバージョン率によって異なりますが、ここではわかりやすくするために簡略化してみましょう。）

つまり、テストを実行して結果を信頼するには2,000人の訪問者が必要であり、各ページに1000人の訪問者がアクセスします。

テストしたい場合はどうでしょうか。

• 3つの見出し
• 3つのヒーロー画像、および
• 3つのCTA？

これは合計9つのバリアントではありませんが、実際には9つのバリアント（3x3x3）の27の組み合わせです。

つまり、バリエーションごとに1000人の訪問者が必要な場合、テストを実行して結果を信頼する代わりに、トラフィック要件は27,000人の訪問者になります（ページごとに1,000人の訪問者で十分であるという単純化に基づく）。

実際には、正確なデータを取得するには、バリエーションごとに約10,000人以上の訪問者が必要になる可能性があります。トラフィックだけでは不十分であるため、コンバージョンも確認する必要があります。

これが、多くの企業がMVTテストを実行しない理由です。これは、それらを効果的に実行するためのトラフィックがないためです。 実際、ほとんどの代理店は、ページのコンバージョン率がすでに非常に高い場合を除いて、MVTキャンペーンの実行を開始する前に月間約100,000人の訪問者を確保することを推奨しています。 それでも、より高速に実行できるように、最大​​6つのバリエーションのみを実行することをお勧めします。

しかし、あなたがその種のトラフィックを持っているなら？

それなら、MVTを使用すると、ほぼ同じ時間枠ではるかに多くのテストと同等のテストを実行できます…

上記の例を参考にして、正確な測定ウィンドウを取得するために、各テストを30日間の販売サイクル全体で実行できるようにするとどうなりますか？

トラフィックがあると仮定すると、単一の多変量テストとして、おそらく30〜60日間にわたって、その1ページで27のテストの組み合わせを一度に実行できます。 そのページで27か月の期間にわたって27回の連続したA/Bテストを実行することと比較すると、悪くありません。

（ここでも、ここでは単純化しており、各テストで完全な販売サイクルを実行すると想定しています。）

しかし、ご覧のとおり、多変量テストを使用すると、洞察とアイデアを取得し、それらをより迅速に実装し、連続した負けテストの稼働時間を短縮できます。

結構いいですよね！？

明らかに、MVTテストには、トラフィック要件以外にもいくつかの欠点があります。

実行できるバリエーションと組み合わせが多数あるため、テスト前後のQA時間が大幅に増加します。

すべてのバリエーションが機能し、意味があることを確認する必要があります。 （一致しない見出しや画像が表示されないなど）。そのため、セットアップ時間とコストが大幅に増加します。

また、効果を確認してください。

その特定のページでコンバージョンの増加が見られるという理由だけで、それを最終的な目標に向けて追跡します。 最後に必要なのは、クリック数は多いがユーザーエクスペリエンスが低い、またはバウンス率が高い（またはクリック数は多いが売り上げがない）ことです。

多変量テストの長所

• トラフィックがあると仮定すると、多変量テストでは、多くのバリエーションをすばやくテストできます。
• MVTは、テストプログラムをスケールアウトして、機能するものと機能しないものに関するより多くのデータを見つけるのに役立ちます。
• 連続したA/Bテストよりも早く勝利の組み合わせを見つけるのに役立つ場合があります。
• これは、連続したテストを実行するときに見逃した可能性のある勝利の組み合わせを見つけるのに役立ちます。 （1つの見出しが2番目に実行され、それを切り取ったが、3番目の画像バリエーションと組み合わせると、リフトが2倍になったと想像してください。連続テストでは、これを見逃していたでしょう。多変量テストでは、より高度な交互作用効果が得られます）。
• 一部のA/Bテストソフトウェアでは、どの特定の要素が最も効果的であるかを確認できます（オーディエンスをより深く理解できます）。
• また、高性能ページのマイナーリフトを見つけるのに役立ちます。 （すでに高性能のページがあり、色の変化などのマイナーな上昇を見るために新しいアイデアをショットガンしていると想像してください。）

多変量テストの短所

• 特に、結果を信頼して誤検知や誤検知（タイプ1およびタイプ2のエラー）が発生しないように統計情報が必要な場合は、大量のトラフィックを実行する必要があります。
• テストするバリエーションや組み合わせが増えるほど、トラフィック要件は急速に増大するため、この点に注意してください。 リフトがあまり得られない可能性がある場合は、追加の要素を削除することを検討してください。 （つまり、フッターの色などをテストする前に見出しをテストします。本当に必要な場合は、後でいつでもテストできます。）
• サンプルサイズにも影響を与えるのはトラフィックだけではありません。 現在のページと変数の変換率はすべて、統計的有意性を達成するために必要なサンプルサイズの量に影響を与えます。 より良いコンバージョンは必要なトラフィックを減らすことができ、より低いコンバージョンはその要件を増やします。
• より多くの変数をテストするときの許容誤差も、結果を信頼できるようになる前に必要なトラフィックの量を増やします。
• 集中的なQAテストを実行して、すべてが事前に機能することを確認する必要があります。
• また、QAを実行して、バリエーションが一緒に意味をなし、対立または矛盾する組み合わせがないことを確認する必要があります。 （オファー、スキー旅行の宣伝中のビーチホリデーの見出し、またはフォントと背景色の競合またはブレンドでさえ一致しないCTA。）
• トラフィックの多いソースがない場合でも、MVTテストを実行できます。統計信号に到達してテストを終了できるようになるまで、かなり時間がかかる場合があります。 （場合によっては数か月以上）。 実際、連続したA / Bテストを実行する方が、より迅速で効率的な場合があります。
• 一度に複数のことをテストするだけで、オーディエンスの洞察を失う可能性があります。 （単一の要素または角度をテストすると、オーディエンスをよりよく理解するのに役立つ場合があります。）

多変量テスト統計：MVTの背後にある数学

それでは、少しオタクしましょう…

多変量テストに関しては、標準のA/Bテストや分割テストとは異なる統計分析方法を使用します。

私はそれの数学にあまり入り込みたくありません、しかしここに単純化があります：

• A / Bテストでは、t検定（またはz検定）を使用して、2つ以上の結果セット間の差を測定します。
• 多変量テストでは、ANOVAまたは「分散分析」と呼ばれるテスト結果を見つけるために別の方法が使用されます。 すべての詳細を知る必要はありませんが、ここで重要なことがあります。 主な違いは、ANOVAが変数間の接続と影響も測定することです。 これは、要素の組み合わせが互いにどのように影響するかを確認できるため、MVTの主な長所の1つです。

使用するツールに応じて、MVTキャンペーンの実行時に提供される3種類の多変量テスト方法があります。 それらのそれぞれは、テストがどのように機能するかについての数学に影響を与えます。

これらを次のように呼びます。

• フル階乗、
• 分数階乗、および
• 田口。

では、どういう意味ですか？

フル階乗

ほとんどすべてのMVTツールは、主要なテストモデルの基礎として完全階乗テストを提供し、それはほとんど常に使用したいものです。

この方法は、テストでのトラフィックの「完全な」分散を参照します。

簡単に言えば、すべての組み合わせを一度にテストし、テストへのトラフィックを各バリアント間で均等に分割する場所です。

A / Bテストでは、トラフィックを50:50に分割します。 ただし、MVTでは、バリアントが10個ある場合、これはトラフィックの10％のみが各バリアントに送信されることを意味します。

バリアントの数と各バリエーションで統計的有意性に到達するために必要なトラフィックのため、完全な階乗は非常に大きなトラフィックソースを必要としますが、これが最も正確な方法です。

ただし、一部のA / Bテストプラットフォームでは、代わりに「分数階乗」テストと呼ばれるものも提供されます。

分数階乗

この方法では、バリエーションの小さなサンプルをテストし、現在のテスト結果に基づいて最終コンバージョン率を推定することで、より大きなトラフィック要件の一部を回避しようとします。

その目標は、通常のようにスケールアウトするための信頼できる結果を正確に予測することではありません。つまり、これをXオーディエンスにスケールアウトすると、同じように実行されます。

代わりに、初期の牽引力がどこで発生し始めているかを確認できるように設計されているため、より深くテストしたり、別の方法でテストしたりする前に洞察を得ることができます。

テストしたいバリエーションが10個あるとしましょう。

フラクショナルファクターは、実際にはそのうちの5つをテストし、これまでの結果に基づいて、他の5つのテストのコンバージョン率を推測しようとします。

ご想像のとおり、これはそれほど正確ではなく、エラーや誤検知につながる可能性があり、実際にはオプティマイザーとマーケターの間の議論の源となっています。 （ほとんどすべてが主なテスト方法として完全な階乗を推奨しています。）

タグチ

最後に、多変量テストのタグチメソッドがあります。 もともとは、製品製造のR+Dにおける許容可能な損失の仮定に対して品質管理を測定する方法として設計されました。

使用が複雑なため、ほとんどのツールはこれを提供しません。

多変量テストをいつ停止するか？

テストを停止する前に、テストを実行するときに考慮する必要がある主な3つの事項があります。

• テストが各バリアントに対して十分な大きさのサンプルサイズを収集するのに十分な時間実行され、テストが関連するのに十分な変換を収集するため。
• テストで1回または2回の完全な販売サイクルを実行した場合（30〜60日間のトラフィックとショッピング期間のバランスを取るため）。
• そして最後に、結果が統計的に有意であるために、つまり、このテストを実際に実行してスケールアップした場合、同じように実行され続けることを95％確信できます。

この時点までにテストを停止しないことをお勧めします。 そうしないと、データが不十分になります。 ただし、1つのバリアントの支払いフォームが機能しないなどのパフォーマンスの問題がある場合は、テストを停止してから再開することがありますが、理想的には、実行中に覗き見さえしないようにします。

（一部の代理店は、明確な勝者がいる場合は早期に停止するか、コンバージョン率が10％を下回った場合は特定のバリエーションを停止し、パフォーマンスの高いユーザーへのトラフィックをフィルタリングしながらテストを継続できるようにすることを推奨しています。明らかに、これは影響を与える可能性があります。テスト結果は大いに。）

多変量テストを設定して実行する方法は？

多変量テストを設定するプロセスは、A/Bテストと非常によく似ています。

ステップ1：最終目標を決定する

まず、ページ、その目標、現在の結果、およびページをどのように改善できるかについての仮説を立てる必要があります。

仮説ジェネレーターを使用して、達成したいことを明確にし、いくつかの具体的な目標を設定することができます。

ステップ2：何をテストするかを理解する

次に、テストする要素と、現在の結果を改善できると思われるバリエーションを決定します。

たとえば、折り目の上の「コア要素」をテストするとコンバージョンが増えると思うかもしれません。そのため、見出し、ヒーローショット、CTAボタンのテキストをテストする必要があります。

ステップ3：テストの時間枠を計算する

テストを実行する前、またはアセットを作成する前に、テスト前のサンプルサイズの計算を実行することをお勧めします。これにより、このテストを実行するための時間枠とトラフィック要件を見積もることができます。 これにより、繰り返し発生するトラフィックで実行可能に実行でき、それでも高速な結果を得ることができるバリエーションの数についての洞察が得られます。 （または、より少ないオプションをテストする必要があるかどうかを通知することもできます）。

上記の例では、見出し、ヒーローショット、CTAボタンのテキストの3つの要素があります。

それぞれについて単一のバリエーションをテストする場合は、2x2x2=8の組み合わせになります。 これを知っていると、必要なトラフィック量を把握し始めることができます。

現在の週ごとのページトラフィックとコンバージョン率を計算機に入力します（パワーと信頼度の設定とともに）。

次に、テストするページ数を設定します。 （この例では8）

これにより、最小リフトを検出できるようにするために実行する必要がある時間枠がわかります。

ステップ4：テストを作成する

次に、ツールに向かい、多変量テスト用にさまざまなバージョンと組み合わせを設定します。

多変量テストオプションを選択することから始めます。

名前を付けてから、テストするページのURLを追加します（ツールがWYSIWYG編集のためにページをプルできるようにします）。

この例では、ホームページのコンバージョン率の向上に取り組んでいます。

ページがツールに読み込まれたら、テスト要素を設定する必要があります。

ここConvertでは、多変量テストで編集するパーツに2つの命名変換を使用します。

• 見出しやCTAなど、テストするページ上の要素を参照するセクション。
• その特定の要素の編集であるバリエーション。

一度に1つのセクションを選択して、各バリエーションを編集および追加することをお勧めします。

セクションに「Headline」などの名前を付けてから、そのセクションのバリエーションを編集して追加します。 （作業中は、必ず各バリエーションを保存してください。）

次に、テストする次の「セクション」または要素に移動します。 この例では、別のバックグラウンドヒーローショットを設定してから、CTAボタンのテキストバリエーションを設定します。

ステップ5：すべてが機能することを確認する

各バリエーションを設定したら、新しい処理ごとにQAテストを実行して、それらがすべて機能し、各要素が適切に適合していることを確認します。 （競合するCTAや不一致の情報/画像、またはフォントの色とボタンが2倍になることはありません。）

[保存して続行]をクリックすると、新しいページが読み込まれます。 次に、先に進んで「レポート」タブをクリックします。

ここから、ページのバリエーションとそれらに関する情報が表示されます。 各ページの横にある「目のアイコン」をクリックして、プレビューを表示し、リンクが機能することをテストします。

ここから、QAテストを実行し、同じURLをモバイルテストに使用できます。

ステップ6：ライブでプッシュする

各バリエーションがすべて機能している限り、テストを開始して、十分なデータが得られるまでテストを実行できます。

（QAテストを開いたレポートページからテストをライブでプッシュするオプションがあることに注意してください。）

最適化プログラムを成熟させるための最良の多変量テストツール

多変量テストがどのように機能するかを理解したところで、多変量​​テストを提供する市場のWebサイト最適化プラットフォームを分析してみましょう。 無料トライアルやその他の詳細が提供されている場合は、機能と価格について説明します。

その前に簡単なことを1つ。

使用するツールは、それを設定する人と同じくらい優れていることを忘れないでください。 キャッシュフローが逼迫している場合は、最初に社内で支援する（または外部の代理店に連絡する）誰かに投資し、今のところは安価なツールを使用します。

それはすべて素晴らしいMVTテストツールを持っていることは非常にうまくいっていますが、人がそれを正しく、十分に速く設定したり、データを理解したりできない場合は無意味です！

#teamovertools

それでは、2021年のコンバージョン率の最適化に最適なA/Bおよび多変量テストツールを見てみましょう。

1.エクスペリエンスの変換：セルフサービス価格でのエンタープライズ対応機能
2. AB Tasty：ミッドレンジツール、パーソナライズ、データ追跡
3. Optimize 360​​：有料版のGoogle Optimize
4. Adob​​e Target：AdobeAnalyticsとのシームレスな統合
5.カメレオン：ヘルスケアおよびフィンテック企業に好まれる
6. Optimizely：エンタープライズに焦点を合わせた隠れた価格設定
7. SiteSpect：エンタープライズ向けの高速読み込みツール
8. VWO：ミッドレンジツール、高度な追跡
9. Webtrends Optimize：エンタープライズ実験プラットフォーム

1.エクスペリエンスを変換する

G2評価：4.7 / 5.0（46レビュー）

価格：月額$ 699から始まり、その後は10万人の訪問者ごとに$199になります。

彼らは無料のプランやトライアルを提供していますか？ はい、クレジットカードを必要としない14日間の無料トライアル。

10万人の訪問者あたりの費用：199ドル。

長所

• 完全にプライバシーに準拠：個人データは保存されません
• ファーストパーティのCookieを使用しているため、正確なレポート
• 高速でちらつきがない
• 無制限のテストを実行する
• きめ細かいオーディエンスセグメントをターゲットとする40以上のフィルターを使用した条件スタッキング
• プロジェクト、実験、バリエーションレベルでの柔軟なJavaScript挿入
• カスタムJS条件の目標トリガー
• 100以上のサードパーティツール（Shopify、WordPress、Mixpanel、Hotjarなど）と統合します
• 電話、電子メール、チャットによる4倍高速の人間によるカスタマーサポート。

短所

• キックスタート計画の基本的なポストセグメンテーション

多変量テスト機能：完全な階乗。 また、これらのテストを実行する際に直接サポートとアドバイスを提供します

クライアント側、サーバー側、またはその両方？ Convertは、クライアント側のWYSIWYGエディターとして機能しますが、サーバー側でセットアップしてカスタムJSを実行することもできます。

彼らはエンタープライズにサービスを提供していますか？ はい。 私たちは、Sony、Jabra、Unicefなどの企業に最適なツールです。

彼らはカスタマーサポートを提供していますか？ はい、裁判の開始直後からです。 どんなタイプ？ ライブチャット、ブログ、ナレッジベース。

彼らはプライバシーを気にしますか？ GDPRに完全に準拠しています。 GDPRを満たしていない他社の社内作業用のツールの使用をやめました。それは、私たちにとってそれがどれほど意味があるかということです。

彼らは世界を気にしますか？ はい。 それは私たちのDNAにあります。 植樹、コミュニティプログラムの実施、最初の申請から多様性の擁護、慈善団体への寄付などを行っています。 一体、私たちは15倍のカーボンネガティブです。

TrustRadiusレビュー：

2.ABおいしい

G2評価： 4.5 / 5.0（76レビュー）

価格： Essentialsプランの月額40万人のテスト済み訪問者に対して$ 1900/moから始まります。 成長プランの費用は$3800/月ですが、エリートプランの費用は$5700/月からです。

彼らは無料のプランやトライアルを提供していますか？ いいえ。デモコールをリクエストして、新機能を確認できます。

10万人の訪問者あたりの費用：約475ドル。

長所：

• 最適化に組み込まれたAIとML
• 無制限の実験を実行する
• クリーンで使いやすいユーザーインターフェイス
• テストの設定とプレビューが簡単
• 動的ウィジェット
• 複数の統合
• 広範な分析レポート
• パーソナライズとともに、利用可能な幅広いターゲティングオプション
• 信頼できるカスタマーサポート
• 価格はミッドレンジです

短所：

• オーディエンスのパフォーマンスに関する洞察を提供するマーケティングの自動化はなく（特にアクティブな実験の場合）、顧客サポートが必要になる場合があります。
• 統計的有意性計算機は、そのUXでは少し基本的です
• Google Analyticsの統合は複雑で、コーディングが必要です
• 無料トライアルはありません

多変量テスト機能：完全階乗

クライアント側、サーバー側、またはその両方？ 両方

頻度主義者またはベイジアン？ ベイジアン。

フルスタックをサポートしていますか？ はい。

コアWebバイタルの準備はできていますか？ はい。 このツールは高速にロードされます。

MLまたはAIはありますか？ はい。

彼らはエンタープライズにサービスを提供していますか？ はい。 これらは、Disney、L'Oreal、Kalviyoなどの企業に最適なツールです。

彼らはカスタマーサポートを提供していますか？ はい。 彼らは知識ベースとライブチャットを持っています。

彼らはプライバシーを気にしますか？ はい。 ユーザーIPアドレスはIDコードの作成に使用され、ツールに移動する前にすぐに削除されます。 IDコードは匿名化され、13か月後に削除されます。

彼らは世界を気にしますか？ 彼らはNGOに直接寄付し、社会活動グループと協力し、蜂の巣をリサイクルして後援しています。

TrustRadiusレビュー：

この多変量テストツールの実際の動作は次のとおりです。

3. Google Optimize＆Optimize 360

G2評価： 4.3 / 5.0（27レビュー）

価格：このツールには2つのバージョンがあります。 Optimizeは無料ですが、高度な機能を使用するには、GoogleOptimize360を選択する必要があります。

Optimize 360​​の価格はカスタムです（ただし、年間約150,000ドルと噂されています）。 月額料金を取得するには、フォームに記入して営業チームに連絡する必要があります。

彼らは無料のプランを提供していますか？ はい。

訪問者10万人あたりの費用： N / A

長所：

• ユーザーフレンドリー—技術的な知識はほとんど必要ありません
• 初めてのA/Bテスターに​​最適
• GoogleAnalyticsとの迅速な統合
• Googleの膨大なデータリソースのおかげで、非常に詳細なオーディエンスセグメンテーションがあります

短所：

• 無料利用枠で一度に5つのテストに制限されています
• ドラッグアンドドロップエディタ機能はありません
• 画像を直接アップロードすることはできません
• アプリをテストできません。ブラウザのみをテストできます
• 複雑なテストには適していません
• UI / UXとレポートは、市場に出回っている他のほとんどのツールほど視覚的に魅力的ではありません
• ちらつきが時々発生します。

多変量テスト機能：明らかに、Optimizeは、完全な階乗でも分数でもないハイブリッドアプローチを使用します。 彼らのサポートベースによると

「当社のモデルではハイブリッドアプローチを使用できるため、このトレードオフを行う必要はありません。 テストのすべての組み合わせを提供するため、相互作用と最適な組み合わせについて学ぶことができます。 ただし、一部のバリアントが組み合わせ全体に表示されるという事実もモデル化しています。そのため、組み合わせだけでなく、因子内のバリアントについても学ぶことができます。」

クライアント側、サーバー側、またはその両方？ 両方。

頻度主義者またはベイジアン？ Google Optimizeは、帰無仮説有意性検定（NHST）とも呼ばれる頻度論的方法ではなく、ベイズ法を使用します。

フルスタックをサポートしていますか？ はい。

コアWebバイタルの準備はできていますか？ はい。 このツールは高速にロードされますが、ちらつきが発生してCLSの問題が発生する可能性があります。

MLまたはAIはありますか？ いいえ。

彼らはエンタープライズにサービスを提供していますか？ はい。ただし、Optimize360経由でのみ可能です。

彼らはカスタマーサポートを提供していますか？ ヒント、ビデオチュートリアル、ヘルプコミュニティなどを備えたリソースハブがあります。

彼らはプライバシーを気にしますか？ これらは、製品が使用されている国で適用されるデータ保護法に準拠しています。

また、サードパーティやデータ保護当局と協力して、ユーザーのデータを安全に保ちます。

彼らは世界を気にしますか？ Googleは2007年からカーボンニュートラルであり、2030年までにカーボンフリーになる予定です。それ以外にも、10億ドルの献身的な慈善活動で知られています。

TrustRadiusレビュー：

このMVTテストツールの動作は次のとおりです。

4. Adob​​e Target

G2評価： 4.0 / 5.0（29件のレビュー）

価格：11部構成のフォーム、電子メール、および電話の後でのみ利用できます。 開始料金は月額$10,000です。

彼らは無料のプランやトライアルを提供していますか？ いいえ。

訪問者10万人あたりの費用： N / A

長所

• インターフェースは使いやすい
• 正確なリアルタイムデータレポートを提供します
• Adobe Analyticsとうまく統合し、アップセルオファーとして設計されています
• 初心者と専門家の両方のためのウェブサイトパーソナライズツール
• セットアップとテストのプロセスを順を追って説明します
• キャンペーンとパーソナライズを継続的にテストおよび改善するための高度なAI

短所

• 大規模な最適化は遅くなる可能性があります
• 最適に機能するには、非常に大量のトラフィックが必要です
• フォームベースのエディタには学習曲線が必要です
• 高価格ポイント
• 試用オプションなし
• すでにAdobeAnalyticsを使用している場合に最適に機能します
• 他の有料のAdobeMarketingCloudツールに接続すると、優れた洞察を得ることができます

多変量テストの機能：完全因子計画とタグチ（部分因子計画の方法として）。

クライアント側、サーバー側、またはその両方？ 両方。

彼らはエンタープライズにサービスを提供していますか？ はい。 ほぼ例外なく、コストが原因です。

彼らはカスタマーサポートを提供していますか？ はい、ナレッジベースとビデオトレーニングプログラムの形で。

彼らはプライバシーを気にしますか？ はい。ただし、皮肉なことに、これについて詳しく知るには、メールアドレスと電話番号が必要です。 ただし、非侵入型の追跡のために、ファーストパーティのデータで多くの作業を行っています。

彼らは世界を気にしますか？ まさにその通り。 彼らは多様性を擁護し、100％再生可能エネルギーの建物に向けて取り組み、排出量を削減し、コミュニティアクションプログラムを実行します。

TrustRadiusレビュー：

この多変量テストツールの実際の動作は次のとおりです。

5.カメレオン

G2評価： 4.7 / 5.0（24レビュー）

価格：要件に応じてカスタマイズ。 あなたは営業チームに連絡することによってあなたのユニークな価格を手に入れます。

彼らは無料のプランを提供していますか？ はい。

訪問者10万人あたりの費用： N / A

長所

• クリックトラッキングを簡単に設定
• 他の多くのツールとのスムーズな統合
• 非開発者向けの使いやすいWYSIWYGエディターがあります
• 高度なちらつき防止技術
• 知識が豊富で役立つサポートチーム
• テストの正確で詳細な計画と実行

短所

• WYSIWYGエディターの読み込みが遅い
• レポートダッシュボードは、もう少しパーソナライズを使用できます
• いくつかの複雑なシナリオを実装するには、開発者レベルのスキルが必要です
• テストをアーカイブできません
• IE7のような古いブラウザはテストから除外されます

多変量テスト機能：完全な階乗および分数階乗（テストセットアップでの割り当てを介して）。

クライアント側、サーバー側、またはその両方？ 両方。 WYSIWYGエディターで編集したり、Kameleoonの組み込みコードエディターを使用してCSSとJSを編集したりできます。

彼らはエンタープライズにサービスを提供していますか？ はい。 Lexus、Unity、Providence、Toyota、RakutenはKameleoonを使用しています。

彼らはカスタマーサポートを提供していますか？ はい。 複雑なプロジェクトを支援する専任のアカウントマネージャーを雇うこともできます。

彼らはプライバシーを気にしますか？ これらは、HIPAA、GDPR、およびCCPAに準拠しています。 また、各A/Bテストにプライバシーポリシーを適合させるための柔軟な同意管理機能も備えています。

彼らは世界を気にしますか？ 彼らが後援している慈善団体や彼らが支援している環境上の原因の証拠を見つけることができませんでした。 ただし、ドイツとフランスのオフィスに2つのカメレオンが生息していることを知っているのは興味深いことです。

TrustRadiusレビュー：

このMVTテストツールの動作は次のとおりです。

6.最適化

G2評価： 4.3 / 5.0（109レビュー）

価格設定：カスタム価格設定モデルを使用しています。 しかし、Splitbaseは、年間少なくとも36,000ドルの費用がかかると予測しています。

彼らは無料のプランを提供していますか？ いいえ。2018年に無料プランを停止しました。

訪問者10万人あたりの費用：N / A

長所：

• 無制限の実験を実行する
• クリーンで使いやすいユーザーインターフェイス
• ウィジェット機能は使うのが楽しい
• 幅広い高度なターゲティングオプションが利用可能
• 信頼できるカスタマーサポート

短所：

• オーディエンスのパフォーマンスに関する自動洞察を提供しません（特にアクティブな実験の場合）
• Google Analyticsの統合は複雑で、コーディングが必要です
• Optimizelyスニペットは通常、ページの読み込み時間を長くします

多変量テスト機能：完全階乗、部分的、およびタグチ。

クライアント側、サーバー側、またはその両方？ 両方。 Optimizelyは、Javascriptスニペットを介したクライアント側の実験と開発者SDKを介したサーバー側の実験を提供します。

頻度主義者またはベイジアン？ OptimizelyのStatsEngineは、他のプラットフォームで見られる固定期間の実験ではなく、順次実験を使用します。

フルスタックをサポートしていますか？ はい。

コアWebバイタルの準備はできていますか？ はい、このツールは高速に読み込まれます。

MLまたはAIはありますか？ はい。

彼らはエンタープライズにサービスを提供していますか？ 価格設定により、ほとんどの場合、エンタープライズレベルに対応しています。 Microsoft、IBM、HP、eBay、Yamaha、Pizza Hut、Atlassianなどのブランドが使用しています。

彼らはカスタマーサポートを提供していますか？ はい。 彼らは、ユーザーが24時間年中無休で助けを求めるために行き詰まった電話番号を取得するのに役立つリソースのバンクを持っています。

彼らはプライバシーを気にしますか？ 彼らは新旧のプライバシー法を考慮し、それを製品に統合して、ユーザーであるあなたがコンプライアンスについて心配する必要がないようにします。

彼らは世界を気にしますか？ ほとんどの新入社員は、2日目にコミュニティのボランティアに派遣されます。

TrustRadiusレビュー：

この多変量テストツールの実際の動作は次のとおりです。

7. SiteSpect

G2評価： 4.4 / 5.0（50件のレビュー）

価格：ニーズに応じてカスタマイズされた価格については、SiteSpectに問い合わせる必要があります。

彼らは無料のプランを提供していますか？ はい、無料トライアルを提供しています。

訪問者10万人あたりの費用： N / A

長所：

• すべてのマークアップ言語（HTML、WML、XML、およびJSON）、スタイルシート、およびスクリプト言語をサポートします
• javascriptタグがないということは、コンテンツの更新やちらつきがないことを意味します
• ほぼすべてのシナリオをテストするのに十分な汎用性
• 非侵入型テスト
• 分析ツールと統合します
• コードの製品版を変更する必要はありません

短所：

• テストの実施に必要な技術的知識
• サイトの速度を少し低下させる可能性のある余分なホップを追加します
• レポートインターフェイスの方が優れている可能性があります

多変量階乗テスト機能：完全階乗と分数階乗（128を超える組み合わせをテストする場合、ツールは分数に移行することをお勧めします）。

クライアント側、サーバー側、またはその両方？ 両方。

頻度主義者またはベイジアン？ SiteSpectは、バリエーションとコントロールを比較するときに両側t検定を使用して、信頼区間が重ならないポイントを決定し、有意性を示します。 SiteSpectはzスコアも計算し、レポートで使用します。

フルスタックをサポートしていますか？ はい。

コアWebバイタルの準備はできていますか？ はい。 このツールは信じられないほど高速です。

MLまたはAIはありますか？ はい。

彼らはエンタープライズにサービスを提供していますか？ はい。 ステープル、PetSmart、AmericanGirl、UrbanOutfittersはSiteSpectを使用しています。

彼らはカスタマーサポートを提供していますか？ カスタマーサポートは、無料版と有料版の電話と電子メールで利用できます。 ナレッジベースには、事前に録画されたウェビナーもあります。

彼らはプライバシーを気にしますか？ 彼らはそうします。 それらはPCIDSS3.2認定済みです。 GDPR、CCPA、プライバシーシールドに準拠し、HIPAAに対応しています。

彼らは世界を気にしますか？ SiteSpectは、2014年以来いくつかのチャリティープロジェクトを後援していることで知られています。

TrustRadiusレビュー：

この多変量テストツールの実際の動作は次のとおりです。

8.VWOテスト

G2評価： 4.2 / 5.0（239レビュー）

価格：月額99ドルから。 それ以上の場合は、ニーズに応じてカスタマイズされた価格設定が必要です。 そして、あなたはあなたのためにVWOセールスチームに連絡しなければならないでしょう。

彼らは無料のプランを提供していますか？ はい、30日間の無料トライアルを開始できます。

10万人の訪問者あたりの費用： 〜$ 500

長所：

• テストを多くのシナリオに適応させるための柔軟なカスタマイズオプション
• コーディングの知識がほとんどなくても、テストの計画と実行が簡単
• あらゆる課題をガイドする専任のサポートチーム
• 長期的な目標を追跡する機能があります
• テストをグループ化する機能
• ユーザーの観察とトラブルシューティングに役立つ記録

短所：

• VWOの全機能を理解するための学習曲線があります
• 料金プランは頻繁に変更されます
• クライアント側のみをテストします

多変量テスト機能：完全な階乗（ただし、ページバリエーションごとのトラフィックの割合を設定できます）。

クライアント側、サーバー側、またはその両方？ クライアント側のみ。

彼らはエンタープライズにサービスを提供していますか？ はい。 彼らのエンタープライズクライアントには、Ubisoft、AMD、Penn Foster、Optimeria、およびIMBBankが含まれます。

彼らはカスタマーサポートを提供していますか？ はい、助けが必要なときに電話をかけることができます。 または、リソースページを参照してください。

彼らはプライバシーを気にしますか？ はい。 主要なプライバシー法および規制に準拠していますが、一部の訪問者データをサーバーに保存しています。

彼らは世界を気にしますか？ 最近、Wingify（VWOの背後にあるブランド）Paras Chopraの会長は、デリーに10床のCOVIDケア施設を設立することを含むいくつかのCOVID救済イニシアチブへの支持をツイートしました。

TrustRadiusレビュー：

このMVTテストツールの動作は次のとおりです。

9：Webtrends Optimize

G2評価： 4.9 / 5.0（107件のレビュー）

価格：月額212ドルからですが、必要に応じて低くしたり高くしたりできます。 価格体系は非常に柔軟ですが、販売チームに相談して価格を確認する必要があります。

彼らは無料のプランを提供していますか？ はい、月額1,500セッション未満です。

訪問者10万人あたりの費用： N / A

長所：

• ユーザーフレンドリーで、WYSIWYGエディターを使用する技術者以外のユーザーに適しています
• チームコラボレーションをサポート
• データ主導の洞察を提供します
• サポートチームはあなたの成功に真の関心を示しています
• ウェブサイトや既存のツールとのスムーズな統合
• 明確でわかりやすいレポート

短所：

• UIは、新規ユーザーにとっては使いにくい場合があります
• 簡単なテストでも設定に時間がかかります
• フルサービスのコストは高い側にあります

多変量テスト機能：完全因子および部分因子。

クライアント側、サーバー側、またはその両方？ 両方。 クライアント側のレンダリングおよびサーバー側のテスト機能用のプロキシレスビジュアルエディターもあります。

彼らはエンタープライズにサービスを提供していますか？ Microsoft、London North Eastern Railway、Marks and Spencer、およびVirginWinesはOptimizeを使用しています。

彼らはカスタマーサポートを提供していますか？ はい。 テクニカルサポート、トレーニング、および専任のコンバージョン最適化コンサルタントにアクセスできます。

彼らはプライバシーを気にしますか？ これらはGDPRに完全に準拠しています。

彼らは世界を気にしますか？ 2021年4月、Webtrends Optimizeは、Cancer Research UKの資金を調達するために、GoFundMeイベントで1日100回の腕立て伏せに挑戦しました。 そして彼らは2020年にクリスマスチャリティー寄付と呼ばれる同様のことをしました。 だから、彼らは気にします。

トラストラディウスレビュー：

このツールのTrustRadiusに関するレビューがありますが、最新のものは2019年12月で、それ以前は2018年でした。ツールは変更される可能性があり、サービスも変更される可能性があるため、G2から最新のレビューを取得しました。

この多変量テストツールの実際の動作は次のとおりです。

結論

だからあなたはそれを持っています。

2021年に多変量テストを提供する最高のA/Bテストツールのリスト。また、テストに使用する方法、機能、価格設定、およびレビューも示します。

これで、これらのさまざまなパラメーター間で最適な多変量ツールを比較し、テストのニーズに最適なツールを選択できます。