A/B テストでローカルおよびグローバルの最大値を求める場合

記憶喪失の濃い霧の中でエベレスト山に登っていると想像してください。 差し伸べた手までしか見えません。 自分がどこにいるのか、どの方向に向かっているのかわからず、頂点に到達する必要があるだけです。 あなたがするオッズは何ですか？

おそらく山が高いほど低い。

これは劇的な例えですが、人気のある A/B テスト方法の基礎を参照して作成されています。 そのピークは、クリック後のランディング ページの最適なバージョンであり、現在のページの山腹で混乱し、ほとんど盲目になり、道に迷っています。

さらに悪いことに、お気に入りのマーケティング ブロガーから間違った地図を渡されたことがあるかもしれません。 あなたは正しい方法で A/B テストを行っている、つまりそのピークに向かっていると考えているかもしれません。 ただし、おそらくすぐに行き止まりになり、クリック後のランディング ページで最もパフォーマンスの高いバリエーションを見つけることはできません。

初心者を混乱させる A/B テストの神話

インターネットで最も人気のあるマーケティング ブログのいくつかは、A/B テストの神話を永続させ続けており、初心者は最初から運命づけられています。 私も始めたとき、それは私を犠牲にしました。

「A/B テストごとに複数のページ要素を変更しないでください」私は何度も読み続けました。 ソースが信頼できるものであり、ほとんどの場合、それは理にかなっていたので、私はそれを疑問視しませんでした.

A/B テストのポイントは、ページ、電子メール、広告、またはたまたまテストしているものを最適化するために使用できるデータを収集することです。 バージョン「A」と「B」の間で複数の調整を行った場合、テストの最後にコンバージョン率の変化の原因を知るにはどうすればよいですか? それはどのようなデータでしょう？

そこで、要素を 1 つずつテストしました。ポスト クリック ランディング ページの見出し「A」とポスト クリック ランディング ページの見出し「B」です。 次に、クリック後のランディング ページ「A」の青いボタンと、クリック後のランディング ページ「B」の緑色のボタンです。 これは、プロとAmazonとGoogleがそれを行った方法です. それが数十億ドル規模の企業にとって十分であるなら、私にとってはそれで十分でした.

私が見過ごしていた問題は、数か月後に痛々しいほど気づきましたが、私は Amazon でも Google でもなかったということです。 彼らのウェブサイトは多くのトラフィックを生成します。つまり、これらの軽薄なボタンの色のテストによって得られるわずかな上昇が、数百万ドルの収益につながる可能性があります。

ただし、ほとんどの人にとって、それらは時間とリソースの無駄です。 ほとんどの人にとって、この A/B テスト方法を使用することは、記憶喪失の濃い霧の中でエベレスト山に登るようなものです。

山登りヒューリスティック

私たちの日常生活の中には、解決策が明確な問題がいくつかあります。 しかし、なじみのない、非常にユニークな障害に直面した場合はどうなるでしょうか。 たとえば、次の迷路を見てみましょう。

この特定の迷路をナビゲートする最善の方法について書かれたブログ投稿はありません。 あなたの友人は（ほとんどの場合）それを案内することはできません。 地図がありません。 では、A から B に移動するにはどうすればよいでしょうか。

その答えは、1963 年に Newell、Simon、Shaw が人工知能を研究するために構築した「The General Problem Solver」と呼ばれるコンピューター プログラムで見つけることができます。 彼らの研究は、人間の問題解決にも応用されています。 ラス・デューイ博士は次のように説明しています。

Newell と Simon は、それぞれの問題をスペースとして定義しました。 空間の一端がスタート地点、反対側がゴール地点。 問題解決の手順自体は、その空間を横断し、開始点から目標の状態に 1 ステップずつ到達するための一連の操作として考えられています。

General Problem Solver では、プログラムはさまざまなアクション (Newell と Simon はオペレーターと呼びます) をテストして、どのアクションが目標状態に近づくかを確認します。 オペレーターは、システムの状態を変更するアクティビティです。 General Problem Solver は常に、目標に近づけるように見える操作を選択します。 この戦術は、丘や山の頂上に向かって常に一歩を踏み出す戦術に似ているため、ヒルクライミングと呼ばれます。

上記の迷路では、各行き止まりは「スペース」です。これは、「操作」で克服する必要がある問題です。操作とは、目標 (「A」から「B」への移動) に近づけるためのアクションです。

したがって、「A」から始めて、「B」に最も速く到達すると思われる道をたどります。 行き止まりにぶつかったら、戻って別のルートを試します。 目標に到達するまでプロセスを繰り返します。

これは、小さな要素を A/B テストするときに行っていることです。 たとえば、目立たないボタンなどの問題を特定します。 次に、より良いものであると仮定したものをテストすることで、クリック後のランディング ページの最適なバージョンを作成する (またはそう思う) という目標に少しずつ近づきます。 それがうまくいかない場合は、別のものをテストします。

ただし、ある時点で、「極大値」と呼ばれる収穫逓減点に到達します。

ローカル最大値とグローバル最大値

上記の方法が「ヒルクライミング」ヒューリスティックと呼ばれる理由は、山の頂上を見上げる丘の上で頭をかきむしる可能性があるという大きな制限があるためです。クリック後の最適なランディング ページはここにあります。 デューイ博士は次のように説明しています。

山登りは単純な戦略ですが、常にうまくいくとは限りません。 潜在的な落とし穴の 1 つは、「ふもとの問題」です。 上り坂 (または特定の方向) に進むためのステップを選択すると、自分と山の間にあるふもとの丘を登ることになり、山を迂回するより効率的な手順を無視することになります。 言い換えれば、柔軟性を持たずに目標に向かってまっすぐ進むと、高額な代償を払ったり、多くのエネルギーを浪費したり、目標に貢献することなく自分のために多くの仕事をさせたりする可能性があります.

最適化の用語では、この「ふもと」を「極大値」と呼びます。 これは現在のページの最良のバージョンであり、A/B をさらにテストすると、収益が減少します。 山の頂上は「世界最高峰」と呼ばれています。 これが、クリック後のランディング ページの最適なバージョンです。 これを説明するのに役立つ図を次に示します。

単一のポストクリック ランディング ページから始めて、小さな要素を 1 つずつ改善するために A/B テストを行うことで、その極大値に近づくことになりますが、この方法ではその山の頂上に到達することはできません。 では、どのようにそこに移動しますか?

グローバル最大値に到達するための A/B テスト

Moz の Rand Fishkin は、「A/B テストの些細な問題の罠に陥らないでください」というタイトルのブログ投稿で、あまりにも身近な問題に直面するかもしれない苛立たしいシナリオについて説明しています。

比較的満足しているページ/コンセプトを見つけて、ささいなことのテストを開始するとしましょう - 局所最小値を中心に最適化します。 テストを 4 ～ 6 か月実行すると、全体的なコンバージョン率が 5% 向上し、かなり良いと感じるかもしれません。 それまで...

テストで別の大きな新しいアイデアを実行し、さらに改善します。 これで、最初にテストしたばかりの最適化されていない新しいページほど全体的なコンセプトが良くないページを最適化して完成させるために時間を無駄にしてきたことがわかりました。

代わりに、フィッシュキン氏は、他のマーケティング インフルエンサーと同様に、最初に「オーバーホール」と「大きなアイデア」の A/B テストを行うことを推奨しています。つまり、根本的に異なるページをテストすることです。 これらの根本的に異なるページのうち、最高のパフォーマンスを発揮するページは、グローバル最大値に最も近いものです。 ボタン対ボタン、見出し対見出しなど、多変量テストで微調整する必要があります。いくつかのケース スタディがこの方法をサポートしています。

グローバル最大値の A/B テスト

1.フェイスブック

2008 年、Facebook はまったく新しいナビゲーション デザインをテストしました。 彼らのチームは、それをページの左側から右側のドロップダウンに移動しました。 ただし、そうすることで、ナビゲーション内のアプリがユーザーに見えにくくなり、その結果、それらのアプリへのトラフィックが大幅に減少しました。 それらは Facebook にとって貴重な収入源だったので、それは問題でした。

いくつかのエンゲージメント トリックで新しいデザインを救おうとした後、最適化チームは局所的な最大値に達したことに気付き、すべてを破棄しました。 Facebook 製品開発者の Adam Mosseri から:

ここで行っていたのは、極大値を最適化していたことです。 このフレームワーク内では、アプリケーションに集中できるトラフィックは非常に多くありませんでした。 そして、私たちが必要としていたのは構造的な変化でした。 私たちの前提は外れていました。 私たちの関心は、私たちを間違った道へと導いていました。 私たちはそれを認識していませんでした […] 私たちはローカルで何かを最適化していました。

2.モズ

このバリエーション ページは、Moz の Conversion Rate Experts によって作成され、オリジナルの6 倍の長さでした。 元のページにはなかった他の要素の中でも、より多くのインフォグラフィック、別の見出し、ビデオが特徴でした. コントロールよりも 52% 優れていました。

チームが元のページの要素を改善することだけに取り組んでいたら、コンバージョンを半分に押し上げたコンテンツを追加することはなかったでしょう. テスターから:

Rand の効果的な対面プレゼンテーションを分析したところ、Rand が Moz の有料製品を主張するのに少なくとも 5 分は必要であることがわかりました。 既存のページは、1 分間の要約のようなものでした。 ランドのプレゼンテーションの重要な要素を追加すると、ページはずっと長くなりました。

3. サーバー密度

オンラインで見つけられるほとんどの A/B テストのケース スタディは、Web ページの外観に関係しています。 それらはボタンの色とボタンの色、または画像と画像であり、その数は日々増えています。 その結果、A/B テストに飛び込むほとんどの人は、A/B テストは Web デザインにのみ使用できると想定しています。

ただし、Sever Density の例でわかるように、A/B テストの概念は、製品設計や価格構造など、あらゆるものに適用できます。

サーバーとウェブサイトの監視サービスを提供する同社は、顧客が監視する必要のあるサーバーとウェブサイトの数に基づいて料金を支払うことを許可しました。

この構造は、顧客ベースを拡大することを目的としていましたが、それは実現しましたが、現在、チームの目標はより高い収益にありました。 そのため、パッケージ化されたモデルを使用して、価格設定の完全なオーバーホールを A/B テストしました。

新しい構造は実際にはコンバージョン数を減らしましたが、それぞれの価値は急上昇しました。 結果は次のとおりです。

平均注文額は、以前の 19.70 ドルから 55 ドルを超えました。 要点は、テスターに​​次の 2 つの重要なことを思い出させます。

A/B テストは、表面的な設計変更以外にも使用できます。
コンバージョンだけがすべてではありません。 コンバージョン数が少ないほど、より良い結果が得られる場合があります。

グローバル最大値とローカル最大値をどのように見つけますか?

覚えておいてください: A/B テストの強みは、大きな変化で可能な限りグローバルな最大値に近づくことです。 極大値を見つけるには、代わりに多変量テストを使用することをお勧めします。

一度に 1 つのページ要素を厳密にテストするというわなに陥っていませんか? グローバルな最大値を見つけるために、テストごとに複数の変更を行いますか?

Instapage Enterprise Demo で、すべてのオーディエンスに 1 対 1 の広告パーソナライゼーションを提供する方法を今すぐ学びましょう。