トラフィックの少ないサイトでA/Bテストを行う方法
公開: 2019-04-26
警告のトリガー：
統計的有意性、95％の神話上の（またはそうではない？）マーク、テストとトラフィックなどについて、多くの議論が行われていることを私たちは知っています。
あなたがこのことについて強く感じているオプティマイザーなら、あなたは引き金を引かれるかもしれません。 さて、コメントはオープンで、私たちは本当に啓発的な会話をすることができます。
さぁ、始めよう！
トラフィックの少ないWebサイトではテストは機能しません。
それは確かだ。
統計的に有意な洞察を引き出すには、（少なくとも）数千人のユーザーに実験のバリエーションを示す必要があります。
実際、Convert Experiencesでは、各バリアントに約10,000人の訪問者を送ることができる場合にのみ、ユーザーにA / Bテスト（最も単純なCRO実験）を実行することをお勧めします。
また、コントロールまたはバリアントの優位性の決定的な証拠を生成するために、約1000回の変換を記録することをお勧めします。
この種の説明は、CROが100万人の顧客のような市場ではない理由を説明しています。これは、成功をテストするための足がかりと、高価な（急速に進む「エンタープライズ」）最適化ソリューションの予算を備えた10万のWebサイト（または企業）しかないためです。 ！！
トラフィックの少ないサイトはテストを除外する必要がありますか？
平均的な中小企業がそのWebサイトにアクセスするのは1日に数百人しかないことを考えると、A/Bテストの実験は彼らにとって意味がありません。
しかし：
それは、中小企業がまったく実験を実行できないという意味ではありません。
実際、中小企業でも実行できる実験はたくさんあります。
そして、それらを実行することには多くの利点があります。
たとえば、中小企業を経営している場合、実験を実行することで、腸に基づく意思決定からデータ主導の意思決定に移行することができます。 それはあなたにデータを見ることを強制するでしょう…そしてあなたの顔の数字で、あなたはデフォルトで*私が思う*戦略をやめるでしょう。 このデータに裏打ちされたアプローチだけでも、ビジネスの構築と成長の方法が変わります。
実験を実行すると、現状を受け入れるのではなく、試して学ぶこともできます。 それは、働くと信じられている原則が実際にあなたのために働くかどうかを見るようにあなたを刺激します。
最後に、実験を実行すると、「十分な」トラフィックがある場合に「実際の」CROの準備が整います。これは、効果的なCROの前提条件であるテストの正しい考え方を開発するのに役立ちます。
したがって、使用するマーケティングチャネルを問わず、できる限りの実験を実行し始めてください。 ここにいくつかのオプションがあります。
電子メールによるテスト
驚いたことに、Eメールマーケティングは、大量の購読者（または「連絡先」）を必要とせずに、さまざまなアイデアを試すことができる1つのチャネルです。
"誰が言ったのですか？"
MailChimp、ConstantContact、およびCampaign MonitorからHubSpot（マーケティング自動化ソフトウェアでの電子メールマーケティングをサポートする）まで、すべての電子メールマーケティングソフトウェアプロバイダーが言います。
HubSpotから始めましょう。
したがって、HubSpotの電子メールプラットフォームを使用してA / Bテストを実行する場合、必要なのは1,000の連絡先だけです。1,000の連絡先は、電子メール送信のサンプルでA/Bテストを実行するためのベンチマークでもあります。 — HubSpot
キャンペーンモニターには、小さなメールリストでもA/Bテストを実行できると書かれています。 その背後にある数学は次のとおりです。
さて、あなたは「私のリストのサイズはたった500のサブスクライバーですが、テストが成功することをどのように期待しますか？」と考えているかもしれません。 私の答えは、より大きなMDE [Minimum Detectable Effect（MDE）]に照準を合わせる必要があるということです。 MDEを増やすと、必要なサンプルサイズが減少します。 したがって、20％の相対効果を検出するためにバリエーションごとに592のサブスクライバーが必要になる代わりに、50％の相対効果を検出するためにバリエーションごとに94のサブスクライバーだけが必要になります。 ベースラインコンバージョン率もサンプルサイズに影響することに注意してください。コンバージョン率が低いほど（この場合はオープン％）、正確なテストを実行する必要があるサブスクライバーが多くなります。 —キャンペーンモニター
したがって、サブスクライバーが約500または1000の場合は、自分の発言に関心のあるレスポンシブデータベースがあれば、テストすることをお勧めします。
ただし、一部の電子メールマーケティングプロバイダーは、わずかに高い連絡ベースを推奨しています。
たとえば、EメールマーケティングソリューションプロバイダーのConstantContactは、HubSpotで許可されている最小サイズの2倍のより大きなサンプルサイズを推奨しています。 意味のあるA/Bテストを行うには、サンプルサイズが少なくとも1,000件の連絡先である必要があることを示しています。 したがって、サブスクライバーが2000人の場合は、テストすることをお勧めします（AバージョンとBバージョンは、それぞれ合計連絡先の50％をテストトラフィックとして取得します）。
件名のテストでは、可能であれば、少なくとも1,000件の連絡先のサンプルサイズで各行をテストすることをお勧めします。 通常、各バージョンの1,000ユーザーは、A / Bテストの優れたベンチマークですが、これらの数値を達成するのに十分な連絡先や訪問者がいない場合でも、テストを実行する価値があります。 — ConstantContact
MailChimpは、A/Bテストを実行するためにいくらか大きなリストも推奨しています。 テストを実行するには、少なくとも5,000件の連絡先が必要であることを示しています。 しかし、非常に多くの中小企業の連絡窓口はそれよりもはるかに小さいため、完全なリスト全体でアイデアをテストすることをお勧めします。
テストから最も有用なデータを取得するために、少なくとも5,000のサブスクライブされた連絡先に組み合わせを送信することをお勧めします。 リストまたはセグメントのサイズで、各組み合わせで5,000人のサブスクライバーを使用できない場合は、リスト全体をテストし、キャンペーンの結果を使用して、将来のキャンペーンコンテンツの決定を通知することを検討してください。 —mailChimp
確かに、サンプルサイズが大きいと、統計的有意性にはるかに早く（そしてはるかに自信を持って）到達するのに役立ちますが、小さなリストからテストを開始することもできます。
メールキャンペーンの150以上のメール分割テストのアイデアを次に示します。
また、ここに電子メールA/Bテストのクイックガイドがあります。
ソーシャルメディアでのテスト
ソーシャルメディアは、ソーシャルフォロワーがどれほど少なくても、アイデアをテストできるもう1つのチャネルです。 その上、ある意味で、ソーシャルメディアでは、実際にリーチを制限するものは何もありません。
たとえば、Convert Experiencesでは、何万人ものフォロワーがいませんが、すばらしいソーシャルセラーは、ハッシュタグや画像などのソーシャルメディアコピーの要素を試し続けています。
そして彼女のテストは私たちにいくつかの素晴らしい勝利をもたらします。 たとえば、特定のハッシュタグのセットを使用した彼女の実験は、かつてGoogleAnalyticsからのリツイートを獲得しました。
さて、それはいくつかのソーシャルメディアの露出ですよね？
（たぶん）吸虫のようにクイックウィンを却下するのは簡単だと言うかもしれませんが、ハッシュタグのセットが定期的にテストする他のハッシュタグよりも多くの露出を獲得しているのを見ると、テスト結果以上のものがあります...あなたが持っているのはトレンドです。
多数のソーシャルメディアA/Bテストを実行して、そのような傾向を明らかにし、ソーシャルメディアのパフォーマンスを向上させることができます。 ソーシャルメディアのA/Bテストに関する優れた入門書をここに公開しました。 ソーシャルメディアA/Bテスト、実行できるさまざまなソーシャルメディアA / Bテスト、および覚えておく必要のあるトップソーシャルメディアA/Bテストのベストプラクティスから始める方法を学ぶためにそれを読んでください。
ソーシャルメディア実験を実行するためのシンプルな6ステップのフレームワーク（87のアイデアが含まれています）
有料広告を使用したA/Bテスト（PPC）
電子メールやソーシャルメディアのマーケティングチャネルと同様に、PPCマーケティングチャネルでも、広告コピーや広告キャンペーンの他のすべての要素を試すことができます。
Google AdWordsでもFacebook広告でも、ほとんどの有料ネットワークは実験をサポートしているため、最高のROIを得ることができます。
ただし、PPC実験から統計的に有意な結果を得るには、各広告コピーの数千回のインプレッションが必要です。 週に少なくとも5000インプレッションを獲得する広告グループをテストすることをお勧めします。
では、数千の広告インプレッションにはどれくらいの費用がかかりますか？
プラットフォームと業界（他の要因の中でも）に大きく依存しますが、予算編成に役立つデータがあります。
たとえば、 AdStageは2018年第1四半期に（Google AdWordsで）1億1,000万回を超える広告インプレッションを分析し、Google広告で1,000回のインプレッション（CPM）を取得するには平均で116.91ドルが必要であることがわかりました。 昨年は約13％安かったです。
Facebookのようなソーシャルメディアネットワークもアクセス可能なCPMオプションを提供します。
Statistaの調査によると、Facebookの平均CPM（1ミルあたりのコストまたは1,000インプレッションあたりのコスト）は1.26米ドルです。 AdExpressoとWordStreamからの他のFacebookCPMの平均コスト見積もりは、7〜10ドルの範囲にあります。
重要なのは、限られた予算でも広告コピーのテストを開始できるということです。
A/BテストでPPC結果を向上させる7つの簡単なステップ
（ほぼ）「トラフィックに強い」実験方法：パーソナライズ
訪問者のWebサイトのエクスペリエンスを、訪問者について知っていることに基づいてパーソナライズまたはパーソナライズすることも、実験のもう1つの一般的な形式です。
パーソナライズの最大の利点は、CROテストに適用されるトラフィックの制約がパーソナライズに適用されないため、トラフィックの少ないWebサイトでも機能することです。
この背後にある理由は、パーソナライズでは、最終的な目標はコンバージョン率を最適化することではないということです。 代わりに、その目標は、より多くのコンバージョンまたはより高い顧客満足度と維持につながる、より関連性の高いユーザーエクスペリエンスを提供することです。
たとえば、製品ページのさまざまなバージョンを作成して、顧客と非顧客（またはリード）に表示することができます。
顧客向けの製品ページでは、製品ガイドやビデオ、サポートにアクセスするためのクイックリンクなどのコンテンツを表示して、顧客がより価値のある製品体験を得ることができます。 リードを表示するバージョン（たとえば、トライアルにサインアップしたユーザー）は、製品の機能やケーススタディに焦点を当てて、コンバージョンに役立てることができます。
約93％の企業が、パーソナライズによってより良いコンバージョンを実現しています。
そして、すぐにパーソナライズから始めることができます。
さらに、Convert Experiencesなどのツールを使用すると、パーソナライズされたWebサイトエクスペリエンスを数分で設定できます。 ターゲティングルールを設定するだけで、パーソナライズされたメッセージをさまざまなオーディエンスセグメントに表示できるようになり、各セグメントに購入経路の次の段階に進むよう促します。
まとめ…
Webサイトのトラフィックが少ないと、実質的なCRO実験の実行が制限される可能性がありますが、「学習」を妨げることはできません。
そして、それが重要です。規範を受け入れるのではなく、試みることによって学習に焦点を移すと、効果的なCROの前提条件である実験の文化を発展させ始めるからです。
どの成長段階にいるかは関係ありません。テストの文化の発展に投資することができます。 あなたが実際にあなたのウェブサイトへの十分なトラフィックがハードコアで決定的なCRO実験に行くのに十分であるとき、それは役に立ちます。
