最適化を成功させるためにA/Bテストツールを使用する方法は? 説明された上位6つの要因
公開: 2021-08-26ビジネスに適したA/Bテストツールに投資することは、最初のステップにすぎません。 本当の魔法はあなたのプロセスと戦略にあります。
しかし、最良の結果を得るために最適化プログラムを位置付けるプロセスと戦略は何ですか?
この記事では、A / Bテストツールを可能な限り機能させ、最高のROIを実現する6つの方法を紹介します。
ただし、始める前に、A/Bテストツールを使用する際に留意すべき重要な側面がいくつかあります。 これらの側面は以下と関係があります:
- ツールの限界
- ツールの背後にあるベンダーチームの限界、および
- A/Bテストプラットフォームの使用を成功させる上で障害をもたらす可能性のある独自の最適化プロセスと文化の限界。
それでは、最大のメリットを引き出すための6つの方法を詳しく見ていきましょう。
- 1.教育から始める(これをスキップしないでください)
- ツールは仮説と同じくらい良いだけです
- 最良の仮説は適切な実行なしに脱線する可能性があります
- 2.ツールの柔軟性を活用してください
- 統合
- セルフサービス支払い
- 3.ツールによって導入された(有効性)脅威を確認します
- A / BテストツールはコアWebバイタルに影響を与えますか?
- あなたのA/Bテストツールはちらつきを引き起こしますか?
- A / Bテストツールはプライバシー要因を考慮に入れていますか?
- あなたのA/Bテストツールは、対照群と治療群の間の相互汚染を引き起こしますか?
- 4.統計フードの下を見て、専任の人材を採用することを検討してください
- 5.ツールを使用および採用用に設定します
- 正しく開始
- ツールのプロジェクト管理機能を使用する
- 命名法は重要です
- ベンダーサポートを適切に使用していることを確認してください
- 6. A/Bテストプログラムの適切な出力を測定します
- 次のステップ
1.教育から始める(これをスキップしないでください)
これは、ツールを使用する人々に投資する場所です。 なぜなら、無料であろうと有料であろうと、A / Bテストツールから得られる利益は、それを使用する手と同じくらい良いからです。
初心者のテスターが使用するA/Bテストソフトウェアは、専門家が使用する同じソフトウェアと同じではありません。
OptiPhoenixのエースオプティマイザーSimarGujralはこれを理解しています。 彼は新入社員向けのツールトレーニングを実施していますが、「A / Bテストツールの使用方法」を超えて、プロセストレーニングと戦略を強調しています。
JourneyのJonnyLongdenはさらに、投資の80%を人に、20%をテクノロジーに投資する必要があると述べています。
したがって、最適化から最大のROIのメリットを得る最初のステップは、適切なA/Bテストプロセスと戦略について自分自身とチームを教育することです。
CXLのCROおよびA/Bテストプログラムを開始できます。 実際、Convertのお客様は、このCXLトレーニングプログラムにアクセスできます。
トレーニングは、テスターが次のことを行うための準備です。
- テストするための優れた仮説を考え出す
- 影響の大きい領域を最初にテストすることを優先する
- データを正しく読み、貴重な洞察を抽出します
- テストのアイデアを見つける
- 正しいことをテストする
… もっと。
これは、最高のパフォーマンスを発揮するA/Bテストの正しさの基盤です。 なぜなら…
ツールは仮説と同じくらい良いだけです
それに直面しましょう:あなたのツールはあなたの入札だけをします。
また、入札が不十分な仮説に基づいている場合、A/Bテストでは希望する結果が得られません。
優れた仮説を立てる方法はいくつかありますが、それはサウンドデータから作成された場合にのみ可能です。 これは、データの収集だけでなく、その処理と解釈でもあります。 したがって、仮説を伝えるデータ分析に対する態度は、ビジネスの成長に対する態度でなければなりません。
データを使用して、製品またはビジネス内の問題を見つけ、改善の機会を明らかにします。 そこから始めましょう。
これは、将来の仮説のための教育的な出発点でもあります。 テストから学ぶことで、何が機能し、何が機能しないかについての新しい洞察が明らかになります。 ここでよくある間違いは、失敗したテストを失敗と見なすことです。
これらの実験はすべて、戦略をさらに詳しく調べるのに役立ちます。つまり、間違った方向転換を回避したり、機能するものを進めたりするために、どちらの方法でも、ツールを正しく使用しています。
無料のA/Bテスト仮説ジェネレーターを使用して強力な仮説を作成します。
最良の仮説は適切な実行なしに脱線する可能性があります
仮説が正しい場合でも、適切に実行しないと、仮説を最大限に活用できない可能性があります。
これは、いくつかの理由で発生する可能性があります。
たとえば、あなたは
- テストの実行時間が長すぎる
- テストを十分に長く実行していない
- 同時に実行するテストが多すぎます
- 間違った時間にテストする、または
- テストを間違った方法で設定します。
ここでの問題の主な原因は、次の3つのうちの1つ以上が欠如していることです。
- 適切な実験の考え方と戦術
- 質の高い技術的および理論的ノウハウ
- ツールを使用するための十分な理解。
最初の2つは、最高品質の教育と実践的な経験がそれをカバーしています。 最後の1つは、A / Bテストツールがオンボーディングセッションのおかげで、ユースケースに固有の誤解をすべて取り除くことができます。
ここConvertでは、強力な技術トレーニングを受け、専門家とのツール教育を求めているお客様と、アプリから価値を得るチャンスとの間に強い相関関係があることがわかりました。
提供されるアプリのオンボーディングがユーザー中心であり、機能中心ではないことを確認してください。 オンボーディングを設計する際に次の要素を考慮したベンダーが必要です。
- ツールに求めるコアバリュー
- そのコアバリューを体験するためにあなたが取らなければならないステップ
- あなたが途中で経験する摩擦
- あなたの使いやすさ。
そして、あなたの勝利した実験を生き生きとさせる時が来たとき、それは開発キューで立ち往生するかもしれません。 おそらく、最適化チームに専任の開発者がいないか、メインのWeb開発チームが「より大きな」プロジェクトで忙しいのかもしれません。
しかし、これらの小さな変更は大きな影響を与える可能性があり、あなたもそれを証明しているので、開発者からも同様の注意を払う必要があります。 製品開発キューを分割して、小さな修正が大きくて緊急のタスクと同じ注意を引くようにします。
2.ツールの柔軟性を活用してください
ツールを最大限に活用するもう1つの方法は、その全範囲の機能を利用することですが、もちろん、それが独自の用途に適用される場合に限ります。
次を使用できます。
統合
統合は、A / Bテスト、マーケティング、またはコンバージョン率の最適化の取り組みを強化するために、チーム化されたツールの相互接続されたスタックを作成するためのバックボーンです。
スタックの複数のツールからデータを抽出して仮説を通知したり、このデータをGoogle Analyticsを含むできるだけ多くのプラットフォームに送信したり、メールマーケティングキャンペーンでA/Bテストを実行したりすることが考えられます。
SpeeroのCTOであるSilverRingveeは、これについて次のように述べています。
テストツール内でデータを分離していないことを確認してください。 実験データをできるだけ多くの関連ツールと宛先にプッシュすることをお勧めします。 このようにして、分析ツールのバリアントグループをより深く掘り下げ、Hotjarなどを使用してユーザーの行動を分析し、データウェアハウス内のLTVやチャーンなどの長期的な指標への影響を計算できます。
セルフサービス支払い
これは、A / Bテストを始めたばかりで、実際にやり遂げる予算が無限にない企業に特に当てはまります。 目的は、テスト速度を着実に向上させることです。
したがって、ツールを使用して、より高い価格の階層にアップグレードするまで(営業担当者との会話に疲れた後)計画を一時停止することなく、必要に応じてより多くのテスト済みユーザーを購入できることを確認してください。
必要なときに散発的にのみ必要になる可能性のある機能にアクセスするためにアップグレードできると理想的です。 また、テストプログラムが停滞しているときにダウングレードして、予算を使用してチームのスキルを向上させることができます。 この機会をお見逃しなく。
また、高価なツールには大きな期待が寄せられており、すぐに誇大広告になります。 あなたがすべてをテストすることを可能にする鐘と笛で売られてはいけません。 あなたはめったにそれをする必要はありません。
代わりに、ビジネスに必要なものをテストできるツールに焦点を合わせてください。 そして、これが教育とテスト戦略の出番です。
Convertでは、セルフサービスプランのアップグレードとダウングレード、毎月の支払いオプション、および追加のテスト済みユーザーを購入する機能も許可しています。
3.ツールによって導入された(有効性)脅威を確認します
結果にすべての信頼を置く前に、選択したツールがどのように機能し、テストをどのように実装したかを完全に理解していることを確認してください。
ここでの目標は、データが何らかの方法で破損していないかどうかを確認することです。これにより、結果にどの程度の信頼を置くことができるかを知ることができます。
A / BテストツールはコアWebバイタルに影響を与えますか?
検索エンジンのランキングを損なうことのない方法でA/Bテストツールを実装していることを確認してください。 あなたはSEO対CROの議論を望んでいません。 二人は手をつないで行きます。
Googleでの立場を混乱させるようなCROの目的でサイトに加える変更はほとんどありません。 行った変更は通常、キーワード、ページコンテンツ、およびユーザーエクスペリエンスに影響します。 これは、200以上のランキング要素のうちの3つにすぎません。
また、これらのページでのコンバージョンを増やすことで、人々があなたのコンテンツを愛しているという肯定的なシグナルをGoogleに送信することになります。 バウンス率は低く、訪問者数は増加しています。
MozのRandFishkinによると、ページに異常な変更を加えていない限り、CROとSEOをチームメイトと見なす必要があります。反対の要因ではありません。
追加資料:A / BテストのコアWebバイタル:A / Bテストソフトウェアはサイトの速度を低下させていますか?
あなたのA/Bテストツールはちらつきを引き起こしますか?
点滅スキューテストデータは必要ありません。 ちらつきのない工具を選んでください。
ちらつきは、Webサイトの訪問者に、Webページで何か奇妙なことが起こっていることが明らかになるため、実験から収集したデータの整合性を損なう可能性があります。 バリアントが表示される前に元のバージョンを一瞥すると、疑問符が頭に浮かびます。 言うまでもなく、同じ訪問者に異なるバージョンのページを表示すると、ユーザーエクスペリエンスが低下します。
点滅を明示的にサポートしない方法でツールコードをデプロイする必要があります。 これがあなたがそれをする方法です。
ウェブサイトの最適化におけるちらつきの実際の影響について、専門家が共有しなければならないことは次のとおりです。
私たちは自分の経験でパーソナライズを楽しんでいますが、多くの場合、自分がパーソナライズされていることを知りたくありません。その理由は、自己決定理論によれば、私たちはCONTROLになりたいからです。私たちがしていることの自律性と「コントロール」を持つこと。
したがって、ちらつき効果があり、コントロールが数秒間表示されてから、バリアントに変わります。 ページをリロードしようとしても、Cookieが保存されているために戻ろうとしても、最初のバージョンに戻ることはできません。 それは不信と不安を引き起こします。 「なぜ私は以前に見たものに戻れないのですか?」 「最初に見たページが気に入りました。どうすれば戻ることができますか?」
一言で言えば、それはこの問題を抱えているブランドへの不信を引き起こし、それはバウンス率とコンバージョンの損失を増加させます。
カルロスアルベルトレイエスラモス、Speero
ちらつきは、さまざまな方法でテストに影響します。 実験でちらつきを完全に取り除くことができるときはいつでも–それをしてください。 ちらつきが発生しないようにするために実行できる戦略があります。特に、折り目の上のコンポーネントを含むテストでは、できるだけ多くの戦略を実行することをお勧めします。 または、テストする特定のコンポーネントがちらつきやすいことがわかっている場合は、テストを再設計して、仮説をテストし、その特定のコンポーネントを変更しないようにすることを検討してください。
私は価格プロモーションテストを行っていた実験に参加しました。 ちらつきの実行に非常に時間がかかり、ユーザーが1つのプロモーションを見てから、別のプロモーションにちらつくと想像できますか? 私はユーザーとして激怒するでしょう。 ちらつきが十分に悪い場合は、仮説が間違っていることが証明されたため、ちらつきが原因、またはその両方が原因でテストが失敗したかどうかを、正直に実験に含める必要があります。 この場合、1つではなく、2つの変数をテストしています。
ちらつきがサイトに与える影響の程度が心配な場合は、同じランディングページのエクスペリエンスをテストすることを選択できますが、ちらつきが発生します。 このようにして、ちらつきをテストし、「劣らない」方法で結果を分析して、ちらつきがその特定の要素に引き起こしている可能性のある影響を確認できます。
一般に、ちらつきが避けられない場合、これは最後の努力です。ちらつきのない実験を実行するために常に最善を尽くす必要があります。
シヴァ・マンジュナス、スペロ
A / Bテストツールはプライバシー要因を考慮に入れていますか?
多くの場合、A / BテストツールがファーストパーティのCookieを使用しない場合、ブラウザ間での追跡防止のために、既存のサイト訪問者がレポートで再カウントされるか、さらに悪いことに、処理と制御の両方にさらされる可能性があります。
この追跡防止には、次のものが含まれます。
- Safariのインテリジェントトラッキング防止(ITP)
- MozillaのEnhancedTrackingProtection(ETP)、および
- MicrosoftEdgeからの追跡防止
トラフィックの何パーセントがこれらのブラウザを使用しているかに応じて、それらがマーケティング分析に与える影響の大きさは異なります。
これらの防止策により、ブラウザはさまざまな期間Cookieを保持します。 30日から24時間まで。 Cookieはツールがユーザーを認識するのに役立つため、これは新しいユーザー数に影響し、コンバージョン率の計算を混乱させます。
たとえば、Cookieの保存期間が24時間であるとすると、2日間隔でサイトにアクセスした同じユーザーが2人の異なるユーザーとして記録されます。
これが100人のユーザーに発生し、そのうち50人がコンバージョンに至った場合、コンバージョン率(コンバージョン数をユーザー数で割ったもの)は0.25になります。 それらの100人のユーザーは200人の異なる人として記録されているからです。 変換率は0.50と想定されています。
これは、さまざまなユーザー関連のメトリックに影響を与えます。 テストとマーケティング分析に必要なデータを可能な限り正確に取得し続けるには、Cookieのない世界向けのソリューションを備えたツールを選択してください。
あなたのA/Bテストツールは、対照群と治療群の間の相互汚染を引き起こしますか?
テスト結果の完全性を損なう可能性のあるもう1つのことは、対照群と治療群の間の相互汚染です。 あなたのテストの結果は、他のテストの結果に影響されることは想定されていません。
WebサイトまたはWebページで複数のテストを実行する場合は、ツールに衝突防止という貴重な機能が備わっている必要があります。
テストの再設計で、コントロールグループからバリアントグループへの影響の波及効果(ソーシャルメディアの実験で一般的)が考慮されておらず、衝突を防止していない場合、これは正当なA/Bテストの落とし穴です。
4.統計フードの下を見て、専任の人材を採用することを検討してください
このツールは、テスト予算の大部分を投資するための一番の場所ではありません。 それがあなたの戦略であるなら、あなたはあなたのA/BテストのROIを証明するのにさえ苦労するかもしれません。
組織が実験文化を完全に吸収し、データ主導の意思決定を行う道を進んでいる場合、データの民主化に成功し、その分野ですべての手を携えたとしても、投資することは理にかなっています。その目的のための献身的な才能。 そして、あなたがそれを買う余裕があれば、チーム。
これは、マーケティングチームの誰かにとって単なる副次的な作業である場合、実験しても長期的には望ましい結果が得られないためです。 たった50%のテスターでさえ、常に1%のテスターよりも優れています。
また、組織内でそのテスト文化を促進するために、才能のリーダーシップとコミュニケーションスキルにさらに焦点を当てたいと思うでしょう。 優れた仮説を立て、健全なA / Bテスト、分割テスト、または多変量テストを実行することは、学ぶことができるスキルです。
A / Bテストツールに関しては、得られた結果を信頼できるようにする必要があります。 彼らの統計的アプローチについてオープンなオプションを選択してください。
ベイジアンであろうと頻度主義者であろうと、確かな統計のバックグラウンドを持つあなたの熱心な才能は、それらの数値がどのように計算されるかを理解できるはずです。 そうすれば、はるかに正確な洞察を抽出し、ツールに投資したお金の価値を最大限に引き出すことができます。
最高の無料A/Bテストツールの1つであるGoogleOptimizeを使用している場合でも、この情報が必要です。 残念ながら、GOについて学ぶことができるのは、ベイジアンを使用しているが、以前の考慮事項を共有しないことだけです。 これは透明性の欠如であり、大きな問題です。
たぶん、より信頼できるテストへの移行を検討する時が来たのでしょうか。
一方、頻度主義統計エンジンでは、共同作業者は統計的有意水準のみを調べ、誤った結論を導き出す可能性があります。 ああ、覗き見の非論理的な罪! サンプルサイズに達するまで待つことになっています。
これについてできることは、覗き見に対するルールを設定することです。 意思決定の質に影響を与える誤った結論で人々が走ることを望まないでしょう。
常に透過的な統計エンジンを備えたベンダーを選びましょう。
Convert Experiencesは、.05信頼水準(95%)で両側Z検定を使用します(つまり、各裾が通常の対称分布である場合は.025)。これを95%から99%の間で変更するオプションがあります。
5.ツールを使用および採用用に設定します
組織の他のメンバーがテスト文化を採用する際の障壁の1つは、これらのツールの一部にかなり急な学習曲線が付属していることです。
しかし、平均的なユーザーにとっては、物事を少し歓迎し、理解しやすくすることができます。 方法は次のとおりです。
正しく開始
技術的すぎて気にしない機能がたくさんあると、他の人を簡単に圧倒する可能性があります。
これらの凝った機能を使用していない場合は、機能の肥大化をカットする軽量ツールを選択してください。 VWOの製品は、このために適切に設定されています(うん、競合他社…しかし、VWOのこの側面は本当に素晴らしいです)。
ツールのプロジェクト管理機能を使用する
これは、他の人を含め、チームとしてA/Bテストにシームレスに取り組むための素晴らしい方法です。
また、他の人が同じツールをさまざまな目的に利用できます。 たとえば、Convertには、1つのアカウントに複数のプロジェクトを含める機能があり、各プロジェクトは無制限のサブドメインを処理できます。
命名法は重要です
チームの誰もがツールに飛び乗って、何が起こっているのかを知ることができるように設定します。 この場合、親しみやすさは養子縁組を生み出します。
テストの命名規則を最初に作成するのはやり過ぎのように思えるかもしれませんが、テストの速度が上がり、古いテストの反復が増えるにつれて、それができてうれしいでしょう。
A / B実験の名前は、短くわかりやすいものにする必要があります。 適切な名前には、次の情報が含まれています。
- 作成者(開発者またはチーム–複数のチームが1つのアカウントで作業している場合にのみ関連)
- ターゲットページ、ページタイプ、またはページグループ
- 変更(テストされている変更の簡単な説明)
- ターゲットオーディエンス(デバイスグループ、トラフィックソース、ジオロケーションなど)
- バージョン情報
いくつかの例:
アマゾンマーケティング–メリットHP ATF –モバイル– V2(HPはホームページの略で、ATFはアバブザフォールドの略です)
アマゾンマーケティング–ランディングページのレビューへのリンクを宣伝–デスクトップ
Amazon製品–優先度1 –固定比較機能PDP –モバイル(再起動)。
シルバーリングビー、CTO、Speero
ベンダーサポートを適切に使用していることを確認してください
サポートチームに連絡する方法をすべて理解してください。 テストを実行するときに必要な支援を提供するには、応答性が高く知識豊富なチームが必要です。
プランでメール、チャット、電話によるサポートが利用できるかどうかを確認します。
このA/Bテストツールの比較を確認してください。 (Convertは、すべてのプランで3つのサポートオプションすべてを提供することに注意してください。)
また、CSMを説明責任のパートナーとして使用してください。 彼らにあなたの目標を知らせてください。そうすれば、彼らはあなたを適切なリソースの方向に、ツール的に向けることができます。 専任のマーケターや実験の才能がない場合、または相談が必要な場合、ベンダーはツールの使用に優れたプロを知っていることがよくあります。 そして、紹介させていただきます。
6. A/Bテストプログラムの適切な出力を測定します
収益の増加に起因しない場合、A/Bテストプログラムに非常に必要な注意を引くことはできないようです。 通常、エグゼクティブはA/Bテストの必要性を検証するために正確な数値を要求します。
「何パーセントの上昇を期待すべきですか? そして、それは今年の収益にどのくらい追加されますか?」
しかし、それは実験が設計されているものではありません。 A / Bテストは、仮説が正しいかどうかにかかわらず、アイデアに確実性または信頼性の尺度を追加することを目的としています。
実際、そのアプローチは次のような問題を引き起こす可能性があります。
- 現実的に満たすことができない期待を設定し、
- A / Bテストだけに利益をもたらし、他の主要なプレーヤーを無視し、
- 失敗したテストを、何が機能するか(利益が増加する)、何が機能しないか(リスクの軽減)についての洞察ではなく、完全な失敗と見なします。
- テスト結果の不正確な外挿を作成します。
そうは言っても、リンクのクリックを追跡するためにA/Bテストツールを使用することは望ましくありません。 代わりに、適切なA/Bテストの目標を選択してください。 また、ツールの高度な目標オプションの機能を活用して、追跡対象とその理由を詳細に把握します。
追跡する必要のある適切な目標と指標を選択する方法は次のとおりです。
- あなたのビジネスにとって重要な目標から始めましょう。 そうすれば、ビジネスの目標に沿ったA/Bテストの目標を選択できます。
ビジネスの目標がより多くの顧客を獲得することによって収益を増やすことである場合、あなたの実験はリードを生み出すことに向けられるべきです。
- 一次目標と二次目標を選択します。 主なものは、アプリのダウンロードやデモリクエストなど、ビジネスの目標に直接リンクするものです。
二次目標は、通常、将来のある時点で二次目標の達成につながるマイクロコンバージョンであるため、一次目標をサポートします。 これらは、コンテンツに関与したり、ニュースレターに登録したりする可能性があります。
ここでの考え方は、主要なビジネス目標の達成に寄与する要因を認識することです。
- 何を測定するかを決定します。 これらは、主要業績評価指標(KPI)—主要なビジネス目標に関連してどこにいるかを示す指標です。
これを認識すると、ビジネスのプラス成長に直接影響するメトリックを実際に測定して改善する方が簡単です。
目標を正しく設定しないと、針を動かさないマイクロ目標を祝うか、調整、設計、展開が難しく、失敗のように見える「BigSkyIdeas」に絶えず投資することになります。 。 バランスは真ん中にあります。
次のステップ
A / Bテストツールを100%の容量で使用できるとは限りませんが、A / Bテストツールを使用してビジネスに最大のメリットをもたらすことは、努力できることです。
まだ選択していない場合、または現在持っているものに自信がない場合の最初のステップは、ニーズに合った適切なツールを見つけることです。 そして、これらの6つの戦略で、それはそこからずっと上にあります。
ConverttoFindOutを使用してデモを予約します。
デモをリクエストする