A / B検定統計量：実験で統計が重要である理由

統計とA/Bテストのクイックガイド：知っておくべき用語

統計を把握せずに合理的なA/Bテスト実験を行うことはほぼ不可能です。

Convert Experiencesのようなプラットフォームは、すべての統計的測定、推論、および分析を処理できますが、いくつかの統計用語の基本的な理解があると、確かに役立ちます。

基本から始めましょう。

サンプルと母集団

理論的には、WebサイトのすべてのトラフィックをA / Bテストに使用すると、人口の概要がわかります。 ただし、人口全体を把握することは不可能であるため、これはリソースの最適な使用法ではない可能性があります。 ここでサンプルが役に立ちます。 サンプリングにはさまざまな方法がありますが、ランダムサンプリングのアプローチを使用すると、サンプルの選択に固有のバイアスがないことを確認できます。 このアプローチは、ランダム化比較試験の薬局医療実践に触発されています。

平均、中央値、最頻値

簡単に言うと、平均は平均を表し、中央値はすべての数値が線形に整列しているときの中央にある値（分布の50^{パーセンタイル}）を表し、最頻値は最も繰り返される値です。 これらの3つの用語は、A/Bテストの要約統計量を調べるときに役立ちます。

分散と標準偏差

これらは、データポイントの分散を測定する非常に重要な概念です。 つまり、データが平均からどれだけ離れているかを示します。 標準偏差は、分散の平方根です。 これが、標準偏差が平均と同じ測定単位を保持しているため、分散をより適切に判断できる理由です。 たとえば、米国の成人男性の平均身長は70インチで、標準偏差は3インチです。 この例でVarianceを使用する場合、値は9インチ平方になるため、直感的ではありません。 標準偏差は、データの「通常の」偏差と考えてください。

帰無仮説と対立仮説

A 帰無仮説は現状に訴えます。 帰無仮説は、データで観察された変化（リフトなど）は、まったくのランダム性によるものであると述べています。 対立仮説は、変更がランダムではないが、因果関係を示しているというものです。つまり、変更がユーザーに影響を与えたということです。

たとえば、ランディングページに最適な見出しを具体化しようとしていると仮定します。 コントロールバリアントと代替バリアントがあります。 A / Bテストを実行し、両方で異なるコンバージョン率を取得するため、上昇（正または負）があります。 ここでの帰無仮説は、違いがランダム性によるものであるというものです。 対立仮説は、変化が特定の変種に起因すると述べます。

A / Bテストを実行すると、次の4つの結果のいずれかが得られます。

• 帰無仮説を棄却します。
• 帰無仮説を棄却できません。
• 帰無仮説を誤って棄却します。
• 帰無仮説を誤って棄却できません。

理想的には、結果aとbは、何かを学ぶことができるシナリオであるため、目指すべきものである必要があります。 これは、製品をより良くし、最終的に収益を増やす方法です。 結果cおよびdは、以下のエラーに対応します。

タイプIおよびタイプIIのエラー

A / Bテストの可能な結果の最後の2つのオプションは、タイプIおよびタイプIIのエラー、別名、誤検知と誤検知です。

タイプIのエラーは、真の帰無仮説を誤って棄却した場合です。 つまり、観察された変化は偶然によるものでしたが、そうではないと結論付けたため、誤検知です。 ほとんどの場合、誤検知を減らすために必要なのは、統計的有意性に到達するために必要な信頼水準を上げることだけです。 これは通常95％に設定されていますが、ミッションクリティカルな実験の場合は、99％の信頼度に設定することをお勧めします。これにより、このようなエラーが発生する可能性が1％に減少します。

タイプIIエラーは正反対です。 ここでは、誤った帰無仮説を棄却できません。 これは、コンバージョン率にプラスまたはマイナスの実際の影響があったことを意味しますが、統計的に有意ではないようであり、偶然によるものであると誤って宣言しました。 ほとんどの場合、これは統計的検出力の欠如が原因です。

統計的検出力の用語では、ギリシャ文字のαはタイプIのエラーを表し、βはタイプIIのエラーを表します。 統計的検出力と統計的有意性の間で混乱するのは簡単です。

この表はそれを明確にしています：

統計的信頼度

テストの訪問者が増えるほど、統計的信頼度が高まり、十分に長く実行すると99％に達するまで続きます。 ただし、通常、ミッションクリティカルでない限り、95％の信頼水準はほとんどのA / Bテストに十分であると見なされます（誤検知、つまりタイプIのエラーが発生する可能性は最大で5％です）。

統計的検出力

統計的検出力は、効果がある場合に効果を検出する確率に関係します。

統計的検出力と統計的信頼度は、A/Bテストの進展を測定するために連携して機能する関連概念です。 理想的には、テストを終了する前に、両方がしきい値に合格する必要があります（これについては以下で詳しく説明します）。

信頼区間と許容誤差

通常、A / Bテストの結果は、「コンバージョン率は3％+/- 1％」のようになります。 このステートメントでは、「1％」は許容誤差を表します。 要するに、これは、テスト結果を許容できる状態に保つのに合理的な変換結果の偏差です。 エラーのマージンが小さいほど、テスト結果の信頼性が高くなります。 サンプルサイズを大きくすると、エラーのマージンが減少することに気付くでしょう。

ConvertExperiencesを使用してA/Bテストを実行すると、月間ユニークビジターの変動、コンバージョン率、改善、信頼度、コンバージョンの詳細が記載されたエクスペリエンスレポートにアクセスできます。 勝者を宣言するには、少なくとも97％の信頼度を達成する必要があります。 デフォルトでは、Convertプラットフォームは、5回の変換が達成された後にのみ、実験の分析のレポートを開始するように最適化されています。 テストの信頼性を確保するために、Convertは両側Z検定を使用します。

実験の開始時に、バリアントの1つが大幅にパフォーマンスが向上している場合でも、規定された期間のテストを続行する必要があります。 初期の結果は、ノイズまたはランダム性が原因である可能性があります。

最小の検出可能な効果

MDEは達成するための最小のリフトであり、それを超えると変更を実装する価値があります。 低いMDEを選択してテストの準備をすることで、実験でより詳細な変更をキャプチャできます。 より高いMDEを設定することは、実験が大きな変化のみを検出できることを意味し、したがって、より小さなサンプルサイズでも機能します。 ここでの落とし穴は、ウェブサイトがこれまで最適化されたことがない限り、ほとんどの場合、十分な大きさのリフトを生成するために大幅な変更を加えることは不可能であるということです。

MDEについて考える最良の方法は、サンプルサイズ計算機を使用することです。 毎週のトラフィックとコンバージョンを入力することから始めて、一定期間に何が達成できるかを確認します。

P値

GoogleのチーフデシジョンサイエンティストであるCassieKozyrkovは、P値を説明するために非常に単純な定義を作成しました。「p値が低いほど、帰無仮説はばかげているように見えます！」

使用方法は、有意水準と比較することです。 有意水準が5％であり、これは信頼水準95％に直接対応するとします。その後、p値が5/100 = 0.05を下回るとすぐに、検定は統計的有意性に達したと言えます。帰無仮説を棄却できます。

さらに確実にしたい場合は、有意水準を1％に設定してから、p値が0.01を下回るのを待ちます。 これは、結果の99％の信頼に相当します。

トラフィックの分散

トラフィック分散は、特定の割合のトラフィックを実験に割り当てるのに役立ちます。 あなたが毎月あなたのウェブサイトに100人の訪問者を持っていると仮定します。 これから、トラフィックの30％をテストに割り当てることを選択できます。 デフォルトでは、A/Bテストの各バリアントはトラフィックの均等なシェアを受け取ります。 したがって、2つのバリアントがある場合、それぞれがトラフィックの15％を取得します。

Convert Experiencesを使用すると、数回クリックするだけでこのトラフィック割り当てを構成できます。 実験プロセスが進化するにつれて、より多くのバリアントを作成し、ニーズに合わせて割り当てを最適化できます。

統計はA/Bテストにどのように役立ちますか？

バリアントAとバリアントBのパフォーマンスを比較できないのはなぜですか？

ConvertExperiencesのような便利なプラットフォームを使用してA/Bテスト実験を実行するには、時間とエネルギーの面でいくつかのリソースが必要です。 次に、2つのバリエーションを作成し、それぞれのコンバージョン率を測定して、パフォーマンスの高い方を選択するのは理にかなっていますか？

実用的で機知に富んだように聞こえますが、データに対して統計的検定が実行されていないため、誤った結論や誤った解釈の結果につながる可能性があります。 したがって、変化を観察するだけでは不十分であり、その変化を確認するためにどれだけ待つかを知る必要があります。そのためには、Z検定、T検定、G検定などの統計的検定を実行する必要があります。

リフトまたは効果量だけを見ても役に立ちません。

a。 1つのバリアントの獲得に関連する考えられる原因要因を特定する

A / Bテストは、設計上、いくつかの重要な違いしかない2つのバリアントを選択するように制約します。 違いのセットが大きい場合は、通常、より広範な多変量テストを実行します。

A / Bテストは、最初から、実験の従属変数と独立変数を知っているというルールに基づいて動作します。 たとえば、同じレイアウトに配置された異なるCTAを使用して2つのセットを作成する場合、仮説に反論してコンバージョンの変化を確認できれば、CTAの違いが原因であることがわかります。

2つのまったく異なるバリアントを実行するだけでは、1つで比較的優れたトラクションが得られたとしても、オーディエンスに関する洞察を得たり、それが機能する理由を判断したりするのに役立ちません。

b。 ランダム性と因果関係を区別する

A / Bテストの構造には、帰無仮説と対立仮説が必要です。 帰無仮説は、一般に、変換率を決定する際に、因果要因であり、バリアントの1つの有効性ではないランダム性について詳しく調べます。 統計的有意性が時間内に到達しない場合、帰無仮説は反駁されず、その後の変動はランダム性の結果であると見なされます。 一方、帰無仮説を棄却できる場合は、正または負の影響を与える因果要因を発見した可能性が高いことを意味します（設定された信頼水準で、たとえば95％または99％）。変換。

c。 コンバージョン率が向上する可能性が高い変更のみにコストを割り当てる

実施されるA/Bテストには、有意水準、信頼区間、許容誤差などの統計的尺度も含まれます。 このような分析の概念は、ほとんどのアドホック分析には存在しません。

たとえば、情報のレイアウトと表示にいくつかの重要な違いがある2つのフォーム送信ページを比較します。 一方はもう一方よりも比較的優れたパフォーマンスを発揮します。 では、結果を再現できるとどのように判断しますか？ 実験の結果がどれほど重要であったかを示すデータがないため、実験の結果を再現できるかどうかを判断する方法はありません。

A/BテストのタイプIおよびタイプIIエラーへの暴露の評価と排除

タイプIのエラー（真の帰無仮説が棄却または偽陽性になる）およびタイプIIのエラー（偽の帰無仮説が棄却されないか偽陰性）は、A/Bテストで最適化する市場資産に深刻な影響を与える可能性があります。

タイプIまたはタイプIIのエラーを明示的に表示できるツールはありませんが、たとえば、信頼水準が95％以上に達し、統計的検出力が少なくとも80％に達していることを確認することで、エラーを最小限に抑えることができます。

購入サイクルの最終ページに2つのバリエーションを作成し、10日間で約10,000人の訪問者に表示して、結果を取得するとします。 1つのバリアントのパフォーマンスが向上するため、eコマースWebサイトに適用します。

ここでの問題は、実際に実験の結果を再現できなかった後、A/Bテストの実験でタイプIまたはタイプIIのエラーについて知ることができるということです。 A/BテストでタイプIおよびタイプIIのエラーが発生しないようにするためのより良い方法があります。

まず、適切な統計実験を確実にするために、サンプルサイズが十分に大きいことを確認してください。 Convertの計算機を使用して、適切なサンプルサイズを取得できます。

次に、有意水準が95％以上であることを確認し、パワーが80％に達するまでテストを停止しないでください。 計算機によって与えられた適切なMDEと実験の長さを使用すると、タイプIまたはタイプIIのエラーを制御することが事実上保証されます。 前者は、設定した有意水準によって直接影響を受け、2番目は、あなたが喜んで生きる統計的検出力によって影響を受けます。 理想的には、信頼水準は95％以上であり、統計的検出力は少なくとも80％まで蓄積されている必要があります。 どちらの場合も、より良いです。 両方のパラメーターが99％に達すると、タイプIまたはIIのエラーのリスクが適切に制御され、1％未満になります。

このような問題の発見と排除は、A/Bテストが機能する統計的思考によってのみ可能です。

A/Bテスト実験がスケーラブルかどうかの判断

上記の例では、1つのバリアントがその代替案に勝った場合でも、実験を簡単にスケーリングすることはできません。 これは、10,000人の訪問者のサンプルサイズが非常に小さかったためです。

A / Bテストの統計は、テストがスケーラブルであることを確認するための多くのヒューリスティックガイドを提供し、その結果もスケーラブルです。 各A/Bテスト実験の出力は、将来さらに多くのテストへの道を開くでしょう。

まず、プラットフォームのUIまたはUX要素のバリエーションをテストするのに十分なトラフィックが毎月来ることを確認することから始めます。 Convertの専門家は、統計的に健全な結果を得るために、各バリアントで少なくとも10,000人の訪問者と1,000回のコンバージョンのトラフィックを推奨しています。 これらを入手したら、一度に複数の要素をテストしていないこと、テストをかなりの期間実行できるようにしていること、および妥当なレベルの有意性に達することができることを確認してください。

訪問者の数が少ない場合でも、メールキャンペーン、ソーシャルメディアキャンペーン、さらにはGoogle広告グループでA/Bテストを実施できます。 または、高MDEを選択して、オーディエンスに関する幅広い洞察を得ることができます。

実験を費用効果の高いものにする

トラフィックの任意の割合をA/Bテストに割り当てるのはコストです。 最適ではない可能性のあるページまたはUX要素を視聴者に表示しているため、潜在的な収益を失う可能性があります。 A / Bテストは、これらの失われた可能性のある収益を取り戻すことができる、より最適化された要素またはページをスケーリングするための決定的なアイデアを提供しますが、このコストは、テストプロセスを最適化するための制約として使用できます。

A / Bテストを実施した後、A / B / nテストに進むことができます。ここでは、さらにいくつかのバリアントをテストする必要があります。

オンラインで利用できる多くの無料の計算機は、このテストからの正確な結果に必要なサンプルサイズを示します。 これらの計算機は単純な仮定で実行されます。A/Bテストのサンプルサイズを計算し、それを実験のバリアント数で乗算します。 これは非効率的な方法です。 私たちの計算機は、シダックのような効率的な多重比較補正オプションを提供します。したがって、実験のすべてのステップで常に適切なツールを使用して、誤算から生じる余分な費用を無駄にすることなく、必要な結果を確実に得てください。

ConvertのA/BTestingCalculatorを使用してテストの計画を開始します

サンプルのランダム性の推定と制御

ランダム性にはいくつかの複雑な数学的原理がありますが、それらのほとんどは同じ特性、つまり予測不可能性を示しています。

ランダム性は、明確に定義された因果関係の反対として認識できます。 どの要素がより高いコンバージョンの原因であるかを知る代わりに、結果の考えられる原因要因として、いくつかの未定義の外部要因に依存する必要があります。 これらの外部要因を制御しないため、テスト結果を大規模に複製することはできません。

統計的に適切なA/Bテストプロセスを使用していない場合は、ランダム性の影響をわざわざ調べる必要はありません。 ただし、ランダム性は引き続き存在します。 テスト中に変換するが大規模には機能しないマーケティング資産に資本を投入することになる可能性があります。 さらに悪いことに、既存のコンバージョンファネルの影響を薄めることになりかねません。

A / Bテストの統計は、この問題の解決に役立ちます。 仮説を立てるときは、ランダム性が結果の​​変化の理由である可能性があるシナリオを作成しています。 このシナリオに反論できる場合は、本質的に、より良い変換の原因としてランダム性に反論しています。 コンバージョンファネルの他の領域に焦点を当てたプロセスの前にさらにテストを行うことで、コンバージョン最適化プロセスのランダム性のスペースをさらに排除できます。

理想は、1つの主要なメトリックと他のガードレールメトリックを使用して全体評価基準（OEC）を定義し、実験を実行して前者を最適化し、後者が劣化しないようにすることです。 たとえば、コンバージョン率（プライマリメトリック）を上げたいが、ユーザーエンゲージメントを減らしたくない場合は、クライアントが満足していないことを示します。

素晴らしい本、おそらくこれまでの実験で最も重要な本は、Ron Kohavi、Diane Tang、YaXuによるTrustworthyOnline Controlled Experiments：A Practical Guide to A /BTestingです。

より包括的な多変量テストが不要であることを確認する

Convert Experiencesのような包括的なツールは、複数のA/Bテストを実行するのに役立ちます。 これは些細な機能のように聞こえるかもしれませんが、より包括的な多変量テストが必要かどうか、またはA/Bテストの結果が十分に満足できるかどうかを理解するのに役立ちます。

これはすべて、テストの結果を理解した直後に何をするかによって異なります。 優勝したページや要素の展開を開始しますか、それともさらにテストを行いますか？ サンプルサイズ、有意水準、およびMDEが十分である場合は、通常、勝者の代替案を展開できます。 反対側にいる場合は、さらにテストを使用して、さまざまなコンバージョン率の原因を見つけることができます。

たとえば、ランディングページに特定のCTAを設定することが、コンバージョンの向上に役立つかどうかをテストしているとします。 A / Bテストを実行し、明確な勝者がいます。 しかし、有意水準のようないくつかの統計的尺度は満たされていません。 したがって、勝者のバリアントを取得し、別のバリアントを作成して別のA/Bテストを実行します。

結果が複製されると、勝者のバリアントの信頼性が高まります。 最初のテストの変換レベルを再現できない場合は、変換の上昇の原因となる要素を見つけるために多変量テストが必要になる場合があります。

A / Bテストは、自己申告データへの依存を回避するのに役立ちます

最小の変数でさえ、検出されたユーザーの行動に大きな影響を与える可能性があります。 たとえば、ちらつきの影響はコンバージョン率にかなりの影響を及ぼします。 ちらつきとは、訪問者がA / Bテストに使用されているサンプルトラフィックの一部である場合に、デフォルトのランディングページがバリアントページの前に表示される状況です。 これにより、分析的に一貫性のあるプロセスを実行している場合でも、結果が汚染される可能性があります。

A / Bテストなどの統計的および分析的プロセスで問題が発生する可能性がある場合、自己報告プロセスを実行すると、最適ではない、または誤った結果につながる可能性があります。 自己申告プロセスは、多くの場合、いくつかの偏見やノイズの多いデータによって汚染されます。これは、好みを記憶して報告する責任はすべてユーザーに委ねられているためです。ユーザーには正直になるインセンティブがありません。 さらに、データの誤りにつながる可能性のある順序の偏りやその他の外部要因があります。

A / Bテストでは、監視の議長を務め、あらゆる形式のユーザーレポートを作成する必要がなくなります。 Convertのようなツールを使えば、ちらつきを心配する必要さえありません。

組織の意思決定データ主導型

A / Bテストの実験では、プロセスに当て推量の余地はありません。 すべてのステップで、テストプラットフォームは観測値の収集、データの記録、および分析の実行を行っています。 このように、上司、投資家、または代理店の好みに関係なく、得られる結果はデー​​タ駆動型になります。

プロセスに複数の利害関係者が関与している場合、最終結果が最適ではなくなる可能性があります。 A / Bテストは分析プロセスであり、このような階層的な意思決定や偏った思考のためのスペースを排除します。

たとえば、代理店はランディングページのUIのオーバーホールを推奨する場合があります。これは、その月の請求額が増え、適切に行われた場合でも、コンバージョンを妨げることはないためです。 ただし、A / Bテストでは、帰無仮説が強いままである場合、当面はそのような変更は必要ないという事実がわかります。 あなたはあなたの推論を裏付けるデータを持っているので、あなたはあなたの会社のリーダーシップにさえ姿勢をとることに屈する必要はありません。 これは、HiPPO（最高賃金者の意見）と戦うのにも役立ちます。 データは嘘ではなく、A/Bテストはあなたが自由に使える最高の証拠です。

透過的な計算による実験結果の理解

A / Bテストの結果を理解することは、統計的に厳密なテストを実行することとほぼ同じくらい重要です。 どのツールでも、テストを実行し、代替案を比較して、勝者を投げることができます。 必要なのは、因果関係を示すことです。 統計的測定はこれを強調することができますが、ConvertExperiencesは計算の透明性を考慮して設計されています。

このプラットフォームの稼働時間は99.99％で、90を超えるサードパーティの統合が可能であり、サードパーティの目標の追跡が可能であり、コードとエラーのチェックをサポートしています。 このようにして、テストプロセスの終わりまでに、どの要素が勝者であるか、なぜそれがより好ましいのか、そしてそれをスケーリングすることに自信を持つためにさらにテストが必要かどうかを明確に把握できます。

CROの成熟に向けて移動するために使用するA/B統計の配置

CROの成熟度とは何ですか？統計的に健全なA / Bテストはどのようにそこに到達するのに役立ちますか？

コンバージョン率の最適化は孤立した考え方のように思われるかもしれませんが、コンバージョンにさらに焦点を当てようとすると、会社全体でプロセスベースの変更が必要になります。 課題は、CROが比較的新しい分野であるということです。 2018年の調査では、マーケターの62％近くがCROで4年未満働いていました。

ShopifyのCROスペシャリストは、企業がCROの成熟に向けて超越する傾向の階層を作成しました。 この階層を掘り下げていくと、組織のプロセスを進化させるために、健全な統計的実験がいかに重要であるかがわかります。

1.次善のタッチポイントを特定するための定性的および定量的調査の実施

Google Analyticsダッシュボードは、多くの場合、すぐに注意を払う必要のある消費者体験のページやタッチポイントを探索するのに役立ちます。 ホームページでの高いバウンス率、放棄されたカート、不完全なフォーム入力、電子メールサブスクリプションのスキップなどの特定の問題を解決することは、コンバージョンファネルを最適化するための開始点として使用できます。

2.以前に実施された調査に基づいてテストと実験のアイデアを策定する

A / Bテストの統計は、Webサイトのベンチマークパフォーマンスや競合他社を理解するのに役立ちます。 これを使用して、どの要素が遅れているかを理解し、パフォーマンスを向上させることができるA/Bテストのバリアントを開始できます。

3.テストを実行し、アイデアを最優先で実験する

ConvertExperiencesでA/Bテストのアイデアを設定するときは、MDEなどの指標を設定します。 このようなメトリックは、実験の実行に必要なリソース割り当てに関して、ビジネスに最大の影響を与えるテストに優先順位を付けるのに役立ちます。

4.テスト結果の分析と記録

テストを実施した後、表示されている結果が得られた理由を理解することが重要になります。 これは、Convert Experiencesのようなプラットフォームが、ランダム性と確率の高い因果関係をフィルタリングするのに役立つ場所です。 透過的な計算により、Convert Experiencesは、勝利したバリアントのパフォーマンスが向上する理由を理解するのに役立ちます。

5.フォローアップテストの作成

A / Bテストを実施して結果を取得したら、より包括的な多変量テストに進むか、別のバリアントを使用してA/Bテストを実施できます。 Convertを使用すると、さまざまな統計的検定のセットを簡単に実行できるため、勝者のバリアントを支持する自信を高めることができます。

CRO成熟度モデルは、企業の戦略と文化、ツールとテクノロジー、人とスキル、プロセスと方法論にまたがる全体的なプロセスに焦点を当てており、企業の進捗状況は、初心者、意欲的、進歩的、戦略的、と変革的。

Convert Experiencesは、厳密なデータ分析をA / Bテストプロセスにもたらし、テストを実行するためのコーディングを必要とせず、視覚的および分析的にアクセス可能な結果を​​提供し、テスト結果について透過的です。 プラットフォームをA/Bテスト計画の中心に置くことで、企業のCROMaturityはより簡単に変革の段階に進むことができます。

実行中のA/Bテスト：ベンチマークされたケーススタディ

1. Google Analyticsを使用して、仮説を生成するためのエクスペリエンスを変換する

Google Analyticsは、Webサイト全体の潜在的な改善領域を理解するための優れた出発点になります。 トラフィックの突然の減少、ページ時間と比較した高いバウンス率などは、潜在的な問題の強力な指標となる可能性があります。

GoogleAnalyticsレポート全体で見られるすべての課題を計画します。 これと並行して、Webサイト、ソーシャルメディアのハンドル、および電子メールキャンペーンで定性調査を実行し、視聴者に何を求めているかを尋ねます。 これに加えて、Hotjarを使用して、訪問者が各ページの要素をどのようにナビゲートしているかを理解できます。

このすべてのデータに基づいて、洞察に満ちたバリアントを作成し、A/Bテストを実行できます。 すでにConvertExperiencesを使用している場合は、ConvertCompass仮説生成ツールを使用してプロセスをさらに迅速化することもできます。

2. A/Bテストによる放棄されたカートからの変換の強化

放棄されたカートはあなたのウェブサイトにとって高価であり、あなたの両方がこの時点に到達するためにかなりの時間とリソースを費やしたが、変換がうまくいかなかったのであなたの訪問者にとって非常に不便です。

他のプラットフォームと統合されたConvertExperiencesを使用して、この課題に取り組むための構造化されたアプローチを策定できます。

• まず、Convert ExperiencesをShopify、WooCommerce、PrestaShop、BigCommerce、または使用している他のeコマースプラットフォームに統合することから始めます。
• 次に、Google Analyticsを使用してプラットフォームに目標を設定し、HotjarやCrazyEggなどのツールを使用して考えられる問題を評価します。
• Convert Experiencesを使用すると、このデータを使用して仮説を立て、A/Bテストを体系的に実行できます。 顧客は、同様のアプローチを使用して26％を超える収益の増加を観察しています。

3.ランディングページの最適化

ランディングページは、変換プロセス全体の中心です。 ランディングページから最大の価値を引き出すために、Google Analytics、Adobe Analytics、Kissmetrics、Baidu Analytics、またはユースケースの他の主要なツールなどのさまざまなツールを使用できます。 Convert Experiencesは、これらのプラットフォームとシームレスに統合され、コンバージョン率の低いランディングページをフィルタリングするのに役立ちます。

次に、HotjarとConvertの統合を使用して、ページのどの要素が機能していないかを理解できます。 ヒートマップなどの高度なツールを使用すると、訪問者がページ上のさまざまな要素にどのようにアクセスしているかを視覚的に理解できます。 これを過ぎると、Convert Compassを使用して仮説を生成し、プラットフォームでテストを実行できます。

テストを実施した後、Convertと、LanderApp、Instapage、HubspotCMSなどの主要なランディングページ構築プラットフォームとの統合を使用できます。 これらの統合は、ランディングページ全体で簡単なA/Bテスト実験を実行するのに役立ちます。

同じワークフローを使用して、CROの専門家は、カートへの追加率が13％上昇し、コンバージョンの増分が27％であることを発見しました。

「衛生的な」A/Bテストでより高いROIを達成

1. ウェブサイトのトラフィックのしきい値：Convertは、少なくとも10,000人の訪問者のトラフィックと、テスト対象の各バリアントで1,000を超えるコンバージョンを利用できるようにすることをお勧めします。

2. A / Bテストに適切なツールを使用する：適切なテストプラットフォームがないと、結果が汚染されたり、最適ではないテストが実行されたり、リソースに厳しい制約が生じたりする可能性があります。 Convert Experiencesは、テストプロセスがアクセス可能で、透過的で、シームレスであることを保証しながら、これらの重要なパラメーターを排除するように設計されています。

3. テスト目標の定義：ビジネスとしての目標を調整する必要があります。 たとえば、最大のサインアップを最適化している間、チーム内の他の一部のユニットは、最大の売上を得るために結果として生じるプロセスを最適化するべきではありません。 インコヒーレントUXは、次善のUXよりも多くのダメージを与える可能性があります。

したがって、チームメンバーのセット全体で目標の均一性を維持します。 テストレベルでは、A / Bテストの実行前、実行中、実行後に、サンプルサイズ、期間、統計的有意性、仮説、およびMDEを明確に定義してください。

4. 内部トラフィックの除外： A / Bテストを実行している場合、チームメンバーの多くは、カスタマージャーニーのページまたはポイントにアクセスして、ページを客観的に評価します。 これにより、テスト結果にノイズが発生する可能性があります。

Convert Experiencesは、このようなトラフィックをフィルタリングし、A / Bテストプロセスでデータを記録、集約、分析するために、定義したオーディエンスセグメントのみに焦点を当てるように設計されています。

A/Bテスト統計に関する最終的な考え

A / Bテストは、統計的な厳密さでのみ実行できる厳密な分析演習です。 プロセスに統計が組み込まれていない場合、A/Bテストは純粋な推測です。

Convert Experiencesを使用すると、合理化され、アクセス可能で、信頼性が高く、しかもリソース効率の高いA/Bテスト実験を行うことができます。 While the process of A/B testing can seem a little overwhelming at first, it certainly unlocks value in the form of the right insight and analytical proven ideas it gives you. Make sure you never run an A/B test in isolation – it has to be followed up with more tests, and even multivariate tests.
With consistent optimization and unlimited tests made available by Convert Experiences, you can expect your enterprise to become a more analytical and data-driven operation in no time.