Convert Experiencesレポートを正確に読んで解釈する方法

Convert ユーザーであれば、レポートに貴重なデータが詰め込まれていることをご存知でしょう。 しかし、これらすべての数字とグラフは何を表しているのでしょうか? そして、それらから導き出せる結論をどのように知り、その情報を使用してテストを改善するのでしょうか?

経験を検証するために統計的有意性計算機を使用するのと同じくらい簡単ですか?

A/B テストが実験レポートに十分に緑色で示されている場合、そのテストは成功であると言えますか? それとも、他の要因も検討する必要がありますか?

統計的有意性計算機は正確なテストに不可欠ですが、すべてを説明するものではありません。 Convert レポートを最大限に活用するには、A/B テストの統計を十分に理解する必要があります。

なんで？

A/B テストは基本的に統計分析の手法だからです。 どちらかがなければ、どちらか一方を持つことはできません。

A/B テストまたはエクスペリエンスは、統計的仮説検定の一例です。この検定では、2 つのデータ セット間の関係に関する仮説を作成し、比較して、統計的有意性があるかどうかを確認します。

したがって、初心者でも経験豊富なユーザーでも、レポートで利用可能なテスト統計の全範囲を理解し、A/B テストからより良い結果を得るために読み進めてください!

では、A/B テスト レポートで何ができるのでしょうか? 2 つの実用的な例を見てみましょう。

例 1

e コマース ビジネスは、製品ページを最適化してコンバージョン率を向上させることを計画しています。

この特定の状況では、

商品ページのコンバージョン率＝注文数÷商品ページへの訪問者数

マーケティング チームは、3 つの新しい製品ページ デザインを評価しています。 彼らは、既存のデザインと 3 つの新しいデザインの 4 つの可能性から最も効果的なものを選択したいと考えています。 コンバージョン率が要因であるとすると、Convert Experiences レポートとその統計手法をどのように使用して、最高のパフォーマーを見つけることができるでしょうか?

例 2

価格ページを変更することで、SaaS Web サイトはメンバーベースを拡大したいと考えています。

彼らのために、

価格設定ページのコンバージョン率 = サブスクリプション数 / 価格設定ページへの訪問者数

マーケティングでは、3 つの異なるデザインを評価して、現在のデザインよりも多くの購読者を引き付けることができるものがあるかどうかを確認しています。

コンバージョン エクスペリエンス レポートとその統計手法を使用して、コンバージョン率を選択基準として使用し、どのようにそのような比較を行うことができるでしょうか?

この記事では、Convert Experiences レポートに含まれる内容、レポートを使用して Web サイトを改善する方法、訪問者のエクスペリエンスの詳細な分析を解釈して行動を起こす方法について説明します。

Convert A/B テスト レポートの背後にある統計を理解するのに役立つ、わかりやすいガイドを読み進めてください。

Convert Experience Report の各セクションの詳細マップ

Convert ユーザーは、レポートを通じて Web サイトのパフォーマンスに関する詳細情報にアクセスできます。 Convert レポートのすべての要素を包括的に見て、表示されている情報と、それを使用して Web サイトのパフォーマンスを改善する最善の方法を正確に理解できるようにしましょう。

表示したいエクスペリエンスを選択し、[レポート] タブをクリックすると、レポートにアクセスできます。

このセクションには、次の 4 つの異なるセクションがあります。

• トップメニュー
• 概要
• バリエーション
• 目標

➢ トップメニュー

トップ メニューから、次の情報にすばやくアクセスできます。

• 開始日: 体験の開始日
• Days Running : エクスペリエンスが実行される時間の長さ
• レポート範囲: 日付フィルターを使用すると、特定の期間のデータをフィルター処理できます
• セグメント: 訪問者セグメントでレポートをフィルタリングします
• All Tested Users : テストに参加したユーザーの数
• 合計コンバージョン: 目標コンバージョンの合計数。 Convert は、ユニーク ユーザーごとに 1 つの目標コンバージョンのみを追跡します。 複数の目標コンバージョンについては、このページをご覧ください。
• Goals : 特定のエクスペリエンスの目標数

特定の日付範囲のフィルター

レポート範囲を使用して、特定の日付範囲でデータをフィルタリングできます。 カスタムの日付範囲は、既存の選択肢またはカレンダー コントロールを使用して指定できます。

特定のセグメントのフィルター

[すべてのユーザー] ドロップダウン ボックスから訪問者セグメントを選択して、レポートをフィルタリングできます。 これを使用して、次のような質問に答えることができます。

• さまざまなソースからのトラフィックがエクスペリエンスでどのように動作したか?
• モバイルとデスクトップで勝ったバリエーションは何ですか?
• 新規ユーザーを最も惹きつけたのはどのバリエーションですか?

組織にとって重要であり、さまざまなユーザーの行動や意図のシグナルを示す可能性が高いオーディエンス/セグメントをターゲットにする必要があります。

各オーディエンスの改善スコアと信頼スコアを調べて、各バリエーションのパフォーマンスを確認します。 分析の結果に応じて、勝者のバリエーションをすべてのトラフィックに投入するか、割り当てを調整するかを決定できます。

Convert エクスペリエンス レポートには、次のセグメントが含まれます。

• 使用ブラウザ、
• 使用デバイス、
• 新しい訪問者と古い訪問者、
• ユーザーの国、
• トラフィック ソース、
• 大陸、そして
• 10 個のカスタム セグメント。

3 ドット メニューを使用して、さらにいくつかのアクションを適用することもできます。

レポートを共有する

[レポートの共有] をクリックすると、ポップアップが開き、エクスペリエンス データをダウンロードするための次のオプションが表示されます。

コードを表示

コードの表示は 2 番目のオプションで、Convert トラッキング コードにアクセスできます。

統計設定

3 番目のオプションである統計設定では、次の設定を行うことができます。

• 信頼水準 (統計的有意性) — ここで説明
• トランザクション外れ値 — ここで説明
• 自動化 — ここで説明
• 経験データをリセットするリセット統計ボタン

エクスペリエンスを一時停止

4 番目のオプションでは、エクスペリエンスを一時停止できます。

➢ まとめ

Convert 体験レポートの概要セクションには、体験に適用されるサイト エリアとオーディエンスの条件の概要が表示されます。 また、いくつかのスマートな推奨事項も提供します。

スマート レコメンデーションを有効にする

プロジェクト構成、その他の設定に移動して、Smart Recommendations を有効にします。

スマートレコメンデーションを表示

これらのスマートな推奨事項は、2 つの場所で表示できます。

1. レポートの概要:

結果に基づいて、次のメッセージが表示される場合があります。

• 有意でリフトがマイナス:バリアント ${variant_name} は、マイナスのリフトが ${lift}% で最もパフォーマンスの高いバリアントであることがわかりました。 目標 ${primary_goal_name} のテストは重要です。 学習を抽出し、新しい仮説を設計することを提案します。
• 有意でプラスのリフト:おめでとう! ${primary_goal_name} については、現在 ${variant_name} が勝っており、改善率は ${lift}% です。 この実験は重要です。」
• わずかなプラスのリフト: ${primary_goal_name} について有効な結論を導き出すには、より多くの訪問者が必要です。 ${variant_name} が ${lift}% のリフトで最高のパフォーマンスを示していることがわかりますが、最終的な結論を出すには、より多くの訪問者が必要です。
• わずかなマイナスの伸び: ${primary_goal_name} について有効な結論を導き出すには、より多くの訪問者が必要です。 結論を出す前に、テストを実行し続けてください。

2. [目標] 展開ボックスで:

以下は、結果に基づいて表示される可能性のあるメッセージの一部です。

• おめでとうございます。{variation.name} が勝者です。統計的信頼度は 00% です。
• 残念ながら、{variation.name} のパフォーマンスは {baselineText} よりも悪く、統計的信頼度は 00% であると確信しています。
• {variation.name} は {baselineText} よりもパフォーマンスが優れているようですが、まだ確信が持てません
• {variation.name} について判断するには時期尚早です

ベースラインのスクリーンショット

ベースラインのスクリーンショットにカーソルを合わせると、いくつかの追加オプションが表示されます。

• 実物大のスナップショットを表示
• バリエーションのプレビュー
• バリエーションのスナップショットを撮り直す

ライブ プレビューとフォース バリエーション リンク

プレビュー バリエーションは、ライブ プレビューとフォース バリエーションの URL を取得できるポップアップを開きます。

➢ バリエーション

バリエーションと呼ばれるセクションには、エクスペリエンスのバリエーションに関する詳細が表示されます。 [ステータス] 列の後の各列は、エクスペリエンスの目標を表しています。

3 ドット メニューをクリックして、列を有効/無効にしたり、並べ替えたりできます。

ステータス ボタンを有効にすると、バリエーションを一時停止できます。

バリエーション行のいずれかで 3 点メニューをクリックすると、いくつかの追加オプションを利用できます。

• 強制バリエーション URL を開く
• 変動を止める
• 新しいデプロイに変換
• 新しい実験でオリジナルに変換する
• バリエーションを編集
• ライブプレビュー

➢ 目標

このセクションでは、各エクスペリエンスの目標の簡単な説明と、次のセクションで分析するいくつかの興味深い統計とグラフを確認できます。 先に進む前に、なじみのない用語をいくつか説明しましょう。

• デフォルトの目標: 目標の横にデフォルトの目標という用語が表示されている場合は、それがすべてのエクスペリエンスに追加される 2 つのデフォルトの目標の 1 つであることを意味します。
• 主な目標: 主な目標は 1 つだけで、自分で決定する必要があります。 それはあなたの経験にとって最も重要な目標です。 これは目標リストの最初に表示され、これに基づいて経験ステータスが変更されます。
• SRM : テストで潜在的なサンプル比率の不一致が検出されました。 これを見つけた場合は、エクスペリエンスのセットアップを確認するか、[email protected] に連絡してください。
• ベースライン: これは、デフォルトのエクスペリエンス ベースラインです。

それでは、このレポートの各要素について見ていきましょう。

バリエーション名

これがバリエーションの名前です。 その横にチェックボックスがあり、バリエーションの統計を表示または非表示にするために有効/無効にすることができます。

改善

ここでは、Web ページのオリジナルとバリエーションがコンバージョン率に関してどのように機能するかを確認できます。 パーセンテージの差は、正または負の場合があります。 計算された信頼度が統計設定で設定された信頼度よりも大きい場合、色は次のように変化します。

• – の赤
• + は緑
• その他はグレー

訪問者

これは、エクスペリエンスへのバケット化された訪問者の合計数です。 ユニークな訪問者がここにリストされます。

コンバージョン

これは、各目標/バリエーションの合計コンバージョン数を表します。 ユーザーに実行してもらいたい任意のアクションは、コンバージョンと呼ばれます。 ウェブサイトによっては、ボタンのクリックから購入までのすべてが含まれる場合があります。

変換速度

この列には、コンバージョンにつながった訪問者の割合が表示されます。

信頼水準 (統計的有意性)

A/B 結果を解釈する場合、統計的有意性が最も重要な概念です。

この列は、テスト パターンのコンバージョン率の信頼区間が元のパターンとどの程度異なるかを示します。 信頼度に数値が表示されない場合、これは (デフォルトで) 計算するためにバリエーションごとに最低 5 つの目標コンバージョンが必要であるためです。 また、各バリエーションに設定された最小訪問者数を満たす必要があります。 最小コンバージョン数を変更した場合は、選択した最小値を満たす必要があります。

この列には、次のことを示す灰色/緑色のドットが含まれています。

• 緑の点 1 つ、信頼度 75% ～ 85%
• 85% ～ 95% の信頼度で 2 つの緑色の点
• 95% ～ 96% の信頼度で 3 つの緑色の点
• 96% ～ 97% の信頼度を表す 4 つの緑色の点
• 97% 以上で 5 つの緑色の点

ボックス プロット (信頼区間)

箱ひげ図または信頼区間は、真のコンバージョン率が低下する値の範囲を示します。

結果について議論する際に、オリジナル ページとバリエーション ページのコンバージョン率の値に観測された差異と、コンバージョン率が実際に収まる範囲を示すことをお勧めします。 差間隔は、数直線スケールでプロットされる値の可能な範囲です。

コンバージョン率の可能な最高範囲は数値スケールの上限でマークされ、コンバージョン率の可能な最小範囲は数値スケールの下限でマークされます。

スケールでは、次の色を確認できます。

• 灰色の領域:実験がまだ決定的でないこと、または有効な結果を宣言するには追加の人員が必要であることを示します。
• 勝利のバリエーションは緑色で示されます。
• 負け分散は赤色で示されます。

箱ひげ図では、元のコンバージョン率とバリエーションのコンバージョン率の重複に注意してください。

オリジナルのコンバージョン率には 10 ～ 20% の信頼区間があり、バリエーション 1 のコンバージョン率には 15 ～ 25% の信頼区間があると仮定します。 2 つの信頼区間の重複は 5% であり、15 ～ 20% の間であることに注意してください。 このコンテキストでは、B の変動が実際に大幅な改善であるかどうかを判断することは不可能です。 これが、箱ひげ図に重複がある場合、Convert が勝者を宣言しない理由です。

状態

これにより、バリエーションに関するステータス レポートが表示されます。

グラフ

ここから、3 種類のグラフにアクセスできます。

以下にそれぞれの説明を示します。

コンバージョン

• 経時的なコンバージョン率: Y 軸はコンバージョン率を示し、X 軸は時間を示します。 各線は、バリエーション (累積コンバージョン率) + テスト全体のコンバージョン率 (すべてのバリエーションの平均) + 右側の 2 番目の軸 Y を表し、テスト全体の訪問者の累積数を表します。
• 経時的なコンバージョン: Y 軸はコンバージョンを示し、X 軸は時間を示します。 各線はバリエーション (コンバージョン数) + テスト全体のコンバージョン数 (すべてのバリエーションの平均コンバージョン数) + 右の 2 番目の Y 軸を表し、テスト全体でのコンバージョンの累積数を表します。
• 一定期間の毎日のコンバージョン率: 非累積コンバージョン率 – 一定期間のコンバージョン率のグラフと似ていますが、Y 軸には累積訪問者が表示されず、非累積が API に使用される点が異なります。
• 時間の経過に伴う改善: X 軸上の日ごとのコンバージョン率の改善と、各バリエーションの線 (オリジナルではありません)。
• 1 日の訪問者数の推移

製品

• 訪問者ごとの製品 : 訪問者ごとの累積平均注文製品 – Y 軸は訪問者ごとの平均注文製品を示し、X 軸は時間を示します。 各線は、バリエーション (訪問者ごとの累積平均注文商品) + 実験全体の訪問者ごとの平均注文製品 (すべてのバリエーションの平均) + 実験全体内の訪問者の累積数を表す右の 2 番目の Y 軸を表します.
• 訪問者ごとの毎日の製品 : 訪問者ごとの非累積平均注文製品
• 時間の経過に伴う改善 : X 軸上の日ごとの製品の改善と各バリエーションのライン (ただし、オリジナルではありません)
• 1 日の訪問者数の推移

収益

• 経時収益 : 訪問者ごとの累積平均収益 - Y 軸は訪問者ごとの平均収益を示し、X 軸は時間を示します。 各線は、1 つのバリエーション (訪問者あたりの平均収益) + テスト全体の訪問者あたりの平均収益 (すべてのバリエーションの平均) + 右側の 2 番目の軸 Y を表し、実験全体の訪問者の累積数を表します。
• 訪問者ごとの毎日の収益 : 訪問者ごとの非累積平均収益
• 時間の経過に伴う改善: X 軸上の日ごとの収益の改善と各バリエーションの線 (オリジナルではありません)
• 訪問者の推移

グラフにマウスを合わせる

グラフにカーソルを合わせると、その日のすべてのバリエーションのコンバージョン率と、オリジナルと比較したバリエーションのコンバージョン率が表示されます。

標準偏差を表示

チェックボックスをオンにして、標準偏差 (標準誤差とも呼ばれます) を表示することもできます。

統計式 変換 用途

注: 統計用語は別のブログで説明されているため、ここでは繰り返しません。 ここでの目的は、Convert が使用する数式に言及することです。

Convert は、頻度論的両側 Z 検定を 0.05 信頼水準 (95%) で使用します。 これは、80% から 99% の間でこれを変更するオプションを備えた正規対称分布である各テールの .025 です。

Convert レポートにベイジアン統計を追加する予定です。 詳細については、しばらくお待ちください。

任意の方向 (上昇または下降) で統計的に有意な差を見つけたい場合は、両側検定を使用する必要があります。 ここでの目標は、変動が統計的に有意なコンバージョンの増加または減少につながったかどうかを判断することです。

変換速度

この式は、各バリエーションのコンバージョン率を計算するために使用されます。

(目標コンバージョンの合計数 / ユニーク ユーザー数) * 100

バリエーションのコンバージョン率の変更

エクスペリエンスのバリエーションとオリジナルの間のコンバージョン率の変化率は、次のように計算されます。

信頼区間

コンバージョン率周辺の信頼区間を計算するための統計的手法が、各バリエーションに使用されます。

標準誤差 (1 標準偏差) は、二項分布の Wald 法を使用して計算されます。 したがって、特定のコンバージョン率 ( p ) とサンプル サイズ (ユニーク ユーザー数) に対して、標準誤差は次のように計算されます。

標準誤差は、この式を使用して計算されます。この式は、二項分布が正規分布で近似できると仮定しています (中心極限定理のため)。 ）。 特定の目標に対して 10 を超えるコンバージョンがある場合、サンプル分布は正規分布で近似できます。

コンバージョン率の信頼区間を決定するには、標準誤差に標準正規分布の 95 パーセンタイル (1.65 に等しい定数値) を掛けます。

つまり、実際のコンバージョン率 p が次の範囲内にあることを 90% の信頼度で確認できます。

Zスコア

Z スコアを使用して、結果が有意であるかどうかを判断できます (コンバージョン率は、ランダムな変動による違いはありません)。

Zスコア元の平均値と変動平均値の間の標準偏差の数です。 標準正規分布を使用すると、95% の有意性は、ビュー イベント数が 1000 を超え、次の基準のいずれかが満たされる場合に決定されます。

• 確率(Zスコア) > 95%
• 確率(Zスコア) < 5%

改善

(レポートに表示される) 異なる可能性は、次のような確率 (Z スコア) 値から導出されます。

• もしも
  
  確率 (Z スコア) <= 0.5
  
  それから
  改善 = 1 - 確率 (ZScore)
  

• もしも
  
  確率 (Z スコア) > 0.5
  
  それから
  改善 = 確率 (ZScore)

体験レポートを解釈する際の注意事項

Convert エクスペリエンス レポートのすべてのセクションとその統計式を理解したところで、いくつかの異なるエクスペリエンス レポートを解釈して、これらから何が得られるか見てみましょう。

経験データは重要ですか?

結果を評価して次に何をすべきかを判断する前に、経験データが重要であることを確認してください。 Convert エクスペリエンス レポートの「信頼レベル」を使用すると、調査結果が偶然によるものなのか、それともユーザーの行動を反映したものなのかを判断できます。

95% の有意水準は、観測された結論が偶然の結果ではないことを 95% 確信していることを意味します。 また、あなたが間違っている可能性が 5% あることも意味します。

あるいは、信頼水準は、実験を繰り返した場合に異なる結果が得られる可能性と考えることができます。

90% の信頼度を獲得した場合、テストを繰り返すと 10 分の 1 の確率で別の答えが得られる可能性があります。 95% の信頼度では 20 分の 1 の確率であり、99% の信頼度では 100 分の 1 の確率です。

勝利のバリエーション: ポジティブな影響

これは、オリジナルを上回り、プラスの改善をもたらした大幅なバリエーションの例です。

「サブスクリプションのカスタマイズ – ステップ 1 のページ ビュー」という目標では、このエクスペリエンスでバリエーション 1 がバリエーション 0 (オリジナル) を上回る可能性は 98.7% です。 ボックス プロットは、バリエーション 1 を選択すると、オリジナルよりも 13.73% +- 0.6% 改善されることを示しています。

この経験では、改善は +7.20% であると言っても過言ではありませんが、コンバージョン率が 13.73% +- 0.6% の間になる可能性は同じです。 状況に関係なく、バリエーション 1 はオリジナルよりも改善されるため、これはそれを実装する強力な兆候です!

なんで？

同じ条件で同じ体験を 10,000 回繰り返した場合でも、バリエーション 1 は 10,000 回中 9,870 回勝ちます。

バリエーションの喪失: マイナスの影響

バリエーション 1 がプラスの改善をもたらさず、代わりにバリエーション 0 (元の) コンバージョン率にマイナスの影響を与えた重要なエクスペリエンスの結果を詳しく見てみましょう。

このエクスペリエンスでは、98.87% の確率で、バリエーション 1 がバリエーション 0 よりもコンバージョン率で負けます。バリエーション 1 では、オリジナルのコンバージョン率に 4.5% ± 1% のマイナスの影響が予想されます。

決定的でない結果: ニュートラルな影響

次に、重要ではない経験を見てみましょう。 以下の経験では、勝つ可能性が十分に高い、または 95% を超える確率のバリエーションはありません。

この経験では、バリエーション 1 がバリエーション 0 に勝つ確率はわずか 84.58% です。

あなたが取ることができる次のステップは何ですか？

選択できるオプションはいくつかありますが、そのすべては仮説とエクスペリエンスの最終的な目標によって異なります。 どのような場合でも、テーブルには常にいくつかのオプションがあります。

• 視聴者を拡大します。 訪問者セグメントが限定的すぎる場合は、より多くのオーディエンスを持つセグメントに焦点を合わせてみてください。
• 一部のバリエーションを削除します。 たとえば、4 つのバリエーションを開発した場合は、2 つまたは 3 つのバリエーションで同じエクスペリエンスを実行してみてください。
• 長時間実行したままにします。
• 直感に従って、ブランドと最も一致するものを選択してください。 結果が 2 つのバリエーションで類似しており、一方が他方よりもブランドの要件により適していると同僚が同意する場合は、どちらかを勝者として選択することができます。
• エクスペリエンスを再開します。 最初の結果を検証または無効にするために同じテストを 2 回実行することは、賢明な方法です。 状況が同じである可能性は低いため (異なる時間帯、トラフィックの変動など)、結果が異なる場合があります。
• それを許してください。 オリジナルが既に最適化されている可能性があります。

均等なトラフィック分布はありますか?

A/B エクスペリエンスを設定するときは、トラフィックのパーセンテージを各バリエーションに割り当てます (デフォルトでは 50/50)。

訪問者数は、予測されたトラフィック分割を表す必要があります。

有意な差がある場合は、ほぼ確実にサンプル比率の不一致 (SRM) があります。

50/50 の分割で、一方に 400 人の訪問者がいて、他方に 600 人の訪問者がいる場合、結果は信頼できません。 このような場合は、A/B エクスペリエンスのセットアップを検討する必要があります。 結果は、内部 IP アドレスや外部ボットなどの外れ値によって歪められる可能性があります。

データは、それを使って行う分析と同じくらい優れていることを忘れないでください。 Convert Experiences の詳細なレポートなど、自由に使えるすべてのツールを活用して、正確で実用的な洞察を得ることができます。

まだアカウントをお持ちでない場合は、無料トライアルにサインアップして、15 日間お試しください。 この投稿で説明したすべての優れた機能に加えて、さらに多くの機能にアクセスできます. ご不明な点がある場合や、開始する際にサポートが必要な場合は、当社のチームがお手伝いします。