A / BテストのROIを証明するのに苦労していますか？ 助けましょう
公開: 2020-10-29
A / Bテストプログラムの価値は何ですか？ それはあなたの会社にどのような利益をもたらしますか？
A / Bテストがコンバージョン率を最適化し、収益を増やすのに役立つことはすでにご存知でしょう。 しかし、A / Bテストが収益に影響を与えることをどの程度正確に証明できますか？
Matt Gershoffの言葉を借りれば、
A / Bテストは、危害や損失につながる行動の変化を軽減することができます
しかし、これらすべてが、A/BテストプログラムのROIを示す具体的な数値を求めている会社のCスイートに印象を与えるものではない可能性があります。 A / Bテストのメリットを証明することで、今のように激動の時代に経営幹部からサポートを得ることができます。
実験プログラムの価値を証明する方法は次のとおりです。
A/BテストプログラムのROIを計算する
収益を使用して、A/BテストプログラムのROIを計算できます。 ピークアクティビティの人々は、ROIを計算するための優れた公式を持っています。 知っておくべきいくつかの指標は次のとおりです。
セッションあたりの収益（RPS）
コントロールとバリアントの両方のRPSを計算します。 これは、総収益をコントロールとバリアントのセッションの総数で割ったものです。
RPS =（総収益÷総セッション数）
平均売上高の伸び
これには、コントロールとバリアントの両方のRPSが含まれます。 このメトリックは統計的に有意である必要があります。
平均売上高=（バリアントのRPS –コントロールのRPS）– 1
実際のA/Bテストの実行コスト
これは、コントロール収益に平均売上高を掛けたものです。
A / Bテストのコスト=（管理収益*平均売上高の伸び）
トラフィック分割の乗数
まず、コントロールとバリアントの合計セッションを追加して、合計セッションを計算します。 次に、その図を使用して、コントロールとバリアントのトラフィック分布を計算します。
合計セッション=（コントロールセッション+バリアントセッション）
コントロールのトラフィック分散=（コントロールトラフィック÷合計セッション）* 100
バリアントのトラフィック分布=（バリアントトラフィック÷合計セッション）* 100
バリアント変更の値
これは、A / Bテストの実行コストに2を掛けて計算されます。これは、標準のA/Bテストには2つの処理がある傾向があるためです。 この図は、複数の処理がある多変量テストでは異なります。
変更の値=（テストの実行コスト* 2）
テスト期間から得られた価値
これは基本的に、バリアント変更の値から削除されたA/Bテストの実行コストです。
テスト期間の値=（テストの実行コスト–変更の値）
バリアントが稼働した場合の増分収益の予測
1日あたりの平均売上を求めるには、バリアントの変化の値をテストが実行された日数で割ります。
1日あたりの平均売上=（バリアント変更の値÷テスト期間）
収益予測は、1日あたりの平均売上に、予測期間の日数を掛けたものになります。 季節性、販売キャンペーン、顧客行動などの影響が減少するように、十分に予測することを忘れないでください。
全体的なA/Bテストプログラムの価値
これで、A/BテストプログラムのROIを計算できます。
A / Bテストプログラム=（勝ちテスト+負けテスト+コスト）
注：テストに負けた場合は最初の3つのステップのみが必要ですが、テストに勝った場合はすべてのステップが必要です。
成熟したA/Bテストプログラムを実施しているいくつかの企業に、テストのROIの計算方法を共有するよう依頼しました。
これが彼らの言ったことです。
NuLeafNaturalsの運用担当副社長であるIanKellyは次のように述べています。
最初のステップは、実験の総コストを計算することです。 これには、A/Bテストに使用されるツールのコストとテストの実施に必要な時間が含まれます。 時間の価値は、プロジェクトに従業員が費やした合計時間に時給を掛けることによって等しくなります。 また、テストの結果、コンバージョン数が少なくなった場合に備えて、機会費用を追加します。 機会費用は、実験を行わなかった場合に獲得できたであろう追加のお金です。
2番目のステップは、製品の販売で終わる明確な目標到達プロセスを用意することです。 EveryTrackは、目標到達プロセスのすべてのステップです。 これを行うには、Mixpanelなどのツールを使用します。 A / Bテストでは、同じ目標到達プロセスに2つのバリエーションがあります。 変更は、対象となる視聴者、使用される色、または使用されるコピーでさえあります。 両方のバリエーションを別々に追跡して比較する必要があります。
上記のすべてのデータが利用可能になると、A/BテストプログラムのROIを証明するのは非常に簡単になります。 各四半期の終わりにROIを計算することをお勧めします。 いくつかの実験は失敗しますが、いくつかは成功します。 収益の全体的な改善は、A/Bテストプログラムのコストよりも大きくなるはずです。 そうでない場合は、適切なテスト戦略を再検討してください
ThriveCuisineのCMOであるGeorgePitchkhadzeは、彼の会社のプロセスの概要を以下に示します。
実験のコストを計算します。
ROIを計算するには、コストを知る必要があります。 これには、直接的および間接的なコストを含める必要があります。例：
-使用されたソフトウェア/サービスのコスト。
-使用された工数のコスト。
-直接費用（例：メーリングリストやPPC広告の貸し出し費用）。
たとえば、2つの広告プラットフォームをA/Bスプリットテストしているとします。 PPC広告の費用だけでなく、各広告セットの実行にかかる時間と、広告の通知に使用している分析サービスの価格も確認する必要があります。
収益を計算する
この部分は簡単です。 努力から生じる直接収益を計算します。 ここで重要なのは、最新の分析ツールを使用して、売上と収益を、送信された電子メール、FB/Googleの広告セットなどと結び付けることです。
ROIを計算する
収益と投資について正確に把握できたので、ROIを簡単に計算できます。 覚えておいてください：実験の費用を徹底的に計算し、展開された特定のキャンペーンとメッセージに収益を結び付けます
A/Bテストの影響を測定する他の方法
A/BテストプログラムのROIを測定する方法は他にもあります。
Convertの統合責任者であるデータプライバシーおよび情報セキュリティ責任者のDionysiaKontotasiouは、A/Bテストの影響を測定するためのさらに4つの方法を共有しました。
1.いくつの実験が終了していますか？
企業の実験の高い割合が決定的でない場合は、実験が正しく設定されていないことを示している可能性があります。 おそらく彼らは、「この変更により毎月の登録数が5％増加する」などの明確な仮説ではなく、「この変更によりアプリが改善される」などのあいまいな仮説を書いているのでしょう。
あなたの仮説は決定的な結果を生み出していませんか？ Convertの仮説ビルダーを使用して、信頼できる仮説を毎回作成します。
2.製品チームのフィードバック
製品チームには、以前よりも多くのユーザーインサイトとデータがありますか？ 彼らの製品の発売はより成功しているのでしょうか？ はいの場合、これは実行中のA/Bテストが成功したことを示す良い兆候です。
3.実験速度
テスト速度は、特定の期間に実行しているテストの数の尺度です。 これは、テストの設計、開発、テスト、分析、および起動の速度を測定するための運用ベンチマークです。 いくつかのより大きなテストはより長くかかり、結果に大きな影響を与えるために重要ですが、より小さな「クイックウィン」は軽視されるべきではありません。
4.プログラムを実行するための予測コストと実際のコスト
プログラムの実行に費やされた時間または予算を追跡します。 また、A / Bテストプログラムの価値を評価するために、予測される予算とテストプロジェクトへの実際の支出を監視することもできます。
A /BテストプログラムにConvertExperiencesを使用している場合は、目標と各テストバリエーションのパフォーマンスを含む複雑なレポート（下のスクリーンショットなど）にアクセスできるため、ROIを最大化するだけでなく、それを証明することもできます。
結論
A / Bテストの価値は、収益の増加につながる改善点を見つけたり、Webサイトで顧客により良いエクスペリエンスを提供したりすることと、発生する可能性のあるリスクを軽減することの両方にあります。 収益やその他の手段を使用して、A/BテストプログラムのROIを社内のC-Suiteに最終的に証明できます。
ConverttoFindOutを使用してデモを予約します。
デモをリクエストする