実験における入力指標と出力指標: 測定対象の選択方法

実験プログラムのために定義して追跡する指標は非常に重要です。

何を測定するかによって、焦点が決まります。 「測定しないものは管理できない」と言います。

それは完全に真実ですが (体重計を見なくても確実に体重を減らすことができます)、それは方向性と実質的に真実です (体重計を見れば体重を減らすのははるかに簡単です)。

私は、実験においてどの指標が重要であるかについて、かなりの時間を費やして考えてきました。

さらに重要なことは、入力メトリックと出力メトリックの両方について考えるのに多くの時間を費やしたことです。

入力指標と出力指標の違いは何ですか?

入力メトリックは先行指標であり、直接制御できるものです。 通常、彼らは労力、リソース割り当て、および運用効率を追跡します。

入力メトリックの考え方は、それらが出力メトリックに相関するということです。

具体的には、総コンバージョン率がどうなるかを正確に予測することはできませんが、実行している実験の数、成功を本番環境にプッシュする際の効率、およびある程度の成功率を簡単に制御できます。と平均勝利サイズです。

これらは、通常、利害関係者が気にする数値的なビジネス指標である出力指標にマッピングできますし、マッピングする必要があります。 これらは、実験に費やしたすべての努力が実際に ROI の観点から報われているかどうかを示す数値です。

出力指標はビジネスの成果に焦点を当てているため、最初にそれらについて説明します。その理由は、出力指標が入力指標を決定する必要があるからです。

簡単に言えば、アウトプット指標はビジネスにとって重要であり、インプット指標はそれらの結果を得るために制御できる手段です。

実験の出力指標

出力指標は、上司に示すものです。 それらは実験プログラムの価値に結び付けられ、全体としてプラスの ROI を生み出していることを示しています。

現実的には、実験の出力指標は、測定可能な定量的なものであれば何でもかまいません。 ほとんどの場合、これはコンバージョン率のような不連続またはバイナリ メトリックですが、訪問者あたりの収益のような連続メトリックである場合もあります。

いずれの場合も、価値を最もよく表すアウトプット指標をビジネスにマッピングする必要があります。

テスト指標を分割する最善の方法は、マイクロ コンバージョンとマクロ コンバージョン（プライマリ指標およびセカンダリ指標とも呼ばれます）という 2 つのカテゴリに分類することです。

マイクロ コンバージョンとマクロ コンバージョン（およびモニタリング指標）

A/B テスト分野での一般的なアドバイスは、マクロ コンバージョンを最適化することです。

マクロコンバージョンは、あなたとあなたのビジネスによって定義されますが、お金に最も近いものです。 e コマースでは、これは訪問者あたりの購入または収益です。 B2B では、これは質の高いリード コンバージョンや、フリーミアム ソフトウェアの製品サインアップなどです。

いずれにせよ、マイクロ コンバージョンを収益に直接マッピングできるため、これらの実験の ROI は簡単に測定でき、労力を正当化できます。

マイクロ コンバージョンは、マクロ コンバージョンにつながるアクションであり、マクロ コンバージョンの完了と強く相関する傾向があります。

e コマースでは、マイクロ コンバージョンはカートへの追加、バナーのクリック、メーリング リストへの登録などです。 B2B では、価格設定ページへのクリック、CTA クリック、メーリング リストへのサインアップなどがあります。

また、モニタリング メトリックまたはガードレール メトリックもあります。 これらは品質指標であり、改善を目的としていないかもしれませんが、害を及ぼさないことを目的としています. そのため、実験によってコンバージョン率が向上するだけでなく、製品の返品率や払い戻し率も向上する場合、その実験を本番環境にプッシュすることはできません。

この 2 つのカテゴリの間に普遍的かつ客観的な区分はありませんが、明らかな断層がいくつかあります。 つまり、コンバージョンはあなたのビジネスの収益に直接つながっていますか?

ここでは、18 の出力指標について、マクロ コンバージョンとマイクロ コンバージョンに分けて説明します。 最後に、ビジネスに適した出力目標を選択する方法について説明します。

マクロコンバージョン

コンバージョン率指標 (任意のタイプ)

コンバージョン率は最も一般的なアウトプット メトリックですが、さまざまな種類のビジネスで多くのことを意味します。

基本的なレベルでは、エクスペリエンスを表示し、そのエクスペリエンスを表示した後に目的のアクションを完了する人の割合を増やしようとしているだけです。

1.リードコンバージョン率

最も一般的なコンバージョン率タイプの 1 つは、リード コンバージョン率です。

これは、リードになるためにサインアップした Web サイトへの訪問者の割合です。 もちろん、「リード」の定義はビジネスによって異なります。 場合によっては、サインアップしてデモをリクエストするのは誰かです。

場合によっては、企業はさらに掘り下げて、「適格な」リードのみをカウントします。これは、データの強化またはさまざまなディメンションのフィルタリングに基づいて、誰かが製品に適しているかどうかを判断します。

ウェビナーにサインアップした訪問者やホワイトペーパーをダウンロードした訪問者など、マーケティングに適したリードをカウントする企業もあります。

2. 製品のサインアップまたは購入

製品のサインアップは、明確なマクロ コンバージョンです。 物理的な商品を販売している場合、これは購入者です。 あなたがフリーミアム SaaS 企業の場合、これはあなたの製品に初めて参入する人です。

これを主要な実験 KPI として追跡しないマーケティング実験プログラムを想像するのは困難です。

3.活性化率

製品の実験に入ると、製品主導の成長企業が最初に覚えておくべきことの 1 つはアクティベーション率です。

誰かがサインアップした後、意味があり、ユーザーが関与していることを示す製品の最初のアクションは何ですか?

一部の企業では、これを特定のアクションまたはアクション数にマッピングしています (Facebook には有名な 7 日間で 7 人の友達のルールがありました)。

この瞬間は通常、ユーザーが製品の価値を理解する瞬間または行動である「aha moment」と呼ばれます。 この瞬間は通常、定性的なフィードバックと、このアクションをより長い保持率またはより良い収益化率と関連付ける定量的な能力の両方を通じて発見されます。

4.収益化率

アクティベーション率と同様に、収益化率は、多くのフリーミアム ユーザー、または少なくともいくつかのエスカレートする製品層を持つ製品主導の成長企業で一般的に使用されます。

フリーミアム モデルでは、この指標は離散的です。つまり、無料ユーザーが有料ユーザーになる障壁を通過するかどうかです。 他のモデルでは、このメトリックは継続的である可能性があります。たとえば、企業が AWS のように使用量に基づいて課金する場合、「有料」アカウントと「無料」アカウントを区別するほど単純ではありません。

5.メーリングリストのサインアップ

この時点で、ほとんどの企業は、メール マーケティングとしっかりしたメーリング リストの作成の価値を認識しています。 特にコンテンツ マーケターやブロガーにとって最も興味深いマクロ コンバージョンは、読者をメール購読者に変えることかもしれません。

これをドルの値で表現するには分析作業が必要ですが、十分な履歴データがある場合は、通常、収集した特定の電子メールに平均収益値を割り当てることができます。

6. メールアクティベーション率

メールの有効化率は、過小評価されているマーケティング指標です。 誰かがあなたのメーリング リストにサインアップしたからといって、その人が関与している、または価値があるとは限りません。

これは、メール マーケティングの「ハイ フィット リード」バージョンのようなものです。

ここで「アクティベーション」を好きなように定義できますが、多くの場合、「最初の 3 通のメールのうちの 1 つを開いた」など、その人が実際にメールを読んで開いていることを示す別の方法が含まれます。

顧客価値指標

通常、顧客価値指標は連続変数であるため、実験指標として使用するのは少し難しくなります。 しかし、それらはほとんどの場合、実際のビジネス価値に最も近い近似値であり、作業の優れた遅行指標として機能する可能性があります。

7. 訪問者あたりの収益

訪問者あたりの収益は、e コマースの最適な複合指標の 1 つです。 誰もが何かを購入するわけではありませんが、購入する人もいます。 そして、購入者の中には大量の製品を購入する人もいます。

訪問者あたりの収益は、各 Web サイト訪問者の平均値を表すため、購入サイズと購入する顧客数の両方をこの式に含めます。

8. 平均注文額

平均注文額は、購入した人の平均購入サイズを計算します。 これは、サイトで直接購入できる e コマース Web サイトにも当てはまります。 また、B2B 取引の ASP (平均販売価格) の可能性もあります。

9. 購入回数

e コマースのリテンション メトリックの一種で、特定の期間 (月、四半期、年) 内の購入数を追跡できます。

これはリピート購入を追跡し、Web サイトの特性とマーケティング チャネルの両方を示して、より多くのリピート購入者を誘導します (通常はメール マーケティングと有料広告)。 これは、販売だけでなく、2 番目と 3 番目の販売も最適化しようとする総合的な指標です。

10.保持

SaaS 製品では、顧客維持が成長の鍵です。 何千人ものユーザーをサインアップさせることができますが、彼らが支払いをせず、支払いを続けると、時間の経過とともにビジネスは収益を漏らしてしまいます.

多くのことが製品自体を超えてリテンションに影響を与えますが、実験はリテンションの針を動かすのにも役立ちます。 ただし、リテンションを実験 KPI として追跡することは、フィードバック サイクルが長いため、多くの企業にとってやや難しくなります。

11. 顧客生涯価値

最後に、複合指標に関するピラミッドの神秘的な頂点である、顧客の生涯価値です。

これは、収益化や平均販売価格、維持率 (顧客が有料顧客であり続ける時間)、平均コンバージョン率などの先行するすべての指標を考慮に入れ、顧客の生涯価値の数式を使用して複合指標を構築し、平均で顧客はあなたのビジネスにとって価値があります。

これを実験ごとに測定するのは明らかに非常に難しいことですが、ビジネス KPI として知っておくことは重要です。

これにより、製品の価値を高める方法を見つけられるだけでなく、特定のマーケティング チャネルや広告キャンペーンがどれほど実現可能かを示すことができます。

マイクロコンバージョン

1. クリックスルー率 (多くの種類)

クリック率は、マイクロ コンバージョンの主なタイプです。 それが広告からランディング ページまで、またはランディング ページからデモ ページのリクエストまでです。

e コマースでは、これは製品ページへのクリックスルー率として追跡されることが多く、「カートに追加」アクションやショッピング カートの表示としても追跡されます。 これは、メール マーケティング担当者のメール開封率やメール クリックスルー率のようなものでもあります。 メール マーケティング ツールは、この情報を簡単に提供するだけでなく、さまざまなバージョンの A/B テストを実行できる必要があります。

もちろん、ある場所から次の場所に移動するにはクリックする必要があるため、クリック率は購入量またはコンバージョン数の増加と相関するはずです。

しかし、実験の KPI としてクリック率のみを追跡している場合、コピーや UX の策略によってこれを操作できることがよくあります。

ルーカス フェルメールが言うように、

CTR はホテルの予約を最適化するにはひどいものです (たとえば、件名が「FREE BEER」の EMK は CTR を向上させますが、顧客がサイトにビールがないこと、確かに無料のビールではないことを理解すると、売上が減少する可能性があります)。

Andrew Chen はこれを意図の保存と呼び、A/B テストの結果がトップラインに反映されない理由の 1 つだと主張しています。

2. リンクのクリック

リンクのクリック数はその名の通り、特定のリンクをクリックした人の数です。 これは別のクリック率指標ですが、特定のビジネス (アフィリエイトなど) では、アウトバウンドリンクをクリックすることが意図の重要な指標になります。

私は常にリンク クリック トラッキングを使用している Web サイトに設定しています。これは主に、Web サイトのユーザーの行動と最適化の機会を示すことができるためです。

また、一部の実験は、ユーザーの行動の方向性を変えることを目的として設定されています (マクロ コンバージョンにマッピングする場合もあれば、新しいモジュールへのクリック数を増やすことができるかどうかを確認するだけの場合もあります)。

3. 動画再生

ランディング ページに動画がある場合、実際に動画を視聴したり再生したりする人の数を追跡することが重要です。

ただし、動画を追加するだけで、実際に多くの訪問者が動画自体を視聴することなくコンバージョンが増加するという実験を見てきました. したがって、これを追跡している場合でも、実験をページのマクロ コンバージョンにマッピングすることをお勧めします。

4. ビデオの完成

何人がビデオを再生したか、ビデオをどれだけ視聴したかです。 ビデオの完了率またはビデオの完了率は、平均的なユーザーがビデオを最後までやり遂げた距離を示します。

繰り返しになりますが、これは特に教育ページでは重要ですが、リード コンバージョン率などのより適切なビジネス KPI を選択することをお勧めします。 動画の完了を追跡することはできますし、そうすべきかもしれませんが、誰かが動画を最後まで視聴したからといって、その人がコンバージョンに至る可能性が高いとは限りません。

5. 製品ツアー ビュー

フリーミアムや無料試用プランを持っていない多くの B2B 企業にとって、限定的なインタラクティブな製品ツアーは、製品が実際にどのように見え、どのように感じられるかを訪問者に示す優れた方法です。

Pendo の製品ツアーの例を次に示します。

これを KPI として、動画の再生回数やプロモーション モジュールの再生回数と同様に扱う必要があります。 コンバージョン率などのよりビジネス中心の KPI と相関することができますが、常にそうであるとは限りません。 このようなことを追跡するだけでなく、主要な実験 KPI としてマクロ コンバージョンも測定します。

6. 製品見学完了率

繰り返しますが、製品ツアーを見てすぐにバウンスする人もいますが、それらの訪問者は、製品ツアーを見て完了した人とは異なります。 製品ツアーの完了率とコンバージョン率には相関関係があるかもしれませんが、相関関係がない場合もあります。

製品ツアーをそれ自体が製品のように扱っている場合は、もちろん、何人の人がそれを完了しているかを確認することが重要です. これは、製品ツアーの優れた UX 指標です。

7. 価格設定のページ ビュー

ほとんどの B2B バイヤーは、購入前に価格設定ページにアクセスしますが、カスタマー ジャーニーの中でいつこのページにアクセスするかは重要です。 非常に多くのマーケティング担当者が、価格設定ページへのクリック率をマイクロコンバージョンとして追跡します。

これは、e コマースの最適化に存在するカートに追加するバージョンのようなものです。

実験入力指標

実験プログラムの入力メトリックは、プログラム レベルで定義されます。 収益を直接追跡するわけではありませんが、アウトプット指標の改善と相関するアクションです。

ほとんどの場合、実験入力メトリクスは、実験の収益を増やすか、(効率の向上を通じて) 実験の実行コストを削減しようとします。

ここでは、6 つの実験入力指標について説明します。

1.実験速度

実験の速度は、一定の期間に開始する実験の数を測定します。

一般に、ROI の基礎となる 3 つの入力指標は、実行した実験の数、勝者の割合、および平均勝率です。

簡単に言えば、より多くの実験を実行する (または実験ごとのバリエーションを増やす) ほど、勝者が得られる可能性が高くなります (質の高い実験である場合)。

実験速度を上げることは、強制機能としても優れています。 開発と運用のボトルネックが発生している場所と、追加のリソースが必要な場所を確認するのに役立ちます。

2. 確定率

私にとって、一連の決定的でない実験ほどがっかりするものはありません。 少なくとも、私がテストしていることがユーザーエクスペリエンスにとって重要であることをほのめかすことができるので、私は決定的でないテストよりも決定的な損失を見たいと思っています。

そのため、一部の人々は最終的な割合を追跡し始めています。これは、実行したすべての実験のうち、最終的な実験の数です。

プログラムが初期段階にある場合、またはほとんど学習せずに多くの結論の出ない実験を実行しているように見える場合、これはそのわだち掘れから抜け出すための良い指標になる可能性があります。

3.勝率

私たちは皆、成功する実験を行いたいと思っています。 実験の一部は、すべてが勝者になるわけではないことを受け入れることです (勝者がいる場合は、新しい革新的なことに挑戦するのではなく、どれだけ簡単に達成できるかを検討する必要があります)。

勝率は、実行した実験のうち、何件が勝者であるかを示します。

実験の数を増やして勝率を維持すると、ROI が向上します (より多くの実験を実行するための限界費用を想定)。 実験速度を維持しながら勝率を上げると、ROI も向上します。

これは、実験の ROI を改善するための重要な手段です。

4. 勝利ごとの平均上昇率

最後に、成功した実験のうち、成功した平均上昇率はどれくらいですか?

これを制御するのは非常に困難です。なぜなら、実験の規模を予測できれば、それを実行する必要がないからです。

ただし、実験速度や勝率と同様に、実験プログラムの価値を示す明確な先行指標であるため、追跡することをお勧めします。

さらに、より大きな成功を奨励することは、多くの場合、マーケターや製品マーケターが既成概念にとらわれず、より大規模で革新的な実験を試みることにつながる可能性があります。

5.開発時間

実験プロセスを個別のステップに分解します。

通常、ワークフローは次のようになります。

実験のアイデア > 実験のドキュメント > ワイヤーフレーム > 設計 > 開発 > QA > テストの実行 > 分析 > ドキュメント > 本番環境へのプッシュ

計画段階で各ステップの予定期日を設定し、予定期日と実際の期日との差を計算します。 差が大きすぎる場合は、プロセスのボトルネックが発生している可能性があります。

ほとんどの場合、これは設計または開発段階で発生します。

これらの段階を改善できれば、実験のスループットを向上させることができます。これは、私たちが注目する重要な入力 KPI の 1 つです。

6.生産までの時間

開発時間と同様に、本番稼働までの時間は実験プロセスの段階を測定します。つまり、成功した実験を分析してから製品や Web サイトに実際に実装するまでにかかる時間です。

この段階はしばしば過小評価されます。 実験者は勝利を祝って次のゲームに移りますが、どれだけ早く実装できるかが重要です。 1 つには、最適ではないバリアントで操作している時間の後悔が減ります。

第 2 に、この段階で改善することで、開発者の時間を後続の実験の設定に集中させることができます。

構成指標と総合評価基準

総合評価基準として知られる実験の概念があります。 北極星指標と呼ぶこともできます。

これは、ガードレール メトリックを考慮したメトリックです (つまり、害やユーザー エクスペリエンスの損失を暗示する可能性のある監視および説明するメトリック)。 ガードレール指標には、直帰率、離脱率、さらには NPS や CSAT などの態度スコアなどを含めることができます。

全体的な評価では、いくつかの異なる出力指標を 1 つの成功指標に組み合わせる場合もあります。

これらの指標は、クリックのような短期的な指標ではなく、マクロ ビジネスの目標を追跡するものです。

Ronny Kohavi は、「購入数、収益、利益、期待生涯価値、またはこれらの重み付けされた組み合わせ」の例を挙げました。

全体的な評価基準を作成することは望ましいことですが、特にビジネス モデルがマーケットプレイスであるか、e コマースほど単純ではない場合は、通常、多くのデータ エンジニアリング作業が必要になります (ただし、この場合でも、顧客の生涯価値を追跡することは困難です)。実験ごとに）。

ただし、より広い意味で言えば、1 つの包括的な成功指標 (長期的なビジネス価値とガードレール指標を考慮した指標) の形成に近づくほど、実験プログラムとその目的が明確になります。

実験の目標と KPI の選択方法

さて、十数個の出力メトリクスといくつかの入力メトリクスについて説明しました。

問題は、あなたとあなたのビジネスが何に焦点を当てるかをどのように選択するかです。なぜなら、それは選択*であり、その選択からあらゆる種類のインセンティブ、行動、行動が流れるからです。

指標、目標、および KPI を選択するために私が思いついた最良の方法は、目標ツリーを作成することです。

Speero は、ゴール ツリーの視覚化の優れた例をここに示しています。

その中で、顧客満足度の指標を含む企業レベルの目標から始めます。 これは、機能開発の成功に焦点を当てたチーム レベルの目標につながります。 次に、新しい機能の提案をテストしてアイデアを出すことに焦点を当てた、個人レベルの目標にゆっくりと進みます。

私は、すべてのチームおよび個人の目標は、会社の目標に直接反映され、貢献されるべきであると信じています。 これが整合性であり、会社の目標に貢献する結果を達成すると、会社の使命に対する真の ROI を示しているため、プログラムに対する期待が高まります。

これがあなたの会社でどのように見えるかは、多くの要因によって異なります。 重要なことは、この演習を実行して、どの目標を選択するかについて批判的に考えることです。

結論

実験で目標をどのように定義するかは、それらの目標の下流にあるほぼすべてのアクションに影響します。

理論的には、アウトプット レベルとインプット レベルの両方で追跡可能なメトリクスは何千もあります。 追跡するだけでなく、実験やプログラムの有効性を評価するために適切な指標を選択することは、プログラムの成功にとって非常に重要です。

したがって、実際には、できる限り少ないメトリクスに注目することを選択する必要があると思います。 これにより集中することができますが、数か月または数年にわたってこれらを改善する時間も得られます。

私は自分の目標を、入力指標と出力指標の 2 つのカテゴリに分けるのが好きです。 出力指標は、個々の実験または実験プログラムの結果を判断するものです。 それらは私がチームと幹部に報告するものです。

入力指標は、より効果的なプログラムを構築するのに役立ちます。 それらは、私自身の努力と私のチームの努力を判断するものです。

プログラムの実験指標をどのように定義しますか? 入力指標に注目しますか、それとも出力と結果だけに注目しますか?