「すべてをテストする」—紙面から実習まで

はっきりさせておきましょう。

A / Bテストを適切に実行し、プロセスから学ぶ限り、売上や収益に直接影響を与えない場合でも、A/Bテストをさらに実行することは間違いではありません。

しかし…

すべてのテストには、時間、労力、人的資本などの投資が必要です。

では、なぜ一部の専門家はすべてをテストすることを提唱しているのでしょうか。 そして、その中間点は何ですか…特にあなたにとって…うん…あなたはこの記事を読んでいます。

今、あなたはたくさんの良いテストのアイデアを持っているかもしれません、そしてあなたがそれらすべてをテストするべきかどうか知りたいです。 しかし、それは重要ではありません！ ナタリアがSpeeroのベンラベイとのインタビューで述べているように：

そこには何百もの素晴らしいアイデアがありますが、それは重要ではありません。 重要なのは、適切なタイミングで作業する適切なものを見つけることです。

すべてをランダムにテストし始めたくなるかもしれませんが、適切な仮説を適切なタイミングでテストすることを優先することが重要です。

適切な優先順位付けを行うことで、 「すべてをテストする」という考え方を養うことができます。 ただし、ほとんどの仮説の優先順位付けモデルは不十分です。

すべてをA/Bテストする必要があるかどうか、優先順位付けが意思決定にどのように役立つか、従来のオプションの制限を克服する独自の優先順位付けモデルを作成する方法を理解するために、もう少し深く掘り下げてみましょう。

すべてをテストする：なぜそれが推奨されるのですか？

この物議を醸すアプローチを検討することから始めましょう：すべてをテストすることは意味がありますか？

続けて、サイドを選んでください。

デフォルトのアクションは何ですか？

この記事の残りの部分を読んだり、より多くのデータを収集したりせずに、あなたにとって「口に合う」とは何ですか？

終わり？

それでは、私たちの推論があなたの推論と一致するかどうかを見てみましょう。

「すべてをテストする」という難問に取り組む前に、A/Bテストとその結果が何を意味するのかを理解する必要があります。

統計的妥当性

A / Bテストは、考えている変更が主要業績評価指標（KPI）に影響を与えるかどうかを確認するための統計的に有効な方法です。

たとえば、ブログへのアクセスを増やすことが目標の場合は、ブログをメインナビゲーションメニューに追加できます。 新しいメニューは、古いメニューのコピーではなくなりました。 ただし、この変更は、サイト訪問者の行動にプラスの影響を与えない場合は役に立ちません。

2つのバージョンが構造的に異なるという単純な事実は重要ではありません。 全体として、重要なのは、あなたが望み、期待した結果の実現です。 人々は、ブログがフッターに隠れているときよりも、メインメニューに表示されているときにブログにアクセスする傾向がありますか？

常識は「はい」と言うかもしれません、 （プラスの）効果があるはずです。 ただし、テストでは、影響の尺度として監視するために選択したメトリックの変更が表示されない場合があります。

これが当てはまる場合、A/Bテストもリスクを軽減します。

リスクの軽減

サイト全体の変更の実装は複雑で、まったく異なる球技です。

ユーザーが望まない機能を構築し、期待される結果が得られないWebサイト要素をカスタマイズすることで、変更を加えてリソースを浪費するリスクを冒すことになります。 これは、A / Bテストが必要な主な理由の1つです。これは、提案されたソリューションが実際に実装される前の酸テストであるためです。

A / Bテストのビルドアウト（特にクライアント側のビルド）は、ハードコードされたWebサイトの変更や忠実度の高い機能よりもリソースを消費しません。 これにより、特に主要KPIが正しい方向に動いていないことが結果に示されている場合に、特定のルートをとらないように緑色のライトが表示されます。

テストを行わないと、単に機能しないエクスペリエンスに投資することになります。 収益とパフォーマンスを保護するために以前の設計に戻らなければならない可能性があることを知らずに、それはあなたが取る盲目的なリスクです。

Analytics-toolkit.comの作成者であるGeorgiは、A/Bテストは本質的にリスク管理ツールであるとさえ主張しています。

あなたがテストできるのになぜそれを危険にさらすのですか？

（—これについてはブログの後半で詳しく説明します。読み続けてください！—）

傾向分析

から学んだテストを一貫して実行すると、特定の入力に対する視聴者の反応の傾向を見つけ始めます。 1回の反復から価値のあるものを導き出すことができると想定しないのが最善です。 ただし、時間の経過に伴うメタ分析（単一変数A / Bテスト環境）により、特定の仮説のテストを他の仮説よりも優先する可能性があるという自信が得られます。

実験には多くの利点があることを考えると、一部の専門家はすべてをテストすることを支持しています。

一方、多くの専門家は、少なくとも以前の実験からの再現可能な結果に触発されて、大きな質問に答えることを提唱しています。

GoodUIの編集長であるJakubLinowskiは、最も注目に値する人物の1人です。 彼は、実験は予測を可能にする知識を生み出すと主張している。 彼は、知識、戦術、パターン、ベストプラクティス、およびヒューリスティックを追求することが重要であると考えています。

実験から得た知識は、より信頼性の高い予測を行うのに役立ちます。 これにより、より正確な仮説を作成し、それらに優先順位を付けることができます。

一見、これらの見方は矛盾しているように見えるかもしれません。 しかし、彼らは同じ議論を補強します、 「実験は不確実な世界に確実性をもたらします。」

データセットについて仮定を立てるか、複数の業種や業界にわたって、同様の望ましい最終結果を得るために実行されたテストからの信念を引き継ぎます。

Convertでは、両方のビューからインスピレーションを得て、次の2つの簡単な方法で1つのファセットが次のファセットを構築する方法を確認します。

学習とテスト：インスピレーションを得たテストのための実用的なデュオ

質問すべて

これはストイックマスターからの永続的な教えです。

あなたがあなたの周りのすべてに質問するとき、あなたはあなたがあなたが出会う人々、あなたが住んでいる文化、そしてあなたの脳が従うことを選択するヒューリスティックからあなたが拾うものの複合体であることに気づきます。

通常私たちを駆り立てるこの「直感」は、通常私たちのものではありません。

たとえば、私たちの多くは、消費を中心とした贅沢なライフスタイルを送ることを夢見ています。 しかし、これは本当に私たちから来たのでしょうか？ それとも、私たちは広告、メディア、ハリウッドの犠牲者ですか？

メディアと広告は、主に消費者になるという個人の夢と欲求を形作る上で主要な役割を果たし始めました…そして、個人を誘惑し、彼が望むものは内から生じる自由な決定であると彼に信じさせることが可能になりました彼（しかし実際には、彼は主観的であると彼が言った欲求を生み出し、彼のために自動的な欲求を生み出した何百もの広告に捕らわれています。

アブデルワハブエルメシリ

自分だけの「直感」を使って変更やビジネス上の意思決定を行うことは賢明ではありません。 私たちが行いたい変更と私たちのビジネスで実施したい決定が私たちからのものであると確信できない場合、なぜ私たちはそれらに執着するのですか？

すべてに質問することは不可欠です。 あなたの腸、ベストプラクティス、優先順位付けモデルなど。

そして、私たちがすべてに疑問を投げかけるならば、次のステップはそれを実験を通して数学的検証にかけることです。 質問をやめても、不確実性から確実性へのループは閉じられないからです。

実験から学ぶ

テストしないと学ぶことができません。

洞察を適切に定量化するようにしてください。 学習内容を意味のあるものに変換するには、A/Bテストで定性的データと定量的データの両方を活用する必要があります。 たとえば、コンテキスト、テストの種類、テストの場所、監視対象のKPI、テスト結果などによって平均的な影響をグループ化します。

この系統的なアプローチの良い例は、 GOODUIデータベースです。

これは、A / Bテストで繰り返し実行されるパターンを識別し、企業がより良い、より速い変換を達成するのに役立ちます。

GOODUIは、 366のテスト（メンバーのみ）に基づく124のパターンを備えており、毎月5つ以上の新しい信頼できるテストを追加しています。 GOODUIデータベースは、実験から学習し、それらの学習をパターンに定量化することで、面倒なA / Bテストプロセスを短縮し、顧客がより多くの利益を得ることができるようにします。

これらのパターンからいくつかのインスピレーションを得る：

パターン＃2：アイコンラベル：https：//goodui.org/patterns/2/

パターン＃20：定型応答：https：//goodui.org/patterns/20/

パターン＃43：長いタイトル：https：//goodui.org/patterns/43/

しかし、焦点を当てる…アイデアの優先順位付け

会社固有の結果を考慮しながら、包括的なビジネス目標に沿ったアイデアに優先順位を付けます。

これを想像してください。

あなたはまともな顧客基盤でビジネスを運営しています。 ただし、これらの顧客の維持率は15％未満です。 あなたの主な目標は、はるかに高いレートで顧客を維持する持続可能なビジネスを構築することです。 この目標は、優先順位に影響を与えるはずです。

2つのアイデアがあり、どちらを最初にテストするかを知りたいとします。1つは既存顧客率を高める可能性があり、もう1つは新規顧客からの売り上げを増やす可能性があります。 後者は改善の可能性がはるかに高いにもかかわらず、おそらく最初のアイデアを優先する必要があります。

これは、顧客維持率が高いほど、長期的にはより安定したビジネスを意味するためです。 これは、包括的なビジネス目標と戦略と完全に一致します。

他のアイデアはあなたにもっとたくさんの新しい売り上げを得るかもしれません。 しかし、最終的には、あなたのビジネスは依然として顧客の85％以上をリークしているでしょう。

実験の優先順位付けモデルは、テスト対象の戦略的重要性を常に考慮していません。 彼らは、さまざまなアイデアの影響や努力などを検討しますが、それらのアイデアのどれがビジネス戦略や方向性に最も適しているかについては考慮していません。

Jonny Longden、TestEverything経由

ほとんどの優先順位付けモデルはどこで不足していますか？

あなたが熱心なオプティマイザーなら、A/Bテストのアイデアの長いリストがあるかもしれません。 ただし、トラフィックとリソースが限られているため、すべてをテストすることにした場合でも、一度にすべてをテストすることはできません。

それは、やることリストが長く、同時にすべてに取り組むことはできないことを知っているようなものです。 したがって、優先順位を付けて、優先度が最も高いものから始めます。 これは、実験で利益を上げることに当てはまります。 適切な優先順位付けを行うと、テストプログラムははるかに成功します。

しかし、David Mannheimが彼の記事で書いたように、A/Bテストの優先順位付けは非常に困難です。 これは主に

• 多くの場合、ビジネス目標に焦点を合わせていないアイデアを生み出します。
• 以前の実験からの反復と学習を考慮しないでください。
• 機能不全の優先順位付けモデルを使用して、問題に任意のフレームワークを追加してみてください。

そして、これらはまた、最も人気のある優先順位付けモデルでさえ見落としがちで、物事を間違える傾向があるいくつかの領域です。 しかし、それはなぜですか？ 適切な優先順位付けの欠如に寄与するいくつかの重要な要素を次に示します。

• 誤解を招く要因：テストを選択するために使用する要因は、非常に誤解を招く可能性があります。 最初は努力であり、努力の少ないアイデアは迅速な優先順位付けに値するという印象を与えます。
• 重み関数：ほとんどのモデルは、因子に任意の重みを割り当てます。 ランダムに優先順位を付けることはできません。 その理由が必要です。
• 複雑な反復：優先順位付けの目的で、既存のテスト反復（学習によって駆動される）と新しいアイデアを区別することはできません。

手始めに、 PIE優先順位付けフレームワークは、以下に基づいて仮説をランク付けします。

• 改善の可能性
• 重要性
• 簡易

しかし、どのようにしてテストアイデアの可能性を客観的に判断しますか？ の創設者であるPeepLajaとして、これを事前に知ることができれば CXLは、優先順位付けモデルは必要ないと説明しました。

PIEモデルは非常に主観的です。 また、ビジネス目標とうまく一致せず、リスクの低いソリューションを促進します。 使いやすさは、労力の少ないアイデアを優先する必要があることを示唆しているため、誤解を招く恐れがあります。

リスクが大きいほど、報酬も大きくなります。

そして、これはあなたがより洗練されたアイデアで自分自身に挑戦する場合にのみ当てはまります。

もう1つの人気のあるモデルであるICE （Impact、Confidence、およびEase）スコアリングモデルは、 PIEによく似ており、 PIEと同じ欠陥があります。

PXLフレームワークは、これら2つを改善したものであり、「潜在的な」または「影響」の評価をはるかに客観的にします。 ただし、まだ欠点があります。

まず、ビジネス目標との整合性を考慮していません。 第二に、現在のテストの反復とまったく新しいアイデアを区別しません。

Brainlabsのコンバージョン率最適化のグローバルVPであるDavidMannheimは、以前のコンサルタントであるUser Conversionでクライアント向けに作成した200以上の実験すべての50％が相互の反復であったことを明らかにしました。 彼らはまた、元の仮説から80％改善された値を作成し、次のように述べています。

「コンセプト」が機能することはわかっていましたが、実行を変更することで、6回以上の反復を追加すると、元のバージョンから80％を超える増分ゲインが得られました。

Convertは、 「Running Experience Informed Experiments report 」で、インタビューしたほぼすべての専門家が、学習がアイデアの成功を促進することに同意していることを発見しました。 これは、 H＆Mの学習パターンへの取り組みによってさらにサポートされます。

製品チームのH＆Mで実行する他のほとんどすべての実験は、以前の実験または他の調査方法の文書化された学習によって裏付けられています。

マティアス・マンディアウ

独自のA/Bテストの優先順位付けモデルを作成するにはどうすればよいですか？

優先順位付けは、「すべてをテストする」という考え方を奨励します。 それは、最も差し迫った問題に最大のへこみを作るアイデアと仮説を（最初に）テストする自信を与えます。

しかし、すべてのビジネスは異なります。 したがって、万能の実験優先順位付けアプローチはあり得ません。 デビッドが指摘したように、文脈は王様です。

基本的に、すべてのモデルは間違っていますが、いくつかは便利です。

統計家のジョージEPボックス

上記の例から、すべてのモデルに欠陥があると言えますが、いくつかは有用です。 秘訣は、ビジネスにとって最も有用で影響力のあるモデルを作成することです。

モデルを構築するための4つのステップは次のとおりです。

1.例に触発される

優れた優先順位付けモデルを開発するための最も有益な方法の1つは、さまざまなモデルから機能を選択し、組み合わせて、限られたニッチピッキングでブレンドを作成することです。

たとえば、 「アイテムを追加または削除しますか？」などの質問をするPXLのより客観的な評価アプローチからインスピレーションを得ることができます。 。 同時に、 ICEの衝撃角度を考慮して追加することができます。

2.重要な要素のためのスペースを作る

ビジネス目標に沿った要素を含めます。 これにより、表面レベルの指標や結果だけでなく、コア成長ドライバーや顧客生涯価値（LTV）や顧客維持率などのKPIに焦点を当てることができます。

前述のように、実験に優先順位を付ける場合は、企業固有の学習も重要です。 特定のソリューションは、一貫して歴史的に他のソリューションよりも優れていますか？

また、反復の可能性を考慮してください。 反復は、特定のビジネス問題の解決に向けてより前進し、より成功するのに役立ちます。 trueの場合、反復の可能性がある仮説は、スタンドアロンテストよりも優先される可能性があります。 さらに、実験は、努力が互いに影響し合うフライホイールでなければ何もありません。

最後に、複雑さ、時間、コスト、実験の優先順位付けに使用される従来の手段など、リソースへの投資を考慮に入れます。

3.重みが重要

実行するテストから何を取得するかを決定します。 新しい画期的なアイデアを模索していますか？ または、解決策が見つかるまで問題領域を悪用しますか？

ニーズに合わせてスコアリングシステムをカスタマイズします。 これをよりよく理解するために、2つの異なるタイプの実験を考えてみましょう。

1. ナビゲーションメニューにブログを追加すると、ブログへのアクセスが増加します。
2. チェックアウトページのフォーム入力を減らすと、カートの放棄率が下がります。

この例では、優先順位付けモデルに2つの要素のみを選択したと仮定します。 1つは反復の可能性であり、もう1つは影響の可能性であり、各因子について1〜5のスケールで各仮説を評価します。

現在のテストの主な目標は、eコマースサイトのカード放棄の問題を修正することです。 おそらくテストで修正しないので、反復の可能性にもっと重点を置く必要があります。 また、カートの放棄を大幅に減らす前に、単一の仮説内で何度も繰り返す可能性があります。

スコアを2倍にすることで、反復の潜在的な要因を比較検討できます。

最初の仮説に、影響の可能性のある要因の「4」を与えましょう。 そして、反復の可能性を表す「2」。 次に、フォーム入力の仮説では、影響と反復の両方の潜在的な要因に対して「3」を使用します。

反復の可能性を強調しないと、 「4 + 2 =3+3」というネクタイになります。

しかし、この係数のスコアを2倍にした後、仮説2が勝ちます。

最初の仮説の最終スコア： 「4 + 2（2）= 8 」

2番目の仮説の最終スコア： 「3 + 3（2）= 9 」

肝心なのは、外部と内部の考慮事項が変わると、同じフレームワークの優先順位付けの出力も変わるはずだということです。

4.正しい頭字語に達するまで、すすぎ、繰り返します。

1回の反復で良い結果を期待しないようにしてください。 ビジネスに適した優先順位付けモデルが完成するまで、変更を続けます。

たとえば、ConversionAdvocatesは、次の略である独自のフレームワークIIEAを作成しました。

• 洞察
• アイデア
• 実験
• 分析

IIEAは、開始前にすべての実験の学習目標とビジネス目標をリストすることにより、ほとんどのモデルの2つの主要な問題を解決しようとします。

最終的に作成する頭字語が何であれ、それを絶えず見直し、再評価します。 ConversionAdvocatesの最適化責任者であるSinaFakは、過去5年間IIEAを改良してきたと述べました。

2013年以来、彼らはこのカスタムフレームワークを使用して、コストの削減やコンバージョンの増加など、いくつかの企業が重大な問題を解決するのを支援してきました。

あなたは便利なICEやPIEではないかもしれませんが、結果はおいしいでしょう。

新しい非常に便利な優先順位付けモデルを使用すると、従来の学習から借用し、潜在的に「すべてをテスト」することができます。

私たちの本でお互いに有利です！