どうすればテスト速度を上げることができますか？ なぜ高速プログラムが必要なのですか？
公開: 2019-05-22
通常、毎月4つのCROテスト（つまり、1週間に1回のテスト）を実行し、テストの10％が勝った場合、優れた最適化プログラムを実行しています。 それはまともなテスト能力と素晴らしい勝率です。
さらに良いことに、あなたが勝利したテストのために良い上昇を管理し、あなたのプログラムのパフォーマンスが時間とともに改善し続けるならば。
しかし、ほとんどの最適化プログラムはあまりうまく実行されません。
実際、CROの取り組みに満足している企業は22％にすぎません。
つまり、なんと78％の企業が最適化プログラムを最適化できるということです。
しかし、どのように…
ほとんどのコンバージョン最適化プログラムを殺すもの
ほとんどの最適化プログラムの問題は、それらが長期的な成功のために設計されていないことです。 代わりに、それらはテストごとに繁栄します。
このようなプログラムは、ほとんどの場合、最後に実行したテストと同じくらい効果的（または効果的ではない）です。
そして、それらを実行している企業は、実験の実施を勝利と見なしています。 彼らの近視眼的な見方は、一貫した品質テストプログラムをサポートするためのインフラストラクチャを開発することを妨げています。
どんな実験でも良い実行が必須であることは事実ですが、悪い実験でも本当にうまく実行できます。
しかし、これが起こったとき、誰も勝ちません。
実行のみに焦点を当て、アイデア、仮説、文書化/学習など、実際に実験の質を決定するステップに十分な時間と労力を費やさないことは、通常、たとえあったとしても、短期間の成功にすぎません。
それでは、テスト速度を上げて、優れた最適化プログラムを実行する方法を見てみましょう。 すでに実行している場合は、これらのヒントを使用して、勝率とプログラム全体のパフォーマンスをさらに向上させることができます。
ここに行きます。
テストするアイデアをさらに生成する方法
毎月（少なくとも）4つのテストを実行するには、テストのアイデアでいっぱいのパイプラインが必要です。 「アイデアバンク」がなければ、優れた一貫したテスト速度をサポートすることはできません。
それにもかかわらず、ほとんどのCROプログラムでは、チームの誰かが何らかのCROテストエピファニーを持っているときにテストが計画されます。
理想的には、実験プログラムに品質テストのアイデアを絶えず流入させる必要があります。 これらのテストのアイデアは、次のものから得られます。
- CROツールが生成する大量のデータを掘り下げます。 テストのアイデアを見つける最良の方法は、データを掘り下げることです。 Google Analytics、Kissmetrics、Mixpanelなどの分析ソリューションは、ほとんどの人を失ったページやエンゲージメント率の低いページを見つけるための優れた情報源です。 Hotjar、Clicktale、Decibelなどのツールは、ユーザーがWebサイトで何をしているかを示し、実際のコンバージョンホットスポットを特定するのに役立ちます。 次に、UserTesting、UsabilityHub、Usabillaなどのソリューションがあります。これらのソリューションを使用すると、テストの重要な機会につながる定性的なフィードバックの山を収集できます。 非常に多くのデータサイロを確認することは困難ですが、これらは真に優れたテストのアイデアが生まれる場所です。
- 手動CRO監査の実行。 WebサイトのCROを監査すると、テストで最も価値のある最適化のギャップがいくつか明らかになります。 CRO監査を実行すると、Webサイトのあらゆる側面（およびそれ以降）を体系的に調べて、どこでお金を失う可能性があるかを確認する必要があります。
- Stuck Scoreなどの評価を使用して、Webサイトの「コンバージョンの障壁」を特定します。 また、Stuck Scoreのような評価を使用して、Webサイトの変換の問題を明らかにし、テストするための優れたアイデアを提供することもできます。 これらのツールはインテリジェントであり、Webサイト全体でテストの機会を正確に見つけることができます。
これらのソースを利用し始めると、一貫したアイデアの流れを生み出すことができるはずです。
しかし、品質テストのアイデアを生み出すことは、この問題の1つの側面にすぎません。 もう1つは、検討中のアイデアに関するコミュニケーションとコラボレーションの欠如です。 これは些細なことのように思えるかもしれませんが（結局のところ、必要なのはデータだけだからですよね？）、これらの問題は人々に深く影響し、実験の文化を歪める可能性があります。
たとえば、Googleが試した有名な41色の青い実験を見てみましょう。 グーグルの実験—データに基づいたもの—は、エンジニア主導のアプローチを採用したことで依然として批判されていた。 Googleの社内デザイナーとして働いていたダグラスボウマンは、Googleが実験をどのように処理したかについて、次のように感じています。どちらが優れているかを確認します。 最近、境界線の幅を3、4、5ピクセルにするかどうかについて議論があり、自分の主張を証明するように求められました。 そんな環境では操作できません。 私はそのような小さな設計上の決定について議論することにうんざりしてきました。」
検討しているアイデアを共有し、チームを関与させることなしに、誰もが参加したい実験の包括的な文化を構築することはできません。
Compass（Convert Suiteの）のようなCROツールを使用すると、このようなデータに裏打ちされたコラボレーションのアイデアを簡単に実現できます。 Compassを使用すると、さまざまなデータソースをまとめることで、データに裏付けられたテストのアイデアを思い付くことができます。また、StuckScoreからの洞察に基づいてテストするアイデアを提案できます。 Compassを使用すると、チームメンバーを招待して、フィードバックなどのオプションを利用することもできます。
データに裏付けられた仮説の形成とレーザーに焦点を当てた優先順位付け
テストのアイデアがわかれば、そのうちのいくつかは明白です。 たとえば、コンテンツが読めないというユーザーフィードバックを受け取った場合（たとえば、対象の人口統計が40歳以上の人である場合）、フォントサイズを大きくしたり、色を正しく変更したりするというアイデアを実装できます。あちらへ。 結局のところ、CSSコードを少し変更するだけで1分間の修正になります。
いくつかのアイデアは有望に見え、テストする価値があるように見えますが、それでもそれらをサポートするための「十分な」データポイントを探す必要があります[これについては後ほど詳しく説明します…]。
また、漠然としていて、検証する方法がないため、単に破棄しなければならないアイデアもあります。 たとえば、CRO監査でNPSスコアが低いことが示され、それがコンバージョン率の低さの理由であることがわかった場合、簡単な実験を使用して修正することはできません。
これらのうち、実際に強力な仮説に変換できるアイデアは、実際のテストの機会です。
ただし、作成する各仮説をサポートするには、大量のデータが必要です。 したがって、たとえば、モバイルランディングページのエクスペリエンスを最適化するとコンバージョン率が高くなると仮定した場合、それをサポートするために多数のデータポイントが必要になります。 この場合、使用できるデータの一部を次に示します。
- モバイルコンバージョンが少ない—GoogleAnalyticsなどのWeb分析ソリューションを介したデータ。
- モバイルトラフィックのドロップオフが異常に高くなっています。これも、GoogleAnalyticsなどのWeb分析ソリューションを介したデータです。
- 顧客からの不十分なフィードバック—ユーザーテストソリューションを介したデータ。
ご覧のとおり、この仮説を形成するデータは、複数のデータソースから入力したため、非常にバランスが取れています。 また、定量的データと定性的データの両方があります。 理想的には、すべての「テストに値する」アイデアをサポートするために、このようなバランスの取れたデータを見つける必要があります。
しかし、あなたはまだ終わっていません。
すべての良い仮説の準備ができたら、それらをスコアリングまたは優先順位付けする方法が必要になるためです。 そうすることで、最初に試すべき仮説、またはまったく試すべき仮説がわかります。 ヒント： 「新しいウェブサイトのデザインをテストしてみましょう!!! それは私たちの売り上げを急上昇させるでしょう。」 通常、非常に悪い仮説です。
仮説のテストがどれほど実用的であるかを決定するには、多くの要因が関係します。 ここでは、実装時間と難易度、および変換に与える可能性のある影響を考慮する必要があります。
しかし、ほとんどの企業はこのための優先順位付けモデルを欠いています。 これにより、たとえば、1か月分のCRO帯域幅を使い果たす大規模な設計の見直しなどの野心的なテストが開始されることがよくあります。 つまり、少なくとも1か月間は、これ以上テストを計画または実行できません。 最悪の部分は、そのような野心的なテストでさえ、重要な結果を保証しないということです。
これを回避するには、CXLのPXL優先順位付けフレームワークを使用できます。 このフレームワークでは、提案された変更をよりよく理解し、調査中に発見された問題、その潜在的な影響、および実装の取り組みにどのように対処するかを評価するなど、非常に詳細なレベルで考える必要があります。
仮説に優先順位を付けるために、PIEおよびICEスコアフレームワークを確認することもできます。
仮説に優先順位を付けるさらに賢い方法は、実験がどれほどリソースと時間のかかるものであるかを示すことができるCROツールを使用することです。 たとえば、Compassは、すべての仮説について適切な見積もりを提供します。
A/Bテストから学ぶ
テストは決定的ではない場合があります。
ほとんどのコンバージョン率最適化プログラムでは、統計的有意性に達するテストの20％が低くなります。
したがって、すべての学習はテストミックスに戻り、より優れた、より洗練されたアイデアや仮説を考え出すために使用する必要があります。
それだけでなく、チャレンジャーバージョンが勝った場合、実験に勝つことは実際には敗者になる可能性がありますが、収益は低下します。
さらに、仮説が非常に強力でデータに裏付けられたものである場合、（最初の実験が勝ったとしても）約3〜4回の追跡実験を作成するのが一般的です。
つまり、実験結果を解釈して記録するだけでは不十分です。 意味のある反復テストを計画するには、実験プロセスを実行するたびに、実験プロセス全体を文書化する必要があります。
LinkedInは、その観察と学習を文書化することで、失敗した実験をフォローアップすることができました。これは、実際にテストされている主要な機能の勝者でした。 これが完全なスクープです：
2013年、LinkedIn Searchは、アップグレードされた統合検索機能をリリースするという主要な実験を開始しました。 基本的に、LinkedIn Searchは、「People」、「Jobs」、「Companies」などの修飾子を必要とせずに、クエリの意図を自動的に把握するのに「十分に賢い」ものになりました。 このリリースでは、検索ランディングページが完全に刷新されました。ナビゲーションバーからボタンやスニペットに至るまですべてがやり直されたため、ユーザーは多くの変更を目にしました。
しかし、実験は失敗し、LinkedInはその主要なメトリクスタンクを見て驚いた。
チームは、一度に1つの変更をバックトラックして元の設計にロールバックすることを決定しました。これにより、ユーザーがうまく機能しなかった変更を特定できるようになりました。 この時間のかかるロールバック中に、LinkedInは、人々が好まなかったのは統合検索ではないことを発見しましたが、クリック数と収益を低下させたのはいくつかの小さな変更のグループでした。 LinkedInがこれらを修正すると、統合検索は優れたユーザーエクスペリエンスを提供することが示され、すべての人にリリースされました。
したがって、単純なA / Bテストであろうと、複雑な多変量テストであろうと、開始する実験はすべて詳細に文書化する必要があります。 その学習も文書化する必要があります。 そうすることで、将来の（またはフォローアップする）実験が実際に以前の実験よりも優れていることを確認できます。
Convert CompassなどのCROツールを使用すると、アイデア、観察、仮説、および学習のナレッジベースを構築して、チーム全体が一緒に学習および成長できるようにすることができます。 それだけでなく、Compassはあなたの学習を使用して、次に試すことができる仮説を提案することもできます。
まとめ…
CROプログラムのアイデア、仮説、学習の部分を最適化することで、実験の質を劇的に向上させることができます。 そして、これらを介してすべての人々と協力し、関与することで、包括的な実験文化を構築し、後押しすることができます。
アイデアを出すときにすべてのデータをまとめるのが難しい場合や、仮説を立てる（および優先順位を付ける）ときにデータが圧倒される場合、またはフォローアップ実験のために学習を文書化または使用するのに苦労する場合もありますが、これらはテストを増やすのに役立ちます速度を上げ、長期的なCROの成功のための基礎を築きます。
このような重労働をすべて行うCROツールを使用したい場合は、以下からサインアップしてください。
Compassは、データに裏付けられたアイデア（さまざまなデータサイロからのすべてのデータをまとめ、最初に試すアイデアを提案するStuck Scoreからの入力を使用）、意味のある優先順位付け（実験がどれほど困難、簡単、または影響力があるかを示すことにより）を支援します）、および学習の文書化（すべてのアイデア、データ調査、観察、結果、学習などを1か所にまとめることによって！）。
