テスト マインド マップ シリーズ: CRO プロのように考える方法 (パート 22)

ニルス・コッペルマンへのインタビュー

Nils Koppelmann は、実験とデータ駆動型の意思決定の利点を熱心に提唱しています。 彼は、A/B テストの成功とは、何かが機能するかどうかを調べることではなく、なぜ機能するのかを理解することであることを理解しており、この実践に関する 2 つの一般的な誤解を払拭するためにここにいます。

A/B テストはリスクをもたらし、小規模企業は効果的にテストできないこと。 それどころか、Nils は、A/B テストは、何が機能し、何が機能しないかについての洞察を提供することにより、リスクを軽減するのに役立つと考えています. 中小企業は大企業よりもトラフィックが少ないかもしれませんが、問題が少ないため、実際にはより大胆にテストできます。

A/B テストがリスクが高すぎる、または費用がかかりすぎると思われる場合は、Nils とのこのインタビューを読んで、不必要なリスクを導入せずにサイトで効果的にテストする方法のヒントを確認してください。

ニルス、あなた自身について教えてください。 テストと最適化を始めたきっかけは何ですか?

過去 8 年以上にわたり、私はウェブサイトとオンライン ショップを構築して、大小のクライアントがオンライン プレゼンスを「最適化」できるように支援してきました。

しばらく前に、私たちのデザインが実際に望ましい効果を発揮するようにする方法について考えました。

約 3 年半前に初めてコンバージョン率の最適化という言葉に出会ったとき、なぜそれが私たちの焦点では​​ないものなのか疑問に思いました。 その時点から、私はデザインとテクノロジーを提供することから、洞察と結果を提供することに焦点を移しました。

最適化の世界には多くの可能性が秘められており、オンラインの企業の大多数はまだそのほとんどを探求していません。 利用可能な膨大な量のデータを活用し、そこから学び、継続的に改善できるようにする必要があります。

私にとって最も印象的なことの 1 つは、再び学ぶことがいかに楽しいかということです。 自発的に統計に関する本を開き (Georgi Georgiev と彼の素晴らしい本 Statistical Methods of Online A/B Testing) を開き、実際に読むとは思いもしませんでした。 これと他の多くの側面は、私が学ぶためにテストすることを刺激し続けています。

何年最適化してる？

最適化への欲求は、現状に満足していないこと、さらに多くのものへの好奇心、そして何かを改善できるという確信から生じます。

プロとして、私は約 8 年間最適化を行ってきました。 最初は、サイド プロジェクトの構築と最適化、および企業がウェブサイトとオンライン ショップを改善するのを支援します。 現在、私たちは、新興企業と確立された企業が実験の文化を築き、実験の力を利用して成長を促進するのを支援しています.

振り返ってみると、最適化をしなかったことを思い出すことはありません。 すでに子供の頃、私はいつも物事が行われる方法に疑問を抱いていました. 父が私が「あまりにも多くの」質問をしたと言っていたのを覚えています。

私生活においても、人生のほとんどの側面を追跡し、最適化することで知られています。

意欲的なテスターとオプティマイザーにおすすめのリソースを 1 つ挙げてください。

初心者におすすめのリソースはたくさんありますが、もう少し実用的なものにしましょう。

開始するには、いくつかの提案があります。

1. もっと好奇心旺盛になり、なぜそのようなことが行われているのか疑問に思い始めてください。 これだけで全く新しい世界観が開けます。
2. 解決策を見つけるよりも、問題について考えることに多くの時間を費やしてください。 最初に問題を本当に理解する必要があります。そうすれば、解決策がより簡単に見つかります。
   
   アルバート アインシュタインが言ったように、 「問題を解決するのに 1 時間あれば、問題について考えるのに 55 分、解決策について考えるのに 5 分を費やします。」
   
   とはいえ、既成概念にとらわれずに考えることが重要です。つまり、問題のパラメーターの範囲内で考えるだけでなく、外の角度や可能性も考慮する必要があります。
   
   重要なのは、両者のバランスを見つけることです。
3. より良い質問をすることを学びましょう。 これは、好奇心を有効にして利用できるため、オプティマイザーが武器庫に持つことができる最も役立つツールの 1 つです。

また、毎週の実験ニュースレターで興味深い記事、リソース、ツールを共有しています。これは、実験の初心者とベテランの両方に向けられています。

5 語以内で答えてください: あなたにとって最適化の分野は何ですか?

学ぶためにテストします。 継続的改善。 実験。 システムの構築。

最適化を始める前に理解しなければならない上位 3 つのことは何ですか?

最初に調査してから、テストします。 最適化を開始する前に、定性的および定量的なデータで仮定を裏付けるようにしてください。 そして、それに基づいて有力な仮説を立てます。

プログラムが正のROIを持つことは非常に重要ですが、それだけに焦点を当てるだけでなく、実験がもたらす学習機会とリスクキャッピングの膨大な帯域幅も考慮する必要があります.

最適化の取り組みは、正しいか間違っているかを証明することを目的とするのではなく、その理由を特定することを目的とすべきです。 どのようにしてそこにたどり着いたのか、またそこにたどり着いたことを再現する方法を理解していなければ、何を最適化しても意味がありません。 A/B テストで長期的な成功を収めるには、優れたシステムを導入することが重要です。

偏りのないストーリーを伝えるために、定性的データと定量的データをどのように扱っていますか?

偏りのないデータはありませんが、あらゆる種類のデータへの偏りを最小限に抑えるためには、データがどのように収集され、どのように解釈され、どのような結論が導き出されているかを理解することが重要です。

あなたが話しているデータの信頼性を分類するには、証拠の階層を確認する必要があります。

定量的データを使用して事前にフィルタリングし、次に定性的データと科学的リソースを使用してさらに深く掘り下げ、再び定量的データを使用して最初の仮定と仮説を証明または反証します。

私たちの取り組みの最上位にあるのは、いわゆるメタ分析です。これにより、以前の実験全体でパターンを探し、さらなる研究と実験の取り組みを調整することができます。

バイアスを取り除くもう 1 つの良い方法は、実験を作成している人とその結果を評価している人との間に断絶を作ることです。 これにより、実験の成功への偏りが最小限に抑えられます。

あなたがなくしたいと思う最も厄介な最適化の神話は何ですか?

2 つの神話を払拭したいと思います。

1. そのテストはリスクをもたらしますが、実際には、適切に行われるとリスクが減少します
2. 小さな会社はテストできませんが、実際には、トラフィックの少ない小さな会社は、関連するリスクが少なく、危機に瀕していないため、より大胆にテストできます。

ニルスとのインタビューが、実験戦略を正しい方向に導くのに役立つことを願っています!

あなたに最も響いたアドバイスは何ですか？

CRO のレジェンドである Gursimran Gujral 、 Haley Carpenter 、 Rishi Rawat 、 Sina Fak 、 Eden Bidani 、 Jakub Linowski 、 Shiva Manjunath 、 Deborah O'Malley 、 Andra Baragan 、 Rich Page 、 Ruben deへのインタビューをまだお読みでない場合は、こちらをご覧ください。 Boer 、 Abi Hough 、 Alex Birkett 、 John Ostrowski 、 Ryan Levander、 Ryan Thomas 、 Bhavik Patel 、 Siobhan Solberg 、 Tim Mehta 、 Rommil Santiago 、そして最新のSteph Le Prevostが参加しています。