マインドマップシリーズのテスト：CROプロのように考える方法（パート6）

GoodUIのJakubLinowskiへのインタビュー

なぜ一部の人がCROのコツを持っているように見えるのか疑問に思ったことはありますか？

実験の設定が得意だからというだけではありません。 彼らはまた、物事を別の方法で考える方法を知っています。それは、このシリーズがあなたにも役立つことです。 CROを成功させるための考え方と、それを戦略に適用する方法について詳しく見ていきます。

正しい心構えに身を置くことができれば、死角がどこにあるのかを最初に理解せずに試してみるよりも、成功ははるかに簡単になります。 最終的に、Testing Mind Map Seriesは、最適化戦略をより適切に計画し、より自信を持ってテストを実行するのに役立つことを目的としています。

この記事では、GoodUIのJakub Linowskiが、実験の力は、有用な方法としての能力だけでなく、より良い決定に役立つ強力な洞察を生み出すことにあると共有しています。

ヤクブ、あなた自身について教えてください。 テストと最適化を始めたきっかけは何ですか？

私のデザインのバックグラウンドが私をこの道へと導いた2014年頃、私は実験の世界に惹かれました。 人々が優れたUIと「ベストプラクティス」リストの例を共有し始めたので、私もそうしました。それがGoodUI.orgが生まれた理由です。 しかし、私の提案とUIパターンはすべて、証拠に裏付けられたものではなく、視覚的な仮説に近いことに気付くのにそれほど時間はかかりませんでした。 私は本当に自信をつけて、悪いアイデアから良いアイデアをフィルタリングすることでより良い仕事をしたかったのです。

そのため、A / Bテストについて聞いたとき、私は非常に興奮しました（信頼区間が何であるかはわかりませんでしたが）。 私はフロントエンド開発者を雇い、小さな最適化機関を立ち上げました。 私たちは、ブログで読んだアイデア、クライアントから聞いたアイデア、および独自の新しいGoodUIパターンライブラリからのアイデアのテストを開始しました。 ほとんどのクライアントがA/Bテストをオープンに公開することを許可しているため、一部のパターンが他のパターンよりも優れていることが明らかになり始めました。 何もしなかった人もいます。 他のものはうまく複製しました。 そして他のものは否定的な結果をもたらしました。

ここで、これらの実験を比較検討する必要がありました。

そのため、GoodUI.orgはすぐに、完全な円のフィードバックループを備えた類似した比較可能な実験のリポジトリになり始めました。 より高い頻度と影響でより良いパフォーマンスを示したものがトップに表示されました（中央値の集計データを使用）。 同様のパターンのテスト結果がデータベースにフィードバックされ、予測が修正され、精度が向上しました。

そうです、私はそれが素晴らしい方法であるだけでなく、より良い予測を可能にする専門知識の強力な情報源としての実験を楽しんでいます。

最適化して何年になりますか？ 意欲的なテスターとオプティマイザーに推奨するリソースはどれですか。

2014年5月に、大手保険会社の見積もりランディングページで最初のリープA/Bテストを実行しました。 バリエーションには、私たち自身の限られた経験に基づいてフォームを改善し、フォームをコピーしてリードすることについて、当時私たちが知っていたすべてのものが含まれていました。 結果は、リードの相対的な+ 53％の増加でした（±28、p-val 0.0002）。 これは私を夢中にさせた私の最初の実験です。

リソースに関しては、他の人がテストしていることから学ぶのが大好きです。 Netflix、Airbnb、Amazonなどの大手プレーヤーからの実験を検索することは特にエキサイティングで価値があります。サンプルサイズが適切で、多くのテストを実行していることがわかっています。 全体として、私たちの数歩先の人々から学ぶことは常に良い考えだと思います（Robert GreeneによるMasteryの内部を含む多くの人が示唆しているように）。

5語以内で答えてください：あなたにとって最適化の規律は何ですか？

最適化とは、物事を改善していることを意味します。

（結果は最適化にとって重要です。たとえば、100のフラットまたは望ましくない実験結果では不十分です。たくさんのことを学ぶかもしれません。しかし、何かを最適化するには、針を目的の方向に動かす必要があります。 。）

最適化を開始する前に人々が理解しなければならない上位3つのことは何ですか？

探索–可能な限り多くのアイデアを生み出します。

EXPLOITATION –スピードを上げるために、過去の結果でアイデアに優先順位を付けます。

実験–私たちのアイデアを改ざんまたは検証するために開きます。

偏りのないストーリーを伝えることができるように、定性的および定量的データをどのように扱いますか？

私はa/bテストの結果を検証するという考えに同意します。 一般に、一貫性のある測定値が多ければ多いほど、実験の信頼性と信頼性が高まります。

結果の比較に関しては、いくつかの方法があります。

• 同じ実験からの複数のメトリックの比較（たとえば、効果の一貫性：カートへの追加、売上、収益、返品購入など）
• 別々の実験間での履歴データの比較（たとえば、2つの別々のWebサイトで実行された2つの別々の実験間の効果の一貫性）

最適化チームのためにどのような学習プログラムを設定しましたか？ そして、なぜこの特定のアプローチを採用したのですか？

実験の複製は、テスト結果の予測（専門知識の生成）を向上させる上で重要な要素であると強く信じています。

したがって、独自のプラットフォームでは、同様の実験をグループ化し、同様の指標を集約します。

実験から知識ベースを構築する場合、他の重要なことは出版バイアスを最小限に抑えることです。 つまり、すべての実験の記録を、その結果（ポジティブ、ネガティブ、重要、および重要でないものを含む）とは無関係に保持します。

あなたが望む最も厄介な最適化の神話は何ですか？

最近、私は実験にはマイナス面がないと主張する人々に悩まされてきました（この素晴らしいLinkedInスレッドによってうまくキャプチャされました）。 これが時々出てくる微妙な方法は、「負けるテストはなく、学習だけ」のように聞こえるステートメントを介することです。

これは、学習が主要な目標であり、実験者がコストから保護されている象牙の塔の世界に当てはまる可能性があります。

しかし、職業として、クライアントのWebサイトを最適化するためのツールとして実験を使用する場合、無料のランチはありません。 実験の実行には、コスト、リスク、マイナス面、プラス面が伴います。 この観点から、私は、彼らが本当に何であるかについての結果を追跡し、認めることは非常に健康的だと思います（否定的なテストの筋を認めることを快適にし、それらを白塗りしないことを含む）。 すべての職業は、改善を続けるために正と負の両方のフィードバックループを必要とします。

うまくいけば、Jakubとのインタビューが、あなたのコンバージョン戦略を正しい方向に導くのに役立つでしょう！ どのアドバイスがあなたに最も共感しましたか？

さらに高度な戦略を紹介してくれるCROの専門家との次のインタビューにご期待ください。 まだお済みでない場合は、OptiPhoenixのGursimran Gujral、SpeeroのHaley Carpenter、 FrictionlessCommerceのRishiRawat、 ConversionAdvocatesのSina Fak、 GreenLightCopyのEdenBidaniへのインタビューをご覧ください。