機械学習の新たな夜明け

公開: 2022-09-09

私たちは以前ここにいたことがあります。メディアの話題、誇張された主張、現場での作業の間で、機械学習を扱うときにファンタジーと現実を区別するのが難しい場合があります。ニューラルネットワークが成熟し、他の追随を許さない中、その技術は誇大宣伝に耐えられるでしょうか?

過去 5 年間、私たちはニューラルネットワークテクノロジが本格的に発展するのを見てきました。 GPT-3 は人間のようなテキストをオンデマンドで作成できます。また、テキストプロンプトから画像を生成する機械学習モデルである DALL-E は、ソーシャルメディアで爆発的な人気を博し、「ダースベイダーはどうなるか」などの世界で最も差し迫った質問に答えています。アイスフィッシングに見える？」または「もし彼がどうぶつの森にいたら、ウォルター・ホワイトはどのように見えるでしょうか?」

この急上昇がどうなっているのかを知りたかったので、機械学習のディレクターである Fergal Reid に、今日のエピソードで彼の頭脳を選んでもらえないかと尋ねました。可能なことと実現可能なことのバランスをとる作業は依然として行われていますが、物事はスケールし始めたばかりのようです。技術環境は変化しており、ビジネスアプリケーションは (潜在的に) ゲームを一変させています。

今日の Intercom on Product のエピソードでは、当社の最高製品責任者である Paul Adams と私が Fergal Reid と対談し、ニューラルネットワークを取り巻く最近の話題、機械学習がどのようにビジネスに力を与えているか、そして現代のテクノロジーに期待できることについて話しました。今後数年。

会話からのお気に入りのポイントのいくつかを次に示します。

ニューラルネットワークは、過去 5 年間で大きな進歩を遂げ、現在では、テキスト、画像、音声などの非構造化データを大規模に処理するための最良の方法となっています。
CX では、ニューラルネットワークを従来の機械学習手法と共に使用して、顧客と可能な限り最高の対話を提供するアクションを選択する可能性があります。
ML 製品の構築にはバランスが必要です。解決策が達成できない場合、問題から始めるのは無意味ですが、実際の顧客のニーズを満たすことができない場合は、技術から始めるべきではありません。
AI はこれまでかなり誇大宣伝されてきました。より現実的な請求により閉鎖されるアカウントは少なくなる可能性がありますが、それは顧客維持の点で報われます。
ML チームは、リリースされない研究にかなりのリソースを投資する傾向があります。顧客のエクスペリエンスに実際に影響を与えるプロジェクトと可能な限り一致させます。
ML に投資したい場合は、技術面と運用面の両方の経験を持つ人を雇って、初日から製品チームと連携できるようにします。

私たちの議論が気に入ったら、ポッドキャストの他のエピソードをチェックしてください。 iTunes、Spotify、YouTube をフォローしたり、選択したプレーヤーで RSS フィードを取得したりできます。 以下は、エピソードの軽く編集されたトランスクリプトです。

誇大宣伝は逆襲する

Des Traynor: Intercom On Product、エピソード 18 へようこそ。今日は、興味深いトピックについて議論します。人工知能と機械学習がすべてです。いつものように、Intercom の最高製品責任者である Paul Adams 氏が参加しています。ポール、調子はどう？

ポール・アダムス:元気です、デス。ありがとうございました。

Des Traynor:そして今日は、機械学習のディレクターである Fergal Reid 氏を特別ゲストとしてお迎えします。ファーガル、調子はどう？

ファーガル・リード:よかった、デス。今日、ポッドキャストに参加できて本当にうれしいです。入るのを楽しみにしています。

デ・トレイナー:すばらしい。私はあなたが私たちの最初または 2 番目のゲストだと思うので、非常に、非常に感謝しなければなりません.

Fergal Reid:私は非常に特権を感じています。

「私たちは、ニューラルネットワーク駆動型のテクノロジーという新しいエキサイティングなテクノロジーの持続的な進歩を目の当たりにしてきましたが、それが真に真価を発揮し、有用になり始めています。」

Des Traynor:では、ある意味で最後から始めましょう。 AI のハイプマシンが再びオーバードライブになったように感じます。これは私の視点からは数年おきに起こっていますが、実際に起こっているのは、人々が多くのアートを作成していることです。 DALL-E 世代が始まり、作成された画像のいくつかは息を呑むほどです。先日、DALL-E プロンプトのマーケットプレイスがあるのを見ました。ここでは、画像を作成するプロンプトを文字通り購入することができます。より実用的な意味で、GitHub コパイロットは、コードを書いているときにコードを拡張できるようになりました。これは非常に素晴らしいことです。私は OpenAI の GPT-3 で遊んで、質問をして小さな段落やストーリーを作成してもらいましたが、かなり印象的でした。少しズームアップすると、実際に何が起こっているのでしょうか? この間何かあった？これは、特定の一連のイベントと関係がありますか? 調子はどう？

Fergal Reid:開梱するのは複雑なことです。多くのことが進行中です。 AI と機械学習のこの分野には企業全体で非常に多くの投資が行われているため、何が起こっているのかを正確に解明することは困難です。人々が機械学習の論文を投稿している arxiv を見ると、毎日新しいものが殺到しています。ですから、それを通して物語を踏むのは難しいです。私の意見では、過去 5 年間、何か新しい刺激的なもの、つまりニューラルネットワーク駆動型のテクノロジが持続的に進歩し、真に真価を発揮して有用になり始めているのを目にしてきました。 GPT-3、OpenAI について言及されましたが、これは私たちが大規模言語モデルと呼んでいるもので、次の単語とそれが見た一連の単語を予測しようとする大規模なニューラルネットワークです。そして、彼らはそれを拡大しているだけです。彼らはそれにさらに多くのコンピューティングを追加しただけで、驚くべきことを始めました。

Des Traynor:ということは、辞書での定義をいくつか。では、コンピューティングを追加すると、CPU パワーが増加しますか?

ファーガル・リード:ええ、まさに。長い道のりを遡ると、私たちのコンピュータの CPU、つまりコンピュータの頭脳は、汎用的な処理において非常に高速でした。おそらく 90 年代半ばから後半にかけて、主にビデオゲームなどに牽引されて、これらの GPU やグラフィックスプロセッシングユニットを採用する大衆市場がありました。

De Traynor:ビデオカードとかそういうの？

Fergal Reid:ビデオカードと 3dfx カードとすべて。そして、彼らはコンピューターゲームのグラフィックを作るのがとても上手でした。その後、2000 年代の初めに、人々は「ああ、私たちがビデオゲームで行うような演算は、行列と乗算に非常に適している」と言っていました。そして、その種のものは、ニューラルネットワークをトレーニングするときに必要な操作にも非常に役立つことがわかりました。そして、AI と仮想通貨のマイニング革命により、ビデオの株価は久しぶりに上昇しました。

ニューラルネットワークの台頭

Des Traynor:あなたは、ニューラルネットワークの研究における新たな取り込みについて言及しました。昔、大学生の頃に聞いたような気がします。それらに投入された作業が増えただけですか？それらは機械学習を行うための主要な方法として登場しましたか? 私たちが離れた代替手段はありますか？

Fergal Reid:ええ、私たちが離れた別の方法があると思います。さて、私はニューラルネットワークを過度に売り込みたくありません。ニューラルネットワークは新たな注目を集めており、過去 5 年間に見られたほとんどすべてのブレークスルーはニューラルネットワークに関するものです。ただし、それは機械学習のサブセクションです。ここ Intercom の機械学習チームでは、ニューラルネットワークはおそらく私たちの業務の 30% を占めており、誰かが次に何をするかを予測するために同じロジスティックプログレッションを使用しています。

大量のテキスト、画像、音声などの非構造化データがある場合、ニューラルネットワークは間違いなくそのデータを処理する最良の方法です。あなたが目にしているブレークスルー – ビジュアル、サウンド、テキスト合成 – には、そのデータの多くの依存関係を実際に捉えることができる大規模なモデルが必要であり、ニューラルネットワークはそれを行う主な方法です. 人々はそれらを拡張するために多額の投資を行ってきたので、より大きな規模で実行できます。あなたが読んでいるモデルの中には、そのモデルをトレーニングするためだけに 1,000 万ドル相当の計算コストがかかるものがあります。

「これまで、構造化されていないテキストや画像データについては、機械学習の観点から見て、『ここで何をすべきか分からない』と考えていました。」

いろいろなことが起こっています。私たちは、大規模なトレーニングでより良くなっています。私たちは進歩し、理解できる方法で問題を表現することに長けています。ビデオでは、パフォーマンスの改善を続けています。そのため、多くの技術革新がありました。それは、さまざまなトレンドの合流点です。

Des Traynor:製品の側面に移行するために、以前にはなかったことが可能になったことは何ですか? DALL-E は、プロンプトを受け取って画像を生成できます。 GPT-3 は、非常にリアルな生成テキストを生成できます。大量のテキストを分析し、それが何を言っているのかを理解したい場合、それを減らしたり単純化したり、感情をチェックしたりしたい場合、私たちが現在持っている機能のリストのようなものはありますか? 私が尋ねている理由は、これを PM がこれについてどのように考えるべきかにより近づけようとしているからです。

Fergal Reid:ええ、これについてはいくつかの考え方があります。以前は、構造化されていないテキストや画像データを機械学習の観点から見て、「ここで何をすべきかわからない。このサイズと、ドキュメントに含めることができるテキストの段落数は非常に多くなります。従来の機械学習でそれを処理する方法がわかりません。」そして、特徴の抽出などを行うことができます。たとえば、「これを単語の袋に分割して、ものを抽出します」と言います。しかし、現在の違いは、そのデータを処理する方法が、以前よりもはるかにうまく機能するようになっているということです。また、機能の手動エンジニアリングはそれほど必要ありません。ニューラルネットワークを使用できます。

中間のステップ、中間層が出現し始めています。私たちが埋め込みと呼んでいるものがあります。大量のテキストデータでトレーニングされたこれらの大きなニューラルネットワークの 1 つを使用すると、Google またはその 1,000 万ドルを費やす大企業の 1 つによってリリースされます。トレーニングを行って、それを使用して、与えられたテキストを数値のベクトルに変換することができます。次に、その数値ベクトルで何かを行うことができます。このように、画期的なテクノロジーは存在しますが、スタートアップが実際に製品を作るために使用できるビルディングブロックを提供しています。

「多くの非構造化データ、特に大量の非構造化データを処理し、それを使用して意思決定を行おうとしているスタートアップのエコシステムにいる場合は、間違いなく注意を払う必要があります。」

Des Traynor:では、最初の X パーセントは大企業によって行われるのですか?

ファーガル・リード:そのとおりです。またはコンソーシアムを開くこともできます。コンソーシアムを形成して大金を投じて何か大きなものを訓練し、それをリリースする人がいます。

Des Traynor:では、返信の作成、書き込み、解析、または理解など、人間が書いたテキストが製品に多数含まれている場合、ここ数年で足元の状況が変化したと想定する必要がありますか?

ファーガル・リード:ええ、それは公正な仮定だと思います。スタートアップのエコシステムで大量の非構造化データ、特に大量の非構造化データを処理し、意思決定をしようとしている場合は、間違いなく注意を払う必要があります。機能のランドスケープが変化しました。 10 年前は、何も心配する必要はありませんでしたが、今では、以前にはできなかったクールなものを構築できるかもしれません。検索のような単純なものに変化が見られ始めています。 6、7 年前には、Elasticsearch などを入手し、これらの実証済みのアルゴリズムを使用して検索を処理していました。これで、ニューラル検索を使用できます。そして、その分野で新しいテクノロジーや製品が登場し始めています。

ネクストベストアクションを求めて

ポール・アダムス:私がぜひお聞きしたいのは、ネクストベストアクションを約束する製品です。これは、2 つの理由から製品チームにとって重要だと思います。 1 つはその分野の単なる製品です。顧客コミュニケーション製品または営業チーム向けの製品がある場合、営業担当者に次の最善のアクションを伝えることには多くの約束があります。また、製品チームは多くの場合、顧客やユーザーにもっと多くのことをしてもらい、もっと関与させようとしているので、成長を促進するためのツールです. 誇大広告はどれくらいですか？どれくらいが本当ですか？

Fergal Reid:これらの機械学習製品には常に問題があります。生計を立てるために機械学習製品を構築している者として、私はこれを言います。それは、どこまでが誇大宣伝でどれだけが本物かを外部から判断するのは非常に難しいということです。特定の製品については、分析してベンチマークしない限り、語ることはできません。次善のアクションは、実際にはニューラルネットワークである可能性は低いと思います。または、そこにある場合は、そのコンポーネントとして存在します。 Intercom のコンテキストに入れると、サポート担当者とエンドユーザーの間で行われている会話のテキストを取得し、埋め込みを使用してそれを理解しようとします。しかしその後、おそらくアカウントの価値や顧客がカスタマージャーニーのどこにいるのかなど、何が起こっているかについての他のシグナルと合わせて、より伝統的な機械学習の分類子またはリグレッサーを使用して試してみます。「さて、私ができる次善の策は何ですか?」と予測します。

「精度が向上し、向上し、向上するにつれて、『常に正しいとは限らないが、有用であり、考える必要がない』という臨界点を超えます。助かります」

そして、これはかなりうまく機能します。当社の製品には、より伝統的な機械学習手法を使用する機能があり、たとえば、誰かが Web サイトにアクセスしてメッセンジャーを開いたときに何を尋ねようとしているのかを予測しようとします。そのユーザーに関するすべてのデータとシグナルに基づいてこれを行いますが、これは非常にうまく機能します。それを使って適切な予測を行うことができれば、そこから次善のアクションであるより一般的なものへの短いステップになります。

私はそれがかなりうまくいくに違いない。私は正確さについて合理的な期待を持っています。これらはすべて、誰かを増強して助けるときにうまく機能します。精度が低すぎると「あ、これ面倒くさい。それはくだらないです。それに注意を払う価値はありません。」しかし、その後、精度が向上し、向上し、向上するにつれて、「常に正しいとは限りませんが、有用であり、考える必要はありません。私はそれを見て、それが役立つことを認識することができます。」それが私たちがこれらの製品に求めていることであり、業界にはそのようなものを持っている人がいると確信しています.

デ・トレイナー:ええ。 Gmail のオートコンプリートは、私がその機能をオフにしないような知覚の崖を越えたように感じます。返信を入力すると、次の 2 つの言葉が推測されます。Tab キーを押すと、文や単語などを変更することになるかもしれませんが、そうでない場合よりも方向性の面で価値があります。

「どのような提案がチームメイトの行動を促し、CSAT や顧客のライフタイムバリューを向上させ、双方にとって有利な方法であるかを学べる未来が見えます。」

ポール・アダムス:面白いですけどね。行動が変わると思います。私はその提案を見て、「そうは言いませんが、十分に近いものです」と言いました。タブ、タブ、タブ。入力、送信。

ファーガル・リード:彼らは提案と提案の感情を測定し、現実世界をどのように変えたかを測定する実験を行ったことがあるかどうか疑問に思います. Facebook はかつて、このような実験を行ったことで有名です。 Intercom のようなものを見ると、受信トレイ内でスマートリプライの推奨事項を作成し始める未来が見えます。どんな提案がチームメイトの行動を促し、CSAT や顧客のライフタイムバリューを向上させ、双方にとって有利な方法であるかを学べる未来が見えます。これらの摩擦の少ないプロンプト。妻に「愛してる」と書くたびにそう思います。ときどき「愛してる」と言われて、「自分で入力しているんだ」と思うことがあります。

デ・トレイナー:ええ。それにはもっと植民地的なものがあります。私たちは道具を形作り、道具は私たちを形作ります。 Intercom を使用するチームに新しく参加した CS 担当者は、Intercom が最も効果的であると思われる行動であると伝えているという事実に基づいて、実際には同僚と同じように話したりタイプしたりすることになると想像できます。カスタマーサポートの学校のようなものです。

Fergal Reid:私たちは、新しい担当者向けの低摩擦トレーニングランプのアイデアを気に入っている一部の顧客と話をしました。これはベストプラクティスのようです。それが、システムがあなたに良い方法で行うよう促すものです。

問題対技術

Des Traynor:レベルを上げてみると、たとえば DALL-E が出てきたときでさえ、その中で最も人気のあるスレッドは次のようなものだったと思います。これ？" または、「これが私の最高のアイデアです。」明らかに、誰もが「ああ、T シャツの会社を作ることができる」などと思っています。これが役に立つ可能性のあるものに対する私の最善の試みは、子供向けの絵本に注釈を付ける機能です。子供向けのストーリーがあり、それを補強するために画像が表示されるツールを想像してみてください。また、Squarespace や Mailchimp のプラグインとしてストック写真を置き換える方法もわかります。 Keynote や Google Slides も同様です。

しかし、私たちはこれを後退させているように感じます。私たちは、「テキストを取り込んで画像を作成できるようになったので、そこから会社を作ろう」と言っているのですが、それは最高の会社が生まれる場所ではありません。通常、彼らは世界の問題を解決したいと考える傾向があります。ファンまたは PM がこのスペースについて考える最善の方法は何ですか? 一般的に言えば、彼らは新しいニューラル技術の特定の部分ではなく、おそらく問題に執着しています。

Fergal Reid:これは非常に複雑な質問です。多くの場合、標準的なアドバイスは、新しいテクノロジーのスタートアップを構築している場合、問題を探しているソリューションにはなりたくないというものです。あなたは本当の具体的な問題を見つけて、解決策に近づきたいと考えています。それは一般的に良いアドバイスだと思います。 Intercom では、問題から始めるという原則があります。しかし、それには例外もあると思います。真に破壊的なテクノロジーを使用すると、「何かが世界を変え、風景を変え、ここに新しい機能があり、それが何に役立つかはわかりませんが、何かに革命的に役立つことはわかっています。解決策から始めて、問題を探しても大丈夫だと思います。

「まだ機能していないテクノロジソリューションを構築しようとしている場合、問題から始めても意味がありません。」

現時点での ML と AI の誇大宣伝を信じています。今回はそれが現実のものであると言えます。これを適用できる素晴らしい機会はどこにあるのでしょうか?」そして、明らかに、相互作用があります。機会を見つけたと思ったら、問題から始めたいと思うでしょう。

ここ Intercom の機械学習チームは、他のチームと比べて少し変わっています。私たちは、問題とテクノロジーの間のあいまいな空間にいる必要があるため、他のチームよりも少しだけ製品の原則に順応します。まだ機能していないテクノロジソリューションを構築しようとしている場合は、問題から始めても意味がありません。そのため、テクノロジーについて少し説明し、プロトタイピングを行い、何が可能かを理解してから、問題に真剣に取り組み、「それは有用かどうか」と自問する必要があります。

Des Traynor:ある意味では、イノベーションの需要側と供給側の両方に目を向ける必要があるようなものです。私たちが解決できるすべての問題と私たちが持っている能力の中で、相互接続において優れた会社はどこでしょうか? 私たちの製品であるResolution Botを取り上げるとしたら、それを問題と解決策の組み合わせとしてどのように表現しますか?

「Resolution Bot では、バージョン 1 にニューラルネットワークなどを使用しませんでしたが、ここで何か良いものを構築できるという確信がありました。」

Fergal Reid:私たちが立ち上げたとき、ボットが非常に貧弱であった技術と製品の状況に動きがあり、非常に限られた状況で魅力的な体験を提供し始めていることに気付きました。」そして、「よし、私たちの特定のドメインを取り上げて、チャットや会話を取り、問題と優れた顧客体験を提供するテクノロジーとの間にその結婚があるかどうかを確認できますか?」というようなものでした。

Resolution Bot では、バージョン 1 にニューラルネットワークなどを使用しませんでしたが、ここで何か良いものを構築できるという確信がありました。私たちはテクノロジーへの投資を最小限に抑え、くだらない組み合わせのプロトタイプが実際に顧客を助け、人々が実際にそれを欲しがることを検証し、リスクを取り除き、それを繰り返し、繰り返し、繰り返しました。現在、私たちはテクノロジーのバージョン 3 またはバージョン 4 を使用しており、非常に最新の高度なニューラルネットワークを使用しており、クラス最高のパフォーマンスと精度を実現しています。しかし、最初のバージョンは、これが実際に人々を助けることを検証するためだけに、既製の Elasticsearch でした。

あなたはその検索をガイドしたいと考えています。あなたは、「製品空間のこの一般的な方向性には何か良いものがあることを知っています」のようになりたい. 私は、提供することが不可能な製品に対する検証済みの需要で終わるつもりはありません. あなたはそこにいたくありません。また、「私には、誰も気にしない何かのために確実に針を動かす素晴らしいアルゴリズムがあります」のようになりたくありません。その方程式の両側を反復し、中間にランディングゾーンを見つける必要があります。

現実と思うにはあまりに良すぎる？

ポール・アダムス: 実際にはスツールの 3 番目の脚があります。問題があり、解決策があり、それからストーリー、またはそれについて何を言うことができるかがあります。 AI と機械学習に関して私が苦労してきたことの 1 つは、自分が対外的に言うことに満足していることと、他の人が対外的に言っていることです。これの最悪の場合、すべての企業が出てきて巨大な主張をし、彼らが話していることを実際に知っている人々が「彼らはばかげた主張だ」と言うコミュニケーションの悲劇です. 「しかし、この競争上のジレンマがあります。競合他社が 80% と言っていて、彼らがそれを達成できると私たちが考える方法はありませんが、当社は 50% だとしたら、それについてどう思いますか? あなたができる主張と、問題、解決策、ストーリーのバランスについてどう思いますか?

「私は市場で製品に出くわし、その主張を評価します。そして、『実際に効果があるのだろうか? それをどう評価しますか？」

Fergal Reid: つまり、非常に難しいということです。私は、社内での製品開発と市場での成功を分けて考えるつもりです。社内の製品開発では、これは Intercom にも当てはまります。私が来て、「皆さん、十分に優れた製品エクスペリエンスを提供できると確信しています」と言った場合、それがまったくそうではありません。そのため、社内では、人々と協力して物事をうまく説明する必要がありますが、少なくともインセンティブは一致しています。

外部的には、人々が機械学習製品で市場で競争しているとき、それは本当に難しいです. 私は市場で製品に出くわし、その主張を評価します。それをどう評価する？」何か驚くべきことを約束する新しい研究論文を見て、「AI にこれを言ったら、これが返ってきた」という例があったとしても、私の最初の質問はいつも、例？それは10回に9回ですか、それとも10回に1回ですか?」それぞれによって大きく違うからです。この暗黙の了解が常にあります。実際に座って遊んでみないと分かりません。私たちの顧客は、より多くの直接的な概念実証と評価を行っており、私はそれを気に入っています. それは素晴らしいです。それが私たちが見たいものです。

「過大な約束をしたり、配信不足になったりして、アカウントが離れていくのを見ることは間違いありません」

一般的なスペースに関しては、デモを公開する人がますます増えていると思います。人々は DALL-E 2 にアクセスし、独立した研究者に早くアクセスできるようになります。または、「これは、標準のプロンプトで 1 回の実行で生成されるものです」と論文に書いています。それは、人々がそれを理解するのに役立ちます。

Des Traynor:どのような種類の収益が必要かという問題があります。なぜなら、過大な約束をしたり、十分に成果を上げなかったり、アカウントのチャーンを見たりする可能性があるからです。または、「これが私たちがあなたのためにできると思うことです」と言うことができます. 私は危険な世界だと思います。 11 か月目には、期待どおりの結果が得られなかったために多くの怒っている顧客を獲得するのに対して、彼らが得ようとしていると思っていたものを正確に手に入れようとしている顧客を獲得しています。挑戦です。

Fergal Reid:それは挑戦であり、その挑戦には非常に多くの側面があります。私たちも期待を管理する必要があります。機械学習はどんどん良くなっていますが、まだ完璧ではありません。 Resolution Bot を購入するお客様が時々いらっしゃいます。クラス最高の優れた製品ですが、それでも間違いを犯します。すべてのソフトウェア製品は依然として間違いを犯します。そのため、ポジティブな関係を築くには、あらゆる面で期待を管理する必要があります。

De Traynor:機械学習のリソースをどのように考えていますか? Intercom には、すべてのチームとは別のあなたが率いるチームがあり、機械学習機能を提供するためにパートナーを組んでいます。このままだと思いますか？チームに ML エンジニアを組み込むべきだと思いますか? Intercom のすべてのチームには独自のデザイナーがいます。追加するデザインの断片を探し回るデザインチームはありません。そのままで意味あるの？そこにいる私たちのリスナーにとって、彼らはどのようにつま先を浸しますか? 彼らは専用の ML のようなポッドから始めますか、それとも人がいますか? スタートアップはどのように ML を取り入れ始めるべきですか?

Fergal Reid:私は、技術開発のこの時点では、集中化された機械学習チームが私たちの規模以下の組織に適しているという強い意見を持っています。ここでは未熟な技術を扱っています。このテクノロジーは使いにくく、失敗しやすいものです。ソフトウェアエンジニアリング、データサイエンス、または分析のスキルと重複する一連のスキルがありますが、それらは同じではありません。機械学習製品には固有の落とし穴があるため、その一連のスキルに取り組み、磨きをかけ、落とし穴を学習できる集中型のチームを持つことは非常に理にかなっていると思います。それらは確率論的です。前述したように、彼らは時々それを間違えます。そのため、機械学習製品を設計または構築しているときは、本当に汗をかく必要があります。正解率は、優れたカスタマーエクスペリエンスを提供するのに十分ですか? それは難しいです。

「プロジェクトごとに支援する集中型モデルが、現時点では適切なモデルだと思います。」

デザイナーと話をするとき、よく目にすることの 1 つは、最初は、すべてがうまくいく黄金の道を考えることはできないという考えを理解するのが難しいということです。問題が発生し、エラーが蓄積される可能性があるすべてのパスを考慮する必要があります。それは難しいです。

私たちはソフトウェアエンジニアリングのこの奇妙な交差点にいます。これらの製品をデータサイエンスや研究で展開できるようにする必要があります。製品チームを運営する必要があります。私たちはスリムで効率的でなければなりませんが、革新のためのスペースを作る研究チームのように運営する必要もあります。何かに 2 週間費やしましたが、うまくいきませんでしたか? それはいいです。私たちはそれに喜んで投資しなければなりません。そのため、プロジェクトごとに支援する集中型モデルが、現時点では適切なモデルだと思います。

それを現実に保つ

Des Traynor: Fergal のような人が次のように言うという事実にどのように対処しますか。このすべての最初の面では何も見えないかもしれません。同時に、私のような人は、「ロードマップを作成する必要があり、何を構築しているかを会社に伝え、何を販売するかを営業チームに伝える必要があります」と言っています。その複雑さをどのように解決しますか？

Paul Adams:出荷されなかった製品に何年も取り組んできた者として、私はできるだけ早く、できるだけ小さく出荷されない製品の匂いについて深い深い傷跡を持っています.

デ・トレイナー:はっきり言って、これはあなたの元雇用主ですよね?

ポール・アダムス:はい。私の前職では、はい。しかし、Intercom での初日から、Des と私は常に、配送と小規模からの開始に夢中になっています。私たちは、特定した問題に対する最小の最短の解決策である、可能な限り迅速に範囲を特定して何かを出すことに執着しています。だから私は常にそうであるという願望を持っています。

「私は学界出身です。学界で時間を過ごしたことがある人なら誰でも、月を約束したのに何もしないプロジェクトをたくさん見たことがあるでしょう。」

明らかに、これは違います。ただし、Fergal に答えてもらいたい質問の 1 つは、ちょっとした余談ですが、重要だと思います。以前、機械学習チームにリソースを提供する方法に関する Des の質問に答えていたとき、あなたは ML エンジニアについて話しているのです。 . ここでの ML チームの歴史のほとんどすべてが ML エンジニアでした。しかし、最近 ML デザイナーを雇いました。それについても簡単に教えていただけますか？それがここでの答えの重要な部分だと思うからです。 ML デザイナーは何をしますか? また、その違いは何ですか?

ファーガル・リード:難しい質問ですね。これは彼女の3週目の始まりなので、彼女と話す前に彼女が何をしようとしているのかについてポッドキャストで話したくありません…

Des Traynor:より高いレベルで。機械学習の設計と通常の設計についてどう思いますか?

ファーガル・リード:もう一度順序を逆にさせてください。出荷されないものに取り組むのは嫌いです。私は博士号を持っており、学界の出身であり、学界で時間を過ごしたことがある人なら誰でも、月を約束したのに何もしないという非常に多くのプロジェクトを見たことがあるでしょう。そしてその一部は必要な無駄ですよね？リスクが高いので、いろいろ試してみてください。しかし、その一部は常に機能しませんでした。したがって、これら 2 つのことを区別することが、ここでは絶対に重要です。私は、機械学習チームが必要以上に探索的で危険を冒さず、可能な限り探索的で危険を冒さないことを望んでいます。

ここでは 2 つの世界を試してみます。私たちは、Intercom の次の非常に確固たる原則を維持しようとしています。問題から始めます。小さく始めて、小さなステップで進みます。私たちは、これらの原則に従うために非常に努力しています。しかし、誰かがこれを望んでいるとかなり確信している場合は、必要に応じて調査と危険なことを行います. 開発のあらゆる段階で排除しようとしているリスクについて、非常に明確にしたいと考えています。ええ、それが私たちの運営方法です。私たちは、平均的な Intercom チームよりも研究に熱心ですが、おそらく、世界の大多数の ML チームよりも、小さなステップでの移行と、削減しようとしているリスクについてより思慮深く考えています。確かに、研究所のチームがなりがちなよりもはるかにそうです。

With that in mind, we've recently hired a designer for the first time in the five years we've had a machine learning team. That's partly because the team is getting a bit bigger and can kind of support that, and since our team has grown, our work is touching more and more parts of the Intercom product, and we can do better than handling the product design ourselves and having a ML engineer figure out the product design envelope. We'll be able to increase the scope of things we can interact with less with disruption to the teams in whose area we're operating.

“Even when you're doing something as simple as testing a ML system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity”

Des Traynor: Is it a different type of design?

Fergal Reid: There is definitely a certain type of design specific to ML and ML products. And we can see this when we're interviewing or interacting with designers in this space. There's sort of a product design or a systems design, and a lot of the time, its aspects are closer to API design than UI design. And obviously, there's a big spectrum here. We have a great design team at Intercom. We have people used to working in all different parts of that spectrum. But there's definitely a difference.

And also, you're looking for quantitative skills to make progress in this space. It's very immature technology. There will come a time, I'm sure, in five, 10 years, I don't know, when Amazon and Google and everyone will have figured out the best API. And it's going to have really nice docs and explain to you all the premises of that space, but we're not there yet. We're a very, very long way away from there. There are just so many trade-offs. Even when you're doing something as simple as testing a machine learning system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity. Some designers are great at that, but for other designers, that wouldn't be how they'd like to work. And so, you're looking for something that treads all those needles at once.

The future of conversations

Des Traynor: We're coming towards the end here. I would like to try a little quick-fire round that I haven't prepared you for at all.

Fergal Reid: Sounds good.

Des Traynor: Here's my proposal. I name a product or a product space, and you tell me something that you think is possible that people don't think about.

Fergal Reid: Oh my God. わかった。 This is going to be futuristic and speculative and wrong, but let's do it.

Des Traynor: Let's start. Issue tracking.

Fergal Reid: A lot like customer support. You can probably do a lot more with clustering issues and detecting when a bunch of issues have one root cause. You can probably do much better in terms of the next best action about suggestions and resolutions for common issues you've seen before.

“We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent”

Des Traynor: Cool. This is going well. Project management apps. Say Basecamp or Asana or something like that.

Fergal Reid: Project management apps. Probably an insights layer, and you can build on top of that stuff. People always say that. It's always easy to say and extremely difficult to make an insights product work, but it's probably an insights layer. There's probably a lot you can do with unstructured assets that are part of the project you're tracking, and you can start to make sense of those that you couldn't in the past. Definitely field research, but there's probably something there.

Des Traynor: Cool. Paul, do you have any?

Paul Adams: Well, one hot space we mentioned earlier is communication products. I'm thinking about Gmail, for example. Gmail was the same for the best part of a decade. And now, suddenly, it feels like there's an explosion in all sorts of cool things happening in Gmail.

Fergal Reid: This is going to sound very self-serving, but I think that the sort of domain we're in at Intercom is going to drive a lot of extremely exciting innovation that is going to percolate out to broader, more horizontal products like Gmail. To give an example of why I think this: if you look at our customers as they use Intercom, they're having so many of the same conversations again and again. There's so much structure in that domain. It's this mix of unstructured texts that they're writing, but then there's so much structure to the conversation, whereas Gmail is broad and horizontal. If you look at my inbox, any email could be completely different than the last. So, I feel that companies like us working in areas like customer support are going to be in a great position to innovate because there's just so much structure to take advantage of there. You're going to have suggestions, recommendations, and automation. And I think that will percolate out. That will go out to these broader, more horizontal products after it has proven its business value. We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent. It's starting to scratch that direction, and we're going to see more and more of that.

Paul Adams: It's easy for me to imagine a world where a WhatsApp exchange between any one of us is literally just tap, reply. Tap, reply. Tap, reply.

Des Traynor: We're trying to go for dinner. Here are four places. バン。何時に？バン。

Paul Adams: But literally, you're just inserting the recommended content.

“If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface”

Fergal Reid: Now, is the future of the inbox something where you're sitting almost looking at this dashboard of a conversational tree unfolding and your job is to guide the AI to answer questions for you? Maybe the future of coms and conversations looks a lot less like typing on a keyboard. You're still going to do that sometimes, but maybe 80% of what you do will be much more structured, like guiding the branches on a tree.

Des Traynor: The AI stops augmenting you, you start augmenting it.

Fergal Reid: Exactly, which is good. It's almost like you're managing somebody who's answering your conversations. And that's always my number one thinking tool for AI disruption. Imagine you had a very well-paid, smart human doing the task, and you told them what to do. それはどのように見えるでしょうか？ People were like, “Oh, there'll never be software that automatically programs, or it will never have visual programming. We've tried it a whole bunch of times.” Well, I used to do programming competitions, and if you have a highly skilled developer, you don't say the exact keystrokes. You say, “Oh, now flip the list around. わかった。 And then filter out those two things.” If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface. That's a great starting point for where AI could take us.

Des Traynor: That's fascinating. Okay, last question. You mentioned that AI is a disruptive force. If our listeners haven't already embarked upon an AI, ML journey, and let's say they have the budget for a couple of heads, what's the best thing to do?

Fergal Reid: Like any disruptive tech change, the first question is always: Is it still worth ignoring? And how long can you ignore it for? And I'm not saying to race and do something now. Maybe you're in a space where you should continue to ignore this as it matures for another few years. If you can't ignore it, or if you want to do something in this space, I would say to concentrate your resources and your budget and get someone who's got some deep experience at the tech end and enough of a product head on their shoulders that they can go and work with your product team productively. And start exploring opportunities from there. Start building relationships with the designers and the company. Start sketching and figuring out, “Okay, what would be possible to design here?” And start mocking up some designs. Do they look exciting? Do they look good? Show them to your customers. Get customer feedback and take it from there.

After that, you're into the standard product development – how do you know how to resource something or not? But yeah, concentrate your resources and get someone who knows what you're doing as much as possible, and then have them pair with your existing organizational assets. Don't go and say, “We're going to do some blue sky thinking. We're going to start a new lab and put it off-site, and they're going to go and build nothing for two years, and it'll be very impressive.” No, definitely tread that balance. それがすべてです。 It's about marrying and balancing technology and design.

Des Traynor: Fergal Reid, thank you very much for joining us. Thank you, Paul. And we'll see you all again for Intercom on Product. Take care, everyone.

CTA-Intercom-on-Product