GPT 効果: カスタマーサービスの新時代

公開: 2023-03-10

大規模な言語モデルによる最近のブレークスルーは、私たちの期待をすべて上回りました。業界の専門家を集めて、GPT とそれがカスタマーサービスの未来をどのように形成するかについて話し合いました。

それが私たちを驚かせたとは言えません。何年もの間、業界は AI と機械学習が私たちの働き方を根本的に変革する可能性を称賛してきました。特に、コンピューティング能力とデータストレージの進歩により、ますます大規模なモデルのトレーニングが可能になったためです。しかし、OpenAI の ChatGPT の最近の進歩によって、どれほど早く新しい可能性が開かれるとはまったく予想していませんでした。

Intercom では、常に学ぶために出荷してきました。新機能を迅速にリリースすることによってのみ、適切なフィードバックを取得し、そこから学び、顧客により良いサービスを提供するために何度も繰り返すことができます。そして、当然のことながら、それがこの新しい技術で私たちが行ったことです。過去 2 か月間で、AI を活用したいくつかの機能を 160 の顧客に出荷しました。これらの大規模な言語モデル (LLM) が私たちの生活の中でどのように機能するかを判断するにはまだ時期尚早ですが、特にカスタマーサービスに関しては、重要な変曲点に到達したと考えています。

そこで、先週、GPT のビジネスユースケースをもう少し掘り下げるためのウェビナーを開催しました。このイノベーションの波は、過去の波と何か違いがありますか? それは私たちの働き方や、企業が顧客や見込み客とやり取りする方法を変えるでしょうか? それは新世代のスタートアップを刺激することができますか? もう少し理解を深めるために、スタートアップシーンの大物を数人招待しました。

今日のエピソードでは、次のことを聞きます。

Bessemer Venture Partners の Intercom 取締役兼パートナーである Ethan Kurzweil 氏
当社の機械学習担当ディレクター、Fergal Reid
Krystal Hu 氏、ロイターの VC 兼 Startups レポーター
Talia Goldberg、Bessemer Venture Partners パートナー

彼らは、ChatGPT のような大規模な言語モデル、企業がこのテクノロジーをどのように取り入れているか、そしてそれがカスタマーサービス業界の未来をどのように形成するかについて話します。

時間がない？いくつかの重要なポイントを次に示します。

大規模な言語モデルの厄介な使用例が見られるようになりました。その規則性と自然言語の使用により、顧客サービスを強化する大きな可能性があります。
今のところ、大規模な言語モデルは、人間の能力を置き換えるのではなく、人間の能力を増強することが期待されています。これは、専門家の仕事の生産性と効率を高めるのに役立つからです。
Intercom のベータ実験の成功を測定するにはまだ時期尚早ですが、最新の AI を利用した機能の採用と使用は非常に多く、初期のフィードバックは非常に有望です.
大規模な言語モデルは、すぐに非常に高価になる可能性があります。それでも、時間が経つにつれて、それらはより安価になり、よりユビキタスになり、より多くの実験と発見が可能になります.
幻覚にはまだ問題がありますが、これらのモデルを構成および制約して、状況により高い信頼度が必要な場合により信頼できるようにすることができます。
モデルは画一的なものではありません。将来的には、企業はさまざまなビジネス上の問題に合わせて、さまざまなカスタマイズ可能なモデルをオーダーメイドで組み合わせて運用する可能性があります。

私たちの議論が気に入ったら、ポッドキャストの他のエピソードをチェックしてください。 Apple Podcasts、Spotify、YouTube をフォローしたり、選択したプレーヤーで RSS フィードを取得したりできます。 以下は、エピソードの軽く編集されたトランスクリプトです。

ChatGPTの台頭

クリスタル・フー:時間を割いて参加してくださった皆さん、どうもありがとうございました。私は Krystal Hu です。ロイターでベンチャーとスタートアップを担当しています。多くの人が知っているように、AI と ChatGPT の波がこの数か月でシーンに突入しました。私の仕事の大部分は、テクノロジーと、それが生活のさまざまな側面をどのように変えているかを理解することです. 今日のトピックでは、ChatGPT がカスタマーサービスの未来をどのように形成するかに焦点を当てます。 ChatGPT と大規模言語モデルとは何か、このテクノロジがどのように使用されるか、既存および将来のテクノロジに与える影響、スタートアップがこのテクノロジをどのように取り入れているか、新しい会社がどのように構築されているかについて説明します。

今日は素晴らしいパネルがあります。 Bessemer の 2 人の素晴らしい投資家、Talia Goldberg と Ethan Kurzweil です。 Talia はサンフランシスコに拠点を置き、消費者向けインターネットおよびソフトウェアビジネスに投資し、ServiceTitan や Discord などの企業と協力しています。 Ethan Kurzweil もサンフランシスコに拠点を置いており、開発者プラットフォーム、新しいデータインフラ、デジタルコンシューマーアプリケーション、仮想通貨など、さまざまな業種の投資家を率いています。

そして、Intercom の機械学習担当ディレクターである Fergal Reid に、Intercom がこのテクノロジを最新の製品 (いくつかの AI アシスタント機能を含む) にどのように組み込んでいるかについて、内部を見てもらいます。私は彼らの頭脳を選び出し、彼らがスタートアップとベンチャーの両方で見ているものと、GPT がもたらすかもしれない変化を聞くことを楽しみにしています. プロセス全体を通して、ご不明な点がございましたら、お気軽にチャットで質問してください。会話の最後に 15 ～ 20 分ほど質問にお答えします。

Fergal さん、あなたから始めましょう。あなたはこの部屋の技術者であり、GPT を Intercom の製品に組み込む最前線にいるからです。少し背景を説明し、GPT と ChatGPT とは何か、またこの技術をどのように組み込むに至ったのかを説明することから始めていただけますか?

「私はルールをコーディングするつもりはありませんし、『X 対 Y を予測する方法を学ぶ』と具体的に言うつもりもありません」

Fergal Reid:テクノロジーが非常にエキサイティングな時代です。 ChatGPT は大きな波を作ったばかりなので、この時点で多くの人がおそらく ChatGPT を見たことがあると思います。しかし、テクノロジーの観点から言えば、私の狭い世界観から言えば、私は Intercom に約 5 年間勤務し、機械学習チームを率いています。そして、私たちが行った機械学習は、しばらく前からあるアルゴリズムを使用しており、教師あり学習アルゴリズム、つまり物事を区別することを学習するアルゴリズムを使用しています。「ねえ、誰かが何かを要求するかどうかを予測しましょう」のようにすることができます。これらの機械学習システムでは、「ねえ、これは誰かがあなたに 1 つの質問をした場合の例であり、これは誰かが別の質問をした場合の例です。」

このジェネレーティブ AI の最新の波で何が新しくて違うかというと、何かを予測するようにモデルに教えるだけでなく、「ねえ、モデル。このタイプの新しいデータを生成する方法を学びます。画像を生成する方法を学びましょう。」テキストを与えると、そのテキストに対応する画像を生成することを学習します。または、ChatGPT を使用すると、話しかけてテキストを与えるだけで、それに応じてより多くのテキストを生成するのが得意になります。

「私たちはこの非常に大きなモデルを持っています。私たちは英語で質問し、英語で物事を行うように指示します。そして、私たちが指示したことを実行するのはかなり得意です。」

機械学習のやり方が違うだけです。ルールをコーディングするつもりはありませんし、「X 対 Y を予測する方法を学びなさい」と具体的に言うつもりもありません。代わりに、非常に大量のトレーニングデータを取得し、そのトレーニングデータを予測するのに非常に優れたモデルを作成します。その後、うまくいけば、新しい例を生成することで、そのモデルが有用なことを実行できるようになります。

ChatGPT では、テキストを入力して「次に来るものを生成してください」と言って、何かを尋ねます。そして驚くべきことに、これはかなり便利です。「ねえ、これはカスタマーサポートの会話です。これはサポートの会話の要約です」と言って、それを ChatGPT に渡すと、次に何が起こるか、次に何が起こると予想されるかが生成されます。そしておそらく、「これが要約です」と言うと、要約が飛び出します。そして、それは非常に便利です。これは、機能とシステムを構築するための非常に一般的な方法です。小さなことごとに新しい機械学習システムをコーディングする代わりに、私たちはこの非常に大きなモデルを手に入れました。私たちは英語で質問し、英語で物事を行うように指示します。そのため、Intercom では、それを使用して製品機能を構築しようとしてきました。

カスタマーサービスのゲームチェンジャー

Krystal Hu:タリアとイーサンをこの分野への多額の投資家としてステージに上げたいと思っています。いくつかの技術の波を見てきました。これはジェネレーティブ AI とどのように違うのですか?また、あなたが興奮しているアプリケーションの領域は何ですか?

タリア・ゴールドバーグ:はい、お招きいただきありがとうございます。これは、ジェネレーティブ AI とは何かについての素晴らしい概要でした。面白いことに、この会議の直前に、昨年の夏、おそらく 8 ～ 9 か月前にブログで公開した記事を見ていました。これは、ChatGPT が開始される数か月前のことでしたが、多くの勢いが見られ始めていました。そして、特に大規模な言語モデルで何が起こっているのか、そして人工知能のこの新しい非常に強力な波としての AI とジェネレーティブ AI の可能性に興奮する理由.

「現在、オンラインコンテンツの 1% 未満が AI を使用して生成されており、今後 10 年以内に、少なくとも 50% が AI によって生成または拡張されると予測しています。」私たちはそれについて議論していて、それを言うのはばかげていると思いましたが、なんてこった、AIが私たちが目にする多くの情報をどれだけ速く変換できるかを過小評価していました. 私たちのオンラインインタラクション、コンテンツ、メディアの今後 2 年以内に 50% になる可能性があります。その影響は、カスタマーサポートを含む、多くの情報と知識に関する仕事全体に及ぶと思います。

「テクノロジーが破壊、改善、拡張、改善の機が熟している、粘着性のあるユースケースがすぐにわかります。カスタマーサポートはそのための真っ直ぐな道を進んでいます。」

Krystal Hu:イーサン、あなたは Intercom としばらく仕事をしていますね。これは、カスタマーサービスが待ち望んでいた瞬間だと思いますか? Intercom のような顧客サービスアプリケーションにとって、テクノロジと機会は絶好の機会だと感じているからです。

Ethan Kurzweil:ええ、これはおそらく大規模な言語モデルの最先端のアプリケーションであり、それらができることだと思います。少し遡って、スマートフォンの時代、iPhone の時代などのテクノロジーの変化やプラットフォームの変化について考えてみると、早い段階でこのような興奮が起こり、多くの開発者やクリエーターがスペースに殺到し、その後、このウォッシュアウトがあり、最初に固執する最先端のアプリケーションと、少し幻滅の谷に陥らないアプリケーションを確認できます。私たちはおそらくまだその曲線の少し早い段階にあると思いますが、テクノロジーが混乱、改善、拡張、改善の機が熟し、カスタマーサポートがそのための真っ直ぐな道を進んでいる、粘着性のあるユースケースがすぐにわかります.

私は Intercom と一緒に仕事をして 8 年半近くになりますが、Intercom は、準備が整った新しいテクノロジを常に採用する最前線にいるチームです。そして、2、3 年前に「自動化、自動化、自動化」と言われたのを覚えています。また、Intercom の製品リーダーは常に次のように述べていました。機能リクエストフォームのボックスにチェックを入れることができるようにすることはできますが、人間らしいフローにはなりません。」 Intercom は常に、インターネットビジネスを個人的なものにするというこの考えに基づいて設立されました。そして、あなたが個人的に聞こえないボットを持っている場合、それはそれと直交しています.

Intercom が自社のフローでこれをうまく使用しているという事実は、テクノロジーの準備ができており、これが私たちが目にするであろう多くの影響の 1 つであることを示しています。すべてがすぐにすべてではありませんが、時間の経過とともに、機械に人間のような方法で会話する能力を与えることで、より大きな影響が見られるでしょう.

「曲線と改善率を見ると、今から数か月後、数四半期後、数年後にはさらに良くなるでしょう。」

Talia Goldberg: 1 つ付け加えるとしたら、カスタマーサポートは、AI が影響を与え始めるのに最適な最初の領域だと思います。その理由の 1 つは、自然言語を使用していることです。英語でAIと会話でき、英語で反応します。コーディングする必要はありません。情報が生成されます。そして、それがカスタマーサービスとサポートとはどのようなものかということです。つまり、パーソナライズできる優れた人間のような体験を生み出し、苦情を解決し、時間の経過とともにますます良くなっていきます。したがって、カスタマーサポートで使用することで、この優れたフィードバックループも得られます。

イーサンが言ったように、今日、いくつかの課題や荒削りなものがあるかもしれませんが、テクノロジーと可能性はすでに本当に素晴らしいです. 曲線と改善率を見ると、今から数か月後、数四半期後、数年後にはさらに良くなるでしょう。これは、私たちが最も注目しているカテゴリの 1 つであり、すべてのビジネスがそれを活用でき、検討する必要があると考えています。

Krystal Hu: Fergal さん、Intercom で最近発表された機能の概要と、ChatGPT をどのように組み込んだかについて説明するのに適切なタイミングです。

ファーガル・リード:もちろんです。ここで Talia と Ethan の感情を反映するために、ドメインには非常に多くの構造があり、顧客サポートエージェントが前日に行ったのと同じことを行っている場所で、非常に多くのことを行っています。彼らのチームメイトの何人かは以前にやったことがあり、非常に多くの規則性と構造があるため、AI を学習して使用して人々をより速くするシステムにとって本当に機が熟していると感じています。

「始めるのに最適な場所は、ループ内の人間と一緒にいることだと感じました。誰かが受信トレイにラップされており、私たちはそれらをより速くしたいと考えていますが、彼らはまだそれを確認して承認することができます。」

ChatGPT の開始と同時に、OpenAI は開発者が使用するこの新しいモデル、text-davinci-003 をリリースしました。私たちは OpenAI と長い間関係を築いてきましたが、そのモデルを見たとき、それは本当に有用性の限界を超えており、それを使って構築できると感じました。そこで、最初のベンチマークを行いました。人々は Inbox で多くの時間を過ごします。彼らがやらなければならないことの 1 つは、今見た会話の要約を書き込んでからそれを渡すことです。このテクノロジーは、会話の要約を行うのに非常に優れているように見えました。 Intercom には、この「船から学ぶ」という原則があります。私たちは、新機能を非常に迅速に顧客に出荷することを信じています。これにより、それが問題を解決したのか、それとも好奇心に満ちているのかを知ることができます。

そのため、基本的には 12 月初旬に、実際の Inbox でカスタマーサポート担当者と連携して動作を高速化するいくつかの機能をすぐに出荷できるかどうかを確認するプロジェクトを開始しました。 1 つは要約で、他の機能はテキストの作成を高速化するのに役立ちます。そして、ジェネレーティブ AI にはマイナス面があるため、このテクノロジを開始するのに適切な場所であると本当に感じました。あなたが思っているほど常に正確であるとは限りません。 ChatGPT を見て、質問をして、応答が返ってきて、「これはすごい」と思うのは簡単です。そして、それをもう少し詳しく読んでみると、実際には時々、間違ったことが起こります。開始するのに最適な場所は、ループ内の人間であると感じました。誰かが受信トレイにラップされており、私たちはそれらをより速くしたいと考えていますが、彼らはまだそれを確認して承認することができます. それは素晴らしい出発点でした。

今では、コメントで「質問に自分で答えられるボットやモノはどうですか?」と尋ねている人を見かけます。私たちはそれが来ると考えており、すぐに来るかもしれませんが、まだ調査中です. 私たちにとって大きな問題は正確さです。サポート担当者がより迅速に対応できるように、人間をループに入れるのは今が機が熟していると感じています。そしておそらく、その次のステップに進むものも間もなく登場するでしょう。とても興味深い分野です。

イーサン・カーツワイル:それを詳しく説明すると、「これでコピーライターとしての私の日々は数えるほどになるでしょうか?」のような興味深い前向きな質問が寄せられています。まったくそうは思いません。このテクノロジーが存在し、しばらくの間存続する可能性が高いのは、人間の能力と知性を増強し、コピーライターとしての生産性を高めますが、必ずしもあなたに取って代わるものではありません。私たちがこれらのリソースを持っているので、素晴らしいカスタマーサポートやビジネスとのコミュニケーションの基準はどんどん上がっていきます. 技術はいくつかのコピーライターとサポート応答のユースケースを独自に処理できるかもしれませんが、これらの技術にアクセスできるようになると、本当に良いコピーと本当に良いサポートなどになるためのハードルが上がります. . 理想的な状態は、生産性を高めるためにこれらのテクノロジにアクセスできるようになることですが、それがすぐにあなたに取って代わることはありません。

タリア・ゴールドバーグ：ええ。ワイアットが能力乗数だと言ったところが好きです。コーディングのオートコンプリートのような Copilot の例について社内でよく話し合っていますが、すでにエンジニアの効率を大幅に向上させています。エンジニアやエンジニアリングに取って代わるものではありませんが、強化することはできます。その非常に基本的な例は電卓かもしれません。昔は手で計算していました。今では電卓を使っていますが、数学は依然として非常に重要です。私たちは皆、それを学ぶ必要があり、数学者はこの世界で非常に重要です. 間違いなく、あなたの役割はさらに重要になる可能性があります。なぜなら、コンテンツを作成するためのコストが下がり、さまざまなコンテンツや情報が大量に氾濫するにつれて、際立って優れたコンテンツや情報を作成することがさらに重要になるからです。今後数年間のプレミアム。

Intercom の GPT による実験

Krystal Hu: Intercom が AI 支援機能を開始してから数週間が経ちました。あなたが見た初期のフィードバックは何ですか? このテクノロジーの導入の成功をどのように測定しますか?

「多くの採用、興奮、そして多くの使用が見られます。」

Fergal Reid:私はそれについて非常に明確にします – 私はまだその質問に対する完全に満足のいく答えを持っていません. 私が言えることは、私たちは現在稼働しており、何千人もの顧客が定期的に使用していることです。多くの採用がありました. これにより実際に人々の生産性が向上したかどうかを測定する可能性があります。たとえば、私たちの CS チームについて、「これらの機能を使用すると速くなりますか?」というテレメトリを収集できるからです。そのための制御された実験の形式をまとめました。私たちは常に、ある時点でこれに関する何らかの形式の実際のデータを取得しようとしていますが、まだその時点ではありません. おそらく、少なくとも内部的には、1、2か月以内に、それ以上の理解についていくつかの数字が得られると思います.

現時点で言えることは、多くの採用、興奮、使用が見られるということです。要約のようないくつかの機能によって、お客様からかなりの時間を節約できるとの声が寄せられていることは間違いありません。お客様からは、「会話によっては、引き継ぎの概要を書くのに、エンドユーザーの問題を解決するのと同じくらい時間がかかる場合があります」というようなお声をいただくことがあります。ですから、私たちは間違いなくそれについて気分がいいです。

他の機能のいくつかでは、GitHub Copilot に少し似た略記を書きます。私たちは Copilot に触発されました。Copilot では、プログラマーであれば、コメントまたは省略形を書くことができ、コードが埋められます。私たちの機能の 1 つは「展開」です。ここでは省略形を記述し、それをより長いサポートメッセージに変えます。時々、それはうまくいき、人々の時間を節約しますが、まだデータがありません. 私たちが現在ライブにしているのは、その第 1 世代のバージョンにすぎません。また、第 2 世代バージョンのプロトタイプがあります。現時点では、速記を書き、大規模な言語モデルがそれを拡張します。代わりに私たちがやろうとしているのは、「ねえ、あなたがそのような質問に最後に答えた時間を引き出しましょう. これに関連するマクロを取り込みましょう。」そして、かなりうまく機能している内部プロトタイプがいくつかあります。私たちはまだ革新を続けており、実際に針を動かすことを行っていますが、まだ指標はありません. すぐ。

「Tableau には、OpenAI での日々の支出のグラフがあり、神経質に見守っています」

Krystal Hu:それをフォローアップするために、そのコストをどのように測定しますか? 私が理解しているように、あなたはおそらく OpenAI に問い合わせを送信し、彼らは 1,000 文字あたり 2 セントまたはそのような料金を請求していると思います。そして、あなたの養子縁組が増えるにつれて、その請求も山積みになると思います. このテクノロジーを組み込むことについて、何か学んだことや観察したことはありますか?

Fergal Reid: Tableau には、OpenAI での日々の支出のグラフがあり、神経質に見守っています。それは間違いなく考慮事項です。要約機能について触れましたが、質問を渡す前に要約を求めなければならないという非常にヒューマン・イン・ザ・ループの方法でこの機能を構築しました。そして、顧客が私たちに言うことの1つは、「ねえ、なぜこの要約を求めなければならないのですか? サイドバーに常に要約を維持してください。そうすれば、私がそれを要求する必要がなくなります。」誰かが会話で何か新しいことを言い、要約が変わるたびに 2 セントを支払わなければならないとしたら、それは非常に高くつくでしょう。従来の機械学習モデルでは考えられない方法で、コストを考慮する必要があります。

そうは言っても、OpenAI は ChatGPT API を発表したばかりで、そのシリーズの以前の同様のモデルよりも 10 倍安かったので、多くの人を驚かせたと思います。コストが急速に低下し、これらの機能が広く採用される可能性があります。この分野で構築している他のスタートアップや企業はどうですか? Intercom で私たちが提供するアドバイスは、市場にすばやく参入しようとすることです。なぜなら、ここには、構築してロックを解除できる顧客にとっての真の価値があるからです。また、OpenAI のようなベンダーがモデルをより効率的にする方法を見つけ出し、モデルが安くなるか、モデルをより効率的に使用する方法を見つけることで、おそらくコストは下がるでしょう。「ねえ、会話の最初の部分には安価な生成モデルを使用できます。その後、より正確さが必要なこのはるかに困難なタスクがある場合は、より高価なモデルを使用します。」 Ethan と Talia は、おそらく私よりも広い視野を持っているので、彼らの意見を聞きたいです。

「開発者が新しいテクノロジーを手に入れるまでは、開発者がそれをどうするかは決してわかりません。そして、API 呼び出しを行うたびに 2 セントも払わずに手に入れることができます。」

Ethan Kurzweil:ええ、これは、これらの最先端のテクノロジで時々見られることの良い例です。最初に、価値の高いユースケースがそれらを取得し、その原則の実現について説明しています。 Intercom では、今日要求されたときの要約機能です。しかし、時間が経つにつれて、このテクノロジーははるかに普及し、安価になるでしょう。そして、それは、それを行うための限界費用が現在法外なほど多くのユースケースに増殖する可能性があり、開発者がこの種の AI で大規模な言語モデルの他のアプリケーションを発見できるようになるときであり、実際には予測していません。

Bessemer では、Talia と私は、テクノロジーがどこに向かうと考えているかについてのロードマップを考え出そうとしていますが、開発者志向の投資家として、私が常に考えている重要な基本事項の 1 つは、開発者が何をしようとしているのかわからないということです。新しいテクノロジー、新しいプラットフォーム、何かへの新しいアクセスを、彼らが手に入れるまでは。そして、API 呼び出しを行うたびに 2 セントも払わずに手に入れることができます。

テクノロジーが大量の実験を行うところまで到達することに興奮しています。 Intercom の製品ロードマップには、今日ではなく 1 年後に、予測していなかったが顧客にとって非常に価値のあるものがいくつか含まれていると確信しています。そして、ジェネレーティブテキストを使用できる特定の方法を改良し、誰かにとって本当に優れたユーザーエクスペリエンスを生み出したために、いくつかのスタートアップが登場するでしょう。

Talia Goldberg:サポートに関連するエクスペリエンスを拡張する人間のような可能性を強調できると思われる楽しい例があります。たとえば、強いアイルランド訛りを持つ Intercom チームの何人かと話しているとします。彼らはおそらく、私がクレイジーな西洋訛りを持っていると思っているでしょう。話すのがとても速い。みんなが英語を話しているのに、違う言語のように聞こえます。 AI は、人のアクセントをリアルタイムで少し変更して、両方の方法でより理解しやすくすることができます。つまり、私がアイルランド訛りやイギリス訛りを持っている場合、それをカリフォルニア訛りに変換し、コミュニケーションの障壁を下げることで、いくつかの点で経験を本当に改善することができます.

イーサン・カーツワイル:テクノロジーは直接的なコミュニケーションの中間に位置しつつありますが、それをより人間的なものにしています。これは矛盾した表現のように聞こえますが、うまく展開されれば、メッセージングまたはコミュニケーションのコンテキストでよりつながりを感じられるようになる可能性があります。

タリア・ゴールドバーグ:これがインターネットの約束です。私たち全員を結びつけ、障壁を取り払います。私は本当にそれを過給する可能性を大いに信じています.

信頼指数

Krystal Hu:多くの人が、情報の流れに関してすべてが正しく、正確であることを確認する方法について疑問を持っていると思います。ユースケースによって問題は異なりますが、一般的に、顧客に間違った情報を提供することは望ましくありません。どうやってそれを保証しますか？

「それは不可能だからという理由で、人間としてそれらのものを見ることができないということではありません。それは、適切にフィルタリングできるということです。それが私が大規模な言語モデルについて考える方法です。」

Talia Goldberg:コメントは 1 つだけかもしれません。その後、Fergal に Intercom について具体的に答えてもらいましょう。モデルは膨大な量のデータ (何十億、何十億ものデータと情報) でトレーニングされます。したがって、どれだけデータをだまそうとしたり、誤ったデータを入力したりしても、データ全体の非常に小さな部分に過ぎません。これらのモデルがどのように作成されるかを考えるとき、これは心に留めておくべきことの 1 つです。

もう一つはデータ入力です。正しくないデータでトレーニングされているかどうかについて懸念があることは承知しています。誤解しないでください。幻覚やその他の領域には確かに課題があるため、改善すべき点はたくさんあります。しかし、あなたの人生では、間違っていたり、偏っていたり、誤った情報でさえあるかもしれないものを見ないわけではありません. あなたはそれに出くわしますが、あなたはあなたの判断力と精神を使用し、他にも多くの良いデータがあります. ですから、人間として、それが不可能であるために決してそれらを見ることができないということではありません。それは、適切にフィルタリングできるということです。それが私が大規模な言語モデルについて考える方法です。トレーニングセットに必要としないデータや情報が含まれている場合もありますが、それをフィルター処理して正しい答えを導き出す言語モデルの機能は、時間の経過と共にますます良くなっているはずです。

「これはパラメーターの 1 つかもしれません。『この回答にどの程度の自信がありますか?』それが十分でない場合は、与えないでください。」

Ethan Kurzweil:データのプライバシーと正確性の両方に関して興味深い質問がいくつかあります。プライバシーの部分に入る前に、データの正確性の問題について心に留めておくべきもう 1 つのことは、将来的には、一部の大規模な言語モデルでは、実際に正確性の指数を設定できるようになるということです。これは、AI が Jeopardy に勝つようにプログラムされたときのようなものです。AI には、90% の信頼度または 60% の信頼度で質問に対する答えを知っているという信頼区間がありました。そして、間違った答えでいくつかのポイントを失うだけのその文脈では、彼らは間隔を40％か何かでかなり低く設定しました. 40% 以上の確信がある場合は、質問に答えてみてください。

人間レベルの精度が必要な状況があり、そこに設定すると、多くの場合、AI が 99 パーセンタイルに到達できない場合、人間またはそのようなものにキックオーバーします。高度に規制された産業でさえ、教育を受けた AI 支援の推測に対してより寛容である、軍事においてさえ、何らかの状況があるかもしれません。そして、それはパラメーターの 1 つになる可能性があります。「この応答にどの程度の自信がありますか?」それが十分でない場合は、与えないでください。

Fergal Reid:イーサン、これは間違いなく、Intercom の内部で製品に対する強い信念です。一部のお客様は、非常に高い耐性を持っています。提案が時々間違っていても大丈夫です。また、寛容度が非常に低い顧客もいるでしょう。これについては、ある程度の構成が必要になると予想されます。

「私たちは、はるかに優れた予測を行い、物事をより迅速に行うことができるこの新しいテクノロジーを手に入れました。それをどのように受け止め、十分に信頼できるものにするか、少なくとも顧客に選択させるにはどうすればよいでしょうか?」

将来的に検討していることのいくつかを雑草に掘り下げるために、記事を消費してそのコンテンツに関する質問に答えようとする何かがあるとしましょう。 1 つの例は、「これからの正確な引用のみで応答することを許可されています」と言うように制約することです。そして、その引用を文脈に入れることができますが、引用はそこになければなりません。これは、これらの新しい大規模な言語モデルを使用して、クエリを理解し、情報を取得する際の作業を改善するための保守的な方法ですが、実際に言えることは制限されています。もう 1 つの例は、生成モデルを採用し、内部で生成できるようにしますが、エンドユーザーと対話できるのは、事前に定義された一連のアクションまたは発言を通じてのみです。

強力なエンジンを利用して、より安全で、信頼性が高く、制限されたものにしようとするテクニックはたくさんあります。そして、多くの人がそのテクニックを使って仕事をしているのを目にすることになると思います。私たちは、はるかに優れた予測を行い、物事をより迅速に行うことができるこの新しいテクノロジーを手に入れました。それをどのように受け止め、十分に信頼できるものにするか、少なくとも顧客に選択させるにはどうすればよいでしょうか? 今後数か月で、この分野で多くの動きが見られると思います。

業界全体でのマスパーソナライゼーション

Krystal Hu:イーサン、タリア、カスタマーサービス以外に、この分野で特に注目しているアプリケーションはありますか?

イーサン・カーツワイル:私が先に行くことができます。いくつかの消費者向けアプリケーションを見ると、ゲームは私たちが興奮しているアプリケーションの 1 つです。何がゲームを楽しくするかを考えてみると、多くの場合、それは新しいコンテンツのリフレッシュレートであり、常に創造的なアイデアを考え出す必要があります。「すべてのプレイヤーのすべての体験が新しいものになるとしたら?」と考える人が増えています。 You couldn't have a personal copywriter writing that much content for each person, but an AI could do it. And it could get down to a level where each decision you make generates a new experience based on whatever temporal inputs you want to give the system.

“We went from handcrafted goods to mass-produced goods to mass personalization in a way we've probably never seen before”

Media applications as well. Earlier in my career, I used to work at the Wall Street Journal , and the parent company of the Wall Street Journal was Dow Jones. They had a sister news department called Dow Jones Newswires , which was about getting financial news mainly to traders and folks that needed to act very quickly on that information as fast as possible through terminals and things like that. I think about what an AI could do to augment news or get news to the end user more quickly. Again, I don't think it's replacing journalists at all, I think it's augmenting the amount of information and the targeting we can provide to folks much more quickly.

I think about entertainment use cases. This promise of personalized television and premium content services has always been out there, but when you get to the long tail of internet content and user-generated content, it tends to be pretty low-quality. Could you have a high-quality, personalized content delivery service? I think AI could impact that equation in the future.

Talia Goldberg: I love the concept of personalization and everyone having their own experience. We went from handcrafted goods to mass-produced goods to mass personalization in a way we've probably never seen before. This is a totally new experience for everyone, which is super cool. I'll share one of the areas that I think is going to be wildly impactful and really promising, which is in life sciences and biotech.

“The AI is seeing something that we, as humans, have never before been able to see”

Applying AI to drug discovery and development using huge amounts of data to look at molecules and protein structures and genomic data can be really transformative. I read this study that I think was in Nature a month ago, and it described how some researchers gave an AI a bunch of images of a human retina, and the AI, with 90% accuracy, said which retina belonged to either a male or a female. That seems very basic – who cares? But what's really crazy about that is that no researcher, scientist, or AI expert has ever been able to find any sign of a retina correlating to gender of any form. The AI is seeing something that we, as humans, have never before been able to see.

You think about that, and then you apply that to cancer and different cells and otherwise, and the potential is just massive and really exciting. And we're already seeing a lot of applications. AI's going to transform a whole bunch of things – health, software, business applications, logistics, consumer… We could make a long list, but there are a ton of reasons to be super optimistic.

ミックス＆マッチ

Krystal Hu: When I talk to startups, when they're incorporating this kind of technology into their offerings, one choice they have to make is which model they work with. Do they only work with one type of model, or do they diversify their vendors to work with other companies besides OpenAI? I'm sure, Fergal, you've spent some time thinking about that. What was the experience like at Intercom?

Fergal Reid: With new technology, being right in the forefront, our head tends to go first to customer value. We're happy to use the most expensive or newest model to try and figure out, “Okay, can we really build a transformative experience for a customer with this that is a core part of the workflow and makes something valuable for them?” And once we do that, we're like, “Okay, now, how can we make it cost-effective?” And we're probably going to end up with a large mix of different models from, say, OpenAI, and we've also looked at other vendors like Anthropic, which are doing some really interesting work in this space too.

“It's highly likely that everyone's going to end up running a bespoke mix of many different models. It's going to get complex pretty fast”

It's an exploding space with many different people training large language models, and I think you'll have different large language models that are better and worse and have different trade-offs in terms of cost and latency and performance. Performance won't be one-size-fits-all. Some models are better at dealing with hallucinations, some are better at generating creative content, and I think we're already seeing that.

Our focus is to get whatever models we can, try them out, think if we can use these to build transformative value, get it live with our customers, and then figure out how to optimize that. Once we know it's delivering value, let's optimize it in terms of price and cost and work. It's highly likely that everyone's going to end up running a bespoke mix of many different models. You could have three different models in one customer interaction. So yeah, it's going to get complex pretty fast.

“There'll probably be a new set of metrics that everyone coalesces around that measure the effectiveness of your AI and your particular business problem”

Ethan Kurzweil: I think that's an interesting point that actually ties the question from before: how do you measure the success of this? Because I think lots of companies will try a model or many, and the question will be, “All right, which is best?” And that's such an oversimplification because you have to figure out what you are trying to achieve. Are you trying to achieve engagement with users? Are you trying to achieve a quick resolution?

I think there'll probably be a sort of metricization of this where people come to a standard, like the way Google Search created a new industry, AdWords, and the way we measure click-through rates and conversion rates and things like that. There'll probably be a new set of metrics that everyone coalesces around that measure the effectiveness of your AI and your particular business problem.

Fergal Reid: Yeah, even before these more recent language models, we've had bots that process natural language using pretty big neural networks, although not as big. And whenever we would do something like upgrade our bots, we would conduct a large-scale A/B test framed in terms of end-user metrics such as self-serve rate. Then, we would find edge cases for particular customers or domains where it performed less well, really dig into those, and make sure nothing was broken. I think there's probably a well-understood playbook, like Ethan's referring to, of metrics for given domains. A lot of the same things will apply to this new type of technology.

質疑応答

Krystal Hu: I'd love to get to the Q&A. I think we were able to address some of the questions during our discussions, but there are a bunch about the potential roadmaps from, I assume, Intercom's customers or companies working with Intercom who want to know what could be the next AI-aided feature that may come out, both in the short-term and long-term, and also how that will affect the pricing strategy.

Fergal Reid: Cool. Do you want to call out one particular question?

Krystal Hu: I think there was a question about your roadmap for the features for the next six months versus 12 to 18 months, and then the other person asked about the pricing strategy.

Fergal Reid: We have some things coming up that unfortunately, I can't talk about at the moment. I would say that six months is a really long time in this space. I expect you'll see a lot of movement in this space over the next two or three months. We will continue to sweat and invest in these features in our Inbox to make support reps more efficient. I've already talked about how we've got a Generation 1 version of features here at the moment, with summarization and expansion features to help edit a text, and we're definitely working on Generation 2 versions of those features.

We've also met two other exciting features in this space that we're really excited about, but unfortunately, I can't share any details at the moment – it's just a little bit too early to announce and launch those things. I can promise you're going to see a lot of action and excitement from us, and I'm sure from other companies in this space as well, over the next six months.

“Right now, there's a bit of a context limit for each interaction with an AI in a large language model, but there's a lot of exciting research pushing the boundaries”

Krystal Hu: Talia and Ethan, do you have any expectations or hopes on how fast the space could move?

Talia Goldberg: Well, it's moving a lot faster than we even anticipated. The space is moving really quickly in part because there are a whole bunch of technological advances happening at the same time as the hardware that these models are trained on gets better and improves at a Moore's Law rate, and there are new architectures and ways of scaling on that hardware. We're getting better and better at creating new experiences and models.

I don't have an exact prediction of how quickly we'll see different things, but one of the biggest areas that we're watching closely and expect to see a lot of advances in over the next six to 12 months is around personalization and being able to create far more personalized experiences. Right now, there's a bit of a context limit for each interaction with an AI in a large language model, but there's a lot of exciting research pushing the boundaries of those context windows, coming up with new frameworks to create far more personalized experiences and remember each person, each user, each customer, and tons of data points about that person to create a better experience.

“I would encourage everyone that's building new products to ride the ups and the downs”

Ethan Kurzweil: I completely agree with Fergal and Talia. We're going to see predictable and unpredictable applications of this over the next six months. There'll be some unsuccessful ones too, and then the narrative will quickly shift to, “Oh, that didn't do everything we thought it was going to do as quickly as we thought.” Right now, we're into the peak of momentum and euphoria and, dare I say, a little hype in the space. But over time, it'll become as big a deal as we thought.

I would encourage everyone that's building new products to ride the ups and the downs. Don't ride the up as high as it may be feeling like you should right now, but when the narrative changes a little bit, because it will – all new technologies have that “Oh, that wasn't as impactful as quickly as we thought” moment – I would encourage everyone to keep building through that as well.

Krystal Hu: Yeah, I'll definitely take that from you as a crypto investor.

Ethan Kurzweil: It's the same thing. Right now, there's clearly a trough of disillusionment for crypto. And good builders are figuring out, “Okay, what of this technology is applicable? What makes sense?” And we'll see those things come to market over the next couple of years.

Krystal Hu: One common question I saw in the Q&A is: how will this impact human jobs like human agent jobs? I'm curious to hear your thoughts on this specific case.

Ethan Kurzweil: Ever since the advent of the computer, there's been this prediction that it would be a massive replacement for human work at all levels. It does change the nature of work, and this will certainly change in some ways, but it's not going to be a wholesale replacement for humans in any broad way.

“Guess what? Every year, we need way more engineers. It's like Jevon's Paradox. The more that AI is available and the cost goes down, the more demand there is”

Just as Talia alluded to the example of Copilot and people, I've read many articles saying this was going to put all developers out of business over the next two to three years, and that's complete BS. Everyone knows that's not true. But it may allow for more productivity and for the cycle time on software to speed up. It may allow for different skills to be more important. I think it just makes us more productive. It's not that it won't have an impact and won't shift the nature of work in some ways. I don't mean to minimize that because that's very real. But looking at the whole, you'll see we come out ahead.

Talia Goldberg: At least until we reach the singularity, I'm pretty convinced of the need for more and more engineers. You could have gone back 10 years and been like, “Ah, there are all these cool developer tools now that are coming out and making it way easier to integrate things,” or, “Oh gosh, there are these self-serve products like Zapier that make it easy for non-technical people to connect products and integrate things.” And guess what? Every year, we need way more engineers. There's a shortage. It's like Jevon's Paradox. The more that AI is available and the cost goes down, the more demand there is. And I think, in a lot of areas, that paradigm will hold true. But as Ethan said, the exact skills and the way it looks may shift.

Krystal Hu: Yeah, that makes a lot of sense. I saw some interesting observations and questions about whether you should tell people that they are talking to an AI versus a real person. It's an interesting question because it presumes we wouldn't be able to tell.

Ethan Kurzweil: It's a good existential question. If you're talking to a person assisted by an AI, who are you talking to, and what disclosure do you have to make in that case? I don't have any answers to these questions, but they're great ones for us to debate.

Talia Goldberg: I find that AI can sometimes generate responses that are so detailed and so good that there's just no way that a human did it anyway. It's like the reverse of the Turing test.

Krystal Hu:安全機能に関するもう 1 つの質問です。これについては以前にも触れたと思いますが、具体的な質問があります。たとえば、ChatGPT モデル出力で OpenAI のモデレーション API を使用することと、Jigsaw の Perspective API を組み合わせて使用することはどのくらい重要ですか?」ファーガルさん、それについて共有したい考えや経験があるかもしれません。

Fergal Reid:ええ、私は Jigsaw の Perspective API に詳しくないので、具体的にはわかりません。 OpenAI と Tropic のすべての人々、および大規模な言語モデルをトレーニングしている他のすべての人は、それらを使いやすく、安全で、整合性のあるものにすることに多くの関心を寄せており、幻覚を避けることにも多くの関心を持っています。そして、Intercom のような企業が信頼できる方法でそれらを展開しやすくするために、これらの分野での作業を継続する予定です。それを垂直統合する必要があるとは思えません。 Intercom が、製品化に取り組むために独自の大規模な言語モデルをトレーニングし、それらを十分に信頼できるものにするビジネスに携わる必要があるかどうかはわかりません。とにかく、このスペースで多くの動きが見られると思います。

この種のジェネレーティブ AI により、ユーザーはモデルを展開する方法を試して理解するための自由度が高くなります。プロンプトエンジニアリングという新しい分野があり、私のチームはプロンプトを編集して把握しようと多くのことを行っています。私が探している結果を教えてください。」少なくともしばらくの間は改善され、より強力になり、モデルは制御しやすくなります。

Intercom の立場にある企業が多くの価値を生み出し、多くのアプリケーションとデザインを見つけ出すことができるようになると思います。私たちはまだ、この新しいテクノロジーに基づいて製品を設計する方法を学んでいます. 私たちの立場にある人々がそれを使用する自由度は非常にたくさんあります。

「常にこの緊張があります。一般的なことに便乗するだけですか? 一般的なモデルは、微調整と比較してどの程度優れていますか?」

Krystal Hu: Intercom が独自のモデルを構築していることについても質問がありました。先ほどおっしゃったように、API などを作成する際に、ユースケースに適したモデルを組み合わせる機会があるのではないでしょうか?

Fergal Reid:ええ、現在これらのモデルがトレーニングされている規模では、Intercom の規模のすべての企業が独自のトレーニングを行うことは経済的に理にかなっていないようです. しかし、ここにもスペクトルがあります。それらを中心に設計し、モデルに何を求めるべきかを知る専門知識を開発します。そしておそらく、Intercom の微調整モデルのような企業の周りに新たな機能が登場するでしょう。これらの新しいモデルの多くは、人間のフィードバックによる強化学習でトレーニングされています。それを行うコストはおそらく時間の経過とともに低下し、特定のユースケースに合わせてカスタマイズできるようになります.

緊張感は常にあります。一般的なことに便乗するだけですか？一般的なモデルは、微調整や特定のことを行うよりもどれくらい優れていますか? このスペースがどのように機能するかを確認する必要がありますが、企業がこれらのモデルを採用し、その地域向けにカスタマイズして製品化する自由度は非常に高いと思います. 私たちは、この技術の製品化の初期段階にあります。大きく変化し、優先順位をつけやすくなります。

Krystal Hu:すばらしい会話も終わりに近づいていますが、あと 2 つ質問できます。 1 つは、エンタープライズ企業が ChatGPT をどのように採用し、価値を引き出すかについてです。企業がそれを自社のサービスに統合し始めているのを見てきましたが、その一方で、企業、特に規制の厳しい銀行は、情報サービスとプライバシーの問題に疑問を持ち、従業員が会社のラップトップで遊ぶことを禁止していると思います. この質問に対する Talia と Ethan の考えを聞きたいです。

Talia Goldberg:私たちのポートフォリオ全体で、Intercom のようなカテゴリには入らないかもしれない多くのソフトウェア企業は、実際には最前線にあり、次のように考えています。これらのモデルまたは ChatGPT API の一部を私の製品に統合する可能性はありますか?」反復性の高いタスクは、AI が自動化または合理化するのに非常に役立ちます。私たちの会社の 1 つは、顧客から多くの会計情報を取得しており、エラーや何か問題がある場合は調整してフラグを立てる必要があります。過去にはルールベースのシステムがありましたが、AI を適用すると精度が大幅に向上します。別の興味深い例は、要約部分に関連しています。顧客がコールセンターのエージェントまたは営業担当者と話している場合、その会話を要約して、その人専用のカスタムマーケティング資料を作成できます。

Krystal Hu:タリアとイーサンへの最後の質問です。人々は、プレシードのスタートアップ、またはおそらくスタートアップ全般に投資するときに何を探しているのかと尋ねていました。

「私たちはそれを、『これは本当に特定の役割やタイプの人に変化をもたらすのか?』という重要な質問に分解しようとしています。」

イーサン・カーツワイル:素晴らしい質問ですね。それには非常に多くの異なる答えがあります。プレシードは、私たちが通常投資するよりも少し早い段階で、その免責事項を提示します。通常、私たちは後のシードまたはシリーズ A または B に投資しています。彼ら。そして通常、それを分解する方法は、ロードマップを通じて事前診断を試みることです.Taliaは、AIとそのアプリケーションに関する多くの考えをさまざまなものに推し進めており、これらのロードマップを考え出しました.私たちが非常に興味深いと考えるさまざまなテーマ分野。それらは、クラウドコンピューティングやヘルスケアのコンシューマライゼーションのように非常に広範囲にわたる場合もあれば、顧客サービスに対する AI の影響のように狭い場合もあります。

私たちはブログやソーシャルメディアで活発な論文を公開しているので、皆さんが構築しているものが何かと一致しているかどうかを確認することをお勧めします。そして、一般的に言えば、「これは、私たちの仕事や娯楽のやり方を変えるような影響を与えるか、ビジネスプロセスや消費者のニーズにパラダイムシフトをもたらす可能性があるか?」ということです。それが私たちがそれを分解するものです。私たちは、広範囲にわたる行動の変化があればいつでも、企業が急成長し、スタートアップが仕事や遊びの方法、または以前に行われていたことを混乱させる機会につながることに気付きました。そのため、「これは本当に特定の役割やタイプの人に変化をもたらすのか?」という重要な質問に分解しようとします。

クリスタル・フー:以上で会話は終わりです。 Intercom の新機能を試す機会がなかった人は、要約やその他の機能を自分で試してみることをお勧めします。ベンチャースペースに興味がある場合は、必ずベッセマーの Web サイトをご覧ください。誰もが言ったように、今から 6 か月後に振り返ってみると、いくつかの予測は実現し、一部はまったく異なるものになるかもしれません。別の機会に戻って、さらに多くの質問をカバーできることを願っています。タリア、イーサン、ファーガル、今日はお時間をいただきありがとうございました。

イーサン・カーツワイル:ご利用いただきありがとうございます。

タリア・ゴールドバーグ:さようなら。

ファーガル・リード:皆さん、どうもありがとう。バイバイ。

Inside Intercom Podcast (横型) (1)

GPT 効果: カスタマー サービスの新時代