機能する AI の構築: プロダクト リーダーとして AI フロンティアをナビゲートする方法

Intercom の製品リーダーが、新しい AI チャットボットである Fin の構築にどのように取り組んだのか、また、急速に変化する人工知能の世界におけるあいまいさ、不確実性、リスクの管理について学んだことについて話し合います。

ChatGPT の登場により、チャットボットに対する認識は完全に変わりました。硬直した事前にスクリプト化されたやり取りとは別れました。 こんにちは、ダイナミックで自然な会話。

もちろん、私たちは、顧客と真に関わり、最小限のセットアップで顧客のクエリに対して有用な回答と解決策を提供できる GPT を利用したボットを構築するチャンスに飛びつきました。 その結果が、OpenAI の GPT-4 と当社独自のテクノロジーに基づいて構築された Fin です。 私たちは、お客様が目にした最初の結果に非常に興奮しています。400 を超える Intercom のお客様が Fin をセットアップしており、すでに 250,000 件以上の回答があり、一部のお客様では解決率が最大 50% 向上しました。

ただし、ここに到達するには、製品を構築するまったく新しい方法が必要でした。 日々状況が変化するテクノロジー環境において、適切な製品と市場の適合性を判断するのは簡単ではありません。これは、非常に限られた不確実な情報に基づいて、どのように進歩するかを常に評価するというバランスの取れた行為です。

しかし、その不確実性こそが、AI 製品の構築を非常に刺激的で神経をすり減らすものにし、最終的には満足のいくものにしているのです。 Intercom ポッドキャストの今日のエピソードでは、これまでに学んだこと、Fin ベータをどのように実行したか、現在の市場力学についての感覚、および将来の予測を、現時点で誰もが将来を予測できる範囲で共有します。 。

今日のエピソードでは、次の人の話を聞きます。

• Des Traynor 氏、Intercom 共同創設者兼最高戦略責任者
• Intercom シニア グループ プロダクト マネージャー、Rati Zvirawa 氏
• Brian Donohue 氏、Intercom 製品担当副社長

時間が足りませんか？ 以下に重要なポイントをいくつか示します。

• この分野では、スピード、精度、価格のバランスをとることが依然として課題です。 企業はいくら支払うつもりでしょうか? エンドユーザーはAIチャットボットに対してどのような期待を抱くのでしょうか?
• 共通の目標を持ち、意思決定を強化し、スピードを優先することで、Fin を迅速に市場に投入することができ、サポート AI のリーダーとしての地位を固めることができました。
• 生成 AI の進歩により、製品の可能性がまったく新しい世界に広がりました。 スタートアップ企業は、短期的な価値に焦点を当てたり、既存の問題を選んでその上に構築したりすることで、その機会を活用できます。
• 急速に進化する AI 環境では、製品の競争上の優位性や、長期的にどのような差別化が重要になるかを確認することがますます困難になっています。
• 顧客は、市場が価値の所在を発見する際に専門知識を信頼できるように、変化する AI 環境をナビゲートする信頼できるブランドを求めています。
• AI は複雑なソフトウェアへのアクセスを民主化する能力を備えており、ユーザーが従来の UI ではなく自然言語を使用して高度なツールと対話できるようになる可能性があります。

私たちのディスカッションを気に入っていただけましたら、ポッドキャストの他のエピソードもチェックしてください。 Apple Podcasts、Spotify、YouTube をフォローしたり、選択したプレーヤーで RSS フィードを取得したりできます。 以下は、エピソードを軽く編集した書き起こしです。

コンセプトから現実へ

Des Traynor: Intercom ポッドキャストへようこそ。 私たちの製品リーダーの 2 人、Rati と Brian も参加します。 AI、新製品 Fin について、そして一般的に AI 時代の製品リーダーとはどのようなものなのかについてお話します。 ラティ、あなたから始めましょう。 フィンはどこにいるの？ 数日ぶりのライブです。

ラティ・ズビラワ:はい、私たちにとってエキサイティングな一週間です。 現在 400 を超えるお客様が Fin をセットアップしています。 お客様とのやり取りの数字を振り返ると、250,000 件以上の回答を提供してきました。 これらは AI によって強化されており、その結果を見るのがとても楽しみです。 始めたばかりのお客様にとっては、即座に最大 50% の解決率の向上が確認されており、これは非常に印象的です。

Des:解決率は、おそらく顧客が望んでいたものを手に入れたことを意味しますか?

ラティ：その通りです。 お客様からの反応を見て、それらの質問を解決するだけでも、私たちにとっては刺激的です。

「私たちが最初に最適化したのは、以前は不可能だったものを構築することでしたが、それを本当に迅速に実行し、手を汚したかったのです。」

Des:ブライアン、Fin がどのようにして生まれたのかについて話していただけますか?

ブライアン・ドナヒュー:できますよ。 非常に多くのことが急速に起こったにもかかわらず、私たちが迅速に行動できた理由は、実際に何年もこのことに取り組んできたからです。

Des:早いって言うと、どれくらい早いの？

ブライアン:そうですね、私たちは Resolution Bot (Fin の古いバージョン) に取り組んできました。これはある意味、同じ中核となる製品提案であり、顧客の質問に自動的に答えるものだからです。 私たちは他の ML 製品と同様に、これに何年も取り組んできました。 しかしその後、ChatGPT によって、ML の専門家であるファーガルと彼のチームを含む全員が、新しいテクノロジーの可能性に対して目を開かされました。 そこで 11 月 30 日から、チームは「検証しましょう」ということになりました。 これは本当に私たちが思っているほど大きな問題なのでしょうか？」 1 週間以内に、彼らは「これは飛躍的な変化だ」と言っていました。 そしてそこからは本格的に進みました。 私たちが最初に最適化したのは、以前は不可能だったものを構築することでしたが、それを本当に迅速に実行し、手を汚したかったのです。

そこで私たちが最適化したのは、AI 支援の受信トレイ機能でした。 そして、たくさんの人がここで同様のものを構築しました。 要約したり、より丁寧にしたり、そういうことです。 なぜ？ なぜなら、それは簡単に実行でき、いくつかはクールで、いくつかは実際に非常に便利だからです。 もちろん、大きな問題は幻覚でした。 ChatGPT は素晴らしいですが、何かをでっちあげてしまうので、カスタマー サービス製品を構築している場合には問題になりますよね。 そして、それはチーム構築の信念を築く数週間でした。 2月初旬から、ファーガルは「この幻覚問題は実際に克服できると思う」と話していた。 そして、それらの受信トレイ機能を一時停止し、Fin となるものに全力で取り組みました。 3月中旬って何だったっけ？

ラティ:ええ、3月中旬、3月14日です。

ブライアン: 3 月 14 日に、遊んでいただけるプロトタイプを発表しました。 私たちは信頼性が欲しいと言いました。 私たちは、単に画面キャプチャが見える製品を手で振っているわけではありません。 これで遊ぶことができます。 そこから、1 つの小さなチームが取り組んで、「販売できるこの製品を実際に構築してみよう」ということになりました。 今週はそんな感じでした。

Des:何がそれを早く実現させたと思いますか? キーボードを弾く指のようなものでしたか？ 意思決定の速さでしたか？ これは単に、これが優先事項であると明確に述べただけでしょうか? もしそのスピードを繰り返さなければならないとしたら、どうしますか?

「その商品は正規品ですか？ 実際それは良いことなのでしょうか？ それがフェーズ1でした」

ブライアン:それには 2 つの段階がありました。 最初のフェーズでは、ファーガルはチームを非常に保護していました。なぜなら、このチームは非常によく連携しており、テクノロジーのテストとその製品提案のテストの両方において非常に効率的だったからです。 彼は非常に擁護的で、「我々はこの緊密なチームを持っているので、素早く動くことができる」と語った。 そして彼はこう言いました、「私はここの独裁者だ。 誰も私のチームに何かを言うことは許されていません。」 私は Slack で Rati にメッセージを送りました。「ファーガルはおそらく明日あなたを追い出すでしょう、念のために言っておきますが」

ラティ：そうだったよ。

ブライアン:そうだったよ。 すぐにまた招待され、正式に参加を歓迎されました。 おそらくその時点で追い出されたのでしょう。 つまり、実際にはかなりの防御策でした。「これほど速く移動するつもりなら、チームの周囲にほぼ壁になる必要がある」ということです。 製品は正規品ですか? 実際それは良いことなのでしょうか？ それがフェーズ 1 でした。 そこで働くことは、これまでの働き方や計画の進め方を台無しにするだけでした。 毎日が「今日、私たちの狭い世界のAIの世界で何が変わり、私たちは何を学んでいるのか？」というものでした。 毎日、昨夜作業をやめてから物事がどれだけ変わったかから始めます。 そして、フェーズ 2 がありました。これは、小規模なチームから、「よし、これを製品化する。そのためには、より多くの人が構築する必要がある」という時点まで進んだため、より適切に表現できるかもしれません。

Des:小規模なチームは、「LLM は、私たちができると考えていることを実際に実行できるのではないか」と検証していました。 そして、第 2 段階は、「この点が判明したので、それを中心に製品を構築しましょう」です。

ブライアン:そうですね、ニュアンスはありますが、重要です。 それは、「LLM がそのことをできるかどうか」ではなく、「これを中心に制御システムを導入できるか?」ということです。 そして、それは幻覚という根本的なハンディキャップを解決するのに役立つでしょうか？」 ここでは、当社の技術専門家による製品の判断が非常に多く行われます。 これが、この分野でプロダクト エンジニアとしてエンジニアが本当に必要な理由だと思います。 なぜなら、これらのハンディキャップを考慮するとテクノロジーの状態が十分ではないのか、実際の機会がどこにあるのかを見極めるために、早い段階で下す必要がある重要な決定が非常にたくさんあるからです。

ボットエクスペリエンスの再定義

Des:いつベータ版に移行しましたか?ベータ版はどのように機能しますか?

ラティ:そうですね、皆さんに強調したいことの 1 つは、この製品は 3 月 14 日には機能していたということです。 私たちはすでに内部でテストを行っており、人々が私たちのサイトにアクセスした場合は、それを試すことができました。 その後すぐに、これを検証し、幻覚が起こらないことを確認するためにベータ版に移行したいと考えました。 そこで 1 週間後、ベータ版への顧客のオンボーディングを開始し、想定どおりの動作をするかどうか、また会話が解決されるかどうかを検証しました。 このプロセスでは、構築中に初期の顧客をベータ版に参加させることが重要でした。

Des: 写真の読み込みなどの標準的な肉と野菜の SaaS 機能とはどのような点でベータ版がより重要である、または異なると思いますか?

「そして、製品が機能するという自信を持ってベータ版の最後まで到達する必要がありますが、状況は今後も変化し続けるだろうということを喜んで知る必要があります。」

ラティ: B2B では、多くの機能や機能を導入すると思います。もちろん、検証しようとしている問題から始めることになります。 ベータ版に移行する時点では、結果がどうなるかについてしっかりとした仮説があるかもしれませんが、構築中に市場で多くの変化が起こっており、顧客にとってはそれが初めてで、興奮しているときは、彼らの認識が何なのかはわかりません。 顧客が品質を認識する方法はさまざまです。 企業としては、これをエンドユーザーの前に公開する意思があるかどうかを理解する必要があります。 エンドユーザーからの反応はどうですか？ そして、製品が機能するという自信を持ってベータ版の最後まで到達する必要がありますが、状況は今後も変化し続けるだろうということを喜んで知っておく必要があります。 販売を開始するのに適切な製品市場に適合したと判断できるのはどこですか? したがって、これらのベータ版の性質は、B2B SaaS 製品で通常行うものとはまったく異なります。

Des:ある意味、機能が機能するかどうかを評価する方法を顧客がどのように学んでいるかを見るのも興味深いです。 精度、信頼性、信頼性、速度、コストの間にはトレードオフがあります。 そして、これらの変数に対する顧客の重み付けを理解するのは非常に困難です。 そして、おそらく、B2B 対 B2C、つまり少数の顧客が多数の顧客にとって非常に重要であるという変化も起こるでしょう。 一般的に人々がこれについてどのように考えているかについて何か学んだでしょうか? AI チャットボットに何を期待しますか?

ラティ：そうだと思います。 私たちがすぐに学んだ興味深い点の 1 つは、ボットの世界には、このようなキーワードベースのボットが多数存在するということです。 そして、入ってくる顧客にとって、最初の認識は、入ってくるキーワードを使用し、この AI ボットを使用することであったと思います。 しかしすぐに、私たちが業界で約束してきたのは、ボットと対話するこの会話型の方法であり、エンド ユーザーがより会話型のサービスを受けるのを見て顧客が興奮する瞬間を見ることです。 それは私たちが得た重要な学びだったと思います。

「私たちは彼らにこう尋ねます。『サポート チームに寄せられる最も一般的な質問は何ですか?』 独自のコンテンツを含む回答が得られるのを見て、顧客は即座に「なるほど」と感じました。」

Des:お客様にとって「なるほど」と思った瞬間は何でしたか? 何が彼らを信じさせたのでしょうか？ 誰もが正当な理由で懐疑的になることがあります。たとえば、文に「ああ、まあ、返事が来ましたね」というキーワードが含まれている場合は「はい」となります。 お客様が「なんてことだ、これは実際に機能するんだ」というような、知覚の崖を越えてしまったような気がします。 その認識を引き起こすものは何ですか？ それはあなた自身のコンテンツですか？

ラティ：ええ、それは私たち自身のコンテンツだと思います。 ベータコールや顧客とのインターコールはすべて興味深いものでした。私たちが参加すると、興奮が高まりました。 大きな疑問がたくさんあり、電話会議では誰もが AI の将来について話そうとしています。 そして、フィンを彼らにプレゼントします。 彼らは質問をし始めるでしょう。 私たちは彼らに、「サポート チームに寄せられる最も一般的な質問は何ですか?」と尋ねます。 その答えが独自のコンテンツとともに返されるのを見て、顧客は即座に「なるほど」と感じました。 そしてそれが本当に私たちを駆り立てているのです。 これは、顧客にとって、これが機能するかどうかを確認する重要な瞬間です。 コンテンツを入力すると、AI が顧客の質問に実際に答えて解決します。

Des:ブライアン、何について作ったのですか?

ブライアン:興味深いのは、いくつかのエンドユーザー テストを通じて検証されていると思うことですが、これはボットの状態の前後の感覚、またはおそらく古いボットと新しいボットの感覚です。 実際、私たちのチームが行ったエンドユーザーテストでは、人々は「ああ、ちょっと待って、これは古いボットですか?」というような反応を示したと聞いています。 正直に言いましょう。 これも私たちのボットですよね? そして多くのエンドユーザーはこう言います。 私はこれに関わることにあまり興奮していません。 おそらく、あなたが私を飛び越えさせているかなりの量の摩擦とフープがあるでしょう。 ああ、ちょっと待って、これは ChatGPT ボットですか?」 それは違います。 それはエンドユーザーとして私が喜んでやりたいことです。 だから、これは本当に出てくると思うんです。

これは、ChatGPT が非常に広範囲に使用されているため、品質に対するエンドユーザーの認識があったために始まりました。 「人間と話しているような気がする」と言われるかどうかは分かりません。 しかし、「テクノロジーと話しているので、キーワードを使用し、これらのボタンをクリックする」というよりは、普通の会話ができるように感じます。 実際に自然な対話を行うことは、顧客やエンド ユーザーの品質に対する認識に大きな変化をもたらします。また、設定なしで質問に自動的に回答するという製品の中核的な提案にも大きな変化が生じます。 この技術の味を本当に変えるのは、ほぼこの光沢、この全体的な輝きを与える会話の質です。

スピードの必要性

Des: ChatGPT の出現により、ボットが初めて再正当化され、誰もが喜んでボットを新たに試してみるようになりました。 この AI 時代における製品の構築について話しましょう。 何が変わったんですか、ブライアン？ それはどんな感じ？

ブライアン:かなり大変だったね。 本当に12月以来、おっと、これはスタートアップモードに戻ったような感じでした。 これは誰にとっても当てはまる言葉でした。 そしてそれは何を意味するのでしょうか？ まずはスピードだと思います。 私たちは 12 月にこの点で意見を一致させ、「サポートにおける AI のリーダーになりたい」と述べました。 私たちが正当にその主張をするには、製品を手に入れるだけでなく、その製品を実際に市場に投入するスピードも必要です。 現時点ではスピードが極めて重要であると私たちは考えています。 それは自明の理ではありません。 スピードは常に重要です。 ここでは、どうすればより速く移動できるかを常に話し合い、より速く移動することに挑戦しています。 しかしつい先週、誰かが次のようにツイートしているのを見かけました。「Apple はスピードだけを重視しているわけではありません。 彼らは市場で 2 番目に市場に参入することに喜んでいますが、最高の製品を提供してくれるので、その後は後片付けをすることになります。」 これは自明の理ではありません。なぜなら、スピードは、製品の品質、製品の提案、人々の頭のスペースや仕事の健康などの点で、多くのリスクを伴うからです。 しかし、スピードが重要であり、ここでの製品を迅速に進めるという点では全員が一致しています。

「実際に、アンカーの目的としてスピードを使用することもできます。『我々は、革新的な製品だと思うものを早く世に出したいのです。』

もし全員がそれに向かって、本当に野心的で積極的になろうと足並みを揃えていて、私たちが仕事のやり方や仕事のやり方を喜んで壊そうとするなら、物事はもっと厄介になり、プロセスを台無しにしてしまうことになるでしょう。 Slack チャネルが多すぎますが、最終的にサイズが爆発的に増加した素晴らしい Slack チャネルがいくつかあります。 さて、戻って掃除しなければなりません。 しかし、それは速度の最適化だと思います。

ここでのもう一つの重要な要素は、政治の不在です。 「ここでは強い声が必要だ」と言う人がいないこと。 ここで意見を述べたいと思います。」 人々はただ後ろに整列して、「ねえ、私に何ができるでしょうか？」と言いました。 それが、ここにちょっとした FAQ 文書を書いて、その後で大騒ぎすることを意味するのであれば、私はそうします。 何を助けることができるのかを知るのは難しいですが、その精神があれば、実際にスピードをアンカーの目的として使用することができます。「我々は、革新的な製品だと思われる製品を早く世に出したいのです。」 それは実際に信じられないほど活力を与える方法で人々を本当に元気づけることができます。 とても楽しい仕事方法ですが、人によってはあまりにも混沌としています。

Rati:コア ML チームをどのように立ち上げたかについては、先ほど少しお話しました。 私たちにはコアチームがあり、Fin のコアコンセプトを検証する決定者が 1 人います。 これで、「よし、製品ができた」ということになりました。 ベータ版に移行したいと考えています。 私たちはそれを市場に投入したいと考えています。 私たちには、新人研修が必要なマーケティング担当者と、相互に協力する必要があるイネーブルメント チームがいます。 しかし、私たちは依然として同じレベルのスピードを維持したいと考えています。」 さて、私たちは 1 つのコア チームから移行しましたが、スピードを維持しながらより多くの人々が継続できるように、グループの残りの部分やビジネスの他の部分にどのように拡張するのでしょうか? そこで私たちが取り組んだのは、フィンとどこに到達したいのかを誰もが理解するという共通の目標を持つことでした。 人々に意思決定の自主性を与える。

「これまで私たちが行ってきたこととは大きく異なる AI を使用してこの空間を構築する場合、乱雑さを許容し、乱雑さを許容することが重要だと思います。」

Des: Fin で私たちがどこに行きたかったのかというと、その範囲とタイムラインは、「これらの機能、この日付」のようなものでしたか? 私たちは何かを与えるつもりだったでしょうか？

ラティ:タイムラインは私たちにとって良い定着点でした。 スコープを選択し、そのスコープによってタイムラインを決定することも、タイムラインを選択し、それがスコープを決定することもできます。 タイムラインを選択しました。 私たちはビジネスとして迅速に行動したいと考えており、何かを市場に投入して顧客の手に届けたいと考えていたため、タイムラインは重要でした。 そこで、私たちはタイムラインを選択し、そのタイムラインに何が取り込めるかを検証しました。 そしてそれは私たちが集中力を保つのに本当に役立ちました。 このタイムラインがあります。 私たちは、お客様にとって本当に大きな影響を与えると考えられる範囲を持っています。 走る。 チームに意思決定の自主性を与え、そこから生じる混乱を受け入れる。 これまで私たちがやってきたこととは大きく異なる AI を使ってこの空間を構築するとき、乱雑さを許容し、乱雑さを許容することが重要だと思います。

ブライアン:あなたが触れたもう 1 つの重要な点があります。それは、意思決定のスピードです。 これは誰もが知っていますが、他の多くのことと同じように、言うのは簡単ですが、行うのは難しいです。 市場投入までのスピードが重要であるという点で全員が一致しているとき、私たちがやろうとしていることと一致しているとき、さらには市場投入の目標と一致しているとき（Fin では他の企業よりもうまくできたと思います）、素早い意思決定の筋肉を鍛えることができるのは素晴らしいことです。 Eoghan McCabe 氏は、「これが私たちがやろうとしていることです」と明確に伝えることができました。 それは波及効果もありました。

「機能の料金を決めるのに 6 か月もかかるのであれば、スピードが重要だと人々に言いながら走り回っても仕方がありません。」

難しくて難しい決断が必要で、人々はそれに取り組んでいます。 そして、ぐるぐる回って、より多くの情報を入手し、より多くの人々を集めて、合意に達しない代わりに、その筋肉を強化すれば、エネルギーが湧いてきます。 人々はその決定に満足しないかもしれませんが、多くの場合、進歩を感じて私たちが移動することに満足しているだけです。 バスに乗っていると、自分が速く動いていると感じるとき、そこはとてもエキサイティングな場所です。 月曜日に会議があることはわかっていて、そこへ飛行機で行く予定でした。 私にとって唯一のチャンスは、文書を作成し、できる限りすべてを共有して、会議に先んじることでした。なぜなら、私は会議に出席することができず、そこで決定が下されることになっていたからです。 一生懸命努力して失敗しました。 しかしとにかく、「これが私たちが下さなければならない意思決定のペースであり、通常、意思決定のペースは実際の意思決定そのものよりも重要です。」と同意するだけです。

デス：全く同感です。 また、オーガン・マッケイブが当社の CEO であることをリスナーに知らせる価値があると思います。 このプロジェクト全体を通して、日曜の夜に私はエオガンと電話をして、未知の部分と既知の部分、そして私たちが知っているすべての疑問について話し合いました。 何分前に行けばいいですか？ どのモデルを使用しますか? 何を請求しますか? 私たちが遅いなら、一体なぜあなたは速いのでしょうか？ あなたが遅いなら、一体なぜデザイナーやエンジニアは速く動くのでしょうか? それは不可能です。 「決断するまであと 2 週間かかる」とわかっているのであれば、できるだけ早く仕事をしようとしても意味がありません。 私は「スピードが命」などとよく言いますが、このプロジェクトは実際に一致団結する必要があることを示す良い証拠となっています。 機能の料金などを決めるのに 6 か月かかるのであれば、スピードが重要だと人々に言いながら走り回っても仕方がありません。 それは100％一緒でなければなりません。

バランスをとる行為

ブライアン:ここでの変数は、価格、速度、待ち時間、可用性、品質です。 つまり、LLM モデルのこれらすべての変数がシステム上にあり、どのようにやり取りして必要な製品の品質を得るのか、そしてそれはすべて非常に急速に変化しています。 そのため、OpenAI が API を備えた ChatGPT (GPT Turbo) をリリースしたとき、それは 3.5 よりも 10 倍安かったのです。 そのため、突然全体のダイナミクスが変化し、以前は実現不可能だった機能が突然、「おっと、おっと、おっと」のように使えるようになりました。 ここの市場全体が大きく変わりました。 次に、「待って、品質は何ですか?」に戻ります。 品質は十分ですか？」 そして実際に速いです。 そのため、安価なモデルが非常に高速である場合があります。 したがって、より高価なものが必ずしも等しいという明確な 1 対 1 は存在しません。

Des:これはベータ版で学んだことの 1 つです。 私たちが解決する必要があり、おそらく永遠に解決に費やすことになる問題の 1 つは、エンド ユーザーが答えを得るまでの速度と、極度の精度の必要性との間のトレードオフは何なのかということです。 あるいは、ある意味、回答を囲む美しいテキストだけでも構いません。 エンドユーザーを満足させるという点では、0.1 秒で下手に表現された正しい答えも、実際には 10 秒で非常に洗練された答えを上回る可能性があります。

「何が起こっているのか製品の不確実性を考慮してどのように構築しますか?誰もがこれを理解しようとしています。」

ラティ:これは企業や顧客にとって非常に新しいものなので、この分野の全員が解決する必要がある課題だと思います。 また、顧客は世界で何が求められているかをまだ学んでいる最中であるため、強い意見はあまりありません。 ベータ期間中、そして現在でも非常に興味深いのは、人々が品質をどのように認識し評価しているかを推定しようとしている点です。 価格の点に戻り、Fin についての意思決定を行う際に社内でそれを分離する必要はなく、価格設定について考えます。 「品質を上げたい。品質を高めたい」ということで、製品について考えなければなりません。 それにかかる費用はいくらですか? 喜んで支払ってくれる人はいますか?」 「わかりました。品質は低くなりますが、速度は少し速くなります。 彼らはそれに多かれ少なかれお金を払うつもりですか？」 したがって、これは継続的なサイクルであり、今後どのようなことに価値があるのか​​をよく考え、自分自身で感覚をチェックする必要があります。 顧客は喜んで支払いますか? 彼らは私たちと同じようにそれを評価しますか？

デス:そして、起こっている急激な変化を考えると、これらすべての決定、原則、ガイドラインはほとんど朽ち果ててしまうような気がします。 GPT-4 と Turbo のどちらを使用する必要があるかについて、私たちは非常に強い意見を持っているかもしれません。2 日後にはその意見を変え、もう一度質問を見直すかもしれません。 かなり極端な変化にどう対処していますか?

ブライアン:振り返ってみると、「ああ、これは間違っていた」と思います。 速度を最適化しようとしていますが、その後、今後の可用性と、これによって状況がどのように変わるかについて新しい情報が得られたとき、小さな単位で作業することに慣れているため、効率的に全員が作業を進めることができます。毎日ボードに乗ります。 そして今、私たちは何百人もの人々のようなものなので、昨日の情報に基づいて大幅な変更を加えた場合、誰もが「すべてが変わったが、翌週にはまた変わる」と思うはずです。 下の階にこれほど劇的な変化が生じる可能性がある場合、大規模な作業を行うのは本当に困難です。

私たちは混乱と不確実性について話していましたが、ここでは非常に多くのことが変化し、変化しているため、モデルがその中核部分であると話していましたが、全体像は非常に不確実です。 そして、これは私たちが話してきたことでもあります。「何が起こっているのか製品の不確実性を考慮してどのように構築するか?」 誰もがこれを理解しようとしています。

「製品の次のバージョンとこの業界の方向性を定義することに取り組みたいのであれば、喜んで混乱の中に飛び込み、外に出たときに手足がしっかりついていることを願う必要があります。」

たとえば、誰もが Google にアクセスし、Google がこれらすべてを実際に行う新しいアシスタントになるため、私たちのメッセンジャーは無関係になるのでしょうか? あるいはGoogleは無関係になるかもしれない。 「実際には、いいえ、混乱するのは彼らです。」 もっともらしい、数十億規模の企業破壊の可能性…それをさらに超える規模だと思います。 すべて合理的に考えることができます。 私たちがいるこの空間では、半年以内に実現する可能性のある代替宇宙の現実と、私たちが今構築できるものと、それを不安定な地面に構築できるかどうかという巨視的な不確実性が、誰にとっても新たな課題となっています。 ほとんどの人は、少しでも安定して仕事ができることを好みますが、誰もが安定性などもはや存在しないことを認識する必要があると思います。

Des:それは資産ではありません。

ブライアン:安定した製品に取り組みたいということは、以前は不確実性に対処していたチームで作業することを意味し、「よし、成功した、そしてこれからはさらなる成果が得られる」というような形で彼らの尻馬に乗っていることになります。反復的な作業を行うためのクッション性のあるスペース。」 そして、それはあなたの会社が到達することを望む正当な目標です。 しかし、その裏側には革新性と不確実性もあると思います。 一方を他方から抽出することはできません。 製品の次のバージョンとこの業界の方向性を定義することに取り組みたい場合は、混乱の中に喜んで飛び込み、外に出たときに手足がしっかりとつながっていることを願う必要があります。 でも、一般的にはそうですよね？ それはただのソフトウェアです。

AI時代の価値を解き放つ

Des:ブライアン、初期段階のスタートアップ、たとえば 50 ～ 100 名が AI での最初の冒険を始めようとしている場合、どのようなアドバイスをしますか? 彼らに方向性を与えなければならないとしたら、それは不確実性を受け入れることでしょうか、それともできるだけ早く進むことでしょうか? 座って様子を見て、ショットを選択することでしょうか?

ブライアン:私はいくつかの顧客カンファレンスに出席し、同じように何かを構築しようとしている何人かの人々と話しましたが、彼らは「このすべての不確実性にどうやって対処していますか?」というような質問をしていました。 このテクノロジーがこれまで不可能だったものを解き放つという点で、私たちが取り組んでいる価値は非常に多く、今では構築可能になっています。 製品を構築する人がこれほど多くのオプションを持ったことはかつてありませんでした。 私たちはあまりにも多くのものを持っているので、投資のバランスを取る方法を集中して見つけようとしています。 私たちがやりたいことは 100 個ありますが、そのうちの 50 個は構築され、価値のあるものになると確信しています。 今は手に入るものが多すぎるんです。

「以前は不可能だったものが、今では可能になっただけではありません。その多くは、かなり簡単に構築できます。」

したがって、スタートアップの場合は、次のステップを選択してください。 製品モデル全体がどのように変化するかに大きな賭けをするには、多額の投資が必要です。 しかし、企業が牽引力を発揮できる構築可能なものはたくさんあります。 今がスタートアップにとって最高の時期だと感じています。 6 か月前、ロブがショーに出席していたことを思い出してください。チーム ML のロブが、Tech の以前のバージョンを使用して「これはできるだろうか?」と検討したと伝えました。 それは、これが貴重なものであると私たちが知っていたからであり、彼は 2 週間かけて探検したからです。 彼は「いいえ、ここには何もありません。 ごめんなさい、皆さん。 何かを見つけようとしましたが、ここには何もないことがわかりました。」 6 か月後、彼がこの機能を実現するためにラッパーを貼り付けたのは 1 日もかからなかったと心から思います。 それが私たちの現状です。

以前は不可能だったものが今では可能になっただけでなく、その多くはかなり簡単に構築できます。 したがって、どの製品ビルダーにとっても、今はスペースを追求する素晴らしい時期だと思います。 製品を構築して商品化するには時間がかかるため、短期的な価値を選択してください。将来のことを考え始めることができる短期的な価値を見つけてください。ただし、私たちが取り組んでいるという事実によって麻痺しないでください。今、私たちの目の前にはたくさんの別の世界があります。

ラティ:新しいことを選ぶ必要はないとも思います。 昨年 GPT を立ち上げたときに Intercom で行ったことを振り返ってみても、私たちは仕事と解決したい問題を検討していました。これは非常に核心的なことです。 新しいものを構築したり、新しい分野を見つけたりする必要はありません。既存の問題を見つけて、この新しいテクノロジーを使用して解決できます。 そして、1 つ選びます。 たくさんのことを選ぶのではなく、1 つのことを選択して、それを追求してください。

「私たちの考え方は短期的に考えることです。 差別化はできているでしょうか？ うーん、３ヶ月もあればいいですね。 おそらく6か月が良いでしょう、そしてそれが私たちに何をもたらすか見てみましょう。」

Des:ビジネスにおける堀の考え方について、お二人はどう思いますか? あなたがスタートアップ企業であれば、やるべきことリストやプロジェクト管理を持っていて、こう言うでしょう。やれ。 それがあなたにとって簡単だったら、誰にとっても簡単です。」 優れた機能をどの程度アウトソーシングしているかについてどう思いますか? そして最終的には、あなたが構築している素晴らしいものを誰もが構築できるようになる、SaaS の偉大な民主化が起こるかもしれません。 もしかしたらそれはあなたが実際に一日を何に費やしているのかという範囲を超えた質問かもしれませんが、それに対してあなたはどう思いますか？ これらの機能は実際には他の誰かによって行われており、私たちはそれらに API を組み込んでいるだけだという考えですか?

ブライアン:外堀と競争上の優位性は、そのため難しい質問です。 We think of what Intercom as a system has and our competitive advantages within that, with data that we have, which is a huge source potentially there. We're not unique in having that, but we're, in a way, a smaller group of people who have some of those characteristics. So, how can we lean on that? It's super hard. How will it change? Will it matter or not? Will technology make that differentiation moot? Competitive differentiation is part of this as well because that will dissolve. The way we're thinking about is thinking short term. Do we have differentiation? Hey, three months would be good. Maybe six months would be good, and we'll see what that buys us. The reality is there's probably not a world where you can build something for a year and you're differentiated for a while. I don't know if that world ever really existed, but I think that's hard.

Des: There are still some types of moats, but I think, in general, simply building a lot of products might not be one, especially when you're not really building – you're just building API goals into it.

Brian: Another interesting thing, though, is that for us, as builders in this space, it's impossible to stay on top of all the stuff that's happening. It's actually incredibly hard to stay on top of all the stuff happening at the Intercom project. No one can really keep up with all this stuff that's happening. Never mind the macro industry.

“Are you betting on a product that's going to keep getting better or on a product that hopes the world never changes?”

And what about your customers? Their job is not to stay on top of all this stuff, even though they're now being asked to do it. I think brands will increase in importance. People say, “I need someone who's going to do the work for me, and I know this company will figure out the good stuff and make that available to me so that I don't have to figure it out.” So your customers can rely on you to figure out what matters from this and make sure that's in the product. Because I would be very happy if I could just offload that whole mental, “How the hell do I think about AI?” あなたへ。

Des: I think that's totally true. Maybe it's just our industry, because people are not free to change help desk every few months. It's very messy. But I think when people are picking a tool, whether it's like, say, project management or communications or support, they're probably making a decision that's at least one year in length, but probably more cause migration's now a joke for a lot of these things. So, what they're looking for in a brand is like, “Am I picking the right horse?” If new shit drops, will these people be able to react to it and make the most of it, or are they going to be stuck forever doing press releases that don't amount to any software whatsoever? Are you betting on a product that's going to keep getting better or on a product that hopes the world never changes? I think the latter category will be a bad bet at a time like this.

Brian: One other thought that's circled around my head is like product builders. This is what you hope for. You say, “Oh, the world has changed, and we want it to be in this holy-changed space.” そして、そうです。 It's for real. It's a great time to be building product, and we're lucky to be working in this space. That's how I feel, even though it's head-wrecking, you can't keep up, and the ground beneath us is almost forever shaken up. But this is fun. This is why you want to build product.

“Companies who want to move in the space in AI are going to have to be okay with not knowing everything and making sure you have clear goals for your teams”

Des: What's it like on the ground, Rati? Do you end up having to just chase down Slack channels in the night?

Rati: Yeah, I'm in Slack a lot. それは本当です。 But I also am okay. And I think companies who want to move in the space in AI are going to have to be okay with not knowing everything and making sure you have clear goals for your teams. For us, that's worked really well where the teams have clear goals they need to go after. I know 60% of the time what's going on, and any key decisions are usually surface that you'll catch. I'm sure there are things that drop, but generally, we're going in the same direction as a team. And on the AI piece, people are excited to work in this new space. It's a great opportunity for a lot of folks who you've been wanting to have this exciting new thing happen, learning how ML works, learning AI, as well as getting involved in that. So, it's quite good on the ground. Of course, there are pain points – I'm not going to paint it as a rosy thing, but it's exciting on the ground.

Des: I was talking to a friend, and we had this thought experiment. Imagine it all just went away. Imagine that, for whatever reason, someone deleted all of the LLMs, and we have to go back to the world of SaaS. It feels so much more boring looking back now. Because even the features that are pure SaaS 101 for us, even, let's say, ticketing in our help center, or whatever, we were still looking at them going, “At some point, we're going to come back to you with an AI perspective.” But if this wasn't here, in hindsight, it feels like we were getting towards the end of the SaaS cycle. We'd worked out how to build CRMs for farmers to keep track of their roosters. How many more tail-end sort of features could we build?

Philosophical musings

Des: Forgetting about Intercom, are you excited about AI in your own life as an employee of a tech company? Are there other areas or products you would like to see AI in? Are you seeing anything interesting?

Brian: I'll take this in a different direction, which you may want to shoot down. But for me, what's interesting, getting a little closer to the tech, is the language ability. There are so many philosophical questions that were good for college students to rattle on about with their professors. And you go on there, and it was all academic in that sense. And this has been going on from the '50s, actually, when it was a Touring test. What does it mean to learn? What is knowledge? What is reasoning? It's all relevant right now.

“You learn your second language quite deliberately, but with your first language, your brain was programmed to learn it in a way that evolution built”

Here's an example of this. Ask Fergal “Does GPT understand?” Well, no, it doesn't understand. But I saw, in a Slack thread, “Comprehension is actually kind of remarkable.” Does a robot understand things? It doesn't do language like we do because it just predicts blah blah blah – everyone vaguely knows how this works –, which makes no sense in our heads. But then, how did you learn your language? You had no idea. Your brain learned your language. I find myself thinking way more. I remember hearing neural networks, like programs were getting neural networks, “Yeah, right. Come on, you're not even close.” Now I'm starting to think of my brain more like the machine and I'm like, “I have no idea how I learned language. You learn your second language quite deliberately, but with your first language, your brain was programmed to learn it in a way that evolution built. It's all relevant now.

You could go into politics. There's all the fear of AI, which seems reasonable, but like, humans aren't so good at voting. I don't know, have we really earned the right that we think we have? Because I'd welcome a little more rational voting choices in the future. You can zoom up to that level. And actually, this AI makes you more reflective of our species. We always think we're amazing and wonderful whenever someone's competing against us. But damn, we've got to live up to the promise. My head goes a lot in those directions. And then with kids, seeing how they adapt to the technology as well. That for, me, are the juicy places to go. The academic questions are now front and center. It will be a fun time to go back to college now to be able to talk about this stuff.

“And all of a sudden, do you build relationships with machines?”

Rati: Continuing the tangent. For me, it's more the relationships. Normally, you build relationships by talking to people like this. And imagine, with the advancement of generative AI, being in conversations that you've had with a friend, a parent, or a partner, and then being able to have a conversation there. Can you have relationships with machines? That's, of course, not related to B2B SaaS, but I think it's interesting to start building the space around it.

Brian: Make the internet personal? We can productize that.

Rati: And all of a sudden, do you build relationships with machines? How does that change humans and how we interact in the world? I think that's going to be interesting to watch.

Des: I think the infinitely easier challenge, perhaps, is to build a model of yourself. Giving one of these things access to everything you've ever communicated digitally in any form, everything you've ever spoken, your voice, your look, et cetera. You can imagine having effectively a shadow bot that does your job for you 90% of the time. And that shadow bot just knows to escalate to you whenever it does not know how to do something. You know what I mean?

Rati: We're not far from that. I'm curious to see how open we are as a world to have this integrated into us. It's always been a theoretical conversation about machines and AI and what it could do. So, I'm curious to see, from a personal level and everyday life, how people will actually genuinely integrate this and how it changes how we relate to each other and create connections.

Democratizing UI

Brian: What about you, Des? What are you excited about?

Des: I believe in AI in so many ways. I'm actually not super excited by the sort of text generation features that everyone who has a text area has now got the ability to expand on. And yet, I think that's a reference to the “hello, world” of AI. You just throw this out to make sure all the endpoints are working. Where I get most excited from a future-facing point of view is that I think it'll be a great democratizer for UI. There are so many products we use on a regular basis. Workday is one of them. Kuba is another. There are plenty, honestly, where they're designed for the administrator in the company but not really for the end user who might be affected by the software.

“The idea is you know how to do that, and I don't. You and I could do it, and it might take us four hours, but Brian knows how to do it in 14 minutes”

So, I'm sure we employ people who think the Workday UI is great. I'm sure somebody in the world thinks it's the right UI. But I was in a tool yesterday to approve access for provisioning for something to somebody, and it's not that the UI is necessarily bad from a Jacob Nielsen one-on-one point of view – the drop-downs line up, the text areas line up, et cetera. It's more like this product is capable of so many things but my specific usage of it centers around one or two things, like requesting a day off or approving an expense or something like that, and yet it feels like I need to go on a training course to know how to do these things.

The example you'd both be familiar with is Google Analytics. You've both experienced it at some stage. You probably were once a certified GA or approved educator or something.

Brian: Yes, I was.

Des: You have a grant philosopher at Google or whatever. And the fact that you need a certification is almost part of my point. Because you get those certifications so you can answer questions, “Well, given this interface, tell me how to find the highest-performing referrals CPC ad word that worked for us in Norway between July and August or something like that.” The idea is you know how to do that, and I don't. You and I could do it, and it might take us four hours, but Brian knows how to do it in 14 minutes.

“The gap between being able to express what you want to do and being able to do it will narrow to zero”

What I think genuinely we'll see happen is a lot of these UIs will disappear for the regular folk, and they'll just type the thing they're trying to do. I see this all over the place today. An example is Equals, which is actually built by two former Intercomers. They're basically doing a next-generation spreadsheet with live connections to live data, et cetera. But one of the things they can do is press command+K and start typing the thing you're trying to do. And it will work out what you're trying to do and then generate the Excel commands that you needed to know that you never fucking knew because none of us know Excel codes or commands. It'll do all that for you, you hit return, and you're done.

That's an example of what I call democratization. Previously, all of this was only accessible to people who legit knew Excel or how to use Google Analytics. And now, all of a sudden, we're all going to have access to the same power. The gap between being able to express what you want to do and being able to do it will narrow to zero. Whereas before, there was a big clunky thing in the middle of becoming an expert at using blah. And that expertise is no longer needed. And now I think we can all say to the machine what we want to do, and the machine's going to do it.

現在のタブ、ドロップダウン、およびマウスクリックのエクスペリエンスよりもはるかに優れているため、それが実現すると確信しています。 それは起こるでしょう。 そしてそれが起こると、それはソフトウェアの性質そのものに対する落とし戸のような変化になります。 たくさんの人と話しましたが、誰もその準備ができていないと思います。 それが何を意味するのか私たちには分からないと思います。 UI のない UI を想像するのは困難です。 こうしたことの多くを想像するのは難しいです。 そして、UIがなくなることはないと思います。 人々はまだ何が起こっているのかを見たいと思っていると思います。 しかし、複雑な UI の本質は消え去っていきます。 やろうとしていることを英語で書くだけで完了です。 それはソフトウェアの新時代であり、そうなる前に私が引退することを願うばかりです。

ブライアン:インタラクション デザインは議論の余地があります。

デス:はい、その通りです。 そして、誰がこの問題に関与すべきであり、どういうわけかそうではないことを知っていますか？ コンテンツデザイナー。 彼らがそれを活用できれば、巨大な世界が彼らにやって来ます。

ラティ:どれくらい早く、あるいは誰が最初に導入するでしょうか? その変化が起こるとき、それは私たちの世代に起こるのでしょうか、それとも、それが引き付けるソフトウェアの性質を変えるのは今出てくる人々でしょうか？

Des:それは、どれだけアクセスしやすいかにも大きく依存すると思います。 テキスト駆動インターフェイスについて考えると、OpenAI テクノロジーである Whisper のおかげで、テキスト駆動インターフェイスはオーディオ インターフェイスと同等になります。 そして、Siri の将来について考え、Amazon の Echo デバイスや Cortana などの残りの製品について考えます。 突然、部屋に座ってコンピュータさえ苦手な人でも、インターネット全体のデジタル コマンドにアクセスできるようになりました。 タクシーを注文したり、ピザを送ったり、何でもいいです。 そのすべてが単なる些細なものになってしまいます。 そしてそれは状況を変えます。 それを理解したくないし、その方法がわかるとも言いたくありませんが、世界全体がこれまでと違ったものになるだろうし、エキサイティングな時代であることは確かだと思います。 Fin にご参加いただき、ご協力いただきまして誠にありがとうございます。 とても楽しいおしゃべりでした。またすぐにお会いしましょう。

ブライアン:ありがとう、デス。

ラティ：ありがとう。