GPT效应：客户服务的新时代

最近在大型语言模型方面取得的突破超出了我们的所有预期。 我们召集了行业专家就 GPT 及其将如何塑造客户服务的未来展开对话。

我们不能说它让我们感到意外。 多年来，业界一直称赞人工智能和机器学习从根本上改变我们工作方式的潜力，尤其是随着计算能力和数据存储的进步使得训练越来越大的模型成为可能。 但我们并没有完全预料到 OpenAI 的 ChatGPT 的最新进展会以多快的速度解锁新的可能性。

在 Intercom，我们一直在学习。 只有快速交付新功能，我们才能获得适当的反馈，从中学习，并一次又一次地迭代以更好地为我们的客户服务。 所以，很自然地，这就是我们对这项新技术所做的。 在过去的几个月里，我们向 160 位客户提供了一些人工智能功能。 虽然现在判断这些大型语言模型 (LLM) 将如何在我们的生活中发挥作用还为时过早，但我们相信我们已经达到了一个关键的转折点——尤其是在客户服务方面。

因此，上周，我们举办了一次网络研讨会，以更深入地探讨 GPT 的业务用例。 这一波创新浪潮与以往的浪潮有何不同？ 它会改变我们的工作方式以及企业与客户和潜在客户互动的方式吗？ 它能激发新一代的创业公司吗？ 为了让您更深入地了解，我们邀请了创业界的几位大佬参与讨论。

在今天的节目中，您将听到：

• Ethan Kurzweil，Intercom 董事会成员兼 Bessemer Venture Partners 合伙人
• Fergal Reid，我们自己的机器学习总监
• Krystal Hu，路透社风险投资和创业记者
• Bessemer Venture Partners 合伙人 Talia Goldberg

他们将讨论像 ChatGPT 这样的大型语言模型、企业如何整合这项技术，以及它将如何塑造客户服务行业的未来。

时间紧吗？ 以下是一些要点：

• 我们开始看到大型语言模型的粘性用例——由于其规律性和自然语言的使用，在增强客户服务方面具有巨大潜力。
• 目前，大型语言模型有望增强而不是取代人类的能力，因为它们可以帮助专业人员提高工作效率。
• 虽然现在衡量 Intercom 测试版实验的成功还为时过早，但最新的人工智能功能的采用和使用已经非常广泛，早期反馈非常有希望。
• 大型语言模型很快就会变得非常昂贵。 不过，随着时间的推移，它们会变得更便宜、更普遍，从而允许进行更多的实验和发现。
• 虽然幻觉仍然存在问题，但您可以配置和约束这些模型，使其在需要更高置信度的情况下更可信。
• 模型并非放之四海而皆准。 未来，公司很可能会运行不同的、可定制的模型的定制组合，以适应不同的业务问题。

如果您喜欢我们的讨论，请查看我们播客的更多剧集。 您可以关注 Apple 播客、Spotify、YouTube 或在您选择的播放器中获取 RSS 提要。 以下是该剧集经过轻微编辑的文字记录。

ChatGPT 的兴起

Krystal Hu：非常感谢大家抽出时间来参加。 我是 Krystal Hu，我为路透社报道风险投资和初创企业。 正如你们中的许多人所知，AI 和 ChatGPT 的浪潮在过去几个月突然出现，我工作的很大一部分是弄清楚技术以及它如何改变生活的不同方面。 对于今天的主题，我们将重点关注 ChatGPT 将如何塑造客户服务的未来。 我们将讨论 ChatGPT 和大型语言模型到底是什么、如何使用这项技术、它将对现有和未来技术产生的影响、初创公司如何采用这项技术以及如何建立新公司。

今天我们有一个很棒的小组讨论。 Bessemer 的两位了不起的投资者：Talia Goldberg 和 Ethan Kurzweil。 Talia 总部位于旧金山，投资于消费者互联网和软件业务，并与 ServiceTitan 和 Discord 等公司合作。 Ethan Kurzweil 也常驻旧金山，他领导着多个垂直领域的投资者，包括开发者平台、新数据基础设施、数字消费者应用程序和加密货币。

然后，我们将邀请 Intercom 的机器学习总监 Fergal Reid 向我们深入了解 Intercom 如何将这项技术融入其最新产品——包括一些人工智能助手功能。 我期待着征求他们的意见，听听他们在初创企业和风险投资方面的看法以及 GPT 可能带来的变化。 在整个过程中，如果您有任何问题，请随时在聊天中提出您的问题，然后我们将在对话结束时有大约 15 到 20 分钟的时间来解决问题。

我想我将从你开始，Fergal，因为你是房间里的技术专家，而且你处于将 GPT 整合到 Intercom 产品中的第一线。 或许您可以先给我们介绍一些背景知识，解释一下什么是 GPT 和 ChatGPT，以及您是如何想到要采用这项技术的？

“我不会编写规则，也不会具体说，‘学习预测 X 与 Y’”

Fergal Reid：这是一个非常激动人心的技术时代。 我想现在很多人可能已经看到了 ChatGPT，因为它掀起了如此大的波澜。 但从技术角度来看，从我狭隘的世界观来看，我在 Intercom 工作了大约五年，我负责机器学习团队。 我们所做的机器学习工作使用的算法已经存在了一段时间——使用监督学习算法，学习区分事物的算法。 你可以说，“嘿，让我们预测一下某人是否会要求这样或那样的东西。” 有了这些机器学习系统，你就给了他们很多训练数据：“嘿，如果有人问你一个问题，这是一个例子，如果有人问你另一个问题，这是一个例子。”

最新的生成式 AI 浪潮的新意和不同之处在于，你不是只教模型预测一件事或另一件事，而是说，“嘿，模型。 了解如何生成此类新数据。 了解如何生成图像。” 你给它一些文本，它会学习生成映射到该文本的图像，或者，使用 ChatGPT，你只需与它交谈并给它一些文本，它就会非常擅长生成更多文本作为响应。

“我们有这个非常大的模型，我们用英语问它问题，告诉它用英语做事，它非常擅长按照我们的吩咐去做”

这只是进行机器学习的一种不同方式。 我不会编写规则，也不会具体说“学习预测 X 与 Y”。 相反，我将采用非常大量的训练数据，制作一个非常擅长预测训练数据的模型，然后，希望我可以通过生成新示例来让它做有用的事情。

使用 ChatGPT，您可以通过给它一些文本并说“生成接下来的内容”来询问它。 令人惊讶的是，这非常有用。 您可以说，“嘿，这是客户支持对话，这是支持对话的摘要”，然后将其提供给 ChatGPT，它会生成接下来会发生什么或接下来会看到什么。 也许，你说，“这是摘要，”然后弹出一个摘要。 这非常有用。 这是构建功能和系统的一种非常通用的方法。 我们没有为每一件小事编写一个新的机器学习系统，而是有了这个非常大的模型，我们用英语问它问题，告诉它用英语做事，它非常擅长按照我们的吩咐去做。 因此，在 Intercom，我们一直在尝试使用它来构建产品功能。

客户服务的游戏规则改变者

Krystal Hu：我想把 Talia 和 Ethan 作为该领域的多产投资者带到舞台上。 您已经看到了几次技术浪潮。 这个关于生成 AI 的项目有何不同，您对哪些应用领域感到兴奋？

Talia Goldberg：当然，谢谢邀请我。 这是对什么是生成式 AI 的一个很好的概述。 很有趣，就在这次会议之前，我正在看我们去年夏天在博客上发表的一篇文章，大概是八九个月前，那是 ChatGPT 推出之前的几个月，但我们开始看到很多势头并且有理由对尤其是大型语言模型所发生的事情感到兴奋，以及 AI 和生成 AI 作为这一新的真正强大的人工智能浪潮的潜力。

我们有一个预测：“今天，只有不到 1% 的在线内容是使用 AI 生成的，而在未来 10 年内，我们预测至少 50% 将由 AI 生成或增强。” 我们正在讨论这个问题，我们认为这样说是一件很疯狂的事情，但天哪，我们低估了 AI 可以多快地转换我们所看到的大量信息。 我想说在未来两年内我们的在线互动、内容和媒体可能会达到 50%。 我认为，这对许多信息和知识工作（包括客户支持）的影响是巨大的。

“您会立即看到棘手的用例，在这些用例中，技术已经成熟，可以进行颠覆、改进、增强和改进，而客户支持就在这方面的正轨上”

Krystal Hu： Ethan，你在Intercom工作有一段时间了。 这是您认为客户服务一直在等待的时刻吗？ 因为我觉得技术和机会对于像 Intercom 这样的客户服务应用程序来说是黄金。

Ethan Kurzweil：是的，我觉得这可能是大型语言模型的前沿应用以及它们可以做的事情。 如果你退后一步，想想技术变革和平台转变，比如智能手机时刻、iPhone 时刻等等，那么早期发生的事情就是所有这些兴奋，许多开发者和创造者涌入一个空间，然后你有这种冲刷，你可以看到哪些是最前沿的应用程序，它最先出现，而那些不会让你陷入幻灭的低谷。 我认为我们可能还处于这条曲线的早期阶段，但您会立即看到棘手的用例，其中技术已经成熟，可以进行破坏、改进、增强和变得更好，并且客户支持正在为此提供直接的支持。

我现在已经在 Intercom 工作了将近八年半，Intercom 一直是一个在新技术准备就绪时始终处于采用新技术的最前沿的团队。 我记得两三年前，人们说，“自动化，自动化，自动化。” Intercom 的产品领导总是说，“它还不够好。 我们可以做到，我们可以以这样一种方式坚持下去，即我们可以在某些功能请求表上勾选一个框，但这不会导致真正良好的类人流程。” Intercom 始终围绕使互联网业务个性化这一理念而成立。 如果你有一个听起来不像个人的机器人，那就是正交的。

Intercom 在他们的流程中如此成功地使用它这一事实向您表明该技术已经准备就绪，并且这是我们将看到它影响的许多事情之一。 并不是所有的事情都立即发生，但随着时间的推移，我们将看到通过让机器以类似人类的方式进行交谈的能力来产生更大的影响。

“你看看曲线和改进速度，几个月后、几个季度后和几年后情况会更好”

Talia Goldberg：如果我可以补充一件事，我认为客户支持是 AI 开始产生影响的完美初始领域。 原因之一是它使用自然语言。 你可以用英语与人工智能交流，它会用英语回应。 您不需要编码——它会生成信息。 这就是客户服务和支持的样子——产生可以个性化的出色的、类似人的体验，解决投诉，并随着时间的推移变得越来越好。 因此，您还可以通过在客户支持中使用它来获得这个很好的反馈循环。

正如 Ethan 所说，尽管今天可​​能存在一些挑战和一些粗糙的事情，但技术和潜力已经非常大了。 你看看改进的曲线和速度，几个月后、几个季度后和几年后会更好。 这是我们最感兴趣的类别之一，我们认为每个企业都可以利用它并需要考虑它。

Krystal Hu： Fergal，现在正是您向我们概述 Intercom 最近推出的功能以及您如何将 ChatGPT 纳入其中的最佳时机。

弗格尔·里德：当然。 在这里回应 Talia 和 Ethan 的观点，领域中有如此多的结构，客户支持代理做的事情太多了，他们正在做他们最后一天所做的同样的事情，或者可能是一个他们的队友以前做过，而且有如此多的规律性和结构，对于一个学习和使用 AI 来让人们更快的系统来说，感觉真的已经成熟了。

“我们认为最好的起点是让一个人参与其中。 有人包裹在收件箱中，我们想让他们更快，但他们仍然能够检查和批准它”

在 ChatGPT 推出的同时，OpenAI 发布了这个供开发者使用的新模型，text-davinci-003。 我们与 OpenAI 建立了很长时间的关系，当我们审视该模型时，我们觉得它确实跨越了有用的门槛，我们可以用它来构建。 因此，我们做了一些初步的基准测试。 人们在收件箱中花费大量时间，他们经常要做的一件事是在将刚刚看到的对话提交之前写下摘要。 这项技术似乎非常擅长进行会话摘要，我们当时想，“我们可以构建一个功能来执行此操作并将其提供给我们的测试版客户吗？” Intercom 具有“船来学习”的原则。 我们相信以极快的速度向客户提供新功能，这样我们就可以了解它是解决了问题还是只是出于好奇。

因此，基本上，在 12 月初，我们启动了一个项目，看看我们是否可以快速发布一些功能，这些功能可以与实际收件箱中的客户支持代表一起使用，从而使他们更快。 一个是摘要，还有其他功能可以帮助他们更快地撰写文本。 我们真的觉得这是开始这项技术的正确起点，因为生成式 AI 确实有缺点。 它并不总是像您想象的那样准确。 查看 ChatGPT 很容易，向它提出问题，它会给您答复，然后您会想，“这太棒了。” 然后你更详细地阅读它，实际上，有时它会出错。 我们认为最好的起点是让一个人参与其中。 有人被包裹在收件箱中，我们想让他们更快，但他们仍然能够检查和批准它。 这是一个很好的起点。

现在，我看到有人在评论中问，“嘿，机器人和可以自己回答问题的东西怎么样？” 我们认为它即将到来并且可能很快就会到来，但我们仍在探索它。 对我们来说最大的问题是准确性。 我们觉得现在让一个人参与循环的时机已经成熟，这可以使支持代表更快。 可能很快就会出现下一步的事情。 这是一个非常有趣的领域。

Ethan Kurzweil：为了重复这一点，我们得到了一些有趣的前瞻性问题，比如，“这会让我作为文案的日子屈指可数吗？” 我完全不这么认为。 这项技术现在并且可能会持续一段时间的地方是增强人类的能力和人类的智慧，使您作为撰稿人的工作效率更高，但不一定会取代您，因为首先，该技术还不存在，其次，随着我们拥有这些资源，客户支持或与企业的任何沟通的门槛只会越来越高。 虽然该技术可能能够自行处理一些撰稿人和支持响应用例，但随着我们获得这些技术，真正好的副本和真正好的支持等等的门槛将会提高. 理想状态是您将能够使用这些技术来提高工作效率，但它不会很快取代您。

塔莉亚戈德堡：是的。 我喜欢 Wyatt 刚才所说的它是一个能力倍增器。 我们在内部讨论了很多关于 Copilot 的例子，它就像编码的自动完成，它已经使工程师的效率显着提高。 它根本不会取代工程师或工程，但可以增强它。 一个非常基本的例子可能是计算器。 过去，我们常常手工计算。 现在我们都用计算器了，但是数学还是很重要的，我们都需要学，数学家在这个世界上很重要。 可以说，您的角色可能会变得更加重要，因为随着创建内容的成本下降，并且有大量不同的内容和信息，创建可以脱颖而出并超越的内容和信息将会变得更加重要未来几年的溢价。

Intercom 对 GPT 的实验

Krystal Hu：自 Intercom 推出其人工智能辅助功能以来已经过去了几周。 你看到的早期反馈是什么？ 您如何衡量采用该技术的成功与否？

“我们看到大量采用、大量兴奋和大量使用”

Fergal Reid：对此我会非常坦诚——我还没有对这个问题给出完全令人满意的答案。 我可以告诉你的是，我们现在已经上线了，我们有成千上万的客户经常使用它——我们已经有很多人采用了。 我们可能会尝试衡量这是否真的提高了人们的工作效率，因为比方说，对于我们自己的 CS 团队，我们可以收集遥测数据，“如果你使用这些功能，你会更快吗？” 并为此进行某种形式的对照实验。 我们总是喜欢在某个时候尝试获得某种形式的实际数据，但我们还没有到那个时候。 我猜，至少在内部，一两个月后，我们可能会对此有一些了解或更多的了解。

我现在可以告诉你的是，我们看到了很多采用、很多兴奋和很多使用。 肯定有一些功能，例如客户告诉我们的摘要可以节省他们大量的时间。 我们有客户告诉我们这样的事情，“嘿，对于某些对话，编写交接摘要所花的时间可能与解决最终用户问题所花的时间一样长。” 因此，我们对此肯定感觉良好。

在我们的一些其他功能中，你写一个速记，有点像 GitHub Copilot。 我们受到 Copilot 的启发，在 Copilot 中，如果你是程序员，你可以写注释或速记，然后它会填充代码。 我们的一项功能是“扩展”，您可以在其中写下速记，然后将其变成更长的支持消息。 有时，这会奏效并节省人们的时间，但我们还没有这方面的数据。 我们目前所拥有的只是它的第 1 代版本。 我们有第 2 代版本的原型。 此刻，你写速记，大型语言模型将它展开。 我们试图做的是说，“嘿，让我们把你上次回答这样的问题的时间拉进来。 让我们引入与此相关的宏。” 我们有一些运行良好的内部原型。 我们仍在创新并做一些真正能起到推动作用的事情，但我们还没有衡量标准。 很快。

“我在 Tableau 中有一张图表，记录了我们每天在 OpenAI 上的支出，我们一直在密切关注它”

Krystal Hu：跟进一下，你怎么衡量它的成本？ 据我了解，您可能会向 OpenAI 发送查询，我猜他们会收取每千个字符两美分或类似的费用。 我想，随着收养率的提高，账单也会越来越多。 关于整合这项技术，您有什么经验或观察要分享吗？

Fergal Reid：我在 Tableau 中有一张图表，显示我们每天在 OpenAI 上的支出，我们一直在密切关注它。 这绝对是一个考虑因素。 我提到了摘要功能，我们以一种非常人性化的方式构建了它，您必须在提交问题之前询问摘要。 我们的客户对我们说的一件事是，“嘿，我为什么要问这个摘要？ 请始终在侧边栏中保留摘要，这样我就永远不必要求它了。” 这将变得非常昂贵，因为如果每次有人在对话中说新内容并且摘要发生变化时我们都必须支付两美分，那将变得非常昂贵。 我们绝对必须以一种我们不使用更传统的机器学习模型的方式来考虑成本。

也就是说，OpenAI 刚刚公布了他们的 ChatGPT API，我认为这让很多人感到惊讶，因为它比该系列之前的类似模型便宜 10 倍。 成本可能会下降得相当快，并且这些功能会被广泛采用。 在这一领域建设的其他初创公司或公司呢？ 我们在 Intercom 上给出的建议是尝试快速进入市场，因为您可以为您的客户建立和解锁真正的价值。 而且成本可能会下降，因为随着像 OpenAI 这样的供应商想出如何使它们更高效，模型会变得更便宜，或者因为你会想出更有效的方法来使用它们。 你会想办法说，“嘿，我可以在对话的第一部分使用一个更便宜的生成模型，然后，当我有这个更困难的任务需要更高的准确性时，我会使用更昂贵的” Ethan 和 Talia 对此的看法可能比我更广泛，我很想听听他们的想法。

“在开发人员拥有一项新技术之前，您永远无法确定他们将如何使用新技术——并且在每次调用 API 时无需支付两美分的情况下使用它”

Ethan Kurzweil：嗯，这是一个很好的例子，说明你有时会看到这些前沿技术。 一开始，高价值的用例得到了它们，而您正在描述该原则的实现。 在 Intercom，这是今天要求的摘要功能。 但随着时间的推移，这项技术将变得更加普遍和便宜。 那时它可以扩散到更多的用例中，在这些用例中，今天这样做的边际成本是高得令人望而却步的，这让开发人员可以在我们没有真正预测的这类人工智能中发现大型语言模型的其他应用。

在 Bessemer，Talia 和我试图制定我们认为技术将走向何方的路线图，但作为面向开发人员的投资者，我一直在思考的关键原语之一是你永远不确定开发人员将要做什么一项新技术，一个新平台，一个新的访问途径，直到他们拥有它——并且在他们每次调用 API 时都不需要支付两美分的地方——并且可以重复并做一些起初听起来很荒谬的事情。

我很高兴这项技术达到了只有大量实验的地步。 我敢肯定，在 Intercom 的产品路线图中，不是今天，而是一年后，会有一些我们没有预测到但对客户具有非常高价值的东西。 并且会有一些刚刚出现的初创公司，因为他们在一些特定的方式上重复使用生成文本，并且它为某些人创造了非常好的用户体验。

Talia Goldberg：我认为有一个有趣的例子可以强调一些类似人类的潜力来增强与支持相关的体验。 比方说，如果我在和一些带有浓重爱尔兰口音的 Intercom 团队交谈，他们可能认为我有疯狂的西方口音，那么当我们非常兴奋和说话真快。 尽管每个人都说英语，但它听起来像是一种不同的语言。 人工智能可以实时地稍微改变一个人的口音，使其在两种方式上都更容易理解。 所以，如果我有爱尔兰口音或英国口音，它会把它翻译成加州口音，这可以通过降低沟通障碍在某些方面真正改善体验。

Ethan Kurzweil：这是一个很好的例子，因为技术正在进入直接沟通的中间，但让它更像人，这听起来像是矛盾修饰法，但如果部署得当，它可以让你在消息传递或通信环境中感觉更紧密。

Talia Goldberg：这是互联网的承诺——将我们所有人聚集在一起并打破障碍。 我真的非常相信可以增强它的潜力。

信心商数

Krystal Hu：我想很多人都对你如何确保信息流方面的一切都是正确的和准确的有疑问。 在不同的用例中，风险是不同的，但一般来说，您不希望向您的客户提供错误的信息。 你如何确保这一点？

“并不是说你，作为一个人，永远看不到那些东西，因为那是不可能的——而是你能够适当地过滤。 这就是我对大型语言模型的看法”

Talia Goldberg：也许只有一个评论，然后我想我会让 Fergal 更具体地回答有关 Intercom 的问题。 这些模型是在大量数据上训练的——数十亿和数十亿的数据和信息点。 因此，无论您如何尝试欺骗数据或输入虚假数据，它仍然是整个数据中非常小的一部分。 当您考虑如何创建这些模型时，这是要记住的一件事。

另一件事是数据输入。 我知道有人担心它是否是在不正确的数据上训练的，不要误会我的意思，幻觉和其他领域肯定存在挑战，所以还有很多需要改进的地方。 但在你的生活中，并不是你四处走走就看不到可能是错误或有偏见甚至是错误信息的事情。 你确实遇到过，但是你运用你的判断力和头脑，还有很多其他好的数据。 因此，作为一个人，并不是说你永远看不到那些东西，因为那是不可能的——而是你能够适当地过滤。 这就是我对大型语言模型的看法。 在某些情况下，训练集中的数据和信息不是您想要的，但是随着时间的推移，语言模型过滤它并获得正确答案的能力应该会越来越好。

“这可能是参数之一：'你对这个回应有多大信心？' 如果不够好，就不要给它”

Ethan Kurzweil：在数据隐私和准确性方面存在一些有趣的问题。 在我们进入隐私部分之前，关于数据准确性问题要记住的另一件事是，在未来，在一些大型语言模型中，你实际上可以设置一个准确性商数。 这有点像 AI 被编程为赢得 Jeopardy - 它有一个置信区间，它以 90% 或 60% 的置信度知道问题的答案。 在那种情况下，如果你回答错误就会失去一些分数，他们将间隔设置得非常低，只有 40% 左右。 如果您有 40% 或更多的把握，管他呢，那就去尝试回答问题吧。

可能在某些情况下你想要人类水平的准确性，你把它设置在那里，很多时候，当人工智能不能达到 99 个百分位时，它会转向人类或类似的东西。 在某些情况下，甚至在军队中，甚至在监管严格的行业中，你对有根据的人工智能辅助猜测都有更大的容忍度。 这可能是参数之一：“您对此回应有多大信心？” 如果不够好，就不要给。

Fergal Reid：就此而言，Ethan，这绝对是我们内部对 Intercom 的强烈产品信念，即这里很可能会有各种容差。 会有一些客户的容忍度很高，“给我建议； 如果建议偶尔出错也没关系。” 并且会有其他客户的容忍度非常低。 我们希望我们需要对此进行一定程度的配置。

“我们拥有这项新技术，可以做出更好的预测并更快地做事。 我们如何接受它并使其足够值得信赖，或者至少让客户选择？”

只是为了深入了解我们未来正在研究的一些事情，假设您有一些东西试图消费一篇文章并回答有关该内容的问题。 一个例子是你限制它说，“你只能用一个确切的引用来回应。” 它可以将引语放在上下文中，但引语必须在那里。 这是使用这些新的大型语言模型更好地理解您的查询和检索信息的保守方法，但限制了它们实际可以说的内容。 另一个例子是你采用生成模型并允许它在引擎盖下生成，但它只能通过预定义的一系列动作或它可以说的话与最终用户交互。

有很多技术可以利用强大的引擎并尝试使其更安全、更值得信赖和受约束。 我想你会看到很多人使用这种技术。 我们拥有这项新技术，可以做出更好的预测并更快地做事。 我们如何接受它并使其足够值得信赖，或者至少让客户选择？ 我认为在接下来的几个月里，你会在这个领域看到很多动作。

跨行业的大规模个性化

Krystal Hu：关于这一点，Ethan、Talia，除了客户服务，您在这个领域看到的其他应用程序是否让您感到特别兴奋？

Ethan Kurzweil：我可以先走了。 看看一些消费者应用程序，游戏是我们感到兴奋的应用程序。 如果你思考是什么让游戏变得有趣，很多时候，那就是新内容的刷新率，而这需要不断提出创意。 我们开始看到人们在思考，“如果每个玩家的每一次体验都可以是全新的呢？” You couldn't have a personal copywriter writing that much content for each person, but an AI could do it. And it could get down to a level where each decision you make generates a new experience based on whatever temporal inputs you want to give the system.

“We went from handcrafted goods to mass-produced goods to mass personalization in a way we've probably never seen before”

Media applications as well. Earlier in my career, I used to work at the Wall Street Journal , and the parent company of the Wall Street Journal was Dow Jones. They had a sister news department called Dow Jones Newswires , which was about getting financial news mainly to traders and folks that needed to act very quickly on that information as fast as possible through terminals and things like that. I think about what an AI could do to augment news or get news to the end user more quickly. Again, I don't think it's replacing journalists at all, I think it's augmenting the amount of information and the targeting we can provide to folks much more quickly.

I think about entertainment use cases. This promise of personalized television and premium content services has always been out there, but when you get to the long tail of internet content and user-generated content, it tends to be pretty low-quality. Could you have a high-quality, personalized content delivery service? I think AI could impact that equation in the future.

Talia Goldberg: I love the concept of personalization and everyone having their own experience. We went from handcrafted goods to mass-produced goods to mass personalization in a way we've probably never seen before. This is a totally new experience for everyone, which is super cool. I'll share one of the areas that I think is going to be wildly impactful and really promising, which is in life sciences and biotech.

“The AI is seeing something that we, as humans, have never before been able to see”

Applying AI to drug discovery and development using huge amounts of data to look at molecules and protein structures and genomic data can be really transformative. I read this study that I think was in Nature a month ago, and it described how some researchers gave an AI a bunch of images of a human retina, and the AI, with 90% accuracy, said which retina belonged to either a male or a female. That seems very basic – who cares? But what's really crazy about that is that no researcher, scientist, or AI expert has ever been able to find any sign of a retina correlating to gender of any form. The AI is seeing something that we, as humans, have never before been able to see.

You think about that, and then you apply that to cancer and different cells and otherwise, and the potential is just massive and really exciting. And we're already seeing a lot of applications. AI's going to transform a whole bunch of things – health, software, business applications, logistics, consumer… We could make a long list, but there are a ton of reasons to be super optimistic.

连连看

Krystal Hu: When I talk to startups, when they're incorporating this kind of technology into their offerings, one choice they have to make is which model they work with. Do they only work with one type of model, or do they diversify their vendors to work with other companies besides OpenAI? I'm sure, Fergal, you've spent some time thinking about that. What was the experience like at Intercom?

Fergal Reid: With new technology, being right in the forefront, our head tends to go first to customer value. We're happy to use the most expensive or newest model to try and figure out, “Okay, can we really build a transformative experience for a customer with this that is a core part of the workflow and makes something valuable for them?” And once we do that, we're like, “Okay, now, how can we make it cost-effective?” And we're probably going to end up with a large mix of different models from, say, OpenAI, and we've also looked at other vendors like Anthropic, which are doing some really interesting work in this space too.

“It's highly likely that everyone's going to end up running a bespoke mix of many different models. It's going to get complex pretty fast”

It's an exploding space with many different people training large language models, and I think you'll have different large language models that are better and worse and have different trade-offs in terms of cost and latency and performance. Performance won't be one-size-fits-all. Some models are better at dealing with hallucinations, some are better at generating creative content, and I think we're already seeing that.

Our focus is to get whatever models we can, try them out, think if we can use these to build transformative value, get it live with our customers, and then figure out how to optimize that. Once we know it's delivering value, let's optimize it in terms of price and cost and work. It's highly likely that everyone's going to end up running a bespoke mix of many different models. You could have three different models in one customer interaction. So yeah, it's going to get complex pretty fast.

“There'll probably be a new set of metrics that everyone coalesces around that measure the effectiveness of your AI and your particular business problem”

Ethan Kurzweil: I think that's an interesting point that actually ties the question from before: how do you measure the success of this? Because I think lots of companies will try a model or many, and the question will be, “All right, which is best?” And that's such an oversimplification because you have to figure out what you are trying to achieve. Are you trying to achieve engagement with users? Are you trying to achieve a quick resolution?

I think there'll probably be a sort of metricization of this where people come to a standard, like the way Google Search created a new industry, AdWords, and the way we measure click-through rates and conversion rates and things like that. There'll probably be a new set of metrics that everyone coalesces around that measure the effectiveness of your AI and your particular business problem.

Fergal Reid: Yeah, even before these more recent language models, we've had bots that process natural language using pretty big neural networks, although not as big. And whenever we would do something like upgrade our bots, we would conduct a large-scale A/B test framed in terms of end-user metrics such as self-serve rate. Then, we would find edge cases for particular customers or domains where it performed less well, really dig into those, and make sure nothing was broken. I think there's probably a well-understood playbook, like Ethan's referring to, of metrics for given domains. A lot of the same things will apply to this new type of technology.

问答

Krystal Hu: I'd love to get to the Q&A. I think we were able to address some of the questions during our discussions, but there are a bunch about the potential roadmaps from, I assume, Intercom's customers or companies working with Intercom who want to know what could be the next AI-aided feature that may come out, both in the short-term and long-term, and also how that will affect the pricing strategy.

Fergal Reid: Cool. Do you want to call out one particular question?

Krystal Hu: I think there was a question about your roadmap for the features for the next six months versus 12 to 18 months, and then the other person asked about the pricing strategy.

Fergal Reid: We have some things coming up that unfortunately, I can't talk about at the moment. I would say that six months is a really long time in this space. I expect you'll see a lot of movement in this space over the next two or three months. We will continue to sweat and invest in these features in our Inbox to make support reps more efficient. I've already talked about how we've got a Generation 1 version of features here at the moment, with summarization and expansion features to help edit a text, and we're definitely working on Generation 2 versions of those features.

We've also met two other exciting features in this space that we're really excited about, but unfortunately, I can't share any details at the moment – it's just a little bit too early to announce and launch those things. I can promise you're going to see a lot of action and excitement from us, and I'm sure from other companies in this space as well, over the next six months.

“Right now, there's a bit of a context limit for each interaction with an AI in a large language model, but there's a lot of exciting research pushing the boundaries”

Krystal Hu: Talia and Ethan, do you have any expectations or hopes on how fast the space could move?

Talia Goldberg: Well, it's moving a lot faster than we even anticipated. The space is moving really quickly in part because there are a whole bunch of technological advances happening at the same time as the hardware that these models are trained on gets better and improves at a Moore's Law rate, and there are new architectures and ways of scaling on that hardware. We're getting better and better at creating new experiences and models.

I don't have an exact prediction of how quickly we'll see different things, but one of the biggest areas that we're watching closely and expect to see a lot of advances in over the next six to 12 months is around personalization and being able to create far more personalized experiences. Right now, there's a bit of a context limit for each interaction with an AI in a large language model, but there's a lot of exciting research pushing the boundaries of those context windows, coming up with new frameworks to create far more personalized experiences and remember each person, each user, each customer, and tons of data points about that person to create a better experience.

“I would encourage everyone that's building new products to ride the ups and the downs”

Ethan Kurzweil: I completely agree with Fergal and Talia. We're going to see predictable and unpredictable applications of this over the next six months. There'll be some unsuccessful ones too, and then the narrative will quickly shift to, “Oh, that didn't do everything we thought it was going to do as quickly as we thought.” Right now, we're into the peak of momentum and euphoria and, dare I say, a little hype in the space. But over time, it'll become as big a deal as we thought.

I would encourage everyone that's building new products to ride the ups and the downs. Don't ride the up as high as it may be feeling like you should right now, but when the narrative changes a little bit, because it will – all new technologies have that “Oh, that wasn't as impactful as quickly as we thought” moment – I would encourage everyone to keep building through that as well.

Krystal Hu: Yeah, I'll definitely take that from you as a crypto investor.

Ethan Kurzweil: It's the same thing. Right now, there's clearly a trough of disillusionment for crypto. And good builders are figuring out, “Okay, what of this technology is applicable? What makes sense?” And we'll see those things come to market over the next couple of years.

Krystal Hu: One common question I saw in the Q&A is: how will this impact human jobs like human agent jobs? I'm curious to hear your thoughts on this specific case.

Ethan Kurzweil: Ever since the advent of the computer, there's been this prediction that it would be a massive replacement for human work at all levels. It does change the nature of work, and this will certainly change in some ways, but it's not going to be a wholesale replacement for humans in any broad way.

“你猜怎么了？ Every year, we need way more engineers. It's like Jevon's Paradox. The more that AI is available and the cost goes down, the more demand there is”

Just as Talia alluded to the example of Copilot and people, I've read many articles saying this was going to put all developers out of business over the next two to three years, and that's complete BS. Everyone knows that's not true. But it may allow for more productivity and for the cycle time on software to speed up. It may allow for different skills to be more important. I think it just makes us more productive. It's not that it won't have an impact and won't shift the nature of work in some ways. I don't mean to minimize that because that's very real. But looking at the whole, you'll see we come out ahead.

Talia Goldberg: At least until we reach the singularity, I'm pretty convinced of the need for more and more engineers. You could have gone back 10 years and been like, “Ah, there are all these cool developer tools now that are coming out and making it way easier to integrate things,” or, “Oh gosh, there are these self-serve products like Zapier that make it easy for non-technical people to connect products and integrate things.” 你猜怎么着？ Every year, we need way more engineers. There's a shortage. It's like Jevon's Paradox. The more that AI is available and the cost goes down, the more demand there is. And I think, in a lot of areas, that paradigm will hold true. But as Ethan said, the exact skills and the way it looks may shift.

Krystal Hu: Yeah, that makes a lot of sense. I saw some interesting observations and questions about whether you should tell people that they are talking to an AI versus a real person. It's an interesting question because it presumes we wouldn't be able to tell.

Ethan Kurzweil: It's a good existential question. If you're talking to a person assisted by an AI, who are you talking to, and what disclosure do you have to make in that case? I don't have any answers to these questions, but they're great ones for us to debate.

Talia Goldberg: I find that AI can sometimes generate responses that are so detailed and so good that there's just no way that a human did it anyway. It's like the reverse of the Turing test.

Krystal Hu：另一个关于安全功能的问题。 我想我们之前也谈到了这一点，但有一个具体问题：“安全功能与模型提供商的垂直集成有多重要？ 例如，将 OpenAI 的调节 API 与 ChatGPT 模型输出结合使用与混合搭配 Jigsaw 的 Perspective API 有多重要？” Fergal，你可能有一些想法或经验可以分享。

Fergal Reid：是的，我对 Jigsaw 的 Perspective API 不熟悉，所以我不太清楚。 OpenAI 和 Tropic 的所有人以及其他任何正在训练大型语言模型的人都非常关心如何使它们可用、安全和对齐，他们非常关心避免产生幻觉。 他们将继续在这些领域开展工作，使 Intercom 等公司更容易以可靠的方式部署这些技术。 我不相信我们需要垂直整合它。 我不知道 Intercom 是否需要为我们训练自己的大量大型语言模型来解决产品化问题并使它们足够值得信赖。 我认为无论如何我们都会在这个领域看到很多动作。

这种生成式 AI 为用户提供了很大的自由来尝试弄清楚如何部署模型。 有一个新兴的提示工程领域，我的团队正在做很多这样的事情，他们正在编辑提示并试图弄清楚，“好吧，我如何以正确的方式向模型询问我想要什么才能得到它给我想要的结果？” 这会变得更好，至少在一段时间内会变得更好，它会变得更强大，并且模型会变得更容易控制。

我认为我们将能够看到处于 Intercom 位置的公司产生大量价值并找出大量应用程序和设计。 我们仍在学习如何围绕这项新技术设计产品。 像我们这样的人有很多自由度来使用它。

“总是有这种紧张感：你只是搭讪一般的事情吗？ 一般模型比微调好多少？”

Krystal Hu：关于Intercom建立自己的模式也有疑问。 正如您之前提到的，在制作 API 或类似的东西时，也许会有机会混合使用哪种模型更适合您的用例？

Fergal Reid：是的，鉴于目前训练这些模型的规模，对于像 Intercom 这样规模的公司来说，训练自己的模型似乎没有经济意义。 但同样，这里有一个频谱。 我们将开发围绕它们进行设计的专业知识，并了解向模型询问什么。 我们可能会看到围绕 Intercom 微调模型等公司的新兴功能。 很多这些新模型都经过强化学习和人类反馈的训练。 这样做的成本可能会随着时间的推移而下降，我们将能够根据我们的特定用例更多地定制它们。

总是有这样的紧张：你只是在一般事情上搭便车吗？ 与微调和做特定事情相比，一般模型会好多少？ 我们将不得不看看这个空间如何发挥作用，但我认为公司将有很大的自由度来采用这些模型并为他们的领域定制和产品化它们。 我们正处于这项技术产品化的早期阶段。 它会发生很大变化，并且会变得更容易确定优先级。

Krystal Hu：我们的精彩对话即将结束，但我们可以再回答两个问题。 一是关于企业公司如何采用 ChatGPT 并从中提取价值。 你已经看到公司开始将其整合到他们的产品中，另一方面，我认为公司，尤其是受到高度监管的银行，对信息服务和隐私问题感到疑惑，并禁止他们的员工在公司笔记本电脑上玩耍。 我很想听听 Talia 和 Ethan 对这个问题的看法。

Talia Goldberg：在我们的投资组合中，许多软件公司甚至可能不属于像 Intercom 这样真正处于最前沿的类别，它们正在思考，“嘿，这对我的业务有多重要，我可以通过哪些方式可以将其中一些模型或 ChatGPT API 集成到我的产品中吗？” 高度重复的任务对于 AI 帮助自动化或简化来说真的很棒。 我们的一家公司从他们的客户那里获得了大量的会计信息，他们需要核对并标记是否有错误或有问题。 他们过去有过这些基于规则的系统，但你可以应用人工智能并获得更高的准确性。 另一个有趣的例子与摘要部分有关。 如果客户与呼叫中心代理或销售代表交谈，您可以总结该对话并专门为该人创建定制的营销资料。

Krystal Hu：最后一个问题要问 Talia 和 Ethan。 人们问你在投资种子前初创公司或我想一般的初创公司时在寻找什么。

“我们试图将其分解为一个关键问题，‘这是否真的为某些特定角色或类型的人带来了改变？’”

Ethan Kurzweil：这是一个很好的问题。 对此有很多不同的答案。 Pre-seed 比我们通常投资的要早一点，免责声明——通常，我们投资的是较晚的种子或 A 系列或 B 系列。但我们的理念是在任何我们能找到的地方寻找超增长模型他们。 通常，我们打破它的方法是尝试通过路线图进行预诊断，而 Talia 一直在推动我们围绕 AI 及其应用到各种不同事物的大量思考，我们提出了这些路线图我们认为非常有趣的不同主题领域。 它们可能非常广泛，比如云计算或医疗保健的消费化，也可能很窄，比如人工智能对客户服务的影响。

我会鼓励人们去看看，因为我们在我们的博客和社交媒体上发布了很多我们活跃的论文，看看你正在构建的东西是否与某些东西保持一致。 然后，一般来说，我们正在寻找，“这是否会产生改变我们工作或娱乐方式的影响，或者可能成为某些业务流程或消费者需求的范式转变的影响？” 这就是我们将其分解的原因。 我们注意到，任何时候你的行为都会发生广泛的变化，这会导致高速增长的公司和初创公司有机会破坏工作或娱乐方式或以前做过的任何事情。 因此，我们试图将其分解为关键问题，“这是否真的会为某些特定角色或类型的人带来改变？”

Krystal Hu：我们的谈话到此结束。 对于那些没有机会尝试 Intercom 的新功能的人，我鼓励您自己尝试一下摘要和其他一些功能。 如果您对风险投资领域感兴趣，一定要看看 Bessemer 的网站。 正如每个人所说，六个月后，我们回过头来看，一些预测会成真，也许有些会完全不同。 我希望我们还有时间回过头来讨论更多问题。 再次感谢 Talia、Ethan 和 Fergal 今天抽出时间来。

Ethan Kurzweil：感谢邀请我们。

塔莉亚·戈德堡：再见。

Fergal Reid：非常感谢大家。 再见。