超级智能AI的出现

我们开始构建能够理解事物的人工智能系统。 它在哪里停止？

超级智能人工智能并不是一个新话题。 但几十年来，它主要局限于学术论文或科幻小说中的假设场景，以及机器人起义和世界末日场景的未来故事。 然而，随着人工智能技术的发展，这个曾经很有趣的概念，即人工智能系统开始递归地提高自己的智能，直至最终超越人类智能，现在正一步步接近现实的门槛。 突然间，谈话变得严肃了许多。

马克斯·普朗克人类发展研究所、机器智能研究所甚至 OpenAI 等组织的一些研究人员声称，一旦达到这一点，遏制它们将极具挑战性，甚至完全不可能。 而这一点距离发生可能并不遥远。

无论何时、以何种形式出现，超级智能人工智能系统都将是真正的革命性的，影响从劳动力市场和经济到生物学和医学的方方面面。 然而，它们也对人类构成了深刻的生存风险，这引发了一些严重的问题——它离发生还有多远？ 我们有能力应对它吗？ 你如何开始监管它？

在本集中，我们的机器学习高级总监 Fergal Reid 与我们的产品设计副总裁 Emmet Connolly 一起直面超级智能——已知和未知，从道德到监管的威胁和挑战。

以下是一些关键要点：

• 将人工智能融入自动驾驶汽车等领域会引发道德困境，但区分人工智能和超级智能很重要，因为超级智能可能危险得多。
• 在当前的人工智能问题和超级智能威胁之间平衡我们的注意力至关重要——今天的风险不应掩盖未来潜在的危害，即使它们更难把握
• 监管人工智能非常具有挑战性。 过度监管可能会削弱其好处，但对于前沿实验室来说，与监管机构合作以促进负责任的开发和采用非常重要。
• 虽然非危险人工智能的应用应保持“快速行动，打破常规”的方法，但训练前沿模型的研究实验室必须受到严格监管。
• 忽视人工智能的潜在好处，同时过分强调风险，会导致徒劳的辩论，从而阻碍进步。 总体而言，这项技术的净利是积极的。

如果您喜欢我们的讨论，请查看我们播客的更多剧集。 您可以关注 Apple 播客、Spotify、YouTube 或在您选择的播放器中获取 RSS 源。 以下是该集经过轻微编辑的文字记录。

进入未知

Fergal Reid：这是我们的另一场自由对话。 我们做了一些准备，你会说，“超级智能是最有趣的——”

埃米特·康诺利：超级智能可能会彻底改变我们的社会，甚至可能在一夜之间，而我们完全没有能力应对它，那么这种框架又如何呢？ 你说没有人知道，而且这可能会在未来几年内发生。 这是我们可能选择谈论的最重要的事情。 但我遇到的困难是它都是不透明的。 可能是两年后，也可能是几年后，或者是 200 年后。 这是最大的事情，但也是最大的未知数。

Fergal：好的，让我们开始吧。 让我们正面解决这个超级智能问题吧。 让我们尝试谈谈我们知道什么和不知道什么。 我们会犯很多错误。 我该如何框住它？ 这件事一直在我的脑海里。 现在，这是棘手的。 很难抓住。 我们知道什么？ 有这么多炒作，对吧？ “哦，这会很疯狂； 超级智能即将到来。” 所谓的末日论者声称，默认情况下，它会杀死我们所有人。 我们过去已经触及过这个问题。 然后，还有其他人会说，“哦，那都是废话。 这就像担心火星上的人口过剩一样。”

“我们已经构建了能够开始理解事物的东西。 停在哪里？”

著名研究员吴恩达（Andrew Ng）这样说，然后一两周前，他似乎改变了看法。 他有这份时事通讯，在时事通讯中，他没有谈到超级智能，但他说，“哦，这些系统开始理解和推理东西了。” 他提到了 Othello-GPT，我们之前讨论过，你可以在 Othello 游戏的片段上训练这个东西——只是棋盘游戏中的动作序列——它似乎开始学习有关棋盘游戏和游戏的基本知识。董事会的布局。 他发现这很有说服力。 我觉得这也很有说服力。 因此，一些曾经说过超级智能距离一百万英里的人现在稍微改变了他们的论调。 那些说人工智能什么都不懂的人正在改变他们的论调。

我们已经构建了能够开始理解事物的东西。 它在哪里停止？ 我强烈感觉到的一件事是，谈论事物变得越来越聪明并变得比人类更聪明并不荒谬。 这就是一个改变。 四五年前——两年前？ – 我完全属于吴恩达阵营，“是的，这是一个值得思考的有趣的事情，我喜欢读科幻小说，但没有路可走。 我们在那里看不到任何路径。 没有证据表明我们看到的任何道路都会奏效。” 现在，有大量证据表明它可能会实现。 这是我们学到的东西。 这就是世界发生改变的事情。

埃米特：这听起来像是我们可以追踪的东西。 我从你的暗示中得到的是，推理是实现超级智能或通用人工智能（AGI）或其他任何东西的必要步骤。 这里展示的推理能力越多，我们就越有可能实现通用人工智能。 因此，就我无法抓住任何有形事物的一方面而言，你是说你认为随着时间的推移，信心会集体建立？

“第一次，我们真的不知道其中的窍门是什么。 而且可能没有什么窍门。 这可能是真的。 这是智能的，或者，至少，这个技巧与人类智能相似”

Fergal：是的，我的意思是，你会看到更多数据，并且更新你的世界观。 如果你生活在一个根本没有智能系统的世界，你应该对建立超级智能持更加怀疑的态度。 随着世界上系统智能水平的提高，你应该对我们将实现超级智能的想法更加开放。 这很简单。

我记得学习过国际象棋人工智能的工作原理。 我记得 1997 年深蓝和卡斯帕罗夫的国际象棋比赛（Arcade Fire 有一首关于此的歌曲）。 我的爷爷曾经下棋，小时候教我下棋。 他对深蓝确实感到震惊和惊讶，因为卡斯帕罗夫是一位高耸的人类智力天才，深蓝击败了他。 “怎么会这样？ 这是否意味着机器和我们一样聪明？” 这是一项重大的技术成就。 但这从根本上来说是一个好技巧。 当你了解国际象棋人工智能的底层工作原理时，你会发现它就是 Minimax 或 Negamax。 这是一个非常简单的搜索算法。 它必须知道棋盘状态是好是坏——如果我有很多棋子和一个皇后，而我没有受到控制，那么这就是对棋子价值的简单计算。

但是，它只是进行了大量的搜索。 如果我搬到这里，你搬到那里，我搬到那里……有一些巧妙的技术可以使搜索更有效，但这基本上是粗暴的计算。 它只是做了大量的计算。 所以，当你得知这一点时，突然间，你会感到失望。 突然之间，“深蓝不是一台思考机器。 这真是一个非常聪明的——”

埃米特：计算器。

Fergal： ……计算器，对吧。 一个进行集体计算的大型机械系统。 纵观人工智能的历史，在你学会这个技巧之前，你总是会留下深刻的印象。 但现在，我们第一次真正不知道其中的窍门是什么。 而且可能没有什么窍门。 这可能是真的。 这是智能的，或者至少，这个技巧与人类智能同样好。

“深蓝并不比卡斯帕罗夫聪明，但他们以一种非常聪明的方式，将其智能的强力计算方面部署到了一项任务中，使其更好，甚至可以获胜”

埃米特：或者反映了一些潜在的、几乎像物理学一样的信息论普遍法则，或者当你把大量信息放在一起时信息如何工作。

Fergal：我不知道我是否会选择信息论，但我想这个想法可能是一个简单的系统会赋予表达能力，当你输入足够的信息时，它就会开始变得聪明。

埃米特：深蓝并不比卡斯帕罗夫聪明，但他们以一种相当聪明的方式，将其智能中的强力计算部分部署到了一项任务中，使其更好，甚至可以获胜。 所以我认为你们都可以说，“深蓝并不比加里·卡斯帕罗夫聪明”，你也可以说，“深蓝可以在国际象棋中击败加里·卡斯帕罗夫”，或者“它在某项任务上比人类更好。”

人工智能掌舵

埃米特：这让我思考我们如何看待这些事情。 你所描述的你祖父的情绪反应……如果我们展望未来，看到自动驾驶汽车，它们一直在背景中冒泡，甚至在任何法学硕士的东西真正走到最前沿之前。 有一种情感问题，“我们想从这些系统中得到什么？” 也许我在这里不再谈 AGI 的话题了，但让我们看看汽车。 我们想从他们那里得到什么，或者我们将如何应对那里的整合？ 因为我们现在的系统并不完善——每年有超过一百万人因人为错误造成道路死亡。 如果我们用每年仅导致 50 万人道路死亡的人工智能系统取代它，我们会……我的意思是，从纯粹的道德、数字运算的角度来看，不……是非常困难的。

我觉得这就像人工智能电车难题一样。 人工智能电车问题是一个本地问题“你会做出什么决定？” 但我们有一个社会层面的决定，“我们是否会接受机器人驾驶汽车带来的恶心感觉，即使它们容易犯错，即使这种错误比人类司机更容易犯错？”

“如果——这是一个巨大的假设——我们让自动驾驶汽车达到这样的程度，机器现在可以杀死你，就像人类过去杀死你一样，但它杀死你的次数要少得多，我想大多数人都会同意这一点”

Fergal：我想我们可能会的。 显然存在监管和政治失败的可能性，但人们始终接受这些权衡。 他们只是不太谈论这些问题，因为这在政治上是不明智的。 每个发达国家都有一个医疗系统，会权衡药物的成本和效益。 无论好坏，他们都会这样做。 我认为这是一件好事。 我知道这在政治上很难捍卫，但如果你不这样做，会有更多的人死亡。

埃米特：人们对此争论不休，但很少有人选择生活在一个法规不为他们生活的各个方面提供护栏和安全屏障的国家。 所以是的，我同意你的观点。

费格尔：是的，就是这样。 希望他们做得很好，但他们确实必须就提供哪些药物做出此类生死攸关的决定。 社会就是这样做的。 我必须想象，如果没有一些政治失败，如果——这是一个巨大的如果——我们让自动驾驶汽车达到这样的程度，是的，机器现在可以杀死你，而人类过去会杀死你，但它会杀死你你少了很多，我想大多数人都会同意。

埃米特：我不知道。 从纯粹逻辑的角度来看，如果你仔细推敲数字，很难发现你刚才所说的逻辑错误。 但我认为，与毒品监管相反，毒品监管有点像生活和生活的背景嗡嗡声，你可以选择进入自动驾驶或非自动驾驶汽车。 我认为对于很多人来说，这个决定比那些在日常生活中不太明显的法规更加个人化。 我认为这最终可能会过度政治化，使监管变得非常难以实现，并且对我们的阻碍最大。

Fergal：我的意思是，我知道这会变得政治化，但看看核能。 核能比其他能源产生的碳污染更少。 这是关于其缺点的复杂讨论。 当发生核泄漏时，代价极其高昂。 这是一个很难的统计问题。 但很多技术专家回想起来会觉得围绕核电的讨论并不是最理性的。 当我还是个孩子的时候，我曾经害怕核能。 我们很多八十年代的人都害怕核材料。 但这也许是政治失败的一个例子。

肯定有很大一部分技术专家会说，“围绕超级智能的争论将导致对人工智能的过度监管，我们将失去很多人类利益。” 这就是下意识的监管。 也许自动驾驶汽车也会发生类似的情况，我们已经达到了更好的程度，但随后出现了政治失败，最终阻止了它们的部署，直到它们变得完美，但它们永远不会完美。 但我想我对人们能够进行这样的辩论持乐观态度。

艾米特：嗯，这就是为什么我个人和情感上很难与厄运角度联系起来，因为无论你从现在开始说什么或做什么，一定程度的这种情况都会发生。

Fergal：为了超级智能？ 因为我很高兴代表超级智能的厄运角度。

“自动驾驶汽车不会杀死所有人”

埃米特：哦，好吧。 因此，让我们区分一下不需要超级智能的自动驾驶汽车和一些超级智能的科幻时刻。 即使是非超级智能的方面，我也感受到了一种厄运心态。

费格尔：是的。 你必须区分两者。 有很多人对自动驾驶汽车等事物抱有难以置信的怀疑、愤世嫉俗和悲观态度。 还有其他人会对一般智能或超级智能持愤世嫉俗和悲观的态度，但我认为你必须将两者分开。 每个人都认为自己是理性的，但我认为有合理的理由对超级智能持谨慎态度。 自动驾驶汽车不会杀死所有人。 但我认为，在某些可能的情况下，人们发明了超级智能，但一切都出了问题，而且它确实杀死了所有人。 我并不是说这有可能。 有人说这是默认情况，在我看来，他们有令人信服的论据，但我并不是说这是可能的。 但我不认为你可以说这是不可能的。 超级智能具有潜在的超级危险。 所以，我认为这就是一种疯狂的状态。即使是这次谈话的最后一分钟也是疯狂的。

埃米特：是的，这很疯狂。 回到我们一开始所说的，这是最重要的事情，但它却如此不稳定。 我们只是想踏入其中。

Fergal：想想或谈论都让人害怕。 我认为人们自我审查很多。 学者自我审查。

埃米特：对，因为担心出错。

Fergal：害怕犯错以及与之相关的激励措施。 而且，即使在人类的层面上，这就像，“妈的，真的吗？ 你谈论的是如此庞大的技术。” 您在之前的播客中提到了奥本海默。 如果你相信这种事情会发生，并且如果你相信超级智能，那么它显然是一种与核武器具有相似威力水平的技术。 或者，我认为，远远高于该权力。 关于自动驾驶汽车存在着一种悲观的争论，而我个人并不认真对待这一点。 也许这有点傲慢，但自动驾驶汽车不会杀死所有人。

理清人工智能伦理问题

埃米特：我认为我们现在要讨论的是，围绕 AGI 或超级智能的整个对话与围绕沼泽标准的对话非常不同，我们拥有什么或-

Fergal：人工智能伦理。

埃米特： ……我们得到了一些更好的东西，但即使在接下来的五年里，它也没有达到下一个目标。 这是更核心的人工智能道德——所有关于错误信息的东西以及我们无论如何都必须处理的事情。

Fergal：我认为这是历史的偶然，也许是历史的危险的偶然，这两场谈话变得如此混乱。 现在，这只是一种观点。 还有其他观点。 今天从事人工智能伦理工作的人会说：“哦，不，这个超级智能正在吸走房间里的所有氧气。 未来理论上的危害正在分散人们对今天实际危害的注意力。” 但如果你相信未来的危害不是理论上的，而且幅度要大得多，那么它应该引起很多关注，你知道吗？

“我并不是说我们不应该尝试以任何方式超越它，但它比我们面临的一些更切实、更紧迫的问题更难解决。”

埃米特：让我尝试提出一个替代案例。 是的，当然，这就是大奖/威胁/危险。 然而，它对我们来说是如此未知和不可知……让我先了解一下拉姆斯菲尔德式的——有已知的已知、已知的未知和未知的未知。 当我想到超级智能时，它是未知的未知，“让我去读一些科幻小说，梦想一下可能会发生什么。” 尽管我们确实还有很多工作要做，但这些级别的人工智能之间的对话可能会适得其反。 尽管这是一件非常可怕的事情，但它是否会发生却是二元的。 我并不是说我们不应该尝试以任何方式超越它，但它比我们面临的一些更切实、更紧迫的问题更难解决。

Fergal：是的，这很棘手，但存在 1,000 倍的巨大威胁，我认为大多数人都会同意这一点，但可能性较低。 也许威胁是 1,000 倍或 10,000 倍，但概率要低 10 倍或 100 倍。 如果我们在这一点上意见一致，那么不谈论这一点就是不负责任的。 仅仅因为它很棘手，并不意味着它不会来杀死你。

埃米特：或者我们是否开始真正建立起监管力量，讨论监管并制定监管，以便我们为棘手的事情做好更好的准备？

Fergal：也许吧，但也许这太慢了。 我们讨论了自动驾驶汽车及其道德规范，凡事都有成本和收益。 因此，世界上有很多人会说，“今天有关我们系统的所有人工智能伦理问题都很重要，但与当今系统的实用性相比却显得微不足道。” 但如果你谈论的是超级智能，那么形状就会变得非常不同，因为这是一种下一级的危险技术。

埃米特：我明白你的意思，但我仍然认为有一条路我们应该避免。 这也是一条可行的道路。 我们继续走我们正在走的路，嘿，这是一个思想实验。 想象一下，如果明年有一场重要的选举，人工智能和错误信息将成为这一切的祸根。 人们的手机上有一个唐纳德·特朗普聊天机器人，可以与之交谈，这是一个引人注目且有趣的产品。 我打赌我们会看到类似的事情。 公众舆论和媒体风暴以及关于这是二元好还是坏的政治化只会淹没整个事情，并使进行更重要的对话变得更加困难。

“我们的想法是，我们两者都做，我们不会处于这样的境地：‘嘿，短期的真正危害是唯一需要关注的事情，因为其他事情是模糊的’”

如果我们在明年达到一个阶段，严重的错误信息和对很多人产生真正后果的事情——不是通用人工智能可能造成的全球崩溃后果，而是，不是为了最小化它，而是机器人在某个地方发生的单一事故汽车或其他东西——我们必须让自己做好准备，就这些东西进行越来越成熟的对话。 我可以想象我们到达那里有一条狭窄的道路，而且可能还有很多其他我们把事情搞砸的地方。

Fergal：我想你必须两者都做，对吧？ 我们的想法是，我们两者都做，而且我们不会处于这样的境地，“嘿，短期的真正危害是唯一需要关注的事情，因为其他事情是模糊的”，或者未来是模糊的事情太大了，我们在短期危害上花费的时间为零。 据推测，存在一些最佳平衡的努力组合。

想象一下世界上有一个组织真正关心人工智能道德和人工智能安全。 该组织可能应该将重点分散在这两件事上。 但你如何进行这种分割呢？ 帕斯卡抢劫的想法是如此之大，我就想，“嘿，我这里有一个 AGI。 现在，你可能不相信我，但你应该把你所有的钱都给我以防万一。 因为否则的话，世界就会毁灭。” 就像，“哦，哇，后果这么大，你应该按我说的做。” 这就像帕斯卡的赌注，对吗？ 武器化。 您希望避免这种情况，但您也希望避免不考虑合法威胁的情况。

这是很难的事情。 我认为，那些试图让世界变得更美好的善良、善意的人，无论是长期还是短期，都会不同意。 你最近提到讨论存在分歧。 有时，最有争议的讨论是当真正善良、善意的人在策略上存在分歧并最终互相争斗时。 这实在是太难绕过去了。

埃米特：显而易见的是，我们必须同时做这两件事。

规范人工智能格局

埃米特：您提到了即将生效的欧盟法规。 我们是否已经做好准备，针对我所说的短期问题制定明智、正确、有效的法规？

费格尔：我不知道。 我不是这方面的合适专家。 我读过其中一篇欧盟人工智能法案草案。 里面有很多好东西和很多有意义的东西。 但这仍然处于政治层面，仍在争论中。 我读到了一些似乎有些言过其实的修正案。 我不知道。 看看 GDPR。 GDPR 中的一些内容很棒，对吧？ 保护。 其中一些是多余的，比如 cookie 同意的东西，或者你随处可见的 GDPR 同意的东西。 这真的让世界变得更美好了吗？ 你可能会说：“嗯，理论很好，但实施起来很糟糕。” 是的，但这很重要。 良好法律的部分职责是确保其后果不坏。

“无论你对这个东西有什么看法，肯定最好是在风险较低的情况下将其推向世界，这样我们就可以犯错误并找出问题所在”

人工智能会如何发挥作用？ 我想我们必须拭目以待。 我对在美国看到的情况感到鼓舞，他们与许多实验室进行了合作。 双方进行了接触和真正的讨论，他们开始对边境训练进行一些自愿监督。 所以到目前为止还没有感觉下意识的。 感觉很好。

我可能很天真。 我认为前沿研究实验室的人们对这些东西相当负责。 他们关心的是不要误入超级智能。 他们正在与监管机构合作。 你可以想象在另一个世界，他们故意污染公共辩论，并在无法监管的司法管辖区设立机构。 我认为正在发生很多好事，而愤世嫉俗者会说，“哦，这只是人工智能实验室试图进行监管捕获。” 我确信不是。 这个领域的一些人并没有忽视监管捕获的好处，但我认为他们大多是优秀的参与者。

埃米特：我想良好的监管也允许一些滑动尺度或一步一步的进步。 无论你对这些东西有什么看法，肯定最好是在风险较低的情况下将其推向世界，这样我们就可以犯错误并找出问题所在。 自动驾驶汽车级别可能提供类似这样的内容，您可以说：“如果您在这个区域，那么这种级别的自主性就很好。 在这个区域，不需要，或者需要驾驶员干预。” 我在这里也超出了我的专业领域，但你可以想象在其他领域。 让我们从 X 光检查或骨折脚趾扫描开始——人工智能可以做到这一点。 但对于像观察肿瘤这样的事情，我们将有多个层面，包括人类的参与。 也许你只是逐渐完成这些阶段。

“厄运立场或危险的一般情报立场是，你意外地在你预期之前构建了更强大的东西”

Fergal：这就是我们构建人工智能产品时日常所做的事情。 目前，我们实际上正在开发收件箱中的人工智能产品，试图做一些大事，现在我们正试图确定，“不，那有点太雄心勃勃了。” 没关系。 在较小的情况下，它肯定会安全地提供价值。 这是我们的日常工作。 您正在寻找方法，在绝对有利的地方进行推广，然后扩大该规模。 我必须想象很多好的人工智能应用都会像这样。

再说一次，厄运立场或危险的一般情报立场是你意外地在你预期之前构建了更强大的东西。 你进行了一些更长的训练，比你以前训练的时间长了 10 倍，然后你发现你训练的东西的智能程度提高了 1,000 倍，因为它没有按照你想象的方式扩展，或者因为你有了一些新的算法或其他什么。 这才是人们真正担心的情况。 我认为这种情况需要谨慎对待。

但同样，即使是欧盟人工智能法案的人们也开始谈论，“哦，如果你正在训练最好、最前沿的模型，也许你必须注册它。 至少你必须对其进行监管。” 你如何监管呢？ 天哪，我不知道。 那将是一项艰巨的工作。 但至少他们正在考虑这一点。

敲响警钟

Emmet：想象一下，你正在 OpenAI 或类似的领域工作，我们在一些极其庞大的语料库上进行了大规模的 GPT-8 训练，它超过了你所描述的这个阈值，它的强大程度令人恐惧。 您认为在这种情况下会发生什么？ 首先，这是否最有可能发生在大型实验室内，您已经描述过的类型，想要负责任地行事并与政府接触，到那时，他们会说，“嘿，打红色大按钮，它发生了。 让我们来讨论一下下一步该做什么。” 它是否会迅速而突然地被广泛的个人所获取，或者一旦发生，它是否可以被包含在实验室内，然后我们可以讨论如何非常小心地处理这种材料？

“有人训练了模型，接下来会发生什么？ 我希望训练这些东西的人能够敲响警钟”

Fergal：里面有很多东西，这绝对是一个很糟糕的场景，你最终训练了一些东西。 这是科幻小说中的场景，但也许它并不遥远。 谁知道？ 但这就像你训练了一些可能比你聪明得多的东西。 它就在你的实验室里。 接下来发生什么？ 我认为人们想要避免这种情况，我想这里的游戏是，当人们接近训练这些东西时，他们可以看到这种情况的发生。 他们看到这正在接近人类智能。 希望可能没有意识。 如果你认为它是有意识的，那么就有各种各样的道德事物，但让我们假设你有一个无意识但有智慧的实体。 接下来发生什么？

如果这就是技术发挥作用的方式，那么私人实验室感觉比一些军事黑色行动项目更适合遇到这种情况。 对于那些“我们现在需要停止所有训练”的人来说，这意味着您将首先在军事环境中遇到这种情况。 真的，我不知道这对人们是否会更好。 也许这就是我的怀疑。 但是，是的，有人训练了模型，接下来会发生什么？ 我必须希望训练这些东西的人们能够发出警报。 我认为他们会的。 工业研究实验室这样做的一个好处是我认为他们会泄露一些东西。 我认为这就是为什么它不在军事背景下进行非常重要，因为不存在保密文化。 即使是苹果公司，大型科技公司中最秘密的公司，我怀疑如果他们有一些疯狂的人工智能产品，你也会听说的，对吧？ 谷歌肯定会的。

埃米特：当你说泄漏时，你是指举报人式的，比如“我们创造了这个？”，还是指模型——

Fergal：不，我并不是说泄露模型本身。

“想象一下，你生活在一个 AGI 扩散危险的世界中。 如何控制扩散？ 那是一个完全不同的世界”

埃米特：那确实发生了，对吧？ Facebook 向一些研究人员发布了他们的开源模型，有人泄露了它，然后它就可以在互联网上使用了。

费格尔：是的。 好吧，这完全是另一场谈话。 想象一下，你生活在一个 AGI 扩散危险的世界中。 如何控制扩散？ 那是一个完全不同的世界。 突然间，就像是，“伙计，我希望这是在军事背景下。” 但即使你看看曼哈顿计划，俄罗斯人也有间谍将曼哈顿计划的技术转移到他们的武器计划中。 当然，民族国家目前正在考虑这类事情。

埃米特：当然。 尽管困难重重，大约 80 年前或类似的情况下，有人坐在一起进行我们现在正在进行的对话，我认为他们可能会感到惊喜，这一事实有一些积极的意义听说如果快进到 2023 年，它并没有比原来的用法更进一步。

Fergal：还有人为偏见和人为阴影。 有各种有趣的统计特性。 这并不真正适用于核交换，但据你所知，能够毁灭世界的事情在你的时间轴上永远不会发生。

埃米特：对。 这是应用于地球生活的德雷克方程。 为什么我赖以生存的世界却从未终结？

费格尔：是的。 人择偏差出现在德雷克方程中。 人类往往会低估毁灭行星小行星的普遍性，因为遭受毁灭行星小行星撞击的其他物种并不在我们的历史时间线上。 如果你想在那个级别开始推理……

Emmet：然后让我把这个问题带回人工智能方面。

“也许人工智能是一些疯狂的新技术，我们将依靠个人、公共政策人员和人工智能实验室的人员来加强管理这一点”

Fergal：嗯，也许不是人工智能的东西，而是核的东西。 I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

快速行动并打破常规

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. 你是这个意思吗？

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. 也许我错了。 Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. 你知道我的意思？

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. 这个很难（硬。 You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. 就是这样。

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

埃米特：在某种程度上，从第一个工具开始——如果你看《2001：太空漫游》中他捡起骨头——工具就有可能被用来制造东西或伤害某人。 我们可能会达到比之前出现的任何工具都更强大的程度。 这只是对二元性的最清晰的表达：任何事物都可以用于积极或消极的用途。 这取决于我们。 还是我们最终被工具打败了，以至于我们无法将其保密？

Fergal：我想这取决于我们作为公民和民主国家。 我不知道我们所处的小民主国家是否会在这里发挥很大作用。 这很大程度上取决于在研究实验室工作的人们。 我认为民间社会需要认真思考这些问题。 这是一种不同类型的工具。 至少，它是最棘手、最危险的一类工具。 这里可能会发生一些非常疯狂的事情。 我看着孩子们开始上学，我不知道如果这些疯狂的场景发生，他们将生活在一个什么样的世界里。 同样，我们应该承认还有其他情况。 但是，是的，我确实预计很快就会得到更广泛的社会的强烈反应。

“他们需要权衡道德问题，但有一个非常一致的立场，你不能忽视这一点。 这来了”

埃米特：如果逐渐减少，你会稍微松一口气吗？

Fergal：我的意思是，我会很失望。 如果它在逐渐减弱之前能走得更远，我会很高兴。 但我确实认为这会给我们更多的时间来适应威胁。 此时，如果有人看到这个，他们会说，“天哪，我们需要取缔所有人工智能的东西。” 这是一件非常合理的事情。 但我确实认为尽早、快速地遇到这些东西有这种疯狂的理论上的战略好处。 它促使许多研究实验室人员将这项技术引入现在，这样我们就可以在早期处理它。 我确实认为这些东西几乎是不可禁止的。 我并不总是同意他们的观点，但我非常尊重像 OpenAI 这样的研究实验室中思考这个问题的许多参与者，因为我确实觉得这是一件非常不负责任的事情。 他们需要权衡道德问题，但有一个非常一致的立场，你不能忽视这一点。 这即将到来。 你必须选择何时处理它。

埃米特：从内部解决问题，而不是把头埋在沙子里。 我的意思是，赋予那些人和负责监管的人更多的权力。 我们既应该支持他们，又应该追究他们的责任。

Fergal：这里的原材料是计算。 计算无处不在。 我们到处都有电脑。 这不像是铀，你可以控制它。 当需要大量集中计算时，您确实希望遇到它。 那么，至少在一段时间内是可以调节的。

埃米特：我确实想回去检查一下。 谢谢，费格尔。

Fergal：聊得很开心。 谢谢，埃米特。