超級智能AI的出現

我們開始構建能夠理解事物的人工智能係統。 它在哪裡停止？

超級智能人工智能並不是一個新話題。 但幾十年來，它主要局限於學術論文或科幻小說中的假設場景，以及機器人起義和世界末日場景的未來故事。 然而，隨著人工智能技術的發展，這個曾經很有趣的概念，即人工智能係統開始遞歸地提高自己的智能，直至最終超越人類智能，現在正一步步接近現實的門檻。 突然間，談話變得嚴肅了許多。

馬克斯·普朗克人類發展研究所、機器智能研究所甚至 OpenAI 等組織的一些研究人員聲稱，一旦達到這一點，遏制它們將極具挑戰性，甚至完全不可能。 而這一點距離發生可能並不遙遠。

無論何時、以何種形式出現，超級智能人工智能係統都將是真正的革命性的，影響從勞動力市場和經濟到生物學和醫學的方方面面。 然而，它們也對人類構成了深刻的生存風險，這引發了一些嚴重的問題——它離發生還有多遠？ 我們有能力應對它嗎？ 你如何開始監管它？

在本集中，我們的機器學習高級總監 Fergal Reid 與我們的產品設計副總裁 Emmet Connolly 一起直面超級智能——已知和未知，從道德到監管的威脅和挑戰。

以下是一些關鍵要點：

• 將人工智能融入自動駕駛汽車等領域會引發道德困境，但區分人工智能和超級智能很重要，因為超級智能可能危險得多。
• 在當前的人工智能問題和超級智能威脅之間平衡我們的注意力至關重要——今天的風險不應掩蓋未來潛在的危害，即使它們更難把握
• 監管人工智能非常具有挑戰性。 過度監管可能會削弱其好處，但對於前沿實驗室來說，與監管機構合作以促進負責任的開發和採用非常重要。
• 雖然非危險人工智能的應用應保持“快速行動，打破常規”的方法，但訓練前沿模型的研究實驗室必須受到嚴格監管。
• 忽視人工智能的潛在好處，同時過分強調風險，會導致徒勞的辯論，從而阻礙進步。 總體而言，這項技術的淨利是積極的。

如果您喜歡我們的討論，請查看我們播客的更多劇集。 您可以關注 Apple 播客、Spotify、YouTube 或在您選擇的播放器中獲取 RSS 源。 以下是該集經過輕微編輯的文字記錄。

進入未知

Fergal Reid：這是我們的另一場自由對話。 我們做了一些準備，你會說，“超級智能是最有趣的——”

埃米特·康諾利：超級智能可能會徹底改變我們的社會，甚至可能在一夜之間，而我們完全沒有能力應對它，那麼這種框架又如何呢？ 你說沒有人知道，而且這可能會在未來幾年內發生。 這是我們可能選擇談論的最重要的事情。 但我遇到的困難是它都是不透明的。 可能是兩年後，也可能是幾年後，或者是 200 年後。 這是最大的事情，但也是最大的未知數。

Fergal：好的，讓我們開始吧。 讓我們正面解決這個超級智能問題吧。 讓我們嘗試談談我們知道什麼和不知道什麼。 我們會犯很多錯誤。 我該如何框住它？ 這件事一直在我的腦海裡。 現在，這是棘手的。 很難抓住。 我們知道什麼？ 有這麼多炒作，對吧？ “哦，這會很瘋狂； 超級智能即將到來。” 所謂的末日論者聲稱，默認情況下，它會殺死我們所有人。 我們過去已經觸及過這個問題。 然後，還有其他人會說，“哦，那都是廢話。 這就像擔心火星上的人口過剩一樣。”

“我們已經構建了能夠開始理解事物的東西。 停在哪裡？”

著名研究員吳恩達（Andrew Ng）這樣說，然後一兩週前，他似乎改變了看法。 他有這份時事通訊，在時事通訊中，他沒有談到超級智能，但他說，“哦，這些系統開始理解和推理東西了。” 他提到了 Othello-GPT，我們之前討論過，你可以在 Othello 遊戲的片段上訓練這個東西——只是棋盤遊戲中的動作序列——它似乎開始學習有關棋盤遊戲和遊戲的基本知識。董事會的佈局。 他發現這很有說服力。 我覺得這也很有說服力。 因此，一些曾經說過超級智能距離一百萬英里的人現在稍微改變了他們的論調。 那些說人工智能什麼都不懂的人正在改變他們的論調。

我們已經構建了能夠開始理解事物的東西。 它在哪裡停止？ 我強烈感覺到的一件事是，談論事物變得越來越聰明並變得比人類更聰明並不荒謬。 這就是一個改變。 四五年前——兩年前？ – 我完全屬於吳恩達陣營，“是的，這是一個值得思考的有趣的事情，我喜歡讀科幻小說，但沒有路可走。 我們在那裡看不到任何路徑。 沒有證據表明我們看到的任何道路都會奏效。” 現在，有大量證據表明它可能會實現。 這是我們學到的東西。 這就是世界發生改變的事情。

埃米特：這聽起來像是我們可以追踪的東西。 我從你的暗示中得到的是，推理是實現超級智能或通用人工智能（AGI）或其他任何東西的必要步驟。 這裡展示的推理能力越多，我們就越有可能實現通用人工智能。 因此，就我無法抓住任何有形事物的一方面而言，你是說你認為隨著時間的推移，信心會集體建立？

“第一次，我們真的不知道其中的竅門是什麼。 而且可能沒有什麼竅門。 這可能是真的。 這是智能的，或者，至少，這個技巧與人類智能相似”

Fergal：是的，我的意思是，你會看到更多數據，並且更新你的世界觀。 如果你生活在一個根本沒有智能係統的世界，你應該對建立超級智能持更加懷疑的態度。 隨著世界上系統智能水平的提高，你應該對我們將實現超級智能的想法更加開放。 這很簡單。

我記得學習過國際象棋人工智能的工作原理。 我記得 1997 年深藍和卡斯帕羅夫的國際象棋比賽（Arcade Fire 有一首關於此的歌曲）。 我的爺爺曾經下棋，小時候教我下棋。 他對深藍確實感到震驚和驚訝，因為卡斯帕羅夫是一位高聳的人類智力天才，深藍擊敗了他。 “怎麼會這樣？ 這是否意味著機器和我們一樣聰明？” 這是一項重大的技術成就。 但這從根本上來說是一個好技巧。 當你了解國際象棋人工智能的底層工作原理時，你會發現它就是 Minimax 或 Negamax。 這是一個非常簡單的搜索算法。 它必須知道棋盤狀態是好是壞——如果我有很多棋子和一個皇后，而我沒有受到控制，那麼這就是對棋子價值的簡單計算。

但是，它只是進行了大量的搜索。 如果我搬到這裡，你搬到那裡，我搬到那裡……有一些巧妙的技術可以使搜索更有效，但這基本上是粗暴的計算。 它只是做了大量的計算。 所以，當你得知這一點時，突然間，你會感到失望。 突然之間，“深藍不是一台思考機器。 這真是一個非常聰明的——”

埃米特：計算器。

Fergal： ……計算器，對吧。 一個進行集體計算的大型機械系統。 縱觀人工智能的歷史，在你學會這個技巧之前，你總是會留下深刻的印象。 但現在，我們第一次真正不知道其中的竅門是什麼。 而且可能沒有什麼竅門。 這可能是真的。 這是智能的，或者至少，這個技巧與人類智能同樣好。

“深藍並不比卡斯帕羅夫聰明，但他們以一種非常聰明的方式，將其智能的強力計算方面部署到了一項任務中，使其更好，甚至可以獲勝”

埃米特：或者反映了一些潛在的、幾乎像物理學一樣的信息論普遍法則，或者當你把大量信息放在一起時信息如何工作。

Fergal：我不知道我是否會選擇信息論，但我想這個想法可能是一個簡單的系統會賦予表達能力，當你輸入足夠的信息時，它就會開始變得聰明。

埃米特：深藍並不比卡斯帕羅夫聰明，但他們以一種相當聰明的方式，將其智能中的強力計算部分部署到了一項任務中，使其更好，甚至可以獲勝。 所以我認為你們都可以說，“深藍並不比加里·卡斯帕羅夫聰明”，你也可以說，“深藍可以在國際象棋中擊敗加里·卡斯帕羅夫”，或者“它在某項任務上比人類更好。”

人工智能掌舵

埃米特：這讓我思考我們如何看待這些事情。 你所描述的你祖父的情緒反應……如果我們展望未來，看到自動駕駛汽車，它們一直在背景中冒泡，甚至在任何法學碩士的東西真正走到最前沿之前。 有一種情感問題，“我們想從這些系統中得到什麼？” 也許我在這裡不再談 AGI 的話題了，但讓我們看看汽車。 我們想從他們那裡得到什麼，或者我們將如何應對那裡的整合？ 因為我們現在的系統並不完善——每年有超過一百萬人因人為錯誤造成道路死亡。 如果我們用每年僅導致 50 萬人道路死亡的人工智能係統取代它，我們會……我的意思是，從純粹的道德、數字運算的角度來看，不……是非常困難的。

我覺得這就像人工智能電車難題一樣。 人工智能電車問題是一個本地問題“你會做出什麼決定？” 但我們有一個社會層面的決定，“我們是否會接受機器人駕駛汽車帶來的噁心感覺，即使它們容易犯錯，即使這種錯誤比人類司機更容易犯錯？”

“如果——這是一個巨大的假設——我們讓自動駕駛汽車達到這樣的程度，機器現在可以殺死你，就像人類過去殺死你一樣，但它殺死你的次數要少得多，我想大多數人都會同意這一點”

Fergal：我想我們可能會的。 顯然存在監管和政治失敗的可能性，但人們始終接受這些權衡。 他們只是不太談論這些問題，因為這在政治上是不明智的。 每個發達國家都有一個醫療系統，會權衡藥物的成本和效益。 無論好壞，他們都會這樣做。 我認為這是一件好事。 我知道這在政治上很難捍衛，但如果你不這樣做，會有更多的人死亡。

埃米特：人們對此爭論不休，但很少有人選擇生活在一個法規不為他們生活的各個方面提供護欄和安全屏障的國家。 所以是的，我同意你的觀點。

費格爾：是的，就是這樣。 希望他們做得很好，但他們確實必須就提供哪些藥物做出此類生死攸關的決定。 社會就是這麼做的。 我必須想像，如果沒有一些政治失敗，如果——這是一個巨大的如果——我們讓自動駕駛汽車達到這樣的程度，是的，機器現在可以殺死你，而人類過去會殺死你，但它會殺死你你少了很多，我想大多數人都會同意。

埃米特：我不知道。 從純粹邏輯的角度來看，如果你仔細推敲數字，很難發現你剛才所說的邏輯錯誤。 但我認為，與毒品監管相反，毒品監管有點像生活和生活的背景嗡嗡聲，你可以選擇進入自動駕駛或非自動駕駛汽車。 我認為對於很多人來說，這個決定比那些在日常生活中不太明顯的法規更加個人化。 我認為這最終可能會過度政治化，使監管變得非常難以實現，並且對我們的阻礙最大。

Fergal：我的意思是，我知道這會變得政治化，但看看核能。 核能比其他能源產生的碳污染更少。 這是關於其缺點的複雜討論。 當發生核洩漏時，代價極其高昂。 這是一個很難的統計問題。 但很多技術專家回想起來會覺得圍繞核電的討論並不是最理性的。 當我還是個孩子的時候，我曾經害怕核能。 我們很多八十年代的人都害怕核材料。 但這也許是政治失敗的一個例子。

肯定有很大一部分技術專家會說，“圍繞超級智能的爭論將導致對人工智能的過度監管，我們將失去很多人類利益。” 這就是下意識的監管。 也許自動駕駛汽車也會發生類似的情況，我們已經達到了更好的程度，但隨後出現了政治失敗，最終阻止了它們的部署，直到它們變得完美，但它們永遠不會完美。 但我想我對人們能夠進行這樣的辯論持樂觀態度。

艾米特：嗯，這就是為什麼我個人和情感上很難與厄運角度聯繫起來，因為無論你從現在開始說什麼或做什麼，一定程度的這種情況都會發生。

Fergal：為了超級智能？ 因為我很高興代表超級智能的厄運角度。

“自動駕駛汽車不會殺死所有人”

埃米特：哦，好吧。 因此，讓我們區分一下不需要超級智能的自動駕駛汽車和一些超級智能的科幻時刻。 即使是非超級智能的方面，我也感受到了一種厄運心態。

費格爾：是的。 你必須區分兩者。 有很多人對自動駕駛汽車等事物抱有難以置信的懷疑、憤世嫉俗和悲觀態度。 還有其他人會對一般智能或超級智能持憤世嫉俗和悲觀的態度，但我認為你必須將兩者分開。 每個人都認為自己是理性的，但我認為有合理的理由對超級智能持謹慎態度。 自動駕駛汽車不會殺死所有人。 但我認為，在某些可能的情況下，人們發明了超級智能，但一切都出了問題，而且它確實殺死了所有人。 我並不是說這有可能。 有人說這是默認情況，在我看來，他們有令人信服的論據，但我並不是說這是可能的。 但我不認為你可以說這是不可能的。 超級智能具有潛在的超級危險。 所以，我認為這就是一種瘋狂的狀態。即使是這次談話的最後一分鐘也是瘋狂的。

埃米特：是的，這很瘋狂。 回到我們一開始所說的，這是最重要的事情，但它卻如此不穩定。 我們只是想踏入其中。

Fergal：想想或談論都讓人害怕。 我認為人們自我審查很多。 學者自我審查。

埃米特：對，因為擔心出錯。

Fergal：害怕犯錯以及與之相關的激勵措施。 而且，即使在人類的層面上，這就像，“媽的，真的嗎？ 你談論的是如此龐大的技術。” 您在之前的播客中提到了奧本海默。 如果你相信這種事情會發生，並且如果你相信超級智能，那麼它顯然是一種與核武器具有相似威力水平的技術。 或者，我認為，遠遠高於該權力。 關於自動駕駛汽車存在著一種悲觀的爭論，而我個人並不認真對待這一點。 也許這有點傲慢，但自動駕駛汽車不會殺死所有人。

理清人工智能倫理問題

埃米特：我認為我們現在要討論的是，圍繞 AGI 或超級智能的整個對話與圍繞沼澤標準的對話非常不同，我們擁有什麼或-

Fergal：人工智能倫理。

埃米特： ……我們得到了一些更好的東西，但即使在接下來的五年裡，它也沒有達到下一個目標。 這是更核心的人工智能道德——所有關於錯誤信息的東西以及我們無論如何都必須處理的事情。

Fergal：我認為這是歷史的偶然，也許是歷史的危險的偶然，這兩場談話變得如此混亂。 現在，這只是一種觀點。 還有其他觀點。 今天從事人工智能倫理工作的人會說：“哦，不，這個超級智能正在吸走房間裡的所有氧氣。 未來理論上的危害正在分散人們對今天實際危害的注意力。” 但如果你相信未來的危害不是理論上的，而且幅度要大得多，那麼它應該引起很多關注，你知道嗎？

“我並不是說我們不應該嘗試以任何方式超越它，但它比我們面臨的一些更切實、更緊迫的問題更難解決。”

埃米特：讓我嘗試提出一個替代案例。 是的，當然，這就是大獎/威脅/危險。 然而，它對我們來說是如此未知和不可知……讓我先了解一下拉姆斯菲爾德式的——有已知的已知、已知的未知和未知的未知。 當我想到超級智能時，它是未知的未知，“讓我去讀一些科幻小說，夢想一下可能會發生什麼。” 儘管我們確實還有很多工作要做，但這些級別的人工智能之間的對話可能會適得其反。 儘管這是一件非常可怕的事情，但它是否會發生卻是二元的。 我並不是說我們不應該嘗試以任何方式超越它，但它比我們面臨的一些更切實、更緊迫的問題更難解決。

Fergal：是的，這很棘手，但存在 1,000 倍的巨大威脅，我認為大多數人都會同意這一點，但可能性較低。 也許威脅是 1,000 倍或 10,000 倍，但概率要低 10 倍或 100 倍。 如果我們在這一點上意見一致，那麼不談論這一點就是不負責任的。 僅僅因為它很棘手，並不意味著它不會來殺死你。

埃米特：或者我們是否開始真正建立起監管力量，討論監管並製定監管，以便我們為棘手的事情做好更好的準備？

Fergal：也許吧，但也許這太慢了。 我們討論了自動駕駛汽車及其道德規範，凡事都有成本和收益。 因此，世界上有很多人會說，“今天有關我們系統的所有人工智能倫理問題都很重要，但與當今系統的實用性相比卻顯得微不足道。” 但如果你談論的是超級智能，那麼形狀就會變得非常不同，因為這是一種下一級的危險技術。

埃米特：我明白你的意思，但我仍然認為有一條路我們應該避免。 這也是一條可行的道路。 我們繼續走我們正在走的路，嘿，這是一個思想實驗。 想像一下，如果明年有一場重要的選舉，人工智能和錯誤信息將成為這一切的禍首。 人們的手機上有一個唐納德·特朗普聊天機器人，可以與之交談，這是一個引人注目且有趣的產品。 我打賭我們會看到類似的事情。 公眾輿論和媒體風暴以及關於這是二元好還是壞的政治化只會淹沒整個事情，並使進行更重要的對話變得更加困難。

“我們的想法是，我們兩者都做，我們不會處於這樣的境地：‘嘿，短期的真正危害是唯一需要關注的事情，因為其他事情是模糊的’”

如果我們在明年達到一個階段，嚴重的錯誤信息和對很多人產生真正後果的事情——不是通用人工智能可能造成的全球崩潰後果，而是，不是為了最小化它，而是機器人在某個地方發生的單一事故汽車或其他東西——我們必須讓自己做好準備，就這些東西進行越來越成熟的對話。 我可以想像我們到達那裡有一條狹窄的道路，而且可能還有很多其他我們把事情搞砸的地方。

Fergal：我想你必須兩者都做，對吧？ 我們的想法是，我們兩者都做，而且我們不會處於這樣的境地，“嘿，短期的真正危害是唯一需要關注的事情，因為其他事情是模糊的”，或者未來是模糊的事情太大了，我們在短期危害上花費的時間為零。 據推測，存在一些最佳平衡的努力組合。

想像一下世界上有一個組織真正關心人工智能道德和人工智能安全。 該組織可能應該將重點分散在這兩件事上。 但你如何進行這種分割呢？ 帕斯卡搶劫的想法是如此之大，我就想，“嘿，我這裡有一個 AGI。 現在，你可能不相信我，但你應該把你所有的錢都給我以防萬一。 因為否則的話，世界就會毀滅。” 就像，“哦，哇，後果這麼大，你應該按我說的做。” 這就像帕斯卡的賭注，對吧？ 武器化。 您希望避免這種情況，但您也希望避免不考慮合法威脅的情況。

這是很難的事情。 我認為，那些試圖讓世界變得更美好的善良、善意的人，無論是長期還是短期，都會不同意。 你最近提到討論存在分歧。 有時，最有爭議的討論是當真正善良、善意的人在策略上存在分歧並最終互相爭鬥時。 這實在是太難繞過去了。

埃米特：顯而易見的是，我們必須同時做這兩件事。

規範人工智能格局

埃米特：您提到了即將生效的歐盟法規。 我們是否已經做好準備，針對我所說的短期問題制定明智、正確、有效的法規？

費格爾：我不知道。 我不是這方面的合適專家。 我讀過其中一篇歐盟人工智能法案草案。 裡面有很多好東西和很多有意義的東西。 但這仍然處於政治層面，仍在爭論中。 我讀到了一些似乎有些言過其實的修正案。 我不知道。 看看 GDPR。 GDPR 中的一些內容很棒，對吧？ 保護。 其中一些是多餘的，比如 cookie 同意的東西，或者你隨處可見的 GDPR 同意的東西。 這真的讓世界變得更美好了嗎？ 你可能會說：“嗯，理論很好，但實施起來很糟糕。” 是的，但這很重要。 良好法律的部分職責就是確保其後果不壞。

“無論你對這個東西有什麼看法，肯定最好是在風險較低的情況下將其推向世界，這樣我們就可以犯錯誤並找出問題所在”

人工智能會如何發揮作用？ 我想我們必須拭目以待。 我對在美國看到的情況感到鼓舞，他們與許多實驗室進行了合作。 雙方進行了接觸和真正的討論，他們開始對邊境訓練進行一些自願監督。 所以到目前為止還沒有感覺下意識的。 感覺很好。

我可能很天真。 我認為前沿研究實驗室的人們對這些東西相當負責。 他們關心的是不要誤入超級智能。 他們正在與監管機構合作。 你可以想像在另一個世界，他們故意污染公共辯論，並在無法監管的司法管轄區設立機構。 我認為正在發生很多好事，而憤世嫉俗者會說，“哦，這只是人工智能實驗室試圖進行監管捕獲。” 我確信不是。 這個領域的一些人並沒有忽視監管捕獲的好處，但我認為他們大多是優秀的參與者。

埃米特：我想良好的監管也允許一些滑動尺度或一步一步的進步。 無論你對這些東西有什麼看法，肯定最好是在風險較低的情況下將其推向世界，這樣我們就可以犯錯誤並找出問題所在。 自動駕駛汽車級別可能提供類似這樣的內容，您可以說：“如果您在這個區域，那麼這種級別的自主性就很好。 在這個區域，不需要，或者需要駕駛員干預。” 我在這裡也超出了我的專業領域，但你可以想像在其他領域。 讓我們從 X 光檢查或骨折腳趾掃描開始——人工智能可以做到這一點。 但對於像觀察腫瘤這樣的事情，我們將有多個層面，包括人類的參與。 也許你只是逐漸完成這些階段。

“厄運立場或危險的一般情報立場是，你意外地在你預期之前構建了更強大的東西”

Fergal：這就是我們構建人工智能產品時日常所做的事情。 目前，我們實際上正在開發收件箱中的人工智能產品，試圖做一些大事，現在我們正試圖確定，“不，那有點太雄心勃勃了。” 沒關係。 在較小的情況下，它肯定會安全地提供價值。 這是我們的日常工作。 您正在尋找方法，在絕對有利的地方進行推廣，然後擴大該規模。 我必須想像很多好的人工智能應用都會像這樣。

再說一次，厄運立場或危險的一般情報立場是你意外地在你預期之前構建了更強大的東西。 你進行了一些更長的訓練，比你以前訓練的時間長了10 倍，然後你發現你訓練的東西的智能程度提高了1,000 倍，因為它沒有按照你想像的方式擴展，或者因為你有了一些新的算法或其他什麼。 這才是人們真正擔心的情況。 我認為這種情況需要謹慎對待。

但同樣，即使是歐盟人工智能法案的人們也開始談論，“哦，如果你正在訓練最好、最前沿的模型，也許你必須註冊它。 至少你必須對其進行監管。” 你如何監管呢？ 天哪，我不知道。 那將是一項艱鉅的工作。 但至少他們正在考慮這一點。

敲響警鐘

Emmet：想像一下，你正在 OpenAI 或類似的領域工作，我們在一些極其龐大的語料庫上進行了大規模的 GPT-8 訓練，它超過了你所描述的這個閾值，它的強大程度令人恐懼。 您認為在這種情況下會發生什麼？ 首先，這是否最有可能發生在大型實驗室內，您已經描述過的類型，想要負責任地行事並與政府接觸，到那時，他們會說，“嘿，打紅色大按鈕，它發生了。 讓我們來討論一下下一步該做什麼。” 它是否會迅速而突然地被廣泛的個人所獲取，或者一旦發生，它是否可以被包含在實驗室內，然後我們可以討論如何非常小心地處理這種材料？

“有人訓練了模型，接下來會發生什麼？ 我希望訓練這些東西的人能夠敲響警鐘”

Fergal：裡面有很多東西，這絕對是一個很糟糕的場景，你最終訓練了一些東西。 這是科幻小說中的場景，但也許它並不遙遠。 誰知道？ 但這就像你訓練了一些可能比你聰明得多的東西。 它就在你的實驗室裡。 接下來發生什麼？ 我認為人們想要避免這種情況，我想這裡的遊戲是，當人們接近訓練這些東西時，他們可以看到這種情況的發生。 他們看到這正在接近人類智能。 希望可能沒有意識。 如果你認為它是有意識的，那麼就有各種各樣的道德事物，但讓我們假設你有一個無意識但有智慧的實體。 接下來發生什麼？

如果這就是技術發揮作用的方式，那麼私人實驗室感覺比一些軍事黑色行動項目更適合遇到這種情況。 對於那些“我們現在需要停止所有訓練”的人來說，這意味著您將首先在軍事環境中遇到這種情況。 真的，我不知道這對人們是否會更好。 也許這就是我的懷疑。 但是，是的，有人訓練了模型，接下來會發生什麼？ 我必須希望訓練這些東西的人們能夠發出警報。 我認為他們會的。 工業研究實驗室這樣做的一個好處是我認為他們會洩露一些東西。 我認為這就是為什麼它不在軍事背景下進行非常重要，因為不存在保密文化。 即使是蘋果公司，大型科技公司中最秘密的公司，我懷疑如果他們有一些瘋狂的人工智能產品，你也會聽說的，對吧？ 谷歌肯定會的。

埃米特：當你說洩漏時，你是指舉報人式的，比如“我們創造了這個？”，還是指模型——

Fergal：不，我並不是說洩露模型本身。

“想像一下，你生活在一個 AGI 擴散危險的世界中。 如何控制擴散？ 那是一個完全不同的世界”

埃米特：那確實發生了，對吧？ Facebook 向一些研究人員發布了他們的開源模型，有人洩露了它，然後它就可以在互聯網上使用了。

費格爾：是的。 好吧，這完全是另一場談話。 想像一下，你生活在一個 AGI 擴散危險的世界中。 如何控制擴散？ 那是一個完全不同的世界。 突然間，就像是，“伙計，我希望這是在軍事背景下。” 但即使你看看曼哈頓計劃，俄羅斯人也有間諜將曼哈頓計劃的技術轉移到他們的武器計劃中。 當然，民族國家目前正在考慮這類事情。

埃米特：當然。 儘管困難重重，大約 80 年前或類似的情況下，有人坐在一起進行我們現在正在進行的對話，我認為他們可能會感到驚喜，這一事實有一些積極的意義聽說如果快進到2023 年，它並沒有比原來的用法更進一步。

Fergal：還有人為偏見和人為陰影。 有各種有趣的統計特性。 這並不真正適用於核交換，但據你所知，能夠毀滅世界的事情在你的時間軸上永遠不會發生。

埃米特：對。 這是應用於地球生活的德雷克方程。 為什麼我賴以生存的世界卻從未終結？

費格爾：是的。 人擇偏差出現在德雷克方程中。 人類往往會低估毀滅行星小行星的普遍性，因為遭受毀滅行星小行星撞擊的其他物種並不在我們的歷史時間線上。 如果你想在那個級別開始推理……

Emmet：然後讓我把這個問題帶回人工智能方面。

“Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well”

Fergal: Well, maybe not the AI stuff, but the nuclear stuff. I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Move fast and break things

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. Is that what you mean?

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. Maybe I'm wrong. Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. You know what I mean?

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. It's hard. You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. That's it.

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

埃米特：在某種程度上，從第一個工具開始——如果你看《2001：太空漫遊》中他撿起骨頭——工具就有可能被用來製造東西或傷害某人。 我們可能會達到比之前出現的任何工具都更強大的程度。 這只是對二元性的最清晰的表達：任何事物都可以用於積極或消極的用途。 這取決於我們。 還是我們最終被工具打敗了，以至於我們無法將其保密？

Fergal：我想這取決於我們作為公民和民主國家。 我不知道我們所處的小民主國家是否會在這裡發揮很大作用。 這很大程度上取決於在研究實驗室工作的人們。 我認為民間社會需要認真思考這些問題。 這是一種不同類型的工具。 至少，它是最棘手、最危險的一類工具。 這裡可能會發生一些非常瘋狂的事情。 我看著孩子們開始上學，我不知道如果這些瘋狂的場景發生，他們將生活在一個什麼樣的世界裡。 同樣，我們應該承認還有其他情況。 但是，是的，我確實預計很快就會得到更廣泛的社會的強烈反應。

“他們需要權衡道德問題，但有一個非常一致的立場，你不能忽視這一點。 這來了”

埃米特：如果逐漸減少，你會稍微鬆一口氣嗎？

Fergal：我的意思是，我會很失望。 如果它在逐漸減弱之前能走得更遠，我會很高興。 但我確實認為這會給我們更多的時間來適應威脅。 此時，如果有人看到這個，他們會說，“天哪，我們需要取締所有人工智能的東西。” 這是一件非常合理的事情。 但我確實認為儘早、快速地遇到這些東西有這種瘋狂的理論上的戰略好處。 它促使許多研究實驗室人員將這項技術引入現在，這樣我們就可以在早期處理它。 我確實認為這些東西幾乎是不可禁止的。 我並不總是同意他們的觀點，但我非常尊重像 OpenAI 這樣的研究實驗室中思考這個問題的許多參與者，因為我確實覺得這是一件非常不負責任的事情。 他們需要權衡道德問題，但有一個非常一致的立場，你不能忽視這一點。 這即將到來。 你必須選擇何時處理它。

埃米特：從內部解決問題，而不是把頭埋在沙子裡。 我的意思是，賦予那些人和負責監管的人更多的權力。 我們既應該支持他們，又應該追究他們的責任。

Fergal：這裡的原材料是計算。 計算無處不在。 我們到處都有電腦。 這不像是鈾，你可以控制它。 當需要大量集中計算時，您確實希望遇到它。 那麼，至少在一段時間內是可以調節的。

埃米特：我確實想回去檢查一下。 謝謝，費格爾。

Fergal：聊得很開心。 謝謝，埃米特。