超知能AIの登場

公開: 2023-09-01

私たちは物事を理解できる AI システムの構築を始めています。どこで止まるのでしょうか？

超インテリジェント AI は新しいトピックではありません。しかし、何十年もの間、ロボットの反乱や世界終焉のシナリオなどの未来的な物語は、主に学術論文や SF のページの仮説的なシナリオに限定されていました。しかし、AI テクノロジーが進歩するにつれて、AI システムが自らの知能を再帰的に改善し始め、最終的には人間の知能を超えるという、かつては面白かったこの概念は、つま先立ちで現実の敷居にますます近づいています。突然、会話ははるかに深刻になります。

マックス・プランク人間開発研究所、マシン・インテリジェンス研究所、さらにはOpenAIなどの組織の一部の研究者は、いったんその時点に達すると、彼らを封じ込めるのは非常に困難、あるいは完全に不可能になると主張する。そして、その点が実現するのもそう遠くないかもしれません。

超インテリジェント AI システムはいつ、どのような形で登場しても、真に革命的なものとなり、労働市場や経済から生物学や医学に至るまであらゆるものに影響を与えるでしょう。しかし、それらは同時に人類に深刻な存続リスクをもたらし、それがどの程度実現に近づいているのかといういくつかの深刻な疑問を引き起こします。私たちはそれに対処する準備ができていますか? そして、どうやってそれを規制し始めるのでしょうか？

このエピソードでは、機械学習担当シニアディレクターのファーガルリードが、製品デザイン担当副社長のエメットコノリーとともに、倫理から脅威や規制の課題に至るまで、既知と未知の領域のスーパーインテリジェンスに正面から取り組みます。

以下に重要なポイントをいくつか示します。

自動運転車などの分野に AI を統合すると、倫理的なジレンマが生じますが、それと潜在的にはるかに危険な超知能を区別することが重要です。
AI の差し迫った懸念と超知能の脅威の間で焦点のバランスをとることが重要です。たとえ把握が難しくなったとしても、今日のリスクが将来の潜在的な害を覆い隠してはなりません。
AIを規制するのは非常に困難です。過剰規制はその利点を狭める可能性がありますが、フロンティア研究所が規制当局と協力して責任ある開発と導入を促進することが重要です。
危険ではない AI のアプリケーションは「速く動いて物事を壊す」というアプローチを維持する必要がありますが、フロンティアモデルをトレーニングする研究ラボは厳しく規制される必要があります。
AI の潜在的な利点を無視してリスクを強調しすぎると、進歩を妨げる非生産的な議論につながります。全体として、このテクノロジーは純プラスの評価を獲得しています。

私たちのディスカッションを気に入っていただけましたら、ポッドキャストの他のエピソードもチェックしてください。 Apple Podcasts、Spotify、YouTube をフォローしたり、選択したプレーヤーで RSS フィードを取得したりできます。 以下は、エピソードを軽く編集した書き起こしです。

未知へ

ファーガル・リード:これも私たちの自由形式の会話です。私たちは少し準備をしていましたが、あなたは「スーパーインテリジェンスが最も興味深いです - 」のようでした。

エメット・コノリー:超知性が私たちの社会をおそらく一夜にして完全に変える可能性があり、私たちはそれに対処する能力がまったくないという枠組みについてはどうですか? あなたは誰にも分からない、そして今後数年以内にそれが起こるかもしれないと言っていました。それが私たちが話すべき最大の事柄です。しかし、私にとって難しいのは、すべてが不透明であるということです。それは2年先かもしれないし、何年も先かもしれないし、200年先かもしれない。それは最大のことだが、最大の未知でもある。

ファーガル:さて、それでは本題に入りましょう。この超知性のことを真正面からやりましょう。知っていること、知らないことについて話し合ってみましょう。私たちは多くの間違いを犯すでしょう。どうやって額装すればいいでしょうか？これはちょっと気になっていました。今では、それは手に負えないものです。掴むのは難しいです。私たちは何を知っているのでしょうか？誇大広告が溢れていますよね？「ああ、それはクレイジーなことになるだろう。超知能はもうすぐ登場します。」そして、いわゆる破滅主義者たちは、デフォルトで私たち全員を殺すことになると主張しています。そして、これについては過去にも少し触れました。そして、「ああ、それはまったくでたらめだ」というような人もいます。それは火星の人口過剰を心配するようなものだ。」

「私たちは物事を理解し始めるものを構築してきました。どこで止まるの？」

有名な研究者のアンドリュー・ン氏はこう言いましたが、1～2週間前に見方が変わったようです。彼はこのニュースレターを持っていて、そのニュースレターでは超知能については触れていませんでしたが、「ああ、これらのシステムは物事を理解し、推論し始めているんだ」と感じました。彼は、以前話したオセロ GPT について言及しました。これは、オセロゲームの断片 (ボードゲームの動きのシーケンスにすぎません) でこれをトレーニングするもので、ボードゲームとゲームについての基本的なことを学び始めているようです。ボードのレイアウト。彼はそれが説得力があると感じました。そして、私もそれは説得力があると思います。それで、超知性は100万マイルも離れたところにあると言っていた一部の人々は、今では少し見方を変えています。 AIは何も理解できないと言っていた人々は、少し意見を変えています。

私たちは物事を理解し始めるものを構築してきました。どこで止まるのでしょうか？私が強く感じているのは、物がどんどん知的になっていく、人間よりも賢くなっていくという話をするのは、おかしな話ではないということです。そしてそれは変化です。 4、5年前、2年前でしょうか？ – 私は完全にアンドリュー・ン派です。「はい、これについて考えるのは楽しいことですし、SF を読むのは好きですが、道がありません。そこには道が見当たりません。私たちが目にしている道がうまくいくという証拠はありません。」現在、それがそこに到達する可能性があるという証拠がたくさんあります。それは私たちが学んだことです。それが世の中で変わってきているんです。

エメット:それは追跡できるもののようですね。あなたが示唆していることから私が得ているのは、推論は超知能や汎用人工知能 (AGI) などに必要なステップであるということです。そして、ここで示される推論能力が多ければ多いほど、AGI に到達する可能性が高くなります。それで、私が具体的なものを何も理解できないという一面について、自信は時間の経過とともに集合的に構築されると考えていると言っているのですか？

「初めて、そのトリックが何なのか本当に分かりません。そしてコツはないかもしれない。それは本当かもしれません。これは賢い、少なくともこのトリックは人間の知性にとって同様に優れています。」

ファーガル:ええ、つまり、より多くのデータが表示され、世界観が更新されます。もしあなたが諜報システムがまったく存在しない世界に住んでいるのであれば、超知性を構築することにもっと懐疑的になるべきです。そして、世界のシステムのインテリジェンスのレベルが向上するにつれて、私たちは超インテリジェントなものに到達するだろうという考えに対してもっとオープンになるはずです。それはとても簡単です。

チェス AI がどのように機能するかについて学んだことを覚えています。 1997年のディープ・ブルーとカスパロフのチェスの試合を覚えている（これについてのアーケイド・ファイアの歌がある）。私の祖父はチェスをしていて、子供の頃私にチェスを教えてくれました。カスパロフは人間の精神の天才であり、ディープ・ブルーが彼を打ち負かしたので、彼はディープ・ブルーに本当にショックを受け、驚いた。 "これはどうやってできるの？ということは、機械も私たちと同じくらい賢いということですか？」そしてそれは大きな技術的成果でした。しかし、それは基本的には良いトリックでした。チェス AI が内部でどのように動作するかを学ぶと、それは Minimax または Negamax であることがわかります。非常にシンプルな検索アルゴリズムです。ボードの状態がそれにとって良いか悪いかをある程度把握する必要があります。ポーンとクイーンがたくさんあり、チェックされていない場合は、チェスの駒の価値を単純に計算するだけです。

しかし、それはただ膨大な量の検索を行うだけです。私がここに移動し、あなたがそこに移動し、私がそこに移動すると… 検索をより効率的にするための賢いテクニックがいくつかありますが、基本的には総当たりの計算です。膨大な計算を行っているだけです。それで、それを知ったとき、突然がっかりします。突然、「ディープ・ブルーは考える機械ではなかった。本当に賢いやり方だったよ――」

エメット:電卓。

ファーガル: … 電卓、そうです。総合的に計算された大きな機械システム。 AIの歴史を見ると、コツを覚えるまではいつも感動してしまいます。しかし今になって初めて、そのトリックが何なのか本当に分かりません。そしてコツはないかもしれない。それは本当かもしれません。これは賢いものであり、少なくとも、このトリックは同様に人間の知性に優れています。

「ディープ・ブルーはカスパロフほど賢くはなかったが、非常に賢い方法で、彼らはその知性の強引な計算の側面をタスクに導入し、勝つことができるところまで改善した。」

エメット:あるいは、情報理論の根底にある、ほぼ物理学のような普遍法則、あるいは大量の情報を組み合わせたときに情報がどのように機能するかを反映しています。

ファーガル:情報理論に従うかどうかはわかりませんが、単純なシステムが表現力を与える可能性があり、十分な情報を載せるだけで賢くなり始めるという考えだと思います。

エメット:つまり、ディープブルーはカスパロフよりも賢かったわけではありませんが、非常に賢明な方法で、彼らはその知能の総当り計算の側面をタスクに展開し、勝つことができる点まで改善しました。したがって、「ディープ・ブルーはガルリ・カスパロフより賢くない」とも言えるし、「ディープ・ブルーはチェスでガルリ・カスパロフに勝てる」、あるいは「ある課題では人間より優れている」とも言えると思います。

AIがハンドルを握る

エメット:それは私たちがそれらのことについてどのように考えるかについて考えるきっかけになります。あなたが描写していたおじいちゃんの感情的な反応は…もし私たちが将来に目を向けると、自動運転車はずっと、あるいはLLM関連のものが本格的に表舞台に登場する前から、背景で消え去っていました。「私たちはこれらのシステムに何を求めているのでしょうか？」という感情的なものがあります。ここでは AGI の話から離れるかもしれませんが、車について見てみましょう。私たちは彼らに何を望んでいますか、あるいはそこへの統合にどのように対応するつもりですか? なぜなら、現在のシステムは不完全であり、人的ミスが原因で年間100万人以上の交通事故死が発生しているからです。これを、年間 50 万人の交通事故死しか引き起こさない AI システムに置き換えた場合、私たちはできるでしょうか… つまり、純粋に倫理的で数値計算の観点から、そうしないことは非常に困難です…

これは、AI トロッコ問題の全体像に似ているように思えます。 AIトロッコ問題はローカルな「あなたはどのような決断をしますか？」しかし、私たちは社会レベルで、「たとえロボットが運転する車に伴う不快感を、たとえロボットが間違いやすいものであっても、たとえ人間のドライバーよりも間違いが少ないとしても、受け入れるだろうか？」という決定を持っています。

「もしも、これは非常に大きな仮定ですが、自動運転車が普及して、以前は人間が人間を殺していたところを、今では機械が人間を殺すようになっても、人間の命を奪う量ははるかに減りますが、ほとんどの人はそれでいいと思います」」

ファーガル:おそらくそうなると思います。規制や政治の失敗の可能性は明らかですが、人々は常にそれらのトレードオフを受け入れています。彼らについてあまり話さないのは、それが政治的に賢明ではないからです。どの先進国にも、薬のコストと利益を比較検討する医療制度があります。そして良くも悪くも、彼らはそうするのです。そして、それは良いことだと思います。それを擁護するのが政治的に難しいことは理解していますが、擁護しなければさらに多くの人が亡くなります。

エメット:人々はそれについて議論していますが、これらの規制が生活のあらゆる側面にガードレールや安全柵を提供しない国に住むことを選択する人はほとんどいません。はい、私もあなたに同意します。

ファーガル:はい、その通りです。そしてうまくいけば、彼らは良い仕事をしますが、どのような薬が利用可能になるかについて、彼らは生死にかかわる決定を下さなければなりません。社会がそれをするのです。そして、何らかの政治的失敗がなければ、もしこれは大きな仮定ですが、自動運転車が普及し、かつては人間が人間を殺していたのに、今では機械が人間を殺すようになる、ということを想像しなければなりません。あなたははるかに少ないですが、ほとんどの人はそれでいいと思います。

エメット:分かりません。純粋に論理的な観点から言えば、数字を計算してみると、今言ったことに論理的な欠陥を見つけるのは困難です。しかし、人生や生活の背景にある喧騒のような薬物規制とは対照的に、人は自動運転車に乗るか、自動運転でない車に乗るかを選択すると思います。そして、その決定は多くの人にとって、日常生活では目に見えにくいいくつかの規制よりもはるかに個人的なものになると思います。それが過度に政治化する可能性があり、規制の達成が非常に困難になり、何よりも私たちを妨げる可能性があると思います。

ファーガル:つまり、政治的な話になるのはわかっていますが、原子力を見てください。原子力発電は他のものに比べて炭素汚染が少ない。そして、マイナス面については複雑な議論が必要です。核メルトダウンが発生すると、莫大な費用がかかります。それは統計上の難しい問題です。しかし、多くの技術者は、原子力をめぐる議論は、振り返ってみると最も合理的ではないと感じているだろう。子供の頃は原発が怖かったです。 80年代の私たちの多くは核問題を恐れていました。しかし、これは政治的な失敗の一例かもしれません。

「超知能を巡る議論はAIの過剰規制を引き起こし、人間の利益の多くが失われるだろう」と考えている技術者の大多数が間違いなく存在する。それは必然的な規制です。おそらく自動運転車でも同様のことが起こり、自動運転車はより優れたところまで到達するでしょうが、その後政治的失敗があり、最終的には完璧になるまで自動運転車の導入が阻止されることになりますが、決して完璧ではありません。しかし、私は人々がそのような議論をすることができるだろうと楽観的だと思います。

エメット:そうですね、これが私がこの作品の破滅的な角度に個人的かつ感情的に共感するのに苦労している理由です。なぜなら、あなたが今後何を言おうと何をしようと、ある程度のことは起こるからです。

ファーガル:超知性のためですか？なぜなら、私は超知性に対する破滅的な角度を喜んで代表するからです。

「自動運転車が全員を殺すというシナリオはない」

エメット:ああ、分かった。それでは、超知能を必要としない自動運転車と、超知能が活躍する SF の瞬間を区別してみましょう。私は、これが超知性的ではない側面であっても、破滅的な精神を持っていると感じています。

ファーガル:そうだね。この 2 つを区別する必要があります。たとえば自動運転車について、信じられないほど懐疑的で皮肉的で悲観的な人がたくさんいます。また、一般知性や超知性について冷笑的で悲観的な人もいますが、この 2 つは分けて考える必要があると思います。誰もが自分たちは合理的だと考えていますが、超知性については慎重であるべき合理的な議論があると私は主張します。自動運転車が全員を殺すというシナリオはありません。しかし、人々が超知能を発明し、それがすべてうまくいかず、文字通り全員を殺すという、もっともらしいシナリオもあると思います。その可能性が高いと言っているわけではありません。私の意見では、それがデフォルトのシナリオであると言う人がいて、彼らには説得力のある議論がありますが、私はそれが可能性が高いと言っているわけではありません。しかし、不可能とは言えないと思います。超知能は潜在的に非常に危険です。ですから、それはまさに狂った状態だと思います。この会話の最後の瞬間でさえ狂っているのです。

エメット:ああ、ワイルドだね。最初に話したことに戻りますが、これが最大のことでありながら、非常に不定形です。私たちはまさにそこに足を踏み入れようとしているところです。

ファーガル:考えたり話したりするだけでも怖いです。人々は自己検閲をよく行っていると思います。学者は自己検閲を行っています。

エメット:そう、誤解を恐れずに言えば。

ファーガル:間違っていることへの恐怖と、それにまつわるインセンティブ。しかしまた、人間のレベルでも、「クソ、本当に？」という感じです。あなたが話しているのは、非常に大きなテクノロジーのことです。」前回のポッドキャストでオッペンハイマーについて言及しました。もしあなたがそのようなことが起こると信じ、そして超知能を信じるのであれば、それは明らかに核兵器と同じレベルの力を持つテクノロジーです。あるいは、その権限を大幅に上回っていると私は主張します。自動運転車については破滅的な議論がありますが、私は個人的にはそれを真剣に受け止めていません。それは私の傲慢かもしれませんが、自動運転車が全員を殺すというシナリオはありません。

AI 倫理のもつれを解く

エメット:私たちがここで行き着いたのは、AGI や超知能をめぐる会話全体が、沼地の標準、つまり私たちが持っているものや-

ファーガル: AI の倫理です。

エメット: …少しずつ改善はしていきますが、5年経っても次のことにはつながりません。それはより核となるAI倫理であり、誤った情報やそのようなものに関するものはすべて、私たちが関係なく対処しなければなりません。

ファーガル:この 2 つの会話が大きく混同されるのは歴史の偶然であり、おそらく歴史の危険な事故だと思います。さて、それは単なる 1 つの視点にすぎません。別の視点もあります。今日、AI 倫理の研究をしている人たちはこう言うでしょう。将来の理論上の害が、今日の実際の害から気をそらしているのです。」しかし、将来の害が理論的なものではなく、その規模がはるかに大きいと信じるのであれば、多くの注目を集める必要があるはずです。

「いかなる形であれ先手を打つべきだと言っているわけではありませんが、私たちが抱えているいくつかのより具体的で差し迫った問題に比べて、対処するのははるかに難しいでしょう。」

エメット:別のケースを紹介してみましょう。はい、もちろん、それが大きな利益/脅威/危険です。しかし、それは私たちにとってあまりにも未知であり、知ることができません…少しラムズフェルディアンの話をさせてください – 既知の既知、既知の未知、そして未知の未知があります。そして、超知性について考えるとき、それは未知の未知のものであり、「SFを読みに行き、何が起こるかを夢見てみましょう。」その一方で、私たちにはできることは山ほどありますが、おそらく、これらのレベルの AI 間の会話が混乱することは非常に逆効果です。それが非常に恐ろしいことですが、それが起こるかどうかについては、ある種の二者択一です。いかなる形であれ、それを先取りしようとするべきではないと言っているわけではありませんが、これに対処することは、私たちが抱えているいくつかのより具体的で差し迫った問題よりもはるかに困難になるでしょう。

ファーガル:はい、それは手に負えませんが、1,000 倍の巨大な脅威が存在します。ほとんどの人がそれに同意すると思いますが、可能性は低くなります。おそらくそれは 1,000 倍または 10,000 倍の脅威ですが、確率は 10 分の 1 または 100 分の 1 です。もし我々の意見が一致しているのであれば、それについて話さないのは無責任だ。難治性だからといって、それがあなたを殺しに来ないという意味ではありません。

エメット:それとも、実際に規制を行い、規制について議論し、規制を制定するための筋肉を鍛えて、困難な事態がいつ起こった場合に備えられるようにボールを転がし始めるのでしょうか?

ファーガル:そうかもしれないが、それは遅すぎるかもしれない。自動運転車とその倫理について話しましたが、何事にもコストとメリットが存在します。それで、世界には「今日のシステムに関する AI 倫理に関する事柄はすべて重要だが、今日のシステムの有用性に比べれば些細なことだ」と思う人がたくさんいます。しかし、超知能について話している場合、それは次のレベルの危険なテクノロジーであるため、その形は大きく異なります。

エメット:わかりますが、それでも避けるべき道があると思います。そして、それは納得できる道でもあります。私たちは進むべき道を進み続けます、そしてちょっと、思考実験です。来年大きな重要な選挙があり、AI と誤った情報がすべての悪役になったらどうなるかを想像してみてください。人々は自分の携帯電話にドナルド・トランプと会話できるチャットボットを搭載しており、これは魅力的で面白い製品です。きっとそのような光景が見られるでしょう。そして、世論とメディアが押し寄せ、これが良いか悪いかという二項対立の政治化が全体を覆い尽くし、より重要な会話をすることがさらに困難になってしまいます。

「考え方としては、私たちは両方を行っており、『その他のことは曖昧だから、短期的な実害だけを重視すべきだ』というような立場にはいないということです。」

来年、深刻な誤った情報や、多くの人々に現実的な影響を与える事態が発生した場合、AGI によって起こり得る地球規模のメルトダウンの結果ではなく、それを軽視しないように、ロボットによる単一の事故がどこかで起こるでしょう。車やその他のことについて、私たちはこれについてますます成熟した会話ができるように準備する必要があります。私たちがそこにたどり着くまでに想像できる狭い道があり、おそらく他にも道を大きく台無しにする道がたくさんあるでしょう。

ファーガル:両方やらないといけないんじゃないでしょうか？考え方としては、私たちは両方を行っており、「その他のことは漠然としているので、短期的な実害だけを重視する必要がある」というような立場にはいない、あるいは将来のことも漠然としているということです。事態があまりにも大きいので、短期的な害にはまったく時間を費やしません。おそらく、最適にバランスの取れた取り組みのポートフォリオが存在します。

AI の倫理と AI の安全性を真剣に考えている組織が世界にあると想像してください。その組織はおそらく、これらの両方に重点を置くべきです。しかし、どうやってその分割を行うのでしょうか? パスカルの強盗のアイデアには、何かが非常に大きなものがあり、私はこう思いました。「おい、ここにAGIがある。さて、あなたは私の言うことを信じていないかもしれませんが、万が一に備えてお金を全額私に返してください。そうしないと世界が滅んでしまうからです。」「ああ、すごい、その結果はとても大きい、あなたは私の言うとおりにすべきだ」というようなものです。それはパスカルの賭けのようなものですよね？武器化された。そのようなシナリオは避けたいと考えていますが、正当な脅威に目を向けないシナリオも避けたいと考えています。

これは大変なことだ。長期的にも短期的にも、世界をより良くしようとしている善良で善意の人々は反対するだろうと思います。あなたは最近、議論が二分しているとおっしゃいました。時々、最も意見の対立を招く議論は、本当に善良で善意のある人々が戦術について意見が合わず、最終的に互いに戦うことになる場合です。それを回避するのは本当に難しいです。

エメット:明らかなことは、両方のことを行う必要があるということです。

AI 環境の規制

エメット: EU の規制が本格化しつつあるとおっしゃいましたね。私は、私が話している短期的なものに対して、賢明で効果的な規制を導入する準備が整っているでしょうか?

ファーガル:分かりません。私はこれに関して適切な専門家ではありません。 EU AI 法の草案の 1 つを読みました。そして、そこには良いものがたくさんあり、賢明なものがたくさんあります。しかし、それはまだ政治レベルであり、議論が続いています。誇張されていると思われる修正案をいくつか読みました。わからない。 GDPRを見てください。 GDPR には素晴らしいものもありますよね? 保護。そして、Cookie の同意や、どこにでも見られる GDPR の同意など、過剰なものもあります。それは本当に世界を良くしたのでしょうか？「理論は良かったが、実装はまったく悪かった」と言う人もいるかもしれません。ええ、でもそれは重要です。善法の役割の一部は、結果が悪いものではないということです。

「この件についてどう考えても、賭け金が低いうちに世に出しておいたほうが間違いなく間違いなく、間違いを犯したり発見したりできるからです。」

これは AI ではどうなるでしょうか? 様子を見る必要があると思います。彼らが多くの研究室と協力している米国で見ていることに私は励まされています。双方向の関与と真剣な議論が行われ、彼らはフロンティアトレーニングの実行を自主的に監視し始めています。なので、今のところ違和感はありません。いい感じです。

私は世間知らずなのかもしれない。フロンティア研究所の人々は、この件についてかなり責任を持っていると思います。彼らは、誤って超知性を利用しないように気を配っています。彼らは規制当局と交渉中だ。彼らが意図的に公の議論を汚染し、規制できない管轄区域に設置されている別の世界を想像することができます。良いことがたくさん起こっていると思うし、皮肉屋は「ああ、これは AI 研究所が規制を取り締まろうとしているだけだ」と言うだろう。きっとそうではありません。この分野では、規制による捕獲の恩恵が一部の人々に失われているわけではありませんが、私は彼らのほとんどが優れた俳優だと思います。

エメット:優れた規制により、ある程度のスライディングスケールや段階ごとの進歩も可能になると思います。この件についてどう考えても、リスクが低いうちに世に出しておいた方が間違いなく間違いなく、間違いを犯したり発見したりできるので良いでしょう。自動運転車のレベルは、おそらく次のようなものを提供し、「このエリアにいるなら、このレベルの自動運転は問題ありません。」と言えるでしょう。この領域ではドライバーの介入は必要ありません。」ここでも私の専門外ですが、他の分野でも想像できると思います。まずはX線写真や骨折した足の指のスキャンから始めましょう。AIはそれを行うことができます。しかし、腫瘍の観察などでは、人間の関与を含む複数の層が必要になります。そしておそらく、それらの段階を徐々に通過していくだけかもしれません。

「破滅的な立場または危険な一般情報の立場とは、予期する前に誤ってより強力なものを構築してしまうことです。」

ファーガル:これは私たちが AI 製品を構築するときに日々行っていることです。私たちは現在、文字通り、何か大きなことを実現しようと Inbox で AI 製品に取り組んでいますが、今は「いや、それは少し野心的すぎた」と認識しようとしています。それはいいです。確実に安全に価値をもたらす小さなケース。これは一種の私たちの日常の仕事です。あなたは、確実に純利益が得られる領域を展開し、その規模を拡大する方法を探しています。そして、多くの優れた AI 導入もそのように進むだろうと想像する必要があります。

繰り返しになりますが、破滅的な立場または危険な一般知性の立場とは、予期する前に誤ってより強力なものを構築してしまうことです。これまでに実行した時間の 10 倍の長いトレーニングを実行すると、思ったように拡張できなかったり、新しいアルゴリズムなどを取得したりしたために、1,000 倍インテリジェントなトレーニングを行ったことに気づきました。それが人々が本当に懸念しているシナリオです。そして、それは注意すべきシナリオだと思います。

しかし、またしても、EU AI 法の人々さえも「最高の最先端のモデルをトレーニングしているのなら、それを登録する必要があるかもしれない」と話し始めています。少なくとも規制する必要がある。」それをどのように規制しますか？神様、分かりません。それは大変な仕事だろう。しかし、少なくとも彼らはそれについて考えています。

警報を鳴らす

Emmet:あなたが OpenAI かそのようなもので働いていると想像してください。そして、私たちはこの大規模な GPT-8 を、非常に巨大なコーパスで訓練して実行しています。そして、それがどれほど強力であるかが恐ろしいとあなたが説明しているこのしきい値を超えています。そのシナリオでは何が起こると思いますか? まず第一に、それが最も起こりやすいのは、あなたがすでに説明しているような、責任ある行動を望んで政府と連携している大規模な研究室の内部で起こりますか。その時点で、彼らは「おい、攻撃しろ」と言うでしょう。大きな赤いボタン、それは起こりました。次にこれをどこに持っていくかについて話し合いましょう。」それは、急速かつ突然、幅広い個人が広くアクセスできるようになるのでしょうか、それとも、一度発生した後は研究室内に封じ込められ、その後、この物質を非常に慎重に扱う方法について話し合うことができるのでしょうか？

「誰かがモデルをトレーニングしました。次に何が起こるでしょうか? これらのことを訓練している人々が警報を発してくれることを期待しなければなりません。」

Fergal:そこにはたくさんのことがあり、これは間違いなく何かをトレーニングすることになった深いクソシナリオです。それは SF のシナリオですが、おそらくそれほど遠い話ではありません。知るか？しかし、それはあなたよりはるかに知的な何かを訓練したようなものです。それはあなたの研究室にあります。次は何が起こる？人々はこのシナリオを避けたいと思っていると思います。そして、ここでのゲームは、人々がこれらのことを訓練することに近づくにつれて、このシナリオが来るのがわかるということだと思います。彼らは、これが人間の知性に近づいていることを認識しています。おそらく意識していないことを祈ります。意識があると考えれば倫理的なことがいろいろありますが、無意識ではあるが知的な存在があると仮定しましょう。次は何が起こる？

もしこれがテクノロジーの展開であるならば、軍事的な秘密作戦プロジェクトよりも民間の研究所の方がこれに遭遇するには適した場所であるように思える。「今すぐすべての訓練を中止する必要がある」と思っている人にとって、それは軍事的な文脈で最初にこれに遭遇することを意味します。そして、それが人々にとって良いことなのかどうかは、本当にわかりません。もしかしたらそれが私の懐疑的な見方なのかもしれない。しかし、はい、誰かがモデルをトレーニングしました。次に何が起こるでしょうか? これらのことを訓練している人々が警鐘を鳴らしてくれることを期待しなければなりません。そして、そうなると思います。産業研究所がこれを行うことの良い点は、情報が漏洩すると思うことです。だからこそ、秘密主義の文化が存在しないため、軍事的な文脈でそれが行われないことが非常に重要であると思います。大手テクノロジー企業の中で最も秘密にされている Apple でさえ、もし彼らが何かクレイジーな AI に関するものを持っているなら、それについて耳にするはずですよね？ Googleなら間違いなくそうするだろう。

エメット:リークと言うのは、「私たちがこれを作成しました」というような内部告発的なスタイルのことですか? それともモデルのことですか?

ファーガル:いいえ、モデルそのものをリークするつもりはありません。

「危険なAGIが蔓延している世界にあなたが住んでいると想像してみてください。拡散をどのように制御しますか? そこはまったく別の世界だよ」

エメット:それは実際に起こりましたよね? Facebook がオープンソースモデルを一部の研究者に公開し、誰かがそれを漏洩し、インターネット上で利用できるようになりました。

ファーガル:そうだね。まあ、これはまったく別の会話です。あなたが危険な AGI の蔓延を伴う世界に住んでいると想像してください。拡散をどのように制御しますか? それは全く別の世界です。突然、「軍事的な文脈だったらいいのに」という感じになります。しかし、マンハッタン計画を見ても、ロシア人はマンハッタン計画から兵器計画に技術移転を行ったスパイを抱えていた。確かに国民国家は現在この種のことを考えています。

エメット:もちろんですよ。あらゆる予想に反して、ほぼ 80 年前かそのくらい前に、誰かが座って私たちが今行っている会話と同じバージョンを話していたという事実からは、いくつかのポジティブな点が得られます。おそらく彼らは嬉しい驚きを覚えるだろうと思います。 2023 年まで早送りすると、元の使用法以上には進んでいないと聞きました。

ファーガル:人間的偏見や人間的影もあります。あらゆる種類の興味深い統計的特性があります。これは核交換にはあまり当てはまりませんが、あなたが知る限り、世界を破壊する可能性のある出来事はあなたのタイムラインでは決して起こりません。

エメット:そうですね。これは地球上での生活に適用されるドレイク方程式です。なぜ私が生きている間、世界は決して終わらないのでしょうか？

ファーガル:そうだね。そして人間的偏見はドレイク方程式に現れます。人類は、惑星を破壊する小惑星の蔓延を過小評価する傾向があります。なぜなら、惑星を破壊する小惑星に襲われた他の種は、私たちの歴史のタイムラインに存在しないからです。そのレベルで推論を始めたい場合は…

エメット:それでは、それを AI の話に戻します。

「おそらく AI はクレイジーな新しいテクノロジーであり、これをうまく管理するために個人、公共政策の担当者、AI 研究所の担当者が力を発揮することを期待しています。」

ファーガル:そうですね、AI に関するものではなく、核に関するものかもしれません。 I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Move fast and break things

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. ということですか？

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. たぶん私は間違っています。 Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. 私の言っていることが分かるよね？

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. それは難しい。 You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. それでおしまい。

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

エメット:あるレベルでは、最初の道具から、彼が骨を拾う「2001年宇宙の旅」を見ればわかりますが、道具は何かを作ったり、誰かを傷つけたりするために使用される可能性を持っていました。そして、私たちは潜在的に、これまでにないものよりも強力なツールが登場するところまで来ているのです。そして、それは、あらゆるものはポジティブにもネガティブにも利用できるという二元性を最も明確に表現したものです。それは私たち次第です。それとも、私たちはついにツールに出し抜かれ、秘密にしておくことができなくなったのでしょうか？

ファーガル:それは私たち市民と民主主義次第だと思います。私たちがいる小さな民主主義がここで大きな役割を果たすかどうかはわかりません。それは研究室で働く人々に大きくかかっています。市民社会はこの問題について真剣に取り組む必要があると思います。これは別の種類のツールです。少なくとも、これは最も扱いにくく、最も危険な部類のツールです。そして、ここでかなりワイルドなことが起こる可能性があります。学校に通い始めた子供たちを見ていると、このような突飛なシナリオが展開した場合、彼らがどのような世界で生きることになるのかわかりません。繰り返しになりますが、他のシナリオも存在することを認識する必要があります。しかし、そうですね、近いうちに社会全体から大きな反応が起きると予想しています。

「彼らには倫理的な事項を考慮する必要があるが、これを無視することはできないという非常に一貫した立場がある。これが来るよ」

エメット:少しでも減り始めたら、少しは安心しますか?

ファーガル:つまり、がっかりするでしょう。先細りになる前にもっと伸びてくれたら嬉しいです。しかし、それが私たち全員に脅威に適応するためのより多くの時間を与えるだろうと私は思います。この時点で、これを見ている人がいたら、「なんてことだ、AI関連のものはすべて非合法化する必要がある」と思うだろう。そしてそれは非常に合理的なことです。しかし、私は、このようなものに早期かつ迅速に遭遇することには、この種のクレイジーな理論的戦略的利点があると思います。多くの研究室関係者は、このテクノロジーを現在に引き込み、早期に対処できるようにしようとしています。そして、このようなものはほぼ禁止できないと思います。私は常に彼らの意見に同意するわけではありませんが、これについて考える OpenAI のような研究機関の多くの関係者をとても尊敬しています。なぜなら、これは非常に無責任な行為だと私は感じているからです。彼らには倫理的な事項を考慮する必要がありますが、これを無視することはできないという非常に一貫した立場があります。これが来ます。いつそれに対処するかを選択する必要があります。

エメット:そして、頭を突っ込むのではなく、内部から問題を解決することに参加することです。つまり、それらの人々と規制の責任者にもっと権限を与えるということです。私たちは彼らをサポートし、彼らに責任を負わなければなりません。

ファーガル:ここでの原材料は計算です。計算はどこにでもあります。私たちはどこにでもコンピューターを持っています。ウランだからコントロールできる、というわけではありません。集中化された大量の計算が必要な場合には、この機能を使用する必要があります。その後、少なくとも一定期間は規制可能となる。

エメット:ぜひまたチェックしたいと思います。ありがとう、ファーガル。

ファーガル:いいおしゃべりだ。ありがとう、エメット。

インサイドインターコムポッドキャスト (横) (1)