초지능 AI의 등장

우리는 사물을 이해할 수 있는 AI 시스템을 구축하기 시작했습니다. 어디에서 멈추나요?

초지능 AI는 새로운 주제가 아닙니다. 그러나 수십 년 동안 그것은 대부분 학술 논문이나 SF 페이지의 가상 시나리오에 국한되었으며, 로봇 봉기와 세계 종말 시나리오에 대한 미래 이야기를 담고 있었습니다. 그러나 AI 기술이 발전함에 따라 AI 시스템이 인간의 지능을 능가할 정도로 자체 지능을 반복적으로 향상시키기 시작하는 이 재미난 개념은 현실의 문턱에 점점 더 가까워지고 있습니다. 갑자기 대화가 훨씬 더 심각해졌습니다.

Max Planck Institute for Human Development, Machine Intelligence Research Institute, 심지어 OpenAI와 같은 조직의 일부 연구자들은 일단 해당 지점에 도달하면 이를 억제하는 것이 극도로 어렵거나 심지어 완전히 불가능할 것이라고 주장합니다. 그리고 그 시점이 그리 멀지 않을 수도 있습니다.

언제, 어떤 형태로든 초지능 AI 시스템은 진정으로 혁명적일 것이며 노동 시장과 경제부터 생물학과 의학에 이르기까지 모든 분야에 영향을 미칠 것입니다. 그러나 이는 또한 인류에게 심각한 실존적 위험을 초래하며, 이는 몇 가지 심각한 질문을 제기합니다. 이러한 일이 일어날 가능성은 얼마나 됩니까? 우리는 이에 대처할 준비가 되어 있습니까? 그리고 그것을 어떻게 규제하기 시작합니까?

이번 에피소드에서는 기계 학습 수석 이사인 Fergal Reid가 제품 디자인 부사장인 Emmet Connolly와 함께 알려진 것과 알려지지 않은 것, 윤리부터 위협, 규제 과제에 이르기까지 초지능을 정면으로 다루게 됩니다.

다음은 몇 가지 주요 내용입니다.

• 자율주행차와 같은 분야에 AI를 통합하면 윤리적 딜레마가 발생하지만 잠재적으로 훨씬 더 위험할 수 있는 초지능과 이를 구별하는 것이 중요합니다.
• 즉각적인 AI 문제와 초지능 위협 사이에서 초점의 균형을 맞추는 것이 중요합니다. 파악하기가 더 어렵더라도 오늘날의 위험이 미래의 잠재적 피해를 압도해서는 안 됩니다.
• AI를 규제하는 것은 엄청나게 어렵습니다. 과도한 규제는 그 이점을 감소시킬 수 있지만 선도적인 연구실이 규제 기관과 협력하여 책임감 있는 개발 및 채택을 촉진하는 것이 중요합니다.
• 위험하지 않은 AI의 적용은 "빠르게 움직이고 파괴하는" 접근 방식을 유지해야 하지만, 최첨단 모델을 교육하는 연구실은 엄격하게 규제되어야 합니다.
• 위험을 지나치게 강조하면서 AI의 잠재적 이점을 간과하는 것은 발전을 방해할 수 있는 비생산적인 논쟁에 기여합니다. 전반적으로 이 기술은 긍정적인 평가를 받고 있습니다.

토론이 마음에 드셨다면 팟캐스트의 더 많은 에피소드를 확인해 보세요. Apple Podcasts, Spotify, YouTube를 팔로우하거나 선택한 플레이어에서 RSS 피드를 가져올 수 있습니다. 다음은 가볍게 편집된 에피소드의 대본입니다.

미지의 세계로

Fergal Reid: 이것은 또 다른 자유 형식 대화입니다. 우리가 약간의 준비를 하고 있었는데, 당신은 "초지능이 가장 흥미롭다-"라고 하더군요.

에밋 코놀리: 초지능이 우리 사회를 완전히, 아마도 하룻밤 사이에 변화시킬 수 있고, 우리가 그것에 대처할 준비가 전혀 되어 있지 않을 것이라는 프레임은 어떻습니까? 당신은 아무도 모른다고 말했고 앞으로 몇 년 안에 그런 일이 일어날 수도 있다고 말씀하셨죠. 이것이 우리가 이야기하기로 선택할 수 있는 가장 큰 것입니다. 하지만 제가 겪는 어려움은 모든 것이 불투명하다는 것입니다. 2년이 걸릴 수도 있고, 몇 년이 걸릴 수도 없고, 200년이 걸릴 수도 있습니다. 가장 큰 것이지만 가장 큰 것은 알려지지 않은 것입니다.

Fergal: 좋아요, 시작해 보겠습니다. 이 초지능 문제를 정면으로 해봅시다. 우리가 아는 것과 모르는 것에 대해 이야기해 보도록 합시다. 우리는 많이 틀릴 것입니다. 어떻게 프레임을 만들까요? 이게 좀 마음에 걸렸어요. 이제는 다루기 힘든 일입니다. 붙잡기가 어렵습니다. 우리는 무엇을 알고 있나요? 이 모든 과대광고가 있죠, 그렇죠? “오, 정말 미칠 것 같군요. 초지능이 곧 도래할 것이다.” 그리고 소위 파멸론자들은 그것이 기본적으로 우리 모두를 죽일 것이라고 주장합니다. 그리고 우리는 과거에 이것에 대해 조금 다루었습니다. 그리고 “아, 그거 다 헛소리야. 그것은 화성의 인구 과잉을 걱정하는 것과 같습니다.”

“우리는 사물을 이해하기 시작하는 제품을 만들었습니다. 어디에서 멈추나요?”

유명한 연구자인 앤드류 응(Andrew Ng)이 이렇게 말했다가, 한두 주 전에는 관점을 바꾼 것 같습니다. 그는 이 뉴스레터를 가지고 있는데 뉴스레터에서 그는 초지능에 대해서는 언급하지 않았지만 "아, 이 시스템은 사물에 대해 이해하고 추론하기 시작했습니다."라고 말했습니다. 그는 우리가 이전에 이야기한 Othello-GPT에 대해 언급했습니다. 여기서는 오델로 게임의 일부(보드 게임의 일련의 동작)를 통해 이 기능을 훈련하고 보드 게임과 게임에 대한 기본적인 사항을 배우기 시작하는 것 같습니다. 보드의 레이아웃. 그는 그것이 설득력이 있다고 생각했습니다. 그리고 나는 그것도 설득력이 있다고 생각합니다. 그래서 초지능이 백만 마일 떨어져 있다고 말했던 일부 사람들은 이제 그들의 입장을 조금 바꾸고 있습니다. AI가 아무것도 이해하지 못한다고 말했던 사람들은 태도를 조금 바꾸고 있습니다.

우리는 사물을 이해하기 시작하는 제품을 만들었습니다. 어디에서 멈추나요? 제가 강하게 느끼는 것 중 하나는 사물이 인간보다 점점 더 똑똑해지고 똑똑해지고 있다는 이야기를 하는 것이 우스꽝스럽지 않다는 것입니다. 그리고 그것은 변화입니다. 4~5년 전인가 2년 전인가? – 저는 전적으로 Andrew Ng 캠프에 있을 것입니다. “예, 생각해보면 재미있는 일이고 공상 과학 소설을 읽는 것을 좋아하지만 길이 없습니다. 우리는 거기에 어떤 경로도 볼 수 없습니다. 우리가 보는 어떤 길이든 효과가 있을 것이라는 증거는 없습니다.” 이제 그것이 거기에 도달할 수 있다는 많은 증거가 있습니다. 그것은 우리가 배운 것입니다. 그것은 세상에서 변한 것입니다.

에밋: 그리고 우리가 추적할 수 있는 것 같군요. 당신이 암시하는 것에서 내가 얻는 것은 추론이 초지능이나 인공 일반 지능(AGI) 등을 구현하는 데 필요한 단계라는 것입니다. 그리고 여기에 추론 능력이 더 많이 나타날수록 우리가 AGI에 도달할 가능성이 더 높아집니다. 그리고 제가 유형의 어떤 것도 파악하지 못하는 무능력의 한 측면에 대해, 시간이 지남에 따라 자신감이 집합적으로 쌓일 것이라고 생각하시나요?

“처음으로 우리는 그 비결이 무엇인지 실제로 알지 못합니다. 그리고 트릭이 없을 수도 있습니다. 그것은 진짜일지도 모른다. 이것은 지능적이거나 적어도 인간의 지능과 비슷한 수준의 트릭입니다.”

Fergal: 네, 제 말은, 더 많은 데이터를 보고 세계관을 업데이트한다는 거죠. 지능 시스템이 전혀 없는 세상에 살고 있다면 초지능을 구축하는 것에 대해 더욱 회의적이어야 합니다. 그리고 전 세계 시스템의 지능 수준이 높아짐에 따라 우리가 초지능적인 무언가에 도달할 것이라는 생각에 더욱 개방적이 되어야 합니다. 그것은 매우 간단합니다.

체스 AI가 어떻게 작동하는지 배웠던 기억이 납니다. 저는 1997년에 Deep Blue와 Kasparov의 체스 경기를 기억합니다(이에 대한 Arcade Fire 노래가 있습니다). 나의 할아버지는 체스를 두셨고 어렸을 때 나에게 체스를 가르쳐 주셨습니다. 그는 Kasparov가 우뚝 솟은 인간 정신 천재였고 Deep Blue가 그를 이겼기 때문에 Deep Blue에 정말 충격을 받고 놀랐습니다. “어떻게 이럴 수가 있지? 이것은 기계가 우리만큼 똑똑하다는 것을 의미합니까?” 그리고 그것은 큰 기술적 성과였습니다. 그러나 그것은 근본적으로 좋은 트릭이었습니다. 체스 AI가 내부적으로 어떻게 작동하는지 배우면 Minimax 또는 Negamax가 됩니다. 매우 간단한 검색 알고리즘입니다. 보드 상태가 더 나은지 나쁜지 어느 정도 알아야 합니다. 폰과 퀸이 많고 체크 상태가 아닌 경우 체스 말의 가치를 간단히 계산한 것입니다.

하지만 엄청난 양의 검색을 수행합니다. 내가 여기로 움직이고 당신도 저기로 움직이고 나도 저기로 움직이면... 검색을 더 효율적으로 만드는 몇 가지 기발한 기술이 있지만 기본적으로는 무차별적인 계산입니다. 엄청난 양의 계산을 하고 있을 뿐입니다. 그래서 그것을 알게 되면 갑자기 실망하게 됩니다. 갑자기, “Deep Blue는 생각하는 기계가 아니었어. 정말 영리한 행동이었는데-”

에밋: 계산기요.

퍼갈: … 계산기 맞죠. 한꺼번에 계산한 거대한 기계 시스템. AI의 역사는 트릭을 배우기 전까지 항상 깊은 인상을 남깁니다. 그러나 이제 처음으로 우리는 그 비결이 무엇인지 실제로 알지 못합니다. 그리고 트릭이 없을 수도 있습니다. 그것은 진짜일지도 모른다. 이것은 지능적이거나 적어도 인간의 지능과 비슷하게 좋은 트릭입니다.

"Deep Blue는 Kasparov보다 똑똑하지는 않았지만 매우 영리한 방식으로 지능의 무차별 대입 계산 측면을 작업에 배치하여 승리할 수 있는 지점까지 더 좋게 만들었습니다."

에밋: 또는 정보 이론의 기본적이고 거의 물리학과 유사한 보편적인 법칙이나 많은 양의 정보를 함께 모을 때 정보가 작동하는 방식을 반영합니다.

Fergal: 정보 이론을 택할지는 모르겠지만, 단순한 시스템이 표현력을 부여했을 수도 있다는 생각이 들었고, 충분한 정보만 추가하면 똑똑해지기 시작했습니다.

에밋: 그래서 Deep Blue는 Kasparov보다 똑똑하지는 않았지만 꽤 영리한 방식으로 지능의 무차별 대입 계산 측면을 작업에 배치하여 승리할 수 있는 지점까지 더 좋게 만들었습니다. 그래서 여러분은 둘 다 "Deep Blue가 Garry Kasparov보다 똑똑하지 않습니다"라고 말할 수도 있고 "Deep Blue가 체스에서 Garry Kasparov를 이길 수 있습니다" 또는 "과제에서는 인간보다 낫습니다"라고 말할 수도 있습니다.

AI가 운전대를 잡는다

에밋: 그래서 우리가 그런 것들에 대해 어떻게 생각하는지 생각하게 됐어요. 당신이 묘사한 할아버지의 감정적 반응은… LLM이 실제로 전면에 등장하기 전부터, 또는 심지어 그 이전에도 백그라운드에서 부글부글 끓고 있던 자율주행차를 보면 말이죠. "이 시스템에서 우리가 원하는 것이 무엇인가?"라는 감정적인 부분이 있습니다. 어쩌면 여기서는 AGI 관련 내용에서 벗어나 자동차를 살펴보겠습니다. 우리는 그들로부터 무엇을 원하는가, 아니면 그곳의 통합에 어떻게 대응할 것인가? 왜냐하면 현재 우리 시스템은 불완전하기 때문입니다. 사람의 실수로 인해 매년 백만 명이 넘는 교통사고가 발생하고 있습니다. 이를 연간 50만 명의 교통사고 사망자만 초래하는 AI 시스템으로 대체한다면, 우리는… 내 말은, 순전히 윤리적이고 수치 분석적인 관점에서 보면…

이것이 AI 트롤리 문제와 비슷하다는 생각이 들었습니다. AI 트롤리 문제는 “당신은 어떤 결정을 내리나요?”라는 로컬 문제입니다. 하지만 우리는 사회 수준에서 다음과 같은 결정을 내렸습니다. "로봇이 운전하는 자동차가 오류가 있더라도, 그 오류가 인간 운전자보다 덜 오류가 있더라도 로봇이 운전하는 자동차에서 오는 불쾌한 감정을 받아들일 것입니까?"

“만약 – 이것이 엄청난 일이라면 – 이전에 인간이 당신을 죽이던 곳에서 이제 기계가 당신을 죽이는 지점까지 자율주행차를 갖게 된다면, 그것이 당신을 훨씬 덜 죽이게 된다면 대부분의 사람들은 그것에 대해 괜찮을 것이라고 생각합니다. ”

퍼갈: 아마 그렇게 될 것 같아요. 분명히 규제 및 정치적 실패의 가능성이 있지만 사람들은 항상 이러한 절충안을 받아들입니다. 그들은 정치적으로 현명하지 못하기 때문에 그들에 대해 많이 이야기하지 않습니다. 모든 선진국에는 약품의 비용과 이점을 평가하는 의료 시스템이 있습니다. 그리고 좋든 나쁘든 그들은 그렇게 합니다. 그리고 나는 그것이 좋은 일이라고 생각합니다. 그리고 나는 그것이 정치적으로 방어하기 어렵다는 것을 이해합니다. 그러나 그렇게 하지 않으면 더 많은 사람들이 죽습니다.

에밋: 사람들은 이에 대해 논쟁을 벌입니다. 하지만 이러한 규정이 삶의 모든 측면에 가드레일과 안전 장벽을 제공하지 않는 국가에서 살기를 선택하는 사람은 거의 없습니다. 네, 저도 당신 말에 동의해요.

퍼갈: 응, 바로 그거야. 그리고 바라건대 그들은 일을 잘하지만 어떤 약을 사용할 수 있는지에 대해 이런 종류의 생사 결정을 내려야합니다. 사회는 그렇게 합니다. 그리고 정치적인 실패가 없다면, 만약에 엄청난 일이 발생한다면, 자율주행차가 생겨나면 예전에는 인간이 당신을 죽였던 곳에서 이제는 기계가 당신을 죽이는 지점까지 갈 수 있다고 상상해야 합니다. 당신은 훨씬 적습니다. 대부분의 사람들은 그것에 대해 괜찮을 것이라고 생각합니다.

에밋: 모르겠어요. 순전히 논리적인 관점에서 보면, 숫자를 분석해 보면 방금 말씀하신 내용에서 논리적인 결함을 찾기가 어렵습니다. 하지만 인생과 삶의 배경이 되는 약물 규제와는 달리 자율주행차를 타느냐, 비자율주행차를 타느냐를 선택하게 되는 것 같아요. 그리고 저는 그 결정이 일상 생활에서 눈에 띄지 않는 일부 규정보다 많은 사람들에게 훨씬 더 개인적인 결정이 될 것이라고 생각합니다. 나는 그것이 지나치게 정치화되어 규제를 달성하기 정말 어렵게 만들고 무엇보다 우리를 방해할 수 있는 것들이 될 것이라고 생각합니다.

퍼갈: 제 말은, 보세요, 이것이 정치적으로 변할 것이라는 것을 압니다. 하지만 원자력을 보세요. 원자력은 다른 것보다 탄소를 덜 오염시킵니다. 그리고 그것은 단점에 대한 복잡한 논의입니다. 핵이 용해되면 비용이 매우 많이 듭니다. 어려운 통계 문제네요. 그러나 많은 기술자들은 원자력에 관한 논의가 회고적으로 가장 합리적이지 않다고 느낄 것입니다. 저는 어렸을 때 원자력에 대한 두려움을 느꼈습니다. 80년대의 우리 중 많은 사람들은 핵 물질을 두려워했습니다. 하지만 어쩌면 그것은 정치적 실패의 한 예일 수도 있습니다.

“초지능에 대한 논쟁은 AI의 과잉 규제를 야기할 것이고, 우리가 잃게 될 많은 인간적 이익이 있을 것입니다.”와 같은 기술자들이 많이 있습니다. 바로 무릎반사 규제입니다. 아마도 비슷한 일이 자율주행차에서 더 나은 지점에 도달할 수도 있지만, 정치적인 실패로 인해 완벽해질 때까지 배치가 중단되고 결코 완벽하지 않게 됩니다. 하지만 저는 사람들이 그런 토론을 할 수 있을 것이라고 낙관하고 있습니다.

에밋: 글쎄요, 이것이 제가 개인적으로나 감정적으로 그것에 대한 파멸의 관점과 연결되기 위해 애쓰는 이유입니다. 왜냐하면 지금부터 당신이 무슨 말이나 행동을 하든 일정량의 일이 일어날 것이기 때문입니다.

퍼갈: 초지능을 위해서요? 왜냐하면 나는 초지능에 대한 파멸의 입장을 대표하게 되어 기쁘기 때문입니다.

“자율주행차가 모든 사람을 죽일 것이라는 시나리오는 없다”

에밋: 아, 알았어. 그럼 초지능이 필요하지 않은 자율주행차와 초지능 공상과학 장면을 구별해 보겠습니다. 나는 이것의 비초지능적 측면에 대해서도 불운한 사고방식을 인식합니다.

퍼갈: 응. 둘을 구별해야 합니다. 자율주행차에 대해 믿을 수 없을 정도로 회의적이고 냉소적이며 비관적인 사람들이 많이 있습니다. 그리고 일반 지능이나 초지능에 대해 냉소적이고 비관적인 사람들도 있겠지만, 제 생각에는 둘을 분리해야 한다고 생각합니다. 모두가 자신이 합리적이라고 생각하지만, 저는 초지능에 대해 조심해야 한다는 합리적인 주장이 있다고 주장하고 싶습니다. 자율주행차가 모든 사람을 죽일 것이라는 시나리오는 없습니다. 하지만 제 생각에는 사람들이 초지능을 발명하고 모든 것이 잘못되어 말 그대로 모든 사람을 죽이는 그럴듯한 시나리오가 있다고 생각합니다. 나는 그럴 가능성이 있다고 말하는 것이 아닙니다. 이것이 기본 시나리오라고 말하는 사람들이 있고 제 생각에는 설득력 있는 주장이 있지만 그럴 가능성이 높다고 말하는 것은 아닙니다. 하지만 불가능하다고 말할 수는 없을 것 같아요. 초지능은 잠재적으로 매우 위험합니다. 그래서 저는 그것이 미친 상태라고 생각합니다. 이 대화의 마지막 순간조차도 화가났습니다.

에밋: 응, 정말 거칠어. 그리고 우리가 처음에 말했던 것으로 돌아가면, 그것은 가장 큰 것이지만 그것은 너무나 무정형입니다. 우리는 단지 그 길로 나아가려고 노력하고 있습니다.

퍼갈: 생각하거나 말하는 것조차 무섭습니다. 사람들이 자기 검열을 많이 하는 것 같아요. 학계 자체 검열.

에밋: 맞아요. 틀릴까 봐 두려워서요.

Fergal: 틀릴 것에 대한 두려움과 그에 따른 인센티브입니다. 하지만 인간 수준에서도 “젠장, 정말? 당신은 너무나 큰 기술에 대해 이야기하고 있습니다.” 이전 팟캐스트에서 오펜하이머를 언급하셨는데요. 그런 일이 일어날 것이라고 믿고, 초지능을 믿는다면 그것은 분명히 핵무기와 비슷한 수준의 위력을 지닌 기술입니다. 아니면 그 힘보다 훨씬 더 높다고 주장하겠습니다. 자율주행차에 대한 불운한 논쟁이 있는데, 저는 개인적으로 그것을 심각하게 받아들이지 않습니다. 그게 제가 거만한 것일지도 모르지만, 자율주행차가 모든 사람을 죽이는 시나리오는 없습니다.

AI 윤리 풀기

에밋: 내 생각에 우리가 여기까지 온 것은 AGI에 관한 전체적인 대화나 초지능이 늪지 표준에 관한 대화와 매우 다르다는 것입니다.

퍼갈: AI 윤리.

에밋: …조금 나아지긴 했지만 향후 5년이 지나도 다음 단계까지는 도달하지 못합니다. 이것이 더 핵심적인 AI 윤리입니다. 잘못된 정보에 관한 모든 것과 우리가 상관없이 처리해야 하는 것들입니다.

퍼갈: 이 두 대화가 많이 혼란스러워지는 것은 역사의 우연이자 어쩌면 위험한 역사의 우연이라고 생각합니다. 이제 그것은 단지 하나의 관점일 뿐입니다. 대체 관점이 있습니다. 오늘날 AI 윤리 분야에서 일하는 사람들은 이렇게 말할 것입니다. “아, 아니, 이 초지능이 방의 모든 산소를 빨아들이고 있어요. 미래의 이론적 피해가 오늘날의 실제 피해를 방해하고 있습니다.” 하지만 미래의 피해가 이론적인 것이 아니고 그 규모가 훨씬 더 크다고 믿는다면 많은 관심을 끌게 될 것입니다.

"어떤 식으로든 앞서 나가려고 노력하면 안 된다는 말은 아니지만, 우리가 겪고 있는 구체적이고 즉각적인 문제보다 해결하기가 훨씬 더 어려울 것입니다."

에밋: 제가 다른 사례를 제시해 보겠습니다. 예, 물론입니다. 그것은 큰 상금/위협/위험입니다. 그러나 그것은 우리에게 너무나 알려지지 않았고 알 수 없는 것입니다… 잠시 럼스펠드식으로 설명하겠습니다. 알려진 알려진 것, 알려진 알려지지 않은 것, 알려지지 않은 알려지지 않은 것이 있습니다. 그리고 제가 초지능에 대해 생각할 때, 그것은 "공상과학 소설을 읽고 어떤 일이 일어날지 꿈꾸어 보겠습니다."라는 미지의 미지의 것입니다. 우리 앞에는 할 수 있는 일이 많이 남아 있고, AI 수준 간의 대화가 뒤죽박죽되는 것은 매우 역효과를 낳을 수도 있습니다. 그것이 가장 무서운 일이기는 하지만, 그것이 일어날 것인지 아닌지에 대해서는 일종의 이진법입니다. 어떤 식으로든 앞서 나가려고 노력하면 안 된다는 말은 아니지만, 우리가 겪고 있는 구체적이고 즉각적인 문제보다 해결하기가 훨씬 더 어려울 것입니다.

Fergal: 예, 다루기 어렵습니다. 하지만 1,000배에 달하는 엄청난 위협이 있습니다. 대부분의 사람들이 이에 동의할 것이라고 생각하지만 확률은 낮습니다. 어쩌면 1,000배 또는 10,000배의 위협일 수도 있지만 확률은 10배 또는 100배 더 낮습니다. 우리가 그것에 동의한다면 그것에 대해 이야기하지 않는 것은 무책임합니다. 다루기 힘들다고 해서 와서 당신을 죽이지 않을 것이라는 뜻은 아닙니다.

에밋: 아니면 규제를 규제하고 논의하고 규제를 제정하기 위해 실제로 근육을 키우는 일부터 시작해 다루기 힘든 일이 닥칠 경우에 더 잘 대비할 수 있도록 할까요?

Fergal: 그럴 수도 있겠지만, 어쩌면 너무 느릴 수도 있습니다. 우리는 자율주행차와 그 윤리에 대해 이야기했는데, 모든 것에는 비용과 이익이 있습니다. 그래서 세상에는 "오늘날 우리 시스템에 관한 이 모든 AI 윤리는 중요하지만 오늘날 시스템의 유용성에 비하면 작습니다."라고 말하는 사람들이 많이 있습니다. 하지만 초지능에 대해 이야기한다면 모양은 매우 달라집니다. 왜냐하면 초지능은 차세대 위험한 기술이기 때문입니다.

에밋: 알겠습니다. 하지만 여전히 우리가 피해야 할 길이 있는 것 같아요. 그리고 그것은 그럴듯한 길이기도 하다. 우리는 우리가 가고 있는 길을 계속해서 가고 있는데, 사고 실험입니다. 내년에 크고 중요한 선거가 있었고 AI와 잘못된 정보가 이 모든 일의 부기맨이 되었다고 상상해 보세요. 사람들은 자신의 휴대전화에 도널드 트럼프 챗봇을 가지고 있어 대화할 수 있으며 이는 매력적이고 재미있는 제품입니다. 나는 우리가 그런 것을 보게 될 것이라고 확신합니다. 그리고 여론과 언론의 폭풍, 이것이 이분법적인 것인지 나쁜 것인지에 대한 정치화는 모든 것을 휩쓸고 더 크고 중요한 대화를 나누는 것을 훨씬 더 어렵게 만듭니다.

"아이디어는 우리가 두 가지를 모두 수행하고 '이봐, 다른 것은 모호하기 때문에 단기적인 실제 피해에만 집중해야 한다'고 생각하는 위치에 있지 않다는 것입니다."

내년에 심각한 잘못된 정보와 많은 사람들에게 실제적인 결과를 초래하는 상황이 발생한다면, AGI로 가능한 글로벌 붕괴 결과는 아니지만 이를 최소화하기 위해 어딘가에서 로봇으로 인한 단일 사고가 발생할 수 있습니다. 자동차든 뭐든, 우리는 이런 것들에 대해 점점 더 성숙한 대화를 나눌 수 있도록 준비해야 합니다. 우리가 그곳에 도달할 수 있다고 상상할 수 있는 좁은 길이 있고, 아마도 우리가 심각하게 엉망으로 만드는 다른 길도 많이 있을 것입니다.

Fergal: 두 가지 모두를 해야 할 것 같은데요, 그렇죠? 우리는 두 가지를 모두 수행하며 "다른 것은 모호하니까 단기적인 실제 피해에만 집중해야 한다"거나 미래가 모호하다고 생각하는 위치에 있지 않다는 것입니다. 일이 너무 커서 단기적인 피해에 시간을 할애하지 않습니다. 아마도 최적으로 균형 잡힌 노력 포트폴리오가 있을 것입니다.

AI 윤리와 AI 안전에 정말로 관심을 갖는 조직이 세상에 있다고 상상해 보세요. 그 조직은 아마도 두 가지 모두에 초점을 맞춰야 할 것입니다. 그런데 어떻게 분할합니까? 무언가가 너무 큰 파스칼의 강도 사건에 대한 아이디어가 있는데, 저는 “여기 AGI가 있어요. 자, 아마 당신은 내 말을 믿지 않을 것입니다. 그러나 만약을 대비해 당신의 모든 돈을 나에게 주어야 합니다. 그렇지 않으면 세상이 멸망할 것이기 때문이다.” "아, 와, 그 결과가 너무 크니까 내가 말하는 대로 하면 돼." 같은 거죠. 그리고 그것은 파스칼의 내기와 같습니다. 그렇죠? 무기화됨. 당신은 그 시나리오를 피하고 싶지만, 합법적인 위협을 보지 않는 시나리오도 피하고 싶습니다.

이것은 어려운 일입니다. 나는 장단기적으로 세상을 더 좋게 만들려고 노력하는 선의의 사람들이 동의하지 않을 것이라고 생각합니다. 최근에 논의가 분열적이라고 말씀하셨는데요. 때때로, 가장 분열적인 토론은 정말로 선하고 선의를 가진 사람들이 전술에 대해 의견이 일치하지 않고 결국 서로 싸우게 될 때입니다. 정말 돌아다니기가 어렵습니다.

에밋: 분명한 것은 우리가 두 가지 일을 모두 해야 한다는 것입니다.

AI 환경 규제

Emmet: 곧 시행될 EU 규정에 대해 언급하셨습니다. 내가 말하는 단기적인 일에 대해 현명하고 올바르며 효과적인 규제를 마련할 준비가 잘 되어 있습니까?

퍼갈: 모르겠어요. 나는 이것에 적합한 전문가가 아닙니다. 저는 EU AI Act 초안 중 하나를 읽었습니다. 그리고 거기에는 좋은 것들이 많이 있고 합리적인 것들이 많이 있습니다. 하지만 아직은 정치적인 수준이고, 여전히 논의 중입니다. 과장된 것처럼 보이는 일부 수정안을 읽었습니다. 모르겠습니다. GDPR을 보세요. GDPR 중 일부는 훌륭합니다. 그렇죠? 보호. 그리고 그 중 일부는 쿠키 동의 항목이나 어디에서나 볼 수 있는 GDPR 동의 항목과 같이 지나치게 중요합니다. 그게 정말 세상을 더 좋게 만들었나요? “글쎄, 이론은 좋았지만 구현이 형편없었어.”라고 말할 수도 있습니다. 응, 하지만 그게 중요해. 좋은 법이 하는 일 중 하나는 결과가 나쁘지 않다는 것입니다.

"이 문제에 대해 어떻게 생각하시든, 우리가 실수하고 알아낼 수 있도록 위험이 낮은 동안 세상에 내보내는 것이 확실히 더 낫습니다."

AI에서는 이것이 어떻게 진행됩니까? 내 생각엔 우리가 기다려야 할 것 같아요. 저는 미국에서 많은 연구실과 협력하고 있는 것을 보고 고무되었습니다. 양방향 참여와 실제 토론이 있었고 그들은 최전선 훈련 실행에 대한 자발적인 감독을 시작했습니다. 그래서 지금까지는 무릎 꿇은 느낌이 들지 않습니다. 기분 좋아요.

나는 순진할지도 모른다. 저는 개척 연구실에 있는 사람들이 이 문제에 대해 상당한 책임을 지고 있다고 생각합니다. 그들은 실수로 초지능에 빠지지 않도록 주의합니다. 그들은 규제 당국과 협력하고 있습니다. 의도적으로 공개 토론을 오염시키고 규제할 수 없는 관할권을 설정하는 다른 세계를 상상할 수 있습니다. 좋은 일이 많이 일어나고 있다고 생각합니다. 그러면 냉소적인 사람들은 "아, 이건 규제를 포착하려는 AI 연구소일 뿐이야."라고 말할 것입니다. 나는 그렇지 않다고 확신한다. 규제 포착의 이점은 이 분야의 일부 사람들에게서 사라지지 않지만, 나는 그들이 대부분 좋은 배우라고 생각합니다.

에밋: 좋은 규제는 차등 적용이나 단계별 진행도 허용한다고 생각합니다. 이 문제에 대해 어떻게 생각하시든, 우리가 실수하고 알아낼 수 있도록 위험이 낮은 동안 세상에 내보내는 것이 확실히 더 낫습니다. 자율주행차 수준은 아마도 다음과 같은 것을 제공할 것입니다. “당신이 이 지역에 있다면 이 정도 수준의 자율성은 괜찮습니다. 이 지역에서는 그렇지 않거나 운전자의 개입이 필요합니다.” 나는 여기서도 내 전문 분야를 벗어났지만 다른 분야에서도 상상할 수 있습니다. 부러진 발가락의 엑스레이나 스캔부터 시작해 보겠습니다. AI가 이를 처리할 수 있습니다. 그러나 종양을 관찰하는 것과 같은 작업에는 인간의 개입을 포함하여 여러 계층이 있습니다. 그리고 아마도 당신은 그 단계를 점차적으로 진행해 나갈 것입니다.

"파멸자 위치 또는 위험한 일반 정보 위치는 예상하기 전에 실수로 훨씬 더 강력한 것을 구축한다는 것입니다."

Fergal: 이것이 우리가 AI 제품을 만들 때 매일 하는 일입니다. 우리는 말 그대로 큰 일을 하려고 Inbox에서 AI 제품을 작업하고 있는데, 이제는 "아니요, 그건 좀 너무 야심적이었습니다."라고 확인하려고 노력하고 있습니다. 괜찮아. 안전하게 가치를 제공할 수 있는 작은 경우입니다. 이것은 일종의 우리의 일상적인 일입니다. 확실히 긍정적인 부분을 출시하고 그 크기를 확장하는 방법을 찾고 있습니다. 그리고 저는 많은 좋은 AI 채택이 그렇게 진행될 것이라고 상상해야 합니다.

다시 말하지만, 파멸의 위치 또는 위험한 일반 정보 위치는 기대하기 전에 실수로 훨씬 더 강력한 것을 구축한다는 것입니다. 이전에 달렸던 것보다 10배 더 긴 훈련을 실행했는데, 생각한 대로 확장되지 않았거나 새로운 알고리즘 등을 얻었기 때문에 1,000배 더 지능적인 것을 훈련했다는 사실을 발견했습니다. 사람들이 정말 걱정하는 시나리오는 바로 이것이다. 그리고 저는 그것이 조심해야 할 시나리오라고 생각합니다.

그러나 EU AI Act 사람들조차 이렇게 말하기 시작했습니다. “아, 당신이 최고의 최첨단 모델을 훈련하고 있다면 아마도 등록해야 할 것입니다. 최소한 규제는 해야죠.” 그걸 어떻게 규제하나요? 맙소사, 모르겠어요. 그것은 힘든 일이 될 것입니다. 그러나 적어도 그들은 그것에 대해 생각하고 있습니다.

알람 소리

Emmet: 당신이 OpenAI 등에서 작업하고 있다고 상상해 보세요. 엄청나게 거대한 코퍼스에서 훈련된 이 대규모 GPT-8이 얼마나 강력한지 설명하는 임계값을 통과했습니다. 그 시나리오에서 무슨 일이 일어날 것이라고 생각합니까? 우선, 당신이 이미 설명하고 있는 것과 같이 책임감 있게 행동하고 정부와 협력하고 싶어하는 대규모 연구실 내에서 이런 일이 일어날 가능성이 가장 높습니까? 큰 빨간 버튼, 그런 일이 일어났습니다. 다음에는 어디로 가져가야 할지 이야기 나눠보자.” 광범위한 개인이 빠르고 갑자기 광범위하게 접근할 수 있게 됩니까, 아니면 일단 발생한 후에 실험실에 보관할 수 있습니까? 그런 다음 이 자료를 매우 조심스럽게 처리하는 방법에 대해 이야기할 수 있습니까?

“누군가 모델을 훈련시켰습니다. 그 다음에는 무슨 일이 일어날까요? 이런 것들을 훈련하는 사람들이 경각심을 불러일으키기를 바랍니다.”

Fergal: 거기에는 많은 것이 있고 이것은 확실히 당신이 뭔가를 훈련하게 되는 똥같은 시나리오입니다. 그것은 공상 과학 시나리오이지만 아마도 그리 멀지 않을 수도 있습니다. 누가 알아? 하지만 그것은 마치 당신보다 훨씬 더 지능적인 무언가를 훈련시킨 것과 같습니다. 그것은 당신의 연구실에 있습니다. 다음에는 어떻게 되나요? 사람들은 이 시나리오를 피하고 싶어한다고 생각합니다. 그리고 여기서 게임은 사람들이 이러한 훈련에 가까워지면 이것이 오는 것을 볼 수 있다는 것입니다. 그들은 이것이 인간의 지능에 가까워지고 있음을 봅니다. 아마 의식이 없을 수도 있겠네요. 의식이 있다고 생각했다면 온갖 종류의 윤리적인 것들이 있지만, 무의식이지만 지능적인 존재가 있다고 가정해 봅시다. 다음에는 어떻게 되나요?

이것이 기술이 발휘되는 방식이라면, 일부 군용 블랙 옵스 프로젝트보다 개인 연구실이 이를 접할 수 있는 더 좋은 장소처럼 느껴집니다. “지금 모든 훈련을 중단해야 합니다”라고 말하는 사람들에게 이는 먼저 군사적 맥락에서 이 문제를 접하게 된다는 의미입니다. 그리고 그것이 정말로 사람들에게 더 좋을지는 모르겠습니다. 어쩌면 그것은 나의 회의론이다. 하지만 누군가 모델을 훈련시켰습니다. 그 다음에는 어떻게 될까요? 나는 이런 것들을 훈련하는 사람들이 경종을 울리기를 바랐습니다. 그리고 나는 그들이 그럴 것이라고 생각합니다. 이 작업을 수행하는 산업 연구실의 좋은 점은 정보가 유출될 수 있다는 것입니다. 그리고 그것이 군사적 맥락에서 이루어지지 않는 것이 정말 중요한 이유라고 생각합니다. 왜냐하면 비밀 문화가 없기 때문입니다. 거대 기술 기업 중 가장 비밀스러운 애플조차도 미친 AI 기술을 갖고 있다면 여러분도 그것에 대해 듣게 될 것이라고 생각합니다. 구글은 분명히 그럴 것이다.

에밋: 유출이라고 하신 건 내부 고발자 스타일을 말씀하시는 건가요? "우리가 이걸 만들었나요?" 아니면 모델을 말씀하시는 건가요?

Fergal: 아니요, 모델 자체를 유출한다는 뜻은 아닙니다.

“당신이 AGI 확산이 위험한 세상에 살고 있다고 상상해 보십시오. 확산을 어떻게 통제합니까? 완전 다른 세상이군요”

에밋: 그런 일이 있었지, 그렇지? Facebook은 일부 연구자들에게 오픈 소스 모델을 공개했고, 누군가 이를 유출하여 인터넷에서 사용할 수 있게 되었습니다.

퍼갈: 응. 글쎄, 이것은 완전히 다른 대화입니다. 당신이 위험한 AGI 확산이 일어나는 세상에 살고 있다고 상상해 보십시오. 확산을 어떻게 통제합니까? 그것은 완전히 다른 세상입니다. 갑자기 "아, 군사적 맥락에서였으면 좋겠다"는 생각이 들더군요. 하지만 맨해튼 프로젝트를 보더라도 러시아에는 맨해튼 프로젝트에서 무기 프로그램으로 기술을 이전한 스파이가 있었습니다. 확실히 국가는 현재 이런 종류의 일에 대해 생각하고 있습니다.

에밋: 물론이죠. 모든 가능성에도 불구하고 거의 80년 전이나 그와 비슷한 시기에 누군가가 둘러앉아 우리가 지금 하고 있는 것과 같은 대화를 하고 있었다는 사실에서 얻을 수 있는 몇 가지 긍정적인 점이 있습니다. 2023년으로 빨리 감아도 원래 사용량보다 더 이상 나아지지 않는다고 들었습니다.

퍼갈: 인류적 편견과 인류적 그림자도 있습니다. 온갖 종류의 흥미로운 통계적 속성이 있습니다. 이것은 핵 교환에는 실제로 적용되지 않지만, 세상을 파괴할 수 있는 일은 여러분이 알 수 있는 한 여러분의 시간선에서는 결코 일어나지 않습니다.

에밋: 그렇죠. 이것이 지구에서의 생활에 적용되는 드레이크 방정식입니다. 내가 살아 있는 동안 왜 세상은 끝나지 않았는가?

퍼갈: 응. 그리고 인류 편향은 드레이크 방정식에 나타납니다. 인간은 행성을 파괴하는 소행성에 의해 타격을 받은 다른 종들이 우리 역사의 타임라인에 없기 때문에 행성을 파괴하는 소행성의 확산을 과소평가하는 경향이 있습니다. 그 수준에서 추론을 시작하고 싶다면…

에밋: 그러면 그걸 AI 관련 부분으로 다시 가져오세요.

"아마도 AI는 미친 신기술일지도 모릅니다. 우리는 개인, 공공 정책 담당자, AI 연구실 사람들이 이를 잘 관리하기 위해 나서기를 기대합니다."

퍼갈: 글쎄요, 아마도 AI 관련이 아니라 핵 관련이겠죠. I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Move fast and break things

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. 이게 네가 말하는거야?

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. 어쩌면 내가 틀렸을 수도 있습니다. Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. 무슨 말인지 아시죠?

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. 어렵다. You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. 그게 다야.

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

에밋: 어떤 면에서는 첫 번째 도구부터( 2001: A Space Odyssey 에서 뼈를 집는 장면을 본다면) 도구는 무언가를 만들거나 누군가에게 상처를 입히는 데 사용될 가능성이 있었습니다. 그리고 우리는 잠재적으로 그 어떤 것보다 더 강력한 도구가 등장하는 지점에 도달하고 있습니다. 그리고 그것은 무엇이든 긍정적이거나 부정적인 용도로 사용될 수 있다는 이중성을 가장 예리하게 표현한 것입니다. 그것은 우리에게 달려 있습니다. 아니면 우리가 마침내 도구에 압도되어 비밀을 유지할 수 없게 되었습니까?

Fergal: 시민과 민주주의자로서 우리에게 달려 있다고 생각합니다. 우리가 속한 작은 민주주의가 여기서 많은 역할을 할지는 모르겠습니다. 연구실에서 일하는 사람들에게 달려있습니다. 저는 시민사회가 이 문제에 대해 머리를 숙여야 한다고 생각합니다. 이것은 다른 유형의 도구입니다. 적어도 가장 까다롭고 가장 위험한 종류의 도구입니다. 그리고 여기에서 꽤 야생적인 일이 일어날 수 있습니다. 나는 아이들이 학교에 입학하는 것을 보고 있는데, 그런 거친 시나리오가 전개된다면 그들이 어떤 세상에서 살게 될지 모르겠습니다. 다시 한번 말씀드리지만, 다른 시나리오도 있다는 점을 인정해야 합니다. 하지만 네, 곧 더 넓은 사회에서 큰 반응을 기대합니다.

“그들이 평가해야 할 윤리적인 문제가 있지만 이를 무시할 수 없는 매우 일관된 입장이 있습니다. 이게 오고 있어”

에밋: 조금이라도 줄어들면 조금 안심이 될까요?

퍼갈: 그러니까 실망할 것 같아요. 더 가늘어지기 전에 더 진행되면 좋을 것 같습니다. 하지만 저는 그것이 우리 모두에게 위협에 적응할 수 있는 더 많은 시간을 줄 것이라고 생각합니다. 이 시점에서 누구든지 이 영상을 본다면 "맙소사, 모든 AI 관련 콘텐츠를 금지해야 합니다."라고 말할 것입니다. 그리고 그것은 매우 합리적인 일이다. 하지만 저는 이런 것들을 조기에 빠르게 접하는 데에는 이런 종류의 미친 이론적 전략적 이점이 있다고 생각합니다. 많은 연구실 사람들이 기술을 현재로 끌어와 초기에 처리할 수 있도록 유도하고 있습니다. 그리고 저는 이런 일이 거의 금지될 수 없다고 생각합니다. 나는 항상 그들의 의견에 동의하지는 않지만, 이것이 믿을 수 없을 만큼 무책임한 일이라고 느끼기 때문에 이에 대해 생각하는 OpenAI와 같은 연구실의 많은 행위자들에 대해 많은 존경심을 가지고 있습니다. 그들이 평가해야 할 윤리적인 문제가 있지만 이를 무시할 수 없는 매우 일관된 입장이 있습니다. 이것이오고있다. 언제 처리할지 선택해야 합니다.

에밋: 그리고 모래 속에 머리를 넣기보다는 내부에서 문제를 해결하는 데 참여하세요. 내 말은, 규제를 담당하는 사람들과 사람들에게 더 많은 권한이 있다는 것입니다. 우리는 그들을 지지하고 책임을 져야 합니다.

Fergal: 여기의 원재료는 계산입니다. 계산은 어디에나 있습니다. 우리는 어디에나 컴퓨터가 있습니다. 그것은 우라늄과 같지 않으며 우라늄을 통제할 수 있습니다. 중앙 집중화된 많은 계산이 필요할 때 이 문제가 발생하기를 원합니다. 그렇다면 적어도 일정 기간 동안은 규제가 가능합니다.

에밋: 꼭 다시 확인하고 싶어요. 고마워요, 퍼갈.

Fergal: 좋은 대화였습니다. 고마워요, 에밋.