Появление сверхразумного ИИ

Мы начинаем создавать системы искусственного интеллекта, которые могут понимать вещи. Где это останавливается?

Сверхразумный ИИ — не новая тема. Но на протяжении десятилетий оно в основном ограничивалось гипотетическими сценариями в научных статьях или на страницах научной фантастики с футуристическими рассказами о восстаниях роботов и сценариями конца света. И все же, по мере продвижения технологии ИИ, эта некогда забавная концепция, согласно которой система ИИ начинает рекурсивно улучшать свой собственный интеллект до такой степени, что в конечном итоге превосходит человеческий интеллект, на цыпочках все ближе приближается к порогу реальности. Внезапно разговор становится гораздо серьезнее.

Некоторые исследователи из таких организаций, как Институт человеческого развития Макса Планка, Научно-исследовательский институт машинного интеллекта и даже OpenAI, утверждают, что сдержать их будет чрезвычайно сложно – или даже совершенно невозможно – как только вы достигнете этой точки. И эта точка, возможно, не так уж далека от реализации.

Когда бы и в какой бы форме они ни появились, сверхразумные системы искусственного интеллекта станут поистине революционными, повлияв на все — от рынка труда и экономики до биологии и медицины. Однако они также представляют серьезную экзистенциальную угрозу человечеству, что поднимает некоторые серьезные вопросы: насколько близко это к тому, чтобы это произошло? Готовы ли мы справиться с этим? И как вообще начать это регулировать?

В этом выпуске наш старший директор по машинному обучению Фергал Рид присоединяется к Эммету Коннолли, нашему вице-президенту по дизайну продуктов, чтобы напрямую взглянуть на суперинтеллект – известное и неизвестное, от этики до угроз и проблем регулирования.

Вот некоторые из ключевых выводов:

• Интеграция ИИ в такие области, как беспилотные автомобили, поднимает этические дилеммы, но важно проводить различие между этим и сверхинтеллектом, который потенциально гораздо более опасен.
• Крайне важно сбалансировать наше внимание между непосредственными проблемами ИИ и угрозами сверхразума: сегодняшние риски не должны затмевать потенциальный вред в будущем, даже если их труднее понять.
• Регулировать ИИ невероятно сложно. Чрезмерное регулирование может ограничить его преимущества, но передовым лабораториям важно взаимодействовать с регулирующими органами, чтобы способствовать ответственной разработке и внедрению.
• В то время как применение неопасного ИИ должно придерживаться подхода «двигайся быстро и ломай вещи», исследовательские лаборатории, обучающие передовые модели, должны строго регулироваться.
• Игнорирование потенциальных преимуществ ИИ при одновременном чрезмерном акценте на рисках приводит к непродуктивным дебатам, которые могут помешать прогрессу. В целом эта технология имеет чистый положительный результат.

Если вам понравилось наше обсуждение, посмотрите другие выпуски нашего подкаста. Вы можете следить за новостями в Apple Podcasts, Spotify, YouTube или получать RSS-каналы в выбранном вами проигрывателе. Далее следует слегка отредактированная стенограмма эпизода.

В неизвестность

Фергал Рид: Это еще один наш разговор в свободной форме. Мы немного готовились, и вы сказали: «Суперинтеллект — это самое интересное…»

Эммет Коннолли: А как насчет того, что сверхинтеллект может полностью изменить наше общество, возможно, в одночасье, и что мы будем совершенно не готовы справиться с этим? Вы говорили, что никто не знает, и что это может произойти в ближайшие пару лет. Это самое важное, о чем мы могли бы поговорить. Но у меня есть трудность в том, что все это непрозрачно. Это может произойти через два года, через какое-то количество лет или через 200 лет. Это самая большая вещь, но это и самое большое неизвестное.

Фергал: Хорошо, давайте перейдем к делу. Давайте займемся этим суперинтеллектом в лоб. Давайте попробуем поговорить о том, что мы знаем и чего не знаем. Мы будем часто ошибаться. Как бы я это сформулировал? Я немного об этом подумал. Теперь это неразрешимо. Трудно ухватиться. Что мы знаем? Там вся эта шумиха, да? «О, это будет безумие; скоро появится суперинтеллект». А так называемые думеры утверждают, что по умолчанию он убьет нас всех. И мы уже немного касались этого в прошлом. А есть и другие люди, которые говорят: «О, это все чушь. Это все равно, что беспокоиться о перенаселении Марса».

«Мы создали устройство, которое начинает понимать вещи. Где это заканчивается?»

Эндрю Нг, известный исследователь, сказал это, а неделю или две назад он, похоже, изменил свою точку зрения. У него есть этот информационный бюллетень, и в нем он не затронул тему сверхинтеллекта, но сказал: «О, эти системы начинают понимать и рассуждать о разных вещах». Он упомянул Othello-GPT, о котором мы говорили ранее, где вы тренируете эту штуку на фрагментах игр «Отелло» — просто последовательностях ходов в настольной игре — и, похоже, вы начинаете узнавать фундаментальные вещи о настольной игре и компоновка платы. Он нашел это убедительным. И я тоже считаю это убедительным. Итак, некоторые люди, которые говорили, что сверхразум находится за миллион миль, теперь немного меняют свое мнение. Люди, которые говорили, что ИИ ничего не понимает, немного меняют свою позицию.

Мы создали вещи, которые начинают понимать вещи. Где это останавливается? Я твердо убежден в том, что не смешно говорить о том, что существа становятся все более и более умными и умнее людей. И это изменение. Четыре или пять лет назад – два года назад? – Я бы полностью присоединился к лагерю Эндрю Нг: «Да, об этом интересно думать, и я люблю читать научную фантастику, но пути нет. Мы не видим там никакого пути. Нет никаких доказательств того, что какой-либо путь, который мы видим, сработает». Теперь есть масса доказательств того, что он может туда попасть. Это то, чему мы научились. Это то, что изменилось в мире.

Эммет: И это похоже на то, что мы можем отследить. Из того, что вы подразумеваете, я понимаю, что рассуждение — это необходимый шаг к сверхинтеллекту, общему искусственному интеллекту (AGI) или чему-то еще. И чем больше здесь проявляется способностей к рассуждению, тем больше вероятность, что мы доберемся до ОИИ. Итак, что касается одной из сторон моей неспособности ухватиться за что-либо осязаемое, вы говорите, что, по вашему мнению, уверенность в себе со временем будет укрепляться коллективно?

«Впервые мы действительно не знаем, в чем фокус. И подвоха может и не быть. Это может быть реально. Это разумно, или, по крайней мере, этот трюк так же хорош для человеческого интеллекта».

Фергал: Да, я имею в виду, что вы видите больше данных и обновляете свое мировоззрение. Если вы живете в мире, где вообще нет никаких интеллектуальных систем, вам следует более скептически относиться к созданию сверхразума. И по мере того, как уровень интеллекта систем в мире возрастает, вы должны стать более открытыми к идее, что мы доберемся до чего-то сверхразумного. Это довольно просто.

Я помню, как узнал о том, как работает шахматный ИИ. Помню шахматный матч Deep Blue и Каспарова в 1997 году (об этом есть песня Arcade Fire). Мой дедушка играл в шахматы и научил меня играть в шахматы в детстве. Он был действительно шокирован и удивлен Deep Blue, потому что Каспаров был выдающимся человеческим умственным гением, и Deep Blue победил его. "Как это могло произойти? Означает ли это, что машины такие же умные, как и мы?» И это было большим техническим достижением. Но по сути это был хороший трюк. Когда вы узнаете, как работает шахматный ИИ глубоко под капотом, это Минимакс или Негамакс. Это довольно простой алгоритм поиска. Он должен иметь какое-то представление о том, лучше или хуже для него состояние доски – если у меня много пешек и ферзь, и у меня нет шаха, это простой расчет стоимости шахматных фигур.

Но тогда он просто выполняет огромный объем поиска. Если я перееду сюда, вы перейдете туда, а я перееду туда… Есть несколько умных методов, которые сделают поиск более эффективным, но по сути это грубые вычисления. Он просто делает массу вычислений. И вот, когда ты это узнаешь, ты внезапно разочаровываешься. Внезапно это звучит так: «Deep Blue не был мыслящей машиной. Это было просто очень умно…

Эммет: Калькулятор.

Фергал: …калькулятор, да. Большая механическая система, производящая массовые вычисления. История искусственного интеллекта всегда впечатляет, пока не научишься этому трюку. Но сейчас, впервые, мы действительно не понимаем, в чем фокус. И подвоха может и не быть. Это может быть реально. Это разумно, или, по крайней мере, этот трюк так же хорош для человеческого интеллекта.

«Deep Blue не был умнее Каспарова, но они довольно ловко применили аспект грубого расчета своего интеллекта для задачи, которая сделала его лучше до такой степени, что он мог победить»

Эммет: Или отражает какой-то основополагающий, почти физический универсальный закон теории информации или то, как работает информация, когда вы объединяете ее большие объемы.

Фергал: Я не знаю, стал бы я придерживаться теории информации, но я предполагаю, что идея о том, что, возможно, простая система дала бы выразительную силу, и когда вы просто добавляете достаточно информации, она начинает становиться умной.

Эммет: Итак, Deep Blue не был умнее Каспарова, но весьма умным способом они применили аспект грубого расчета своего интеллекта для задачи, которая сделала его лучше до такой степени, что он мог победить. Поэтому я думаю, что вы можете одновременно сказать: «Deep Blue не умнее, чем Гарри Каспаров», и вы можете сказать: «Deep Blue может победить Гарри Каспарова в шахматы» или «Он справляется с задачей лучше, чем люди».

ИИ садится за руль

Эммет: Это заставляет меня задуматься о том, как мы думаем об этих вещах. Эмоциональная реакция, которую вы описали у своего дедушки… Если мы посмотрим вперед и увидим беспилотные автомобили, которые бурлили на заднем плане на протяжении всего или даже до того, как что-либо из LLM действительно вышло на первый план. Есть такой эмоциональный вопрос: «Чего мы хотим от этих систем?» Возможно, я ухожу от темы AGI, но давайте посмотрим на автомобили. Чего мы от них хотим и как мы будем реагировать на интеграцию туда? Потому что у нас сейчас несовершенная система – более миллиона смертей на дорогах в год вызваны человеческими ошибками. Если мы заменим это системой искусственного интеллекта, которая приводит лишь к полумиллиону смертей на дорогах в год, сможем ли мы… Я имею в виду, что с чисто этической точки зрения очень сложно не…

Мне кажется, что это похоже на проблему с тележкой ИИ в целом. Проблема с тележкой ИИ — это локальный вопрос «Какое решение вы принимаете?» Но у нас есть решение на общественном уровне: «Собираемся ли мы принять отвратительное чувство, которое возникает от автомобилей, управляемых роботами, даже если они подвержены ошибкам, даже если эта подверженность ошибкам менее подвержена ошибкам, чем водители-люди?»

«Если – и это огромное «если» – мы доведем беспилотные автомобили до такой степени, что машина теперь будет убивать вас там, где раньше вас убивал человек, но убивает вас гораздо меньше, я думаю, большинство людей с этим согласятся. »

Фергал: Я думаю, что мы, вероятно, так и сделаем. Очевидно, что существует вероятность провала регулирования и политики, но люди постоянно идут на эти компромиссы. Они просто не особо много о них говорят, потому что это политически неразумно. В каждой развитой стране есть медицинская система, которая взвешивает стоимость и пользу от лекарства. И к лучшему или к худшему, они это делают. И я думаю, что это хороший поступок. И я понимаю, что это политически сложно защитить, но если этого не сделать, погибнет больше людей.

Эммет: Люди спорят об этом, но очень немногие люди предпочитают жить в стране, где эти правила не обеспечивают ограждений и барьеров безопасности для всех аспектов их жизни. Так что да, я согласен с вами.

Фергал: Да, вот и все. И, надеюсь, они делают хорошую работу, но им приходится принимать такого рода решения о жизни и смерти относительно того, какие лекарства станут доступными. Общества делают это. И я должен представить, что, если не будет какой-либо политической неудачи, если – и это огромное «если» – мы доведем беспилотные автомобили до такой степени, что да, машина теперь убивает вас там, где раньше вас убивал человек, но он убивает вы намного меньше, я думаю, что большинство людей с этим согласятся.

Эммет: Я не знаю. С чисто логической точки зрения, если подсчитать цифры, трудно найти логический изъян в том, что вы только что сказали. Но я думаю, что в отличие от регулирования наркотиков, которое является своего рода фоновым шумом жизни и жизни, вы выбираете, сесть в беспилотный или беспилотный автомобиль. И я думаю, что для многих людей это решение будет гораздо более личным, чем некоторые из тех правил, которые менее ощутимы в вашей повседневной жизни. Я думаю, что это может оказаться чрезмерно политизированным, что затруднит достижение регулирования и будет мешать нам больше всего на свете.

Фергал: Я имею в виду, послушайте, я знаю, что это приобретет политический характер, но посмотрите на ядерную энергетику. Ядерная энергетика загрязняет меньше углерода, чем другие источники энергии. И это сложная дискуссия о недостатках. Когда происходит ядерная авария, это обходится чрезвычайно дорого. Это сложная статистическая проблема. Но в ретроспективе многие технологи сочли бы дискуссию вокруг ядерной энергетики не самой рациональной. Когда я был ребенком, я боялся атомной энергетики. Многие из нас в восьмидесятые боялись ядерной энергии. Но, возможно, это пример политического провала.

Определенно существует большая группа технологов, которые говорят: «Дебаты вокруг сверхинтеллекта приведут к чрезмерному регулированию ИИ, и мы потеряем много человеческих благ». Это коленный рефлекс. Возможно, что-то подобное произойдет и с беспилотными автомобилями, когда мы дойдем до того, что они станут лучше, но затем произойдет политическая неудача, которая в конечном итоге помешает их внедрению до тех пор, пока они не станут совершенными, а они никогда не совершенны. Но я думаю, я оптимистично настроен на то, что люди смогут провести эти дебаты.

Эммет: Ну, вот почему я изо всех сил пытаюсь лично и эмоционально осознать эту точку зрения на гибель, потому что определенная часть этого будет происходить независимо от того, что вы говорите или делаете с этого момента.

Фергал: За сверхинтеллект? Потому что я счастлив представлять гибельную точку зрения на сверхинтеллект.

«Не существует сценария, при котором беспилотные автомобили убьют всех»

Эммет: О, ладно. Итак, давайте различать беспилотные автомобили, для которых не требуется сверхинтеллект, и какие-то сверхразумные научно-фантастические моменты. Я воспринимаю менталитет обреченности даже в отношении несуперразумного аспекта этого.

Фергал: Да. Вы должны различать эти два понятия. Есть много людей, которые невероятно скептически, цинично и пессимистично относятся, скажем, к беспилотным автомобилям. Есть и другие люди, которые будут цинично и пессимистично относиться к общему интеллекту или сверхинтеллекту, но я думаю, что вам следует разделить эти два понятия. Все думают, что они рациональны, но я бы сказал, что есть рациональный аргумент в пользу осторожности в отношении сверхразума. Не существует сценария, при котором беспилотные автомобили убьют всех. Но, я думаю, существуют правдоподобные сценарии, когда люди изобретают сверхинтеллект, но все идет не так, и он буквально всех убивает. Я не говорю, что это вероятно. Есть люди, которые говорят, что это сценарий по умолчанию, и, на мой взгляд, у них есть убедительные аргументы, но я не говорю, что это вероятно. Но я не думаю, что можно сказать, что это невозможно. Суперинтеллект потенциально очень опасен. Итак, я думаю, что это просто безумное состояние. Даже последняя минута этого разговора безумна.

Эммет: Да, это дико. И вернемся к тому, что мы сказали в начале: это самая важная вещь, но она такая аморфная. Мы просто пытаемся вмешаться в это.

Фергал: Об этом страшно даже думать и говорить. Я думаю, что люди часто подвергают самоцензуре. Академики самоцензурируют.

Эммет: Верно, из страха ошибиться.

Фергал: Страх ошибиться и стимулы, связанные с этим. Но также, даже на человеческом уровне, это типа: «Дерьмо, правда? Вы говорите о такой большой технологии». Вы упомянули Оппенгеймера в своем предыдущем подкасте. Если вы верите, что такое произойдет, и если вы верите в сверхинтеллект, то это явно технология такого же уровня мощности, как и ядерное оружие. Или, я бы сказал, существенно выше этой мощности. Существует обреченный аргумент по поводу беспилотных автомобилей, и лично я не воспринимаю его всерьез. Возможно, это высокомерно с моей стороны, но не бывает сценария, в котором беспилотные автомобили убьют всех.

Распутывание этики ИИ

Эммет: Я думаю, что мы здесь подходим к тому, что весь разговор об ОИИ или суперинтеллекте сильно отличается от разговора о болотных стандартах, о том, что у нас есть или...

Фергал: Этика ИИ.

Эммет: …то, что у нас получается немного лучше, но даже в ближайшие пять лет до следующего дела дело не дойдет. Это более основная этика ИИ – все, что связано с дезинформацией и тому подобными вещами, с которыми нам приходится иметь дело в любом случае.

Фергал: Я думаю, что это историческая случайность и, возможно, опасная историческая случайность, что эти два разговора сильно путаются. Это только одна точка зрения. Есть альтернативные точки зрения. Люди, которые сегодня занимаются этикой ИИ, скажут: «О нет, эта сверхинтеллект высасывает весь кислород из комнаты. Будущий теоретический вред отвлекает от реального вреда сегодня». Но если вы верите, что будущий вред не является теоретическим и что его масштабы намного больше, это должно привлечь много внимания, понимаете?

«Я не говорю, что нам не следует каким-либо образом пытаться опередить это, но решить эту проблему будет гораздо труднее, чем некоторые из более ощутимых и неотложных проблем, которые у нас есть».

Эммет: Позвольте мне попытаться представить альтернативный случай. Да, конечно, это большая награда/угроза/опасность. И все же это так неизвестно и непознаваемо для нас… Позвольте мне на минутку поговорить о Рамсфельде – есть известные известные, известные неизвестные и неизвестные неизвестные. И когда я думаю о сверхинтеллекте, это неизвестное неизвестное: «Давайте я почитаю научную фантастику и помечтаю о том, что может произойти». Хотя впереди нас ждет много работы, и, возможно, путаница в диалоге между этими уровнями ИИ очень контрпродуктивна. Хотя это очень пугает, вопрос о том, произойдет ли это или нет, является двоичным. И я не говорю, что нам не следует каким-либо образом пытаться опередить это, но решить эту проблему будет гораздо труднее, чем решить некоторые из наиболее осязаемых и неотложных проблем, которые у нас есть.

Фергал: Да, это трудноразрешимо, но существует огромная угроза в 1000 раз, и я думаю, что большинство людей с этим согласятся, но с меньшей вероятностью. Возможно, это угроза в 1000 или 10 000 раз, но с вероятностью в 10 или 100 раз ниже. Если мы согласны в этом вопросе, то было бы безответственно не говорить об этом. То, что это трудноизлечимо, не означает, что оно не придет и не убьет вас.

Эммет: Или мы начнем с того, что начнем наращивать мышцы для регулирования, обсуждения регулирования и принятия регулирования, чтобы лучше подготовиться к трудноразрешимой ситуации, если и когда она произойдет?

Фергал: Возможно, но, возможно, это слишком медленно. Мы говорили о беспилотных автомобилях и их этике, и во всем есть свои издержки и выгоды. Итак, в мире есть много людей, которые сказали бы: «Вся эта этика ИИ в наших сегодняшних системах важна, но мала по сравнению с полезностью современных систем». Но форма становится совсем иной, если вы говорите о сверхразуме, потому что это опасная технология следующего уровня.

Эммет: Я понимаю тебя, но я все еще думаю, что есть путь, которого нам следует избегать. И это тоже вполне вероятный путь. Мы продолжаем идти по тому пути, по которому идем, и эй, мысленный эксперимент. Представьте себе, если бы в следующем году состоялись большие важные выборы, и ИИ и дезинформация стали бы причиной всего этого. У людей на телефонах есть чат-бот Дональда Трампа, с которым они могут общаться, и это интересный и интересный продукт. Могу поспорить, что мы увидим что-то подобное. А общественное мнение, буря в СМИ и политизация по поводу того, является ли это бинарным добром или злом, просто затмевают все это и значительно затрудняют более важный разговор.

«Идея состоит в том, что мы делаем и то, и другое, и мы не в том положении, когда мы говорим: «Эй, краткосрочный реальный вред — единственное, на чем следует сосредоточиться, потому что все остальное туманно»»

Если в следующем году мы доберемся до стадии, когда серьезная дезинформация и вещи, которые будут иметь реальные последствия для многих людей – не последствия глобального кризиса, которые возможны с помощью AGI, а, чтобы не преуменьшать это, единичная авария где-то из-за робота машина или что-то в этом роде – нам нужно настроиться на более зрелые разговоры на эту тему. Я могу себе представить, что есть узкий путь, по которому мы доберемся туда, и, вероятно, множество других, на которых мы существенно его испортим.

Фергал: Думаю, тебе придется сделать и то, и другое, верно? Идея состоит в том, что мы делаем и то, и другое, и что мы не находимся в таком положении, когда мы говорим: «Эй, краткосрочный реальный вред — единственное, на чем следует сосредоточиться, потому что все остальное туманно» или что будущее туманно. проблема настолько велика, что мы не тратим времени на краткосрочный вред. По-видимому, существует некий оптимально сбалансированный портфель усилий.

Представьте, что в мире есть организация, которая действительно заботится об этике и безопасности ИИ. Этой организации, вероятно, следует сосредоточить свое внимание на обоих этих вещах. Но как сделать это разделение? Есть такая идея об ограблении Паскаля, когда что-то такое большое, и я такой: «Эй, у меня здесь есть ОИИ. Вы, наверное, мне не верите, но на всякий случай отдайте мне все свои деньги. Потому что в противном случае это разрушит мир». Это типа: «Ого, последствия настолько велики, что ты должен просто делать то, что я говорю». И это похоже на пари Паскаля, верно? Вооружен. Вы хотите избежать этого сценария, но вы также хотите избежать сценария, в котором вы не обращаете внимания на реальную угрозу.

Это трудная вещь. Я думаю, что хорошие люди с благими намерениями, пытающиеся сделать мир лучше, как в долгосрочной, так и в краткосрочной перспективе, не согласятся. Вы недавно упомянули, что дискуссия вызывает разногласия. Иногда самая спорная дискуссия возникает, когда действительно хорошие, благонамеренные люди расходятся во мнениях по поводу тактики и в конечном итоге ссорятся друг с другом. Это действительно трудно обойти.

Эммет: Очевидно, что нам нужно сделать и то, и другое.

Регулирование сферы ИИ

Эммет: Вы упомянули правила ЕС, которые вступают в силу. Готовы ли мы ввести разумные, правильные и эффективные правила для тех краткосрочных задач, о которых я говорю?

Фергал: Я не знаю. Я не тот эксперт для этого. Я прочитал один из проектов Закона ЕС об искусственном интеллекте. И там много хорошего и много разумного. Но это все еще на политическом уровне, это все еще обсуждается. Я прочитал некоторые поправки, которые показались преувеличенными. Я не знаю. Посмотрите на GDPR. Некоторые положения GDPR хороши, не так ли? Защита. А некоторые из них являются чрезмерными, например, данные о согласии на использование файлов cookie или данные о согласии GDPR, которые вы видите повсюду. Действительно ли это сделало мир лучше? Вы можете сказать: «Ну, теория была хорошей, но реализация была просто плохой». Да, но это важно. Часть работы хорошего закона заключается в том, что его последствия не являются плохими.

«Что бы вы ни думали об этом, конечно, лучше представить это миру, пока ставки низки, чтобы мы могли совершать ошибки и что-то выяснять»

Как это происходит с ИИ? Я думаю, нам нужно подождать и посмотреть. Меня воодушевляет то, что я вижу в США, где они сотрудничают со многими лабораториями. Произошло двустороннее взаимодействие и настоящая дискуссия, и они начинают осуществлять добровольный надзор за тренировочными забегами на границе. Так что пока это не кажется коленным рефлексом. Это приятно.

Возможно, я наивен. Я думаю, что люди в пограничных исследовательских лабораториях относятся к этому со всей ответственностью. Они заботятся о том, чтобы по ошибке не стать суперинтеллектом. Они взаимодействуют с регулирующими органами. Вы можете представить себе какой-то другой мир, где они намеренно загрязняют общественные дебаты и создают юрисдикции, которые невозможно регулировать. Я думаю, что происходит много хорошего, и циники скажут: «О, это всего лишь лаборатория искусственного интеллекта, пытающаяся перехватить контроль над нормативными актами». Я уверен, что это не так. Некоторые люди в этой сфере не упускают из виду выгоду от контроля со стороны регулирующих органов, но я думаю, что они в основном хорошие актеры.

Эммет: Я полагаю, что хорошее регулирование также допускает некоторую скользящую шкалу или прогресс от шага к шагу. Что бы вы ни думали об этом, конечно, лучше представить это миру, пока ставки низки, чтобы мы могли совершать ошибки и что-то выяснять. Уровни беспилотных автомобилей, вероятно, предоставляют что-то вроде этого, где вы можете сказать: «Если вы находитесь в этом районе, это нормально для такого уровня автономии. В этой области нет, или вмешательство водителя не требуется». Я здесь тоже не в своей области знаний, но вы можете себе представить это и в других областях. Давайте начнем с рентгена или сканирования сломанных пальцев ног – ИИ справится с этим. Но что-либо вроде исследования опухоли предполагает наличие нескольких уровней, включая участие человека. И, возможно, вы просто постепенно проходите эти стадии.

«Позиция обреченности или опасная позиция общей разведки состоит в том, что вы случайно создаете что-то гораздо более мощное, прежде чем этого ожидаете»

Фергал: Это то, что мы делаем изо дня в день, когда создаем продукты искусственного интеллекта. В настоящий момент мы буквально работаем над продуктами искусственного интеллекта в папке «Входящие», пытаясь сделать что-то большое, а теперь пытаемся понять: «Нет, это было слишком амбициозно». Это нормально. Меньшие случаи, когда это определенно принесет безопасную пользу. Это своего рода наша повседневная работа. Вы ищете способы развернуться там, где это определенно будет положительным, а затем расширить этот размер. И я должен представить, что многие хорошие внедрения ИИ будут происходить именно так.

Опять же, позиция обреченности или опасная позиция общего интеллекта заключается в том, что вы случайно создаете что-то гораздо более мощное, прежде чем этого ожидаете. Вы выполняете более длительную тренировочную пробежку, которая в 10 раз дольше, чем когда-либо раньше, и обнаруживаете, что вы обучили что-то, что в 1000 раз более интеллектуально, потому что оно не масштабировалось так, как вы думали, или потому, что вы получили какой-то новый алгоритм или что-то в этом роде. Это сценарий, который действительно беспокоит людей. И я думаю, что это сценарий, к которому следует быть осторожным.

Но опять же, даже люди, связанные с Законом ЕС об искусственном интеллекте, начинают говорить: «О, если вы обучаете лучшие, самые передовые модели, возможно, вам нужно это зарегистрировать. По крайней мере, вы должны это регулировать». Как вы это регулируете? Боже, я не знаю. Это была бы тяжелая работа. Но, по крайней мере, они об этом думают.

Бью тревогу

Эммет: Представьте, что вы работаете над OpenAI или чем-то в этом роде, и мы создаем этот огромный GPT-8, обученный на каком-то безумно огромном корпусе, и он преодолевает тот порог, который вы описываете, и становится страшно, насколько он мощный. Как вы думаете, что произойдет в этом сценарии? Прежде всего, скорее всего, это произойдет внутри большой лаборатории, тип которой вы уже описываете, которая хочет вести себя ответственно и сотрудничает с правительством, и в этот момент они скажут: «Эй, нажмите большая красная кнопка, это случилось. Давай поговорим о том, где это сделать дальше». Станет ли он быстро и внезапно широко доступным для широкого круга людей, или же его можно будет содержать в лаборатории, как только это произойдет, и тогда мы сможем говорить о том, как очень осторожно обращаться с этим материалом?

«Кто-то обучил модель, что будет дальше? Остается надеяться, что люди, обучающие этим вещам, поднимут тревогу».

Фергал: Там много чего есть, и это определенно дерьмовый сценарий, в котором ты что-то тренировал. Это научно-фантастический сценарий, но, возможно, он не так уж далек. Кто знает? Но это похоже на то, что вы обучили кого-то, кто, возможно, намного умнее вас. Он сидит в вашей лаборатории. Что будет дальше? Я думаю, что люди хотят избежать этого сценария, и я думаю, что игра здесь в том, что когда люди приближаются к обучению этим вещам, они могут предвидеть, что это произойдет. Они видят, что это приближается к человеческому интеллекту. Надеюсь, вероятно, не в сознании. Есть множество этических вещей, если вы думаете, что это сознательно, но давайте предположим, что у вас есть бессознательное, но разумное существо. Что будет дальше?

Если технология работает именно так, то частная лаборатория кажется лучшим местом для этого, чем какой-нибудь военный секретный проект. Для людей, которые говорят: «Нам нужно немедленно прекратить все тренировки», это означает, что вы сначала столкнетесь с этим в военном контексте. И я не знаю, будет ли это лучше для людей, если честно. Возможно, это мой скептицизм. Но да, кто-то обучил модель, что будет дальше? Остается надеяться, что люди, обучающие этим вещам, поднимут тревогу. И я думаю, что они это сделают. Хорошая вещь в том, что промышленные исследовательские лаборатории делают это, я думаю, что они будут утечки информации. И я думаю, именно поэтому очень важно, чтобы это не делалось в военном контексте, потому что нет культуры секретности. Я подозреваю, что даже Apple, самая секретная из крупных технологических компаний, если бы у них была какая-нибудь сумасшедшая штука с искусственным интеллектом, вы бы об этом услышали, верно? Google определенно сделал бы это.

Эммет: Когда вы говорите об утечке, вы имеете в виду стиль разоблачителя, например: «Мы создали это?», или вы имеете в виду модель…

Фергал: Нет, я не имею в виду утечку самой модели.

«Представьте, что вы живете в мире с опасным распространением ОИИ. Как вы контролируете распространение? Это совершенно другой мир»

Эммет: Это ведь произошло, да? Facebook предоставил свою модель с открытым исходным кодом некоторым исследователям, кто-то слил ее, и она стала доступна в Интернете.

Фергал: Да. Ну это совсем другой разговор. Представьте, что вы живете в мире с опасным распространением ОИИ. Как вы контролируете распространение? Это совершенно другой мир. Внезапно это похоже на: «Чувак, мне бы хотелось, чтобы это было в военном контексте». Но даже если вы посмотрите на Манхэттенский проект, у русских были шпионы, которые перенесли технологии из Манхэттенского проекта в свою программу вооружений. Конечно, национальные государства сейчас думают о подобных вещах.

Эммет: Абсолютно. Есть некоторый положительный момент в том факте, что, несмотря ни на что, почти 80 лет назад или что-то в этом роде, кто-то сидел и обсуждал версию разговора, который мы ведем сейчас, и я думаю, что они, вероятно, были бы приятно удивлены. услышать, что если вы перенесетесь в 2023 год, дальше первоначального использования дело не пойдет.

Фергал: Есть также антропная предвзятость и антропная тень. Есть множество интересных статистических свойств. На самом деле это не относится к обмену ядерными ударами, но, насколько вы можете судить, вещи, которые могут разрушить мир, никогда не происходят в вашей временной шкале.

Эммет: Верно. Это уравнение Дрейка, применимое к жизни на Земле. Почему мир никогда не заканчивался, пока я жил в нем?

Фергал: Да. И антропная предвзятость проявляется в уравнении Дрейка. Люди склонны недооценивать распространенность разрушающих планеты астероидов, потому что другие виды, пострадавшие от разрушающих планеты астероидов, не входят в нашу хронологию истории. Если вы хотите начать рассуждать на этом уровне…

Эммет: И тогда вернись ко мне к теме искусственного интеллекта.

«Может быть, ИИ — это какая-то сумасшедшая новая технология, и мы собираемся рассчитывать на то, что отдельные люди, люди из государственной политики и люди в лабораториях ИИ приложат усилия, чтобы хорошо с этим справиться».

Fergal: Well, maybe not the AI stuff, but the nuclear stuff. I don't think it's too big of an effect there, but when you look at a whole bunch of close calls for nuclear exchange, the fact is it hasn't actually happened. If it actually happened, would we be here to talk about it?

Emmet: I get it. You're like, “Emmett, we've been lucky on a few coin tosses. I wouldn't take that as evidence that everything's going…”

Fergal: Now, on the other hand, there hasn't been limited nuclear exchange. But I guess if your model is that nuclear exchange naturally spirals out of control, there'll be very few cases of limited nuclear exchange. We shouldn't feel enormously reassured by our ability to deal with that crazy technology that things didn't all go wrong. That's just one argument. And a counterargument is like, “Oh no, there was a lot of work done to try and pull the Cold War back from the brink.” And you read about the Cuban Missile Crisis and there were individuals who stepped up when it counted. Maybe AI is some crazy new technology and we are going to count on individuals, people in public policy, and people in AI labs to step up to manage this well. There's a flip side of the coin. If we're talking about generally intelligent systems, there are insane benefits for humanity. It's important not to get lost.

Emmet: And the opportunity to solve some of our biggest known immediate problems as well, right? And lots of climate issues and overpopulation.

Fergal: Yeah, if overpopulation is even a problem.

Emmet: But I will say one thing. Even this conversation has made me a little bit more optimistic because it's allowed me to take this miasma of concern and compartmentalize it a little bit. I'm much more optimistic than I was at the start of the conversation about our short-term likelihood of successfully managing, regulating, continuing to grow, and enabling the right level of innovation without letting it go crazy. And obviously, we have this big potential moment on the horizon.

Fergal: You must have been very pessimistic at the start of the conversation.

Move fast and break things

Emmet: Well, I still think all that regulation stuff is going to be super hard work and take many years and probably get it wrong. And one of the concerns that I have is we…

Fergal: I think regulation is going to be fast and hard.

Emmet: Fast and effective, you think?

“No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate”

Fergal: This is a conversation between two technologists, right? And this area is mad. “Hey, people might build AGI, and it might have a massively negative consequence for loads of people in the world who don't normally pay attention to technology.” And technology skirts regulations often, and it moves fast and breaks things. And that's tolerated, mostly, as long as it's smartphone apps. But if you get to the point where people are credibly discussing even the low chances of massively negative outcomes, a lot of people who are in politics and civil society will be like, “Hey, are these guys serious?” Right now, we're at a point where those people are looking at it, and they're seeing all this debate. And a lot of the credible people in AI are kind of like, “Oh, it's like overpopulation on Mars.”

I think that's switching, and I think that will switch. I think that in a year's time, a lot of the credible people in AI will be like, “I'm not sure. Yeah, I can't really explain. I can't really explain this system's performance. This is doing really amazing things, yet I don't know where it's going to go.” And as they sit down in those closed-door briefing sessions, the people in politics and stuff will be like, “Really? There is a major threat here, and you can't explain it?” I personally predict hard and fast regulation of frontier training runs. Overall, I think we'll be glad to see that. And I really hope we don't throw the baby out with the bath water. We do industrial work. We are not using superintelligence. There's a vast amount of benefit to be gained from automating drudgery. I think, overall, technology is weighing net positive.

Emmet: I guess that's part of the role that we have to play in all this. Even as we're talking about this stuff, it strikes me that 80% of our conversation is actually skewed towards danger mitigation, and so on. I think we may take for granted a lot of the potential positives and upsides here. No one wants to be the person looking back who didn't speak to the risks, but there is a danger of over-indexing on that. We need to try and more heavily highlight both sides of it if we're to have a good debate.

“Software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you”

An element that I'm uncomfortable with as well is this conversation that we're having is also super speculative. And we're like, “Hey, who knows?” Nobody can know, but it's still very valuable and worthwhile to put yourself out there a little bit and have a bit of a guess about it. But it's very different from how we've done software in the past.

Fergal: How humanity as a whole has done software. Is that what you mean?

Emmet: I mean how software gets built by teams, where, traditionally, you build the thing, put it out in the market, find out if it works, fail fast, and your bugs will be revealed to you. How do bugs get fixed? They get fixed by being allowed to break to a certain extent and then being fixed.

Fergal: Not just software. This is a new class of threat because you've got to get it right the first time. In the past, we made a big mistake – the first nuclear meltdown – and then we took it much more seriously. We can't do that this time, right?

Emmet: This means that software makers need to get from the move fast and break things mentality to something that is a bit more engaged… I guess it depends on what you're doing as well. If you're doing text auto-complete on your blog post authoring tool, go for it. But in certain areas. There are already software industries around health and finance and the military that are all super regulated. Hopefully, we can pull on enough of that experience.

“Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it”

Fergal: Oh gosh, I don't know. Firstly, I think that applies to people training frontier models. I think we should have a “move fast and break things” approach for people building customer support AI chatbots and things of that class, right? That's very different from a frontier model building the most intelligent system humans have ever built for the first time. Frontier models need to be regulated, but there'll be a bunch of stuff this is pretty intelligent and is a useful tool, but it's not going to try and seize control of anything. Overall, for society as a whole, the benefit of rapid development and patching things and fixing issues as they crop up is probably worth it.

Emmet: Yeah, what I'm saying is we need to inherit the norms of the industries that we're talking about. Yes for the example you gave, but less so for medical software or something like that.

Fergal: I mean, it's a complicated thing. There are many different bits here I need to separate out. I think research labs training frontier models probably need to inherit norms of regulated industries at some point in the future when the models start to get close to a point where they're dangerous. Some people would say that's now. I would say probably not quite yet, but at some point soon.

Emmet: And they seem pretty open to that. That's pretty plausible to me.

Fergal: I think so. But what are those norms? Those norms are at least as stringent as the norms of people doing gain-of-function research for pathogens, and they don't seem to be doing a great job, by the way. They will need to be the most stringent norms that humanity ever had. I would vote in that direction. Then, separately, there are people on the applications layer applying non-dangerous AI, and I would say it depends on what you're doing. If you're going to detect cancers from images, you probably need to be regulated, and I think the EU AI Act is going to regulate things like that.

Then, there's a tier below, such as Netflix movie recommendations. There are issues of bias and all sorts of stuff there, but with that thing, I probably wouldn't bother regulating it, or I'd only regulate it extremely lightly because yes, while there are real meaningful issues there, Netflix recommends certain things based on some stuff I'd rather they didn't do, and there are issues of bias and other ethical issues. The benefit to society of moving fast probably weighs heavily on the scales against those harms. Other people will disagree with that, and that's their right. I think that's reasonable, but that's how I frame it. I would put crazy stuff like superintelligence in a new category or the category of biological weapons research. Возможно, я ошибаюсь. Maybe it'll turn out that I was over-pessimistic.

Between optimism and caution

Emmet: To cool our jets a little bit, there's no reason to suddenly get worried about the Netflix algorithm because it's underpinned by slightly different technology, and the fact that bias and data sets have been kind of part of the conversation about AI systems from the start probably bodes a lot better than the random stuff that gets put into your algorithmic feeds, which is just as opaque to everyone outside of those companies and probably a lot more prone towards bias or mistakes. This has been a good reminder to kind of compartmentalize some of these different ideas, so I'm glad that we have had it.

Fergal: Yeah, it's an interesting conversation.

“You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around”

Emmet: I have a feeling we could come back in a couple of months and almost have a follow on. You know what I mean?

Fergal: Yeah. Well, it's percolating in all our heads. We're all trying, as humans, to get our heads around technology change here. Это сложно. You don't want to go too far, too speculative into the future, but you don't want to ignore the low-probability, high-magnitude stuff either. It's a hard space for everyone to get their head around. Reasonable people can disagree in this space and I think it's really good that there's this discussion about it. I wish the discussion was a little less muddled. I find a lot of the media discussion very shallow.

Emmet: Do you know someone who you think is doing a good job at it? Publications, journalists, some rando on Twitter…

Fergal: There's a lot of really great stuff on the technical side. There are a lot of good research papers being written around this. The academic research discussion, I feel, is still muddled, but overall, it's making progress, and I think this is just how we deal with stuff. You've got to get to it in layers. The journalists will get there. We saw this with COVID. I'd done a little bit of epidemiology, so I could understand a little bit of it, but it was a time of adaptation. Even experts were getting things wrong in the first month or two, and then people adapted. I'm optimistic that this will happen. I hope the timeline is okay. Вот и все.

Emmet: In conclusion, Fergal, are we so back, or is it so over? That's the fundamental question of all this.

Fergal: I'm incredibly optimistic about AI and the power it brings, and I'm really cautious. Up to the point of human-level AI, I'm incredibly optimistic. It's going to be great for people overall. With an unconscious but intelligent system that gets progressively more useful and powerful up to human level, people can use it to do bad things, but overall, I think it'll be net positive. There is a threshold – I don't know where it is – where we have to start being cautious, but I think as long as that doesn't happen way faster than people expect, as long as it doesn't happen by accident, I see a lot of really positive directions. I'm optimistic, but I do think it's time to take the negative outcomes seriously, too. That's where my head is at.

Эммет: На каком-то уровне, с самого первого инструмента – если вы посмотрите фильм «Космическая одиссея 2001 года» , где он подбирает кость – инструменты имели потенциал, который можно было использовать, чтобы что-то сделать или причинить кому-то вред. И мы потенциально приближаемся к моменту, когда появится инструмент, который будет более мощным, чем все, что было до него. И это всего лишь ярчайшая формулировка двойственности: все можно использовать как в позитивном, так и в негативном смысле. Это зависит от нас. Или нас наконец перехитрили инструменты, и мы не можем держать это в тайне?

Фергал: Я думаю, это зависит от нас, граждан и демократических стран. Я не знаю, сыграет ли здесь большую роль та маленькая демократия, в которой мы живем. Это во многом зависит от людей, работающих в исследовательских лабораториях. Я думаю, что гражданское общество должно разобраться в этом вопросе. Это другой тип инструмента. По крайней мере, это самый сложный и опасный класс инструментов. И здесь могут произойти некоторые довольно дикие вещи. Я смотрю на детей, идущих в школу, и не знаю, в каком мире они будут жить, если эти дикие сценарии реализуются. Опять же, мы должны признать, что существуют и другие сценарии. Но да, я ожидаю скоро большой реакции со стороны общества.

«Им нужно взвесить этические вопросы, но существует очень последовательная позиция, согласно которой вы не можете просто игнорировать это. Это приближается»

Эммет: Почувствуете ли вы небольшое облегчение, если вообще сократите дозу?

Фергал: Я имею в виду, я был бы разочарован. Мне бы очень понравилось, если бы оно пошло дальше, прежде чем оно сузится. Но я думаю, что это даст нам всем больше времени, чтобы адаптироваться к угрозам. В этот момент, если бы кто-нибудь это смотрел, он бы сказал: «Боже мой, нам нужно объявить вне закона все, что связано с ИИ». И это очень разумная вещь. Но я думаю, что в раннем и быстром столкновении с этим есть сумасшедшая теоретическая стратегическая выгода. Это побуждает многих сотрудников исследовательских лабораторий внедрять эту технологию в настоящее время, чтобы мы могли справиться с ней, когда она будет на ранней стадии. И я действительно считаю, что подобные вещи практически не подлежат запрету. Я не всегда с ними согласен, но я очень уважаю многих участников исследовательских лабораторий, таких как OpenAI, которые думают об этом, потому что я считаю, что это невероятно безответственный поступок. Им нужно взвесить этические вопросы, но существует очень последовательная позиция, согласно которой вы не можете просто игнорировать это. Это приближается. Вам придется выбрать, когда вы справитесь с этим.

Эммет: И быть частью решения проблемы изнутри, а не прятать голову в песок. Я имею в виду больше власти этим людям и людям, ответственным за регулирование. Мы должны поддерживать их и привлекать к ответственности.

Фергал: Исходным материалом здесь являются вычисления. Вычисления повсюду. У нас повсюду компьютеры. Это не уран, и вы можете контролировать уран. Вы действительно захотите столкнуться с ним, когда потребуется много централизованных вычислений. Тогда это, по крайней мере, можно будет регулировать в течение некоторого периода времени.

Эммет: Я определенно хочу еще раз это проверить. Спасибо, Фергал.

Фергал: Хорошая беседа. Спасибо, Эммет.