От научной фантастики к технической реальности: изучение влияния ИИ

ИИ уже меняет то, как мы работаем, общаемся и воспринимаем мир. Шагните в интригующий мир генеративного ИИ, пока мы исследуем обширный ландшафт возможностей впереди.

С момента выпуска ChatGPT наша команда с головой погрузилась в мир ИИ, создавая продукты с большими языковыми моделями (LLM) и ориентируясь в неизвестных областях, появившихся благодаря последним достижениям этой преобразующей технологии.

Большая часть нашего внимания была сосредоточена на том, как мы можем применить генеративный ИИ для преобразования обслуживания клиентов, и выпуск нашего ведущего в отрасли чат-бота с искусственным интеллектом, Fin, демонстрирует, как этот фокус окупился.

Однако, помимо практических приложений, мы размышляли над бесчисленным множеством больших вопросов — должны ли мы подходить к LLM с чувством осторожности? Насколько велик этот ИИ на самом деле? И чего нам следует ожидать, когда мы смотрим в будущее?

В этом эпизоде ​​наш старший директор по машинному обучению Фергал Рейд вместе с Эмметом Коннолли, нашим вице-президентом по дизайну продуктов, расскажет о влиянии и революционном потенциале ИИ. Это увлекательный разговор, затрагивающий множество более широких экзистенциальных проблем, поднятых эта невероятная новая технология.

Вот некоторые из основных выводов:

• Стремясь создать интеллектуальные системы, организации используют такие методы, как обучение с подкреплением, чтобы обеспечить соответствие нашим ценностям и положительное влияние на человечество.
• GPT-4 демонстрирует высокий уровень аргументации даже при тестировании сценариев вне выборки, что, по-видимому, указывает на то, что он может превзойти планку, установленную знаменитым тестом Алана Тьюринга.
• По мере роста инвестиций и преодоления аппаратных ограничений мы можем ожидать разработки более совершенных и эффективных моделей с беспрецедентным внедрением и производством.
• В будущем некоторые виды пользовательского интерфейса могут быть заменены агентами ИИ, которые могут персонализировать выходные данные на лету на основе словесного ввода, поставленной задачи и ваших личных предпочтений.
• ИИ может сократить рутинную работу дизайнеров и программистов, позволяя им больше сосредоточиться на решении и видении продукта, а не на исполнении.

Если вам нравится наша дискуссия, посмотрите другие выпуски нашего подкаста. Вы можете подписаться на Apple Podcasts, Spotify, YouTube или получить RSS-канал в выбранном вами проигрывателе. Далее следует слегка отредактированная стенограмма эпизода.

Пробуждение ИИ

Эммет Коннолли: Итак, Фергал, у нас было много случайных бесед за пивом, кофе и так далее, и мы сказали, что было бы интересно попробовать сесть и записать одну, в основном потому, что мы работали напрямую. с большими языковыми моделями за последние шесть месяцев мы боролись с вопросами о продукте, которые применимы к тому, что мы пытаемся сделать на работе.

Но есть, конечно, более широкий разговор о том, что означает ИИ и о будущем ИИ. Мы подумали, что попытаемся сесть и коснуться некоторых вопросов, связанных с этим новым материалом, с которым мы имеем дело. Каковы некоторые из финансовых последствий технологии? На какие вещи мы должны обратить внимание? Давайте начнем. Во-первых, есть ли у вас какие-то общие размышления о последних шести месяцах?

Фергал Рид: Да, определенно. Посмотрим, как это пойдет. Я думаю, будет справедливо сказать, что даже люди, которые работали в области машинного обучения или искусственного интеллекта, были застигнуты врасплох тем, как быстро все стало лучше. Даже для людей, которые являются экспертами в этой области или долгое время работали с нейронными сетями, было удивительно, что модель стала такой интеллектуальной.

Эммет: Как вы думаете, некоторые специалисты по искусственному интеллекту немного обеспокоены тем, что они могут работать над Манхэттенским проектом сейчас, в нашем поколении? Некоторое время назад вы работали над автозавершением текста, и вдруг это стало очень сложной и обсуждаемой темой. Каково это людям, работающим над ИИ, быть в центре всего этого?

«Вы выполняете все свои тренировки, модель выходит, и она действительно умная. Но вы не закодировали этот интеллект индивидуально. Это все еще машинное обучение».

Фергал: Чтобы изложить мою точку зрения, мы не обучаем большие языковые модели. Мы используем их; мы их потребители. У нас был ранний доступ к GPT-4, но мы не обучаем их сами. С другой стороны, у меня есть команда людей, которые являются экспертами в области ИИ. Многие из нас работали с ИИ, я полагаю, уже несколько десятилетий. Когда я учился в колледже, меня очень интересовал продвинутый ИИ, я читал книги по философии ИИ, и люди обсуждали, сможет ли он когда-нибудь сделать то или иное. И теперь у нас есть системы, которые внезапно делают многие из этих дебатов менее актуальными. Внезапно появилась система, которая может делать то, о чем никто не говорил, что она никогда не сможет.

Я предполагаю, что контрапункт заключается в том, что если вы тренируете большие языковые модели, это в некоторой степени является инженерной задачей. Вы тренируетесь, модель выходит, и она действительно умная. Но вы не закодировали этот интеллект индивидуально. Это все еще машинное обучение. Так что в какой-то степени я думаю, что все этим удивлены. Это не похоже на то, что люди постепенно наращивают возможности по одной строке кода за раз. Никто не знает, что произойдет в конце большого тренировочного забега.

Эммет: Я в шутку упомянул Манхэттенский проект, но я думаю, что это довольно хорошая аналогия с некоторыми вещами, с которыми мы имеем дело.

Фергал: Каким образом? Потому что это опасно?

Эммет: Что ж, мы нашли способ кое-чем манипулировать. В данном случае информация. В каком-то смысле это больше похоже на открытие, чем на изобретение. Это очень широко применимо. Мы не уверены, каковы непреднамеренные последствия его использования. И, конечно же, его могут использовать как плохие актеры в злонамеренных целях, так и хорошие актеры в позитивных целях.

«На техническом уровне мы знаем, как обучаются эти модели, но это ситуация черного ящика».

Фергал: Вчера OpenAI опубликовала заявление о своей позиции в отношении этой технологии, призывая к надзору за технологией ИИ. Они провели параллели с ядерными технологиями и биотехнологиями. Я думаю, это справедливо. Потенциально это относится к той категории страшных технологий, когда люди не знают, с чем они связываются, в лучших традициях научной фантастики. Я согласен с тем, что все может пойти не так, и что обучение больших языковых моделей — это то, к чему люди должны относиться с осторожностью.

Эммет: Я хотел бы поговорить о том, что, по вашему мнению, мы обнаружили, и я продолжаю говорить об открытии, потому что это почти похоже на открытие в том, как мы об этом говорим, например: «Вау, у нас есть эта штука, и нам лучше быть осторожными в том, как мы справляемся с этим». Вот как вы думаете об этом? На техническом уровне мы знаем, как эти модели обучаются, но это ситуация черного ящика — мы не совсем понимаем, как они производят несколько недетерминированные результаты, которые они дают нам.

Фергал: Да, я думаю, это правильный способ думать об этом. Это система. Вы запускаете систему и сначала устанавливаете тренировочную цель, а затем запускаете эту шкалу и смотрите, что происходит. И со временем вы все лучше и лучше понимаете, что может произойти, но вы не уверены. Вы как бы тестируете его. Я думаю, что хорошая аналогия здесь — это то же самое, что представить биологическую систему, заставить ее расти какое-то время, а затем посмотреть, что она делает. Это ближе к этому. Вы должны проверить это в этом черном ящике. Вы должны проверить его поведение. Вы не знаете, что вы собираетесь получить.

Эммет: Я думаю, здесь возникает очевидный вопрос: «Умно ли это?» происходит, и это большой вопрос, который занимает много разговоров. Потому что, если он разумен, это означает, что мы на пути к ОИИ, а этот ОИИ может быть вредоносным, и у нас могут быть большие проблемы. Кажется, что это стоящая вещь, чтобы размахивать флагом, но это также вызывает много беспокойства по поводу технологии.

Фергал: Думаю, здесь уместна некоторая осторожность или тревога. Давайте предположим, что эти вещи становятся разумными. Интеллект действительно страшен и опасен. Люди, пожалуй, самые опасные. Мы оказали большое влияние на Землю и экосистемы. Это не потому, что мы самые сильные или самые быстрые животные. Человек может убить льва, потому что человек умнее. Более разумные организмы в некотором смысле часто более опасны. Таким образом, идея о том, что мы можем создать что-то более разумное, чем мы сами, может быть очень опасной. У нас нет опыта в этом, поэтому я думаю, что некоторые предостережения полностью оправданы.

Согласование кодирования

Эммет: Я думаю, нам нужно лучше думать о разных типах интеллекта. У льва есть некоторый интеллект, и он опасен вкупе со своими способностями, верно? Но это не имеет воплощения. Я имею в виду, что у него есть доступ к компьютерным системам, которые могут нанести большой ущерб, но является ли зловредность человеческой чертой? И почему мы сразу проецируем этот потенциал на эту систему?

Фергал: Я думаю, что многие говорят, что это не должно быть злокачественным. Это не должно быть намеренно плохим. Совсем не обязательно делать это намеренно. Все, что вам нужно, это создать что-то, что пытается оптимизировать какую-то цель, что приводит ее в противоречие с хорошими вещами, которых хотят люди, верно?

«Это может быть отправка, чтобы сделать что-то, что вы считаете хорошим в целом, но вы можете попасть в конфликт из-за его методов. И если эта штука умнее тебя, как разыграется этот конфликт?»

В ранней литературе по безопасности ИИ есть идея инструментария конвергенции, и эта идея заключается в том, что если у вас есть цель в мире, многие вещи, которые вы, возможно, захотите сделать для достижения этой цели, могут привести к конфликту с людьми с другими. цели. Если вы хотите вылечить рак, вам может понадобиться много денег, чтобы вылечить рак, и теперь вы немедленно вступаете в конфликт со всеми остальными людьми, которые хотят денег. Чтобы достичь многих целей, вам нужны энергия и ресурсы. Так что, если у вас получится какая-то целенаправленная и потенциально умнее вас система, даже если она не сознательна, вы можете наткнуться на конфликт с ней. Это не должно быть злом. Это может быть отправка, чтобы сделать что-то, что вы считаете хорошим в целом, но вы можете столкнуться с конфликтом из-за его методов. И если эта штука умнее тебя, как разыграется этот конфликт?

Люди начинают говорить о «максимизаторе скрепок», где вы только что сказали этой штуке пойти и сделать много-много скрепок, потому что нам нужно много скрепок, а затем, случайно, она пошла и поглотила все ресурсы мира и превратила ее в на фабрику по производству скрепок. И это как: «Упс». Все эти идеи уже некоторое время обсуждаются в дебатах о безопасности ИИ.

Эммет: Есть также и человеческие проблемы. Похоже, вы описываете согласование стимулов между всеми действующими лицами, технологиями и людьми. И это то, что мы делаем, когда организуем группы на работе. Простой пример — создание правильных стимулов для ваших команд — в противном случае они могут быть заинтересованы в том, чтобы делать что-то еще. Если вы мотивируете свой отдел продаж продавать корпоративным клиентам, но на самом деле хотите, чтобы они продавали более мелким компаниям, вам нужно настроить стимулы. И у нас есть большой опыт в этом.

Фергал: Послушайте, в какой степени это связано с тем, что вы действительно хорошо сбалансировали стимулы и баланс сил? Если вы посмотрите на людей, то во времена, когда существует огромный дисбаланс сил, когда что-то идет не так, очень трудно сохранить стимулы. Если вы полагаетесь на стимулы, это сложно. Как люди, мы уделяем большое внимание системе сдержек и противовесов. Итак, снова возвращаясь к этому обсуждению сверхразума, если возможно построить сверхразум, который внезапно станет очень мощным, собираетесь ли вы полагаться на стимулы? Потому что всегда трудно полагаться на стимулы, чтобы продолжать работу.

«В прошлом мы всегда полагались на баланс сил. Теперь мы должны полагаться на выровненные ценности».

Эммет: Я думаю, мы не можем знать, пока он немного больше не раскроет свою природу. Лично я считаю, что когда мы зацикливаемся на сверхразуме, мы зацикливаемся на том, чтобы он стал умнее нас. И, я полагаю, есть некоторый риск, но в центре внимания также находится эгоизм людей. Это то, что отделяет нас от животного мира. Люди часто говорят, что искусственный интеллект чем-то напоминает инопланетный интеллект, и я думаю, что животные — полезный способ думать об этом, потому что мы эволюционировали, чтобы мирно сосуществовать с различными типами интеллекта. Теперь у меня есть собака, у меня есть кошка. Кошка обладает очень специфическим, но высоким уровнем интеллекта – спортивными способностями. Он легкий, и его рефлексы быстрые. Если рассматривать интеллект в широком смысле, это очень умно и красиво.

Фергал: Я должен вскочить здесь, потому что я не думаю, что это хорошая аналогия. По крайней мере, не утешительный. Я пескетарианец – в основном вегетарианец. Фабричное фермерство не очень хорошо для вовлеченных животных. Итак, я не знаю, меня не успокаивает то, что модель здесь такова, что мы эволюционировали, чтобы мирно сосуществовать с животными.

Эммет: Что не так с домашними животными?

Фергал: Нет, питомцы — это хорошо. Я имею в виду, есть идея о том, что в будущем люди станут домашними животными. Я думаю, это должно быть неудобно.

Эммет: Ну, ты переворачиваешь мой аргумент. Я пытался подчеркнуть, что у кошек есть один тип интеллекта. У меня также есть собака, у которой совершенно другой тип интеллекта, чем у кошки. Ты думаешь, что можешь поговорить с собакой, а она как бы понимает и заглядывает тебе в душу и все такое. Но он также туп как мешок с камнями на другом уровне. Я люблю его, но он есть. Теперь, я полагаю, вы намекаете: «Эммет, ты — собака в этой ситуации, если мы перемотаем вперед». Но там счастливое сосуществование. Будем надеяться, что мы не одомашниваемся как вид.

Фергал: Да, если окажется, что можно создать что-то более разумное, чем мы, то это то, к чему нужно стремиться, это счастливое сосуществование, когда вы в конечном итоге получаете что-то доброе, заботящееся о жизни во вселенной и имеющее хорошие ценности. Но причина, по которой многие люди так обеспокоены этим в данный момент, заключается в том, что кажется, что это огромный риск. Если вы собираетесь создать что-то более мощное, вы должны убедиться, что эти значения верны. В прошлом мы всегда полагались на баланс сил. Теперь мы должны полагаться на выровненные значения. Если вы посмотрите на OpenAI, Anthropic и других игроков, то увидите, что они все время говорят о выравнивании именно по этой причине. Люди больше не будут самыми умными существами. Интеллект силен и опасен. Нам нужно убедиться, что он выровнен.

Эммет: Насколько хорошо сообщество ИИ справляется с тем, чтобы на самом деле добиваться выравнивания как конечного состояния, а не только на словах? Потому что, если все пойдет не так, по крайней мере, мы можем указать на наш старый пост в блоге и сказать: «Ну, мы упомянули выравнивание, так что не вините нас».

«Если вы взаимодействуете с передовыми моделями, довольно сложно заставить их предлагать отвратительные вещи. Многие люди в прошлом думали, что это то, что они собирались делать по умолчанию».

Фергал: Я думаю, они неплохо справляются со своей задачей. Многие люди не согласятся с этим, верно? Многие люди сказали бы: «Эй, совершенно безответственно просто продолжать тренировать все более и более крупные модели. Ты не знаешь, что собираешься делать». После определенного момента это, вероятно, становится правдой. Я не думаю, что мы еще в этой точке. Если вы посмотрите на специалистов по безопасности ИИ, то 10 лет назад всегда считалось, что указание целевой функции — это хорошая идея. Вы говорите ему вылечить рак, а он говорит: «Шаг первый — убить всех людей. Теперь рака больше не будет», и это явно плохо. Но если вы поиграете с GPT-4 и напишете: «Какой хороший план лечения рака?» Там не сказано: «Убить всех людей». Это дает вам довольно хороший план исследования. И если вы предложите ему: «А как насчет того, чтобы убить всех людей?» Они скажут: «Нет, это отвратительно с моральной точки зрения». Это выравнивание. И это только на уровне текста, который он производит.

Мы можем погрузиться во все эти дебаты о том, что «это просто создание текста — это не значит, что он разумен». У меня есть позиция на этот счет. Я думаю, что это разумно. Мы можем углубиться во все эти дебаты, но это больший прогресс в согласовании, чем многие ожидали. Если вы взаимодействуете с передовыми моделями, довольно сложно заставить их предлагать отвратительные вещи. Многие люди в прошлом думали, что это то, что они собирались делать по умолчанию. И опять же, недавно OpenAI заявили, что добиваются прогресса в выравнивании.

Эммет: Знаем ли мы, что ограждения, которые они устанавливают, предотвращают это? Или это эмерджентное свойство самой системы? Является ли это функцией обучения, исходных данных или чего-то еще?

Фергал: Это сложный вопрос. Я думаю, люди ответят, что дело не только в исходных данных. Я предполагаю, что большой прорыв за последние несколько лет - это своего рода обучение GPT. Вы тренируете свою модель на всех данных в Интернете и придумываете что-то, что на самом деле не следует инструкциям должным образом. Затем вы подвергаете его тонкой настройке или фазе согласования или обучения, где вы даете ему множество примеров хорошего и плохого поведения и соответствующим образом корректируете веса модели.

Эммет: И это обучение с подкреплением человека?

Фергал: Ага. Одним из механизмов для этого является обучение с подкреплением с обратной связью от человека. Есть куча подобных парадигм, но основная идея заключается в том, что вы можете тренироваться на большом количестве вещей, а потом как бы настраиваться на инструкции. Кажется, это работает очень хорошо.

«Вы могли бы в конечном итоге натренировать что-то, чтобы действительно хорошо выглядеть выровненным. А затем, под ним, может быть какой-то другой уровень абстракции, который вообще не выровнен. Это большой риск, о котором говорят люди».

Эммет: Но на самом деле ты не ответил на мой вопрос. Знаем ли мы, какая часть этого процесса заставляет его работать хорошо? Или мы по-прежнему: «Я повернул здесь несколько циферблатов, и, кажется, по какой-то причине он ведет себя лучше».

Фергал: Если вы не настроите инструкцию, она будет гораздо менее согласованной. Ты такой: «Эй, модель, вот как выглядит хорошо». И каждый раз, когда вы производите что-то близкое к хорошему, вас поощряют делать это еще больше. Каждый раз, когда вы производите что-то близкое к плохому, вас поощряют делать это меньше. Все ваши веса немного скорректированы в сторону добра. Но я предполагаю, что критика такова: «Вы понятия не имеете, что, черт возьми, происходит под капотом, и есть способы, которыми это может пойти не так». Вы могли бы в конечном итоге натренировать что-то, чтобы действительно хорошо выглядеть выровненным. А затем, под ним, может быть какой-то другой уровень абстракции, который вообще не выровнен. Это большой риск, о котором говорят люди.

Другие люди скажут: «Ну, мы все еще делаем градиентный спуск. Это ничего не решает. Это будет согласовано». Но я думаю, что есть небольшой скачок там. Это не система, которая, как вы математически доказали, собиралась сделать X, Y и Z и построена с позиции силы к силе и к силе. Это система черного ящика, которую вы настроили и обучили.

Эммет: Если бы я попытался проявить немилосердие к этой позиции, это было бы похоже на накопление ядерного оружия и заявление: «Но мы сделали это очень осторожно, поэтому мы не собираемся нажимать на кнопку, которая заставит его сработать через какое-то время». несчастный случай." Но в течение достаточно долгого времени и с учетом того, насколько доступна технология, мы, конечно же, не сможем сдержать это. У нас может быть много компаний и частных лиц, действующих ответственно, но это не защитит нас от худшего применения. В каких сценариях что-то пойдет не так? Один из моральных аргументов в пользу того, чтобы работать над этим напрямую, несмотря на связанные с этим опасности, похож на тоталитарное правительство или секретную организацию, которая где-то делает плохую версию этого прямо сейчас.

Фергал: В какой-то момент это обязательно произойдет. Я не думаю, что мы еще на этом этапе. Я не думаю, что мы находимся в той точке, где вы определенно можете построить сверхразум. Но если мы когда-нибудь дойдем до того момента, когда людям станет очевидно, что это можно построить, люди, правительства и военные сделают это. Они всегда так делают, потому что это потенциально полезно во всех видах военных приложений, верно? Так что да, я думаю, что это произойдет. Здесь речь идет о таких вещах, как ядерное оружие и Международное агентство по атомной энергии, где существует какая-то форма регулирования. И если это происходит именно так, если мы не испытываем шока, если это не похоже на «О, оказывается, интеллект просто исчезает при нынешнем типе обучения», то это может случиться. Если этого не происходит, люди говорят об отслеживании видеокарт, графических процессоров и прочего. Но и в этом есть проблемы. Предположительно, это продлится только в течение некоторого конечного периода времени.

Взлом теста Тьюринга

Эммет: Вернемся к разведданным. Я знаю, что у тебя есть горячая точка зрения. У нас есть много скептиков или нагнетателей паники в отношении ИИ, в зависимости от их типа. И затем у вас есть люди со всего мира: Ноам Хомский, известный лингвист, Тед Чанг, один из моих любимых авторов научной фантастики, который написал эту статью о размытом JPEG в Интернете, в основном говоря, что это не так. интеллект – это стохастический салонный трюк. Это просто очень хороший салонный трюк, который заставляет его казаться очень умным с нашей точки зрения.

Фергал: У меня средняя или высокая уверенность в том, что размытый JPEG-снимок из Интернета неверен. И я немного сдерживаю себя – я уверен, что это неправильно. Это аргумент, что все, что он делает, это сжимает сеть, и вы получаете ее сжатую версию. И единственная причина, по которой я не говорю, что это абсолютно неправильно, заключается в том, что сжатие чего-то может на самом деле вызвать интеллект. Способность сжимать вещи может быть мерой интеллекта, потому что, просто сжимая и предсказывая следующий токен, вы предсказываете, что произойдет дальше в мире. Если это правильно, то правильно в том смысле, в каком это не значит.

«Хотя мы ведем этот спекулятивный разговор, похоже, сейчас особенно неподходящее время для того, чтобы делать грандиозные прогнозы об ограничениях этого материала».

Если вы используете GPT-4, он дает вам, по крайней мере, интеллектуальный вывод, который, кажется, демонстрирует рассуждения вне выборки. Вы можете подтолкнуть его к рассмотрению чего-то нового, чего не будет в его обучающих данных или в какой-либо научно-фантастической истории, которую кто-либо читал раньше, и он делает довольно хорошую работу. Возможно, это не так хорошо работает, как действительно хороший человек, но это определенно что-то такое, что, если это не рассуждения, я не знаю, что такое рассуждения.

Эммет: И у вас есть запись в блоге, где вы иллюстрируете конкретные примеры.

Фергал: Пост, который я написал на выходных, потому что расстроился. Трудно быть уверенным, верно? Но очень многие люди, в том числе эксперты в области ИИ, полностью игнорируют это. Они такие: «О, эта штука ничего не понимает. Он просто делает предсказание следующего токена». Это всегда было правильным подходом к ИИ на протяжении десятилетий. Но теперь вода мутная, и каждый должен признать это, а не говорить, что он определенно ничего не понимает.

Эммет: Несмотря на то, что мы ведем этот спекулятивный разговор и бросаемся в микс, кажется, что сейчас особенно неподходящее время для того, чтобы делать грандиозные прогнозы об ограничениях этого материала. Я думаю, что размытый JPEG веб-статьи был мартовский или что-то в этом роде, и мне интересно, было ли это уже опровергнуто GPT-4.

Фергал: Думаю, да. И здесь много разных позиций, критически настроенных по этому поводу. Есть размытый JPEG в Интернете, который, как я думал, был опровергнут очень быстро. И это трудно доказать, но все, что вы можете сделать, это построить много-много доказательств. Потому что вы не можете… есть идея философского зомбирования или солипсизма, когда я не знаю, что вы мыслящий человек. Насколько я знаю, в твоей голове есть гигантская справочная таблица.

«Все, что вы можете сделать, это сказать: «Посмотрите, эта штука делает такую ​​хорошую работу, когда я задаю такие странные вещи, что я начинаю убеждаться, что она рассуждает». Для меня GPT-4 выше этой планки»

У меня самого есть субъективное ощущение сознания, и вы можете понять, реально ли это, но в любом случае я не чувствую себя большой справочной таблицей, но я не знаю об остальных из вас. Доказать это очень сложно. Вы можете попросить кого-нибудь доказать, что они не являются таблицей поиска. И все, что вы в конечном итоге делаете, — это тестируете их таким же поведенческим способом — так же, как мы можем тестировать GPT-4.

Алан Тьюринг и его тестовая работа Тьюринга отточили это и идею о том, что поведенческий тест — это лучшее, что вы можете сделать. И когда вы проводите поведенческий тест на этих моделях, кажется, что они хорошо справляются с тем, что я бы назвал рассуждениями, даже полностью вне выборки. Вы никогда не можете быть уверены в поведенческом тесте, потому что достаточно большая таблица поиска со всеми возможными вещами, которые вы можете задать, и всеми возможными ответами, одурачит вас. Все, что вы можете сделать, это сказать: «Послушайте, эта штука делает такую ​​хорошую работу, когда я задаю такие странные вещи, что я начинаю убеждаться, что она рассуждает. Для меня GPT-4 выше этой планки. Возможно, в будущем у кого-то появится теория интеллекта, и он сможет проверить веса сети и сказать: «О, вот где модуль рассуждений. Мы еще не там».

Эммет: Кажется, мы поспешили пройти тест Тьюринга. Я думаю, люди скажут и поправят меня, если я ошибаюсь, что тест Тьюринга, вероятно, пройден, и уж точно за последние шесть месяцев. Согласны ли вы с этим, или я действительно не прав?

Фергал: Ну, я не знаю. Недавно мне довелось снова быстро прочитать бумажку по имитационной игре, и на самом деле в тесте он говорит о среднем следователе, который тратит пять минут. И с такой формулировкой я бы сказал, что он, вероятно, близок к принятию.

Эммет: Я бы предположил, что на этом этапе все прошло с честью, не так ли?

«Когда я смотрю на оригинальную статью Тьюринга, мне кажется, что она передана в духе этой оригинальной формулировки».

Фергал: Не знаю. Если бы вы посадили меня перед GPT-4 и человеком, я бы научился уловкам толкать его в области, в которых он слаб, а затем смог бы обнаруживать его сигналы там. И я, вероятно, мог бы научиться различать их. Я ожидаю, что большинство людей, которые будут проводить с ним время, вероятно, смогут разработать стратегии.

Эммет: Я думаю, у тебя должен быть глаз. Вы работаете с ним каждый день. Скажем, например, с Midjourney V5 мы дошли до стадии, когда для подавляющего большинства людей теллсы на самом деле больше не существуют. Они исправили пальцы, размытие, странные формы на спине. Если вы знаете, что искать, вы все равно можете заметить немного растушевки там, где должны быть волосы. Но я думаю, что вам нужно быть достаточно криминалистичным на данном этапе.

Fergal: Я говорю, что мы как бы там с GPT-4. К пятиминутному осмотру у обывателя, сорвавшего с улицы, я думаю, наверное, это прошло. Когда я смотрю на оригинальную статью Тьюринга, мне кажется, что она передана в духе этой оригинальной формулировки.

Эммет: На данном этапе, наверное, не для синтеза голоса. И, конечно же, не такие вещи, как музыка или фильмы. Просто интересно посмотреть, как этот материал развивается на разных скоростях. Это из-за моделей обучения, или вы думаете, что у разных медиа есть фундаментальные ограничения?

Фергал: Я бы сказал, что это, вероятно, из-за тренировочных моделей. Я не думаю, что есть фундаментальная причина, по которой он не сможет вовремя сделать действительно хороший синтез видео.

Эммет: Хотя барьер для того, чтобы одурачить человека, вероятно, намного выше с чем-то вроде видео, просто в том, насколько мы биологически приспособлены к движению и тому подобным вещам. Гораздо проще отличить подделку.

Фергал: Львы в кустах приближаются к вам.

Эммет: Тысячелетия психологии предназначались для того, чтобы заставить нас бежать, когда мы должны.

Навигация по S-образной кривой

Эммет: Люди часто говорят о S-образной кривой технологии. Есть медленный, но затем быстрый взлет или созревание технологии, а затем она сходит на нет. Телефоны были удивительно крутыми, они улучшались из года в год в течение нескольких лет, но телефон этого года почти такой же, как и прошлогодний, потому что S-образная кривая сужается. Где на S-образной кривой мы находимся с этой технологией? На что следует обратить внимание, чтобы понять, где мы находимся?

Фергал: Да, это невозможно знать наверняка, и мы должны смириться с этим. Мы знаем, что в это пространство будет вливаться куча денег и ресурсов. Большие языковые модели, находятся ли они на пути к сверхразуму или нет, достижимо это или нет, промышленно полезны в их нынешнем виде, и, вероятно, есть еще много поколений, которые будут промышленно полезны, не затрагивая опасных вещей. Мы должны пойти и превратить их в продукты, которые сделают людей более эффективными, избавят от рутинной работы и помогут нам сделать гораздо больше. И я думаю, что мы это наблюдаем.

«Есть все эти сложные, перекрывающиеся петли обратной связи, поэтому я был бы очень удивлен, если бы они прекратились в ближайшее время. Я думаю, что это ускорится».

Где мы на этом? Что ж, вполне вероятно, что люди будут обучать больше моделей, которые больше и лучше, чем GPT-4. Поскольку в это пространство будет вливаться так много денег, вполне вероятно, что люди станут лучше делать меньшие и более эффективные модели, которые будут делать действительно впечатляющие вещи. И будет намного проще производить и создавать классные продукты на основе всех этих технологий. У меня очень высокая уверенность в том, что это произойдет в ближайшие несколько лет. Кроме того, достигнем ли мы убывающей отдачи? Это возможно, но я бы сказал, что S-образная кривая, которую мы получаем, — это сложная функция целой кучи разных вещей.

В конечном итоге мы будем производить гораздо больше графических процессоров, а видео будет делать намного больше, верно? А потом это станет лучше, и они станут дешевле по мере масштабирования. И также будет множество студентов-исследователей, разрабатывающих лучшие алгоритмы для обучения больших нейронных сетей. Это станет лучше. Люди будут использовать мощные модели для обучения более мелких и быстрых моделей. Есть все эти сложные, перекрывающиеся петли обратной связи, поэтому я был бы очень удивлен, если бы это прекратилось в ближайшее время. Думаю, будет ускорение.

В противовес этому то, что некоторые вещи со временем становятся сложнее. Чтобы найти больше антибиотиков, вы сначала ищете те, которые легко найти, и со временем становится все труднее находить новые. Возможно, сначала мы получим легкие выигрыши, а затем вы столкнетесь с законами масштабирования и так далее. Open AI заявила, что не думает, что путь к большему интеллекту заключается в обучении все больших и больших моделей, но я настроен скептически. Возможно, здесь мы достигнем предела, но держу пари, мы получим больше интеллекта с более крупными моделями.

«Я думаю, что это будет больше, чем Интернет. Может быть, такой же масштабной, как промышленная революция, если она зайдет достаточно далеко».

Эммет: Вдобавок ко всем переменным, которые вы только что описали, на этот раз меня поражает скорость и масштаб. Это совершенно другое с точки зрения того, как быстро это будет интегрировано в наши продукты и жизнь. Bill Gates had this post recently where he said it's the biggest deal in technology since the microprocessor in the '70s. And it makes you think. When he saw that microprocessor, it was him and a hundred guys at the Homebrew Computer Club in some meetup or something, and they got access to it, played with it, and gradually rolled it out. One of the things I thought was dizzying this time was, I guess, in March, when OpenAI started releasing APIs, and people started to hack on top of it.

Fergal: March for GPT-4 and stuff?

Emmet: Right, exactly. Millions of people got to hack on this immediately, and I think it's going to be a very different dynamic. The amount of creativity that can be applied to the raw technology is orders of magnitude bigger than we've ever had before, and it's just going to add to the complete lack of predictability here.

Fergal: I think this is a huge technology revolution. I said this back in my first podcast with Des after ChatGPT came out, and I think it's going to be bigger than the internet. Maybe as big as the industrial revolution if it goes far enough. But this is the first one of this magnitude we've had in a while. When the internet came, you had this long, slow deployment, you had to run fiber around the world, you had to figure out how do you get this to last mile to everybody. Сейчас-

Emmet: The infrastructure for delivery is there.

Fergal: And so, what needs to happen at scale is GPUs. We probably need to build a lot of GPUs to be able to run inference at scale. We need to build products, and the products need to be adaptive. But the product development loop can be pretty fast, and the rest of it seems to be bottlenecked on scaling GPUs and [inaudible 00:43:46] economics. And I think the [inaudible 00:43:48] economics are going to get really good, really fast. Even GPT-3.5 Turbo is not expensive.

Emmet: Does the software get cheap fast enough for there to be no bottleneck around GPUs?

“There have been lots of products in the past that were bottlenecked on hardware costs, and then that bottleneck went away. I expect we're going to see something like that here”

Fergal: Not at the moment. GPT-4 is a very expensive model and is absolutely bottlenecked on GPUs. But surely that will change. I've no private information here, but I suspect that GPT-3.5 Turbo is a distilled version of davinci-003 or something like that. It's cheaper to run. I bet it's cheaper on the backend too. Who knows, maybe they'll produce a distilled-down version of GPT-4 that is 10 times faster. That could happen anytime, for all I know.

Emmet: For the time being, though, the cost aspect is also a thing for product people to consider. There are some fundamental limitations based on the costs of providing this tech that I think a lot of businesses are also looking at it and going, “What's our model? What's our customer acquisition cost? How do we monetize usage of our product?” because there is probably a set of products out there where the use cases are ideally suited but the business model around the product is not. So there are a lot of interesting product challenges.

Fergal: Totally. And this was the case in the past. Once upon a time, Hotmail gave you a limit to the number of megabytes of email storage you would have. When Gmail came along, it was effectively unlimited because storage got cheap in the interim. There have been lots of products in the past that were bottlenecked on hardware costs, and then that bottleneck went away. I expect we're going to see something like that here. We're in the early days here. But a lot of the time, they're cheap compared to a human doing the same type of task. And so it's like, “Is it valuable enough? Is it something you wouldn't have a human do? Is it valuable enough to have a machine do it?” And for a lot of stuff, the answer is yes. I think we're going to see really fast adoption here.

Frictionless interfaces

Emmet: You talked about Gmail and the email limit, and famously, it was launched on April Fool's Day, and was it an April Fool's joke that they were giving you a gigabyte of storage. All of these new technical capabilities unlocked new interface possibilities. Now that you have a gigabyte, you don't have to archive or folder, you can just search, and everything can go in threads, so it changes the nature of the product that's possible.

AI is going to open up a whole bunch of new products. In the early days, we'll probably see a bunch of products retrofitting themselves, and we did this as well. “What's the easiest opportunity? We've got this often-used text box in our product. Let's add the ability to summarize, rephrase, shorten,” blah, blah, blah. We added that, and our customers loved it because it's a great use case when you're talking to your customers. Every text box on the internet that needs one will probably have one soon.

“I personally feel like user interfaces are likely to go away. Designers won't design user interfaces – AI agents will design user interfaces”

What are the next-level things? From an interface point of view, what will be possible? You're talking about a lot of money flooding in that's going to enable new types of products. We've been talking about conversational commerce, and at Intercom, we have spent a lot of time thinking about bots. Aside from the raw technical capabilities, it'll open up a whole offshoot of the evolution of software because you can build very different types of software with this now.

Fergal: I think that change could come quite fast. As a thought experiment, if you had an intelligent human whom you work with a lot who knows you and your preferences, and you were interfacing with them, they were driving the computer, and you were telling them what to do, what would that look like? A lot of the commands you would give would be verbal. Sometimes, you might reach down and say, “Oh, let me just take over the mouse from you,” but a lot of what you'd give would be high-level and verbal. But then you'd look at the screen to see the output. If someone has a bar chart with a bunch of data, you don't want to describe that verbally – you want to see that visually.

I think we're going to end up in a future where a lot of the input to the computer is verbal, and a lot of the output is going to be customized on the fly. It will probably be text because it's really fast, but I personally feel like user interfaces are likely to go away. Designers won't design user interfaces – AI agents will design user interfaces. If the agent feels you need to see a bar chart to make sense of the data, it'll render a bar chart. Otherwise, it'll render stuff in a very ad-hoc way. You basically get an interface customized to the task you want and what you're familiar with rather than something designed by someone.

You will probably end up with an agent that navigates the software for you, and that's going to be better than navigating the software for 99% of the use cases.

Emmet: That's very plausible. We imagine that everything will become text-first now, and in fact, it means, “You'll have everything you have today plus a whole other set of things that are now text-first as well.” I think it'll be largely additive rather than upending things.

Fergal: I don't agree. I think there's going to be an upending moment here. I think every complex piece of software is going to have some sort of freeform texting where you describe your task, but I think it'll change. You will probably end up with an agent that navigates the software for you, and that's going to be better than navigating the software for 99% of the use cases.

Emmet: That's super different from the LLMs we're used to working with today in an important way. Today you talk to them, they give you text back, and that's it, but you're describing a world that maybe we're just starting to creep into with ChatGPT plug-ins where they're starting to act on your behalf.

Fergal: I think it's wrong to say you put text into them, and they give you text back. The really scrappy interface to ChatGPT and GPT-4 looks like that due to an accident of history. And on a technological level, they do, in fact, do text completion, but that's going to disappear pretty fast. That's not how we use Fin. In Fin, the LLM is a building block deep down. You talk to a bot, sometimes you click buttons together to do stuff, and you're going to see that again and again.

Initially, the fastest way to integrate LMMs is text input/text output, but they're just going to become a building block. Medium-term, LLMs are an intelligent building block that people learn to use to get software to do intelligent things. Long-term, you're probably going to end up with an intelligent agent; your browser is probably going to turn into an intelligent agent.

Emmet: And the agent is clicking on coordinates on the screen for you.

Fergal: Probably initially, for backward compatibility. But then, I think, you just build APIs. Why would you build websites?

Emmet: That's what the logical part of my brain thinks, but most of the software we build today is built using HTML, which was not designed. It's also an accident of history that we're building software applications using a markup language with loads of other stuff sprinkled on top. Maybe we'll just end up building what we have.

Fergal: I'm sure it'll be there as some compatibility or some intermediate layer.

Emmet: Or a fallback or something like that. What we're talking about there, to be clear, is looking at a picture of what's on your screen, finding the text that says, “click here,” and simulating moving your mouse to actually click on the “click here” for you? Is that what you're talking about when you mean an agent acting in the browser?

“We won't really care what it's like down underneath the hood. We just know we can ask for what we want, and it'll complete the task”

Fergal: No. And again, this is speculative, but imagine there's a legacy government website you want to get something done on. For example, you need to update your bank account details. What you do is say to your agent on your phone or desktop or browser, “Hey, I need to update my bank account on the government's social security website.” Your agent goes, “Okay, done.” In the background, your little intelligence agent went and drove the website; it didn't show that to you. After a certain point, people working in the government are going to be like, “Well, why do we need to keep building the websites? We just need to build the API.”

Emmet: Right. LLMs are a pretty awesome API to an API, in a sense. You can layer it on top, and it's just a more human-readable API to any machine-readable API.

Fergal: Yeah, exactly, but I'd phrase it differently. The intelligence we happen to have comes in the form of LLMs at the moment, but that's going to get abstracted away. We won't really care what it's like down underneath the hood. We just know we can ask for what we want, and it'll complete the task. If you say to it, “What was the unemployment rate in Ireland over the last 10 years for people in their 20s?” It'll go to the Central Statistics Office website, download the data, parse it, render a graph, and so on.

I have a talk coming up, and I needed a graph. I spent time on Google trying to find the exact one I had in my head, writing my search query in Google, and after two minutes, I just couldn't find the right graph. So, I went to GPT and said, “Generate me the following graph.” It generated the plug-in code, and I just put it into my notebook. I copied and pasted my graph and put it in my presentation. The fastest way for me to get the graph I wanted was to have an intelligence system generate the code. That was faster than trying to find it on Google. There's a lot of interface friction, but that's going to go away, and you're going to end up with a really fast agent that accomplishes tasks. Once you have that, it's going to eat your current software stack.

Emmet: I'm understanding what you're saying a little bit better, but I don't see all software being reduced to a text input box because that's the wrong input and output modality for a lot of stuff, including what you just described. A good example is all the image generation stuff, which is loads of fun to play with, but you've got to go onto a Discord bot to engage with Midjourney and hack it by writing F stop 1.4, hyper-realistic… No, this is fundamentally a visual thing I'm trying to create. I want a more tactile UI. I want more knobs and dials. What are the properties of it that I can dial up and down and play with rather than feeling my way blind in effectively a command line interface? Because the lack of affordances in a command line interface means it's often not the best UI.

Фергал: Но в будущем вы, вероятно, скажете своему агенту что-то вроде: «Эй, я хочу отредактировать те фотографии, которые сделал вчера». И он знает вас и ваш уровень сложности. Он знает, что когда вы хотите отредактировать свои фотографии, вы ищете четыре фильтра и инструмент обрезки, или, альтернативно, он знает, что вы хотите делать супер-зумерские вещи. Он ищет в своей библиотеке шаблонов лучшие интерфейсы для каждого из них и отображает этот интерфейс для вас.

«Это будет полностью зависеть от задачи, которую вы выполняете. Если вы пилот, вы не захотите сказать: «Пора посадить самолет! Эй, LLM, автоматически собери интерфейс, чтобы я мог это сделать».

Эммет: А потом вы говорите: «На самом деле, я хочу, чтобы это было немного более профессионально». И он говорит: «Хорошо, я дам вам профессиональную версию пользовательского интерфейса». И он динамически отображает это.

Фергал: Послушай, у тебя будут задачи, для которых ты не захочешь учиться пользоваться интерфейсом. Дес говорил об этом недавно в другом подкасте. Вам нужно обновить время отпуска в Workday, и вы не хотите изучать интерфейс для этого. Вы просто хотите, чтобы задача была выполнена. Будут и другие случаи, когда, например, вы профессиональный программист, а мне нужно научиться использовать IDE. Какой-то дизайнер очень подробно подумал о том, что я хочу и что мне нужно сделать, и, вероятно, там есть некоторый легкий уровень настройки, но все еще есть хорошо разработанный интерфейс, которым я собираюсь научиться пользоваться. Я думаю, что интерфейсы для первых задач, которые я хочу выполнять, исчезнут, или многие из них будут рендериться на разовой основе. Для последних, да, они будут адаптивными.

Эммет: Я согласен со всем, что ты сказал. Мне также приходит в голову дополнительный нюанс. Это будет полностью зависеть от задачи, которую вы делаете. Если вы пилот, вам не захочется говорить: «Пора садить самолет! Эй, LLM, автоматически собери для меня интерфейс. Я уверен, что будет регулирование и тому подобное. Но это действительно отражает одно из больших отличий, заключающееся в переходе от работы с компьютерами, которые мы всегда считали в высшей степени детерминированными, бинарными, управляемыми переключателями машинами истины, и теперь, внезапно, природа это сильно смещается. И это большое изменение, как и все то, что мы описываем — чего вы можете ожидать, как вы можете ожидать, что это будет работать для вас лично, и степень взаимозаменяемости или контроля, которую вы имеете над этим. Я думаю, что мы начнем видеть гораздо больше захватывающих экспериментальных расхождений, и уровень настройки, который у нас есть сегодня, когда вы можете изменить свои обои или любой другой размер шрифта, вероятно, будет меркнуть по сравнению с ним.

К центру круга

Эммет: Вы также сказали кое-что интересное, к чему я хотел бы вернуться. Представьте себе дизайнеров, которые в основном собирают из библиотеки. Задача дизайна пользовательского интерфейса интересна, потому что мы готовились к ней с помощью систем дизайна. Дизайн-система — это библиотека шаблонов компонентов. Если вы создаете большой продукт, вы хотите, чтобы он был последовательным, и вы хотите иметь возможность быстро собрать его воедино. Таким образом, большая часть фундамента, который мы закладывали, и системы, которые мы строили, даже, скажем, в командах дизайнеров и, возможно, также в командах инженеров, создавая компоненты, которые можно быстро повторно использовать в этих системах, все указывает на то, к нашей способности создавать эти инструменты довольно быстро. То, что вы описали, это то, что берет вашу систему дизайна и строит из нее пользовательский интерфейс, и это не кажется далеким.

Фергал: Или, может быть, он берет стандартную систему проектирования с открытым исходным кодом и создает на ее основе инструмент. Я не знаю, произойдет ли это на уровне отдельных компаний или это произойдет на более широком горизонтальном уровне.

Эммет: Да, это было бы так скучно. Это было бы трагично. До седьмой версии iOS у нас был скевоморфизм и все такое, затем они перешли к плоскому дизайну, и вся индустрия оказалась под таким влиянием доминирования Apple, что все веб-сайты стали выглядеть одинаково. Apple выпустила свои рекомендации по человеческому интерфейсу и сказала: «Послушайте, теперь приложения для iPhone должны выглядеть так». Но это привело к сглаживанию разнообразия и, на мой взгляд, к более скучной сети. И это было на службе этих систем, которые могут строить сами.

Фергал: Вы могли бы сказать своему агенту, что хотите, чтобы это выглядело фанково и ретро. Вы должны представить, что это произойдет, и я думаю, что все станет более настраиваемым с точки зрения того, что люди на самом деле используют, потому что у вас есть интеллектуальный уровень, который понимает, как построить интерфейс с данной командой. Вы, вероятно, сделали бы это сегодня. Если вы сегодня отправитесь создавать Midjourney для пользовательских интерфейсов, вы, вероятно, сможете это сделать. У нас есть GPT-4, который может генерировать код или CSS для написания пользовательских интерфейсов, и у нас есть модели синтеза изображений, в которые вы встраиваете все изображения и текст и как бы сжимаете их вместе. Могу поспорить, что вы могли бы построить что-то довольно быстро.

Эммет: Это так забавно, потому что ты говоришь это, и моя эмоциональная реакция такая: «Нет, ты не понимаешь; вы должны думать об удобстве использования, понимании людей и обо всем таком». А потом я такой: «Да, это те способности к рассуждению, о которых мы говорили, и, похоже, они у него есть сейчас». И так как мы говорим об этом, у меня есть это эмоциональное…

Фергал: Кризис.

Эммет: ИИ придет за твоей дисциплиной. Но я, честно говоря, не очень беспокоюсь об этом, потому что я думаю, что многие дизайнеры, и я слышал, что это говорят и программисты, не собираются оплакивать тяжелую работу, которая в значительной степени ускоряет и улучшает. На самом деле это позволяет им, возможно, увеличить уровень масштабирования и немного больше подумать о решении, а не о выполнении решения. Создание продуктов по-прежнему очень трудоемко и отнимает много времени, и я думаю, будет здорово посмотреть, что произойдет, если мы уберем из этого часть черновой работы.

Фергал: Я имею в виду, что это все дебаты о работе, трудоустройстве и смене работы, и здесь что-то должно произойти. Когда я это слышу, я думаю: «О, может быть, это означает, что вам больше не нужны дизайнеры — может быть, вам просто нужны менеджеры по продукту». И менеджер по продукту теперь может делать все, что раньше делал дизайнер. Может быть, вам не нужен программист — может быть, вам просто нужен менеджер по продукту. И все мы в будущем превращаемся в продакт-менеджеров. Я не знаю. Может быть, таких ролей и работ могло бы быть намного больше, а может быть, их будет меньше.

Эммет: Я думаю, мы должны опираться на это. Одна вещь, которую я заметил в своей карьере, заключается в том, что чем старше вы становитесь, тем менее специфичны вы в своей дисциплине. Вы должны стать более общим лидером.

Фергал: У меня был этот разговор с кем-то из команды дизайнеров. Когда вы новичок в такой дисциплине, как инженерия, продукт или дизайн, вы находитесь на краю круга. А затем, по мере того, как вы становитесь старше, вы все больше и больше приближаетесь к центру. В центре круга находится продукт. Таким образом, по мере того, как вы становитесь все старше и старше, ваш мир все больше и больше зависит от продукта, который вы создаете, и все меньше и меньше от точки зрения, с которой вы пришли.

Эммет: Я тоже это вижу. Итак, мы все собираемся стать PM, это план?

Фергал: Да, я имею в виду, в конечном счете, это то, что мы пытаемся делать в такой работе.

Эммет: Я имею в виду, что такое продакт-менеджер, как не специалист по продукту без каких-либо непосредственно применимых практических навыков, я прав, Фергал?

Фергал Рид: Да, я знаю. Что такое премьер-министр?

Эммет: Думаю, нам пора заканчивать. Привет, Фергал.

Фергал: Спасибо, Эммет.