Эффект GPT: новая эра обслуживания клиентов

Недавние прорывы в больших языковых моделях превзошли все наши ожидания. Мы собрали отраслевых экспертов, чтобы поговорить о GPT и о том, как она повлияет на будущее обслуживания клиентов.

Нельзя сказать, что это застало нас врасплох. В течение многих лет отрасль высоко оценивала потенциал искусственного интеллекта и машинного обучения для радикального преобразования нашей работы, особенно с учетом того, что достижения в области вычислительной мощности и хранения данных позволили обучать все более и более крупные модели. Но мы не ожидали, насколько быстро последние достижения в OpenAI ChatGPT откроют новые возможности.

В Intercom мы всегда учились. Только быстро выпуская новые функции, мы можем получить надлежащую обратную связь, извлечь из нее уроки и снова и снова выполнять итерации, чтобы лучше обслуживать наших клиентов. И, естественно, именно это мы и сделали с этой новой технологией. За последние пару месяцев мы поставили несколько функций на основе ИИ 160 клиентам. И хотя еще слишком рано говорить о том, как эти большие языковые модели (LLM) повлияют на нашу жизнь, мы считаем, что достигли решающего переломного момента, особенно когда речь идет об обслуживании клиентов.

Итак, на прошлой неделе мы провели вебинар, чтобы немного глубже изучить примеры использования GPT в бизнесе. Отличается ли эта волна инноваций от прошлых волн? Изменит ли это то, как мы работаем и как компании взаимодействуют с клиентами и потенциальными клиентами? Может ли это породить новое поколение стартапов? Чтобы дать вам немного больше информации, мы пригласили пару крупных шишек из стартап-сцены, чтобы они высказались.

В сегодняшнем выпуске вы услышите:

• Итан Курцвейл, член правления Intercom и партнер Bessemer Venture Partners
• Фергал Рид, наш директор по машинному обучению
• Кристал Ху, венчурный инвестор и репортер по стартапам в Reuters
• Талия Голдберг, партнер Bessemer Venture Partners

Они расскажут о больших языковых моделях, таких как ChatGPT, о том, как компании внедряют эту технологию и как она повлияет на будущее индустрии обслуживания клиентов.

Короткий срок? Вот несколько ключевых выводов:

• Мы начинаем видеть сложные варианты использования больших языковых моделей — существует большой потенциал для улучшения обслуживания клиентов благодаря регулярности и использованию естественного языка.
• На данный момент ожидается, что большие языковые модели расширят возможности человека, а не заменят его, поскольку они могут помочь повысить продуктивность и эффективность работы специалистов.
• Хотя еще слишком рано оценивать успех бета-эксперимента Intercom, принятие и использование новейших функций на основе ИИ было огромным, и ранние отзывы очень многообещающие.
• Большие языковые модели могут очень быстро стать очень дорогими. Тем не менее, со временем они станут дешевле и более распространенными, что позволит больше экспериментировать и делать открытия.
• Хотя проблемы с галлюцинациями все еще существуют, вы можете настроить и ограничить эту модель, чтобы сделать ее более надежной, когда ситуация требует более высокой степени уверенности.
• Модели не универсальны. Вполне вероятно, что в будущем компании будут использовать индивидуальное сочетание различных настраиваемых моделей, которые подходят для решения различных бизнес-задач.

Если вам нравится наша дискуссия, посмотрите другие выпуски нашего подкаста. Вы можете подписаться на Apple Podcasts, Spotify, YouTube или получить RSS-канал в выбранном вами проигрывателе. Далее следует слегка отредактированная стенограмма эпизода.

Рост ChatGPT

Кристал Ху: Большое спасибо всем, кто нашел время присоединиться. Меня зовут Кристал Ху, и я освещаю венчурные проекты и стартапы для Reuters. Как многие из вас, ребята, знают, искусственный интеллект и волна ChatGPT ворвались на сцену за последние несколько месяцев, и большая часть моей работы состоит в том, чтобы понять технологию и то, как она меняет различные аспекты жизни. В сегодняшней теме мы сосредоточимся на том, как ChatGPT будет формировать будущее обслуживания клиентов. Мы обсудим, что такое ChatGPT и большие языковые модели, как эта технология будет использоваться, как она повлияет на существующие и будущие технологии, как стартапы внедряют эту технологию и как строятся новые компании.

Сегодня у нас отличная панель. Два замечательных инвестора из Бессемера: Талия Голдберг и Итан Курцвейл. Талия базируется в Сан-Франциско, инвестирует в потребительский интернет и программное обеспечение, а также работает с такими компаниями, как ServiceTitan и Discord. Итан Курцвейл также живет в Сан-Франциско и руководит инвесторами в различных областях, включая платформы для разработчиков, инфраструктуру новых данных, цифровые потребительские приложения и криптографию.

А затем у нас будет директор по машинному обучению в Intercom Фергал Рейд, который расскажет нам изнутри о том, как Intercom включает эту технологию в свои последние предложения, включая несколько функций помощника ИИ. Я с нетерпением жду возможности поразмышлять над их мнением и услышать, что они видят как на стартапе, так и на венчурном фронте, а также на изменения, которые может принести GPT. На протяжении всего процесса, если у вас есть какие-либо вопросы, не стесняйтесь задавать их в чате, и тогда у нас будет от 15 до 20 минут в конце разговора, чтобы ответить на вопросы.

Думаю, я начну с вас, Фергал, потому что вы являетесь технологом в комнате и находитесь на переднем крае внедрения GPT в предложения Intercom. Может быть, вы можете начать с того, что расскажете нам немного о предыстории и объясните, что такое GPT и ChatGPT, и как вы пришли к тому, чтобы внедрить эту технологию?

«Я не собираюсь кодировать правила и не собираюсь конкретно говорить: «Научитесь предсказывать X против Y»».

Фергал Рид: Это очень захватывающее время для технологий. Я предполагаю, что многие люди, вероятно, видели ChatGPT в этот момент, потому что он только что наделал такую ​​большую волну. Но с технологической точки зрения, с моей узкой точки зрения на мир, я работаю в Intercom около пяти лет и руковожу командой по машинному обучению. И то, что мы сделали в области машинного обучения, основано на алгоритмах, существовавших некоторое время назад, — алгоритмах обучения с учителем, алгоритмах, которые учатся различать объекты. Вы можете сказать: «Эй, давай предскажем, спросит ли кто-нибудь то или иное». С этими системами машинного обучения вы даете им много обучающих данных: «Эй, это пример, если кто-то задал вам один вопрос, и это пример, если кто-то задал вам другой вопрос».

И что нового и необычного в этой последней волне генеративного ИИ, так это то, что вместо того, чтобы просто учить модель предсказывать то или иное, вы говорите: «Эй, модель. Узнайте, как генерировать новые данные этого типа. Научитесь создавать образ». Вы даете ему какой-то текст, и он учится генерировать изображение, которое соответствует этому тексту, или, с помощью ChatGPT, вы просто разговариваете с ним и даете ему какой-то текст, и он довольно хорошо генерирует больше текста в ответ на это.

«У нас есть действительно большая модель, мы задаем ей вопросы на английском, говорим ей что-то делать на английском, и она довольно хорошо просто делает то, что мы ей приказываем».

Это просто другой способ машинного обучения. Я не собираюсь кодировать правила и не собираюсь конкретно говорить: «Научитесь предсказывать X против Y». Вместо этого я возьму действительно большой объем обучающих данных, создам модель, которая очень хорошо будет пытаться предсказать эти обучающие данные, а затем, надеюсь, я смогу заставить ее делать полезные вещи, создавая новые примеры.

С помощью ChatGPT вы о чем-то спрашиваете, давая текст и говоря: «Создайте то, что будет дальше». И что удивительно, это очень полезно. Вы можете сказать: «Привет, вот разговор со службой поддержки, и это краткое изложение разговора со службой поддержки», а затем передать его ChatGPT, и он сгенерирует то, что произойдет дальше или что он ожидает увидеть дальше. И, возможно, вы говорите: «Это краткое изложение», и затем всплывает краткое изложение. И это очень полезно. Это очень общий способ создания функций и систем. Вместо того, чтобы кодировать новую систему машинного обучения для каждой мелочи, у нас есть эта действительно большая модель, мы задаем ей вопросы на английском, говорим ей делать что-то на английском, и она довольно хорошо просто делает то, что мы ей приказываем. Итак, в Intercom мы пытаемся использовать это для создания функций продукта.

Изменения в сфере обслуживания клиентов

Кристал Ху: Я хочу вывести на сцену Талию и Итана как плодовитых инвесторов в космос. Вы видели пару технологических волн. Чем отличается этот рассказ о генеративном ИИ, и какие области применения вас интересуют?

Талия Голдберг: Конечно, спасибо, что пригласили меня. Это был отличный обзор того, что такое генеративный ИИ. Забавно, как раз перед этой встречей я просматривал статью, которую мы опубликовали в нашем блоге прошлым летом, может быть, восемь или девять месяцев назад, и это было за несколько месяцев до запуска ChatGPT, но мы начали замечать большой импульс. и причина быть взволнованным тем, что происходит с большими языковыми моделями, в частности, и потенциалом ИИ и генеративного ИИ как этой новой действительно мощной волны искусственного интеллекта.

И у нас был прогноз: «Сегодня менее 1% онлайн-контента генерируется с использованием ИИ, и в течение следующих 10 лет мы прогнозируем, что не менее 50% будет создано или дополнено ИИ». И мы обсуждали это, и мы думали, что это дико говорить, но черт возьми, мы недооценили, как быстро ИИ может преобразовать большую часть информации, которую мы видим. Я бы сказал, что это может быть 50% в течение следующих двух лет нашего онлайн-взаимодействия, контента и средств массовой информации. Последствия этого, я думаю, огромны для большого количества информации и знаний, включая поддержку клиентов.

«Вы сразу же видите липкие варианты использования, когда технология созрела для разрушения, улучшения, расширения и улучшения, и поддержка клиентов находится прямо на пути к этому».

Кристал Ху: Итан, вы некоторое время работали с Intercom. Вы думаете, что это момент, которого ждала служба поддержки клиентов? Потому что я чувствую, что технология и возможности являются золотыми для приложений обслуживания клиентов, таких как Intercom.

Этан Курцвейл: Да, я чувствую, что это, возможно, передовое применение больших языковых моделей и того, что они могут сделать. Если вы сделаете шаг назад и подумаете об технологических изменениях и сдвигах платформ, таких как момент смартфона, момент iPhone и тому подобные вещи, то на раннем этапе происходит все это волнение, и множество разработчиков и создателей устремляются в космос, а затем у вас есть этот провал, когда вы видите, какие приложения являются передовыми, где они прилипают первыми, и те, где они не приводят вас к небольшому разочарованию. Я думаю, что мы, вероятно, все еще немного раньше на этой кривой, но вы сразу же видите липкие варианты использования, когда технология созрела для разрушения, улучшения, расширения и улучшения, и поддержка клиентов находится прямо на пути к этому.

Я работаю с Intercom уже почти восемь с половиной лет, и команда Intercom всегда была в авангарде внедрения новых технологий, когда они были готовы. И я помню, что два-три года назад люди говорили: «Автоматизация, автоматизация, автоматизация». А руководство Intercom всегда говорило: «Это еще недостаточно хорошо. Мы можем это сделать, мы можем вставить это таким образом, чтобы мы могли поставить галочку в какой-то форме запроса функции, но это не приведет к действительно хорошему человеческому потоку ». Intercom всегда был основан на идее сделать интернет-бизнес персонализированным. И если у вас есть бот, который не звучит лично, это ортогонально этому.

Тот факт, что Intercom так успешно использует ее в своем потоке, показывает, что технология готова и что это одна из многих, многих вещей, которые мы увидим, как она повлияет. Не все сразу сразу, но со временем мы увидим гораздо большее влияние, дав машине возможность общаться по-человечески.

«Вы смотрите на кривую и скорость улучшения, и через несколько месяцев, через несколько кварталов и через несколько лет все будет еще лучше».

Талия Голдберг: Если я могу добавить одну вещь, я думаю, что поддержка клиентов — идеальная начальная область для того, чтобы ИИ начал оказывать влияние. И одна из причин этого в том, что он использует естественный язык. Вы можете общаться с ИИ на английском языке, и он будет отвечать на английском языке. Вам не нужно кодировать — он генерирует информацию. И это то, на что похоже обслуживание и поддержка клиентов — создание отличного, похожего на человека опыта, который можно персонализировать, разрешение жалоб и улучшение с течением времени. Таким образом, вы также получаете эту замечательную петлю обратной связи, используя ее в службе поддержки клиентов.

Несмотря на то, что сегодня могут быть некоторые проблемы и вещи, которые грубы по краям, технологии и потенциал уже действительно велики, как сказал Итан. Вы смотрите на кривую и скорость улучшения, и через несколько месяцев, через несколько кварталов и через несколько лет все будет еще лучше. Это одна из категорий, которая нас больше всего волнует, и мы думаем, что каждый бизнес может воспользоваться ею и должен подумать об этом.

Кристал Ху: Фергал, сейчас самое время рассказать нам о недавнем запуске функции в Intercom и о том, как вы включили в нее ChatGPT.

Фергал Рид: Абсолютно. И просто чтобы повторить чувства Талии и Итана, в домене так много структуры, есть так много вещей, которые делает агент службы поддержки, когда они снова делают то же самое, что они делали в последний день, или что-то еще. из их товарищей по команде делали раньше, и в ней так много регулярности и структуры, что кажется, что она действительно созрела для системы, которая обучается и использует ИИ, чтобы делать людей быстрее.

«Мы чувствовали, что лучше всего начать с человека. Кто-то завернул в папку «Входящие», и мы хотим сделать их быстрее, но они все еще могут проверить и одобрить это».

Одновременно с запуском ChatGPT OpenAI выпустила эту новую модель для использования разработчиками, text-davinci-003. У нас были отношения с OpenAI в течение долгого времени, и когда мы смотрели на эту модель, мы чувствовали, что она действительно пересекает порог полезности и что мы можем строить с ее помощью. Итак, мы провели начальный бенчмаркинг. Люди проводят много времени в папке «Входящие», и одна вещь, которую они должны сделать, — написать резюме разговора, который они только что просмотрели, прежде чем передать его. Эта технология, казалось, действительно хороша для подведения итогов разговоров, и мы подумали: «Можем ли мы создать функцию, которая делает это, и предоставить ее нашим бета-клиентам?» В Intercom действует принцип «корабль, чтобы учиться». Мы верим в то, что новые функции должны предоставляться клиентам очень быстро, поэтому мы можем узнать, решает ли это проблему или это скорее любопытство.

Итак, в начале декабря мы начали проект, чтобы посмотреть, сможем ли мы быстро добавить некоторые функции, которые будут работать с представителями службы поддержки в реальной папке «Входящие», чтобы сделать их быстрее. Одним из них было обобщение, а другие функции помогали им быстрее составлять текст. И мы действительно чувствовали, что это правильное место для начала с этой технологией, потому что у генеративного ИИ есть обратная сторона. Это не всегда так точно, как вы думаете. Легко посмотреть на ChatGPT, задать ему вопрос, он даст вам ответ, и вы думаете: «Это потрясающе». А потом вы читаете его чуть более подробно, и на самом деле иногда что-то делается не так. Мы чувствовали, что лучше всего начать с человека в петле. Кто-то завернул в папку «Входящие», и мы хотим сделать их быстрее, но они все еще могут проверить и одобрить это. Это была отличная отправная точка.

Теперь я вижу, как люди спрашивают в комментариях: «Эй, а как насчет ботов и вещей, которые могут сами отвечать на вопросы?» Мы думаем, что это произойдет, и, возможно, скоро, но мы все еще изучаем это. Большой проблемой для нас является точность. Мы чувствуем, что сейчас пришло время иметь человека в цикле, где это ускоряет работу службы поддержки. И, вероятно, скоро появятся вещи, которые опустятся на следующий шаг. Это очень интересная область.

Итан Курцвейл: В дополнение к этому, мы получаем несколько интересных дальновидных вопросов, таких как: «Сделает ли это мои дни в качестве копирайтера сочтенными?» Я так не думаю. Где эта технология есть и, вероятно, останется на какое-то время, так это в расширении человеческих возможностей и человеческого интеллекта, что сделает вас более продуктивным как копирайтер, но не обязательно заменит вас, потому что, во-первых, технологии еще нет, а во-вторых, планка того, что такое удивительная поддержка клиентов или любое общение с бизнесом, будет только подниматься и подниматься, поскольку у нас есть эти ресурсы. В то время как технология может быть в состоянии справиться с некоторыми вариантами использования копирайтеров и ответов поддержки самостоятельно, планка того, что будет действительно хорошим текстом, действительно хорошей поддержкой и так далее, и так далее, будет расти, поскольку у нас есть доступ к этим технологиям. . В идеальном состоянии у вас будет доступ к этим технологиям для повышения производительности, но они не заменят вас в ближайшее время.

Талия Голдберг: Да. Мне нравится, как Вятт только что сказал, что это множитель способностей. Мы много говорим внутри о примере Copilot, который похож на автозаполнение для кодирования, и он уже делает инженеров значительно более эффективными. Он вовсе не заменяет инженеров или инженеров, но может дополнить их. Очень простым примером этого может быть калькулятор. Раньше мы считали вручную. Сейчас мы пользуемся калькуляторами, но математика по-прежнему очень важна — нам всем нужно ее учить, а математики очень важны в этом мире. Возможно, ваша роль может стать еще более важной, потому что по мере того, как стоимость создания контента снижается и возникает поток большого количества различного контента и информации, создание контента и информации, которые могут выделиться и подняться выше, будет стоить еще больше. премии в ближайшие несколько лет.

Эксперимент Intercom с GPT

Кристал Ху: Прошло несколько недель с тех пор, как Intercom запустил свои функции с поддержкой искусственного интеллекта. Какие первые отзывы вы видели? Как вы оцениваете успех внедрения этой технологии?

«Мы наблюдаем активное внедрение, большое воодушевление и активное использование»

Фергал Рейд: Я буду откровенен в этом вопросе – у меня пока нет полностью удовлетворительного ответа на этот вопрос. Что я могу вам сказать, так это то, что теперь мы живы, у нас есть тысячи клиентов, регулярно использующих его - у нас было много внедрений. Скорее всего, мы попытаемся измерить, действительно ли это сделало людей более продуктивными, потому что, скажем, для нашей собственной команды CS мы можем собрать данные телеметрии: «Вы работаете быстрее, если используете эти функции?» и собрать для этого некую форму контролируемого эксперимента. Нам всегда нравится пытаться получить какие-то фактические данные по этому вопросу в какой-то момент, но мы еще не достигли этого момента. У нас, вероятно, будут некоторые цифры по этому или большему пониманию этого, по крайней мере, внутри компании, через месяц или два, я полагаю.

Что я могу сказать вам на данный момент, так это то, что мы наблюдаем большое принятие, большое волнение и большое использование. Определенно есть некоторые функции, такие как обобщение, которые, по словам клиентов, значительно экономят их время. У нас были клиенты, которые говорили нам что-то вроде: «Эй, для некоторых разговоров написание сводки для передачи может занять столько же времени, сколько требуется для решения проблемы конечного пользователя». И так, мы определенно чувствуем себя хорошо об этом.

В некоторых других наших функциях вы пишете сокращение, немного похожее на GitHub Copilot. Мы были вдохновлены Copilot, а в Copilot, если вы программист, вы можете написать комментарий или стенографию, а затем он заполнит код. Одной из наших функций является «расширение», когда вы пишете сокращенную запись, и она превращает ее в более длинное сообщение службы поддержки. Иногда это работает и экономит время людей, но у нас пока нет данных об этом. То, что у нас есть на данный момент, это всего лишь версия первого поколения. И у нас есть прототипы версии второго поколения. В данный момент вы пишете стенографию, а большая языковая модель расширяет ее. Вместо этого мы пытаемся сказать: «Эй, давай закончим последний раз, когда ты отвечал на подобный вопрос. Давайте добавим макросы, которые имеют отношение к этому». И у нас есть несколько внутренних прототипов, которые работают очень хорошо. Мы по-прежнему внедряем инновации и делаем то, что действительно изменит ситуацию, но у нас пока нет метрик. Скоро.

«У меня в Tableau есть график наших ежедневных расходов на OpenAI, за которым мы нервничаем»

Кристал Ху: В дополнение к этому, как вы измеряете стоимость этого? Насколько я понимаю, вы, вероятно, отправляете запросы в OpenAI, и они берут, я думаю, два цента за тысячу символов или что-то в этом роде. И я предполагаю, что по мере того, как ваше усыновление растет, этот счет также накапливается. Есть ли у вас какие-либо выводы или наблюдения относительно внедрения этой технологии?

Фергал Рейд: У меня в Tableau есть график наших ежедневных расходов на OpenAI, за которым мы нервно наблюдаем. Это определенно соображение. Я упомянул функцию обобщения, и мы сделали ее очень удобной для человека, когда вы должны запросить сводку, прежде чем передать вопрос. И одна вещь, которую наши клиенты говорят нам: «Эй, почему я должен запрашивать это резюме? Пожалуйста, всегда сохраняйте сводку на боковой панели, чтобы мне никогда не приходилось ее запрашивать». И это было бы очень дорого, потому что, если бы нам приходилось платить два цента каждый раз, когда кто-то говорил что-то новое в разговоре, а резюме менялось, это было бы очень дорого. Мы обязательно должны учитывать стоимость, чего мы не делаем с более традиционными моделями машинного обучения.

Тем не менее, OpenAI только что анонсировала свой API ChatGPT, и я думаю, это удивило многих людей, потому что он был в 10 раз дешевле, чем предыдущие аналогичные модели этой серии. Вполне возможно, что стоимость упадет довольно быстро, и эти функции получат широкое распространение. А как насчет других стартапов или компаний, работающих в этой области? Совет, который мы дали бы в Intercom, заключается в том, чтобы попытаться быстро выйти на рынок, потому что здесь есть реальная ценность для ваших клиентов, которую вы можете создать и раскрыть. И стоимость, вероятно, снизится либо потому, что модели станут дешевле, поскольку поставщики, такие как OpenAI, выяснят, как сделать их более эффективными, либо потому, что вы найдете более эффективные способы их использования. Вы найдете способы сказать: «Эй, я могу использовать более дешевую генеративную модель для первой части разговора, а затем, когда у меня будет гораздо более сложная задача, требующая большей точности, я буду использовать более дорогую модель». ». Итан и Талия, вероятно, имеют гораздо более широкое представление об этом, чем я, и я хотел бы услышать их мысли.

«Никогда нельзя быть уверенным, что разработчики собираются делать с новой технологией, пока она у них не появится, и она не будет платить и двух центов каждый раз, когда они делают вызов API».

Этан Курцвейл: Ну, это хороший пример того, что вы иногда видите с этими передовыми технологиями. Вначале их получают высокоценные варианты использования, и вы описываете актуализацию этого принципа. В Intercom это сводная функция, когда ее просят сегодня. Но со временем технология станет намного более распространенной и дешевой. И именно тогда он может распространиться на большее количество вариантов использования, где предельные затраты на его выполнение сегодня непомерно высоки, и это позволяет разработчикам открывать другие приложения больших языковых моделей в этом типе ИИ, где мы на самом деле не предсказываем.

В Bessemer Талия и я пытаемся придумать дорожные карты того, куда, по нашему мнению, будут развиваться технологии, но как инвестор, ориентированный на разработчиков, я всегда думаю об одном из ключевых примитивов: вы никогда не знаете, что разработчики собираются делать с новая технология, новая платформа, новый доступ к чему-либо до тех пор, пока они это не получат — и получат это, когда они не будут платить два цента каждый раз, когда они делают вызов API — и могут рифмовать и делать вещи, которые на первый взгляд кажутся абсурдными.

Я в восторге от того, что технология дошла до такой точки, когда остается только тонна экспериментов. Я уверен, что в плане продуктов Intercom, не сегодня, а через год, будут некоторые вещи, которые мы не предвидели, но которые будут иметь действительно большую ценность для клиентов. И будут некоторые стартапы, которые только что появились, потому что они придумали какой-то особый способ использования генеративного текста, и это создало действительно отличный пользовательский опыт для кого-то.

Талия Голдберг: Есть забавный пример, который, я думаю, может подчеркнуть некоторый человеческий потенциал для увеличения опыта, который имеет отношение к поддержке. Если я разговариваю, скажем, с кем-то из команды Intercom с сильным ирландским акцентом, и они, вероятно, думают, что у меня сумасшедший западный акцент, нам иногда трудно понять друг друга, когда мы очень взволнованы и говорить очень быстро. Это звучит как другой язык, хотя все говорят по-английски. ИИ может в режиме реального времени немного изменить акцент человека, чтобы сделать его более понятным в обоих направлениях. Итак, если у меня ирландский акцент или британский акцент, он переведет его в калифорнийский акцент, и это действительно может в некотором роде улучшить впечатление, снизив барьеры общения.

Этан Курцвейл: Это хороший пример, потому что технологии становятся частью прямого общения, но делают его более похожим на человека, что звучит как оксюморон, но при правильном развертывании это может заставить вас чувствовать себя более связанным в контексте обмена сообщениями или общения.

Талия Голдберг: Интернет обещает объединить всех нас и разрушить барьеры. Я действительно очень верю в потенциал этого суперзаряда.

Доверительный коэффициент

Кристал Ху: Я думаю, что у многих людей возникают вопросы о том, как убедиться, что все будет правильно с точки зрения потока информации и что она будет точной. Ставка различна в разных случаях использования, но в целом вы не хотите предоставлять неверную информацию своим клиентам. Как вы это гарантируете?

«Дело не в том, что вы, как человек, никогда не сможете увидеть эти вещи, потому что это было бы невозможно — вы в состоянии правильно фильтровать. Вот как я думаю о больших языковых моделях».

Талия Голдберг: Может быть, только один комментарий, а затем я позволю Фергалу ответить более конкретно об Intercom. Модели обучаются на огромных объемах данных — многих миллиардах и миллиардах точек данных и информации. И поэтому, как бы вы ни пытались обмануть данные или вставить ложные данные, это все еще такая крошечная, крошечная часть общих данных. Это одна вещь, которую следует иметь в виду, когда вы думаете о том, как создаются эти модели.

Другое дело ввод данных. Я знаю, что есть опасения по поводу того, обучен ли он на неверных данных, и не поймите меня неправильно, безусловно, есть проблемы с галлюцинациями и другими областями, так что многое нужно улучшить. Но в вашей жизни дело не в том, что вы ходите и не видите вещей, которые могут быть неправильными, предвзятыми или даже дезинформацией. Вы сталкиваетесь с этим, но вы используете свое суждение и разум, и есть много других хороших данных. Итак, дело не в том, что вы, как человек, никогда не сможете увидеть эти вещи, потому что это было бы невозможно, — дело в том, что вы способны соответствующим образом фильтровать. Вот как я думаю о больших языковых моделях. Будут некоторые случаи, когда в обучающем наборе есть данные и информация, которые вам не нужны, но способность языковых моделей фильтровать их и получать правильный ответ со временем должна становиться все лучше и лучше.

«Это может быть один из параметров: «Насколько вы доверяете этому ответу?» Если он недостаточно хорош, не давайте его».

Итан Курцвейл: Есть несколько интересных вопросов как о конфиденциальности, так и о точности данных. Прежде чем мы перейдем к части конфиденциальности, следует помнить о том, что вопрос о точности данных заключается в том, что в будущем и в некоторых больших языковых моделях вы действительно сможете установить коэффициент точности. Это похоже на то, как когда ИИ был запрограммирован на победу в Jeopardy — у него был доверительный интервал, когда он знал ответ на вопрос с уверенностью 90% или 60%. И в этом контексте, когда вы просто теряете несколько баллов за неправильный ответ, они устанавливают довольно низкий интервал в 40% или что-то в этом роде. Если вы уверены на 40% или больше, какого черта, идите и попытайтесь ответить на вопрос.

Может быть какой-то контекст, в котором вам нужна точность человеческого уровня, вы устанавливаете ее там, и много раз, когда ИИ не может достичь 99-го процентиля, он переключается на человека или что-то в этом роде. Некоторый контекст может быть даже в вооруженных силах, даже в строго регулируемых отраслях, где вы более терпимы к обоснованным предположениям с помощью ИИ. И это может быть одним из параметров: «Насколько вы уверены в этом ответе?» Если он недостаточно хорош, не давайте его.

Фергал Рейд: Чтобы вкратце рассказать об этом, Итан, у нас внутри Intercom определенно есть сильное убеждение в отношении продукта, а именно, что вполне вероятно, что здесь будут различные допуски. Будут некоторые клиенты с довольно высокой терпимостью к: «Дайте мне предложение; ничего страшного, если предложение иногда будет неправильным». И будут другие клиенты с очень низкой толерантностью. Мы ожидаем, что нам потребуется определенная конфигурация для этого.

«У нас есть эта новая технология, которая может делать гораздо более точные прогнозы и делать все гораздо быстрее. Как мы можем принять это и сделать его достаточно надежным или, по крайней мере, позволить клиентам выбирать?»

Просто чтобы погрузиться в сорняки с некоторыми вещами, которые мы рассматриваем в будущем, скажем, у вас есть что-то, что пытается использовать статью и ответить на вопрос об этом содержании. Например, вы ограничиваете его, говоря: «Вам разрешено отвечать только точной цитатой из этого». И это может поместить эту цитату в контекст, но цитата должна быть там. Это консервативный способ использования этих новых больших языковых моделей для лучшего понимания вашего запроса и извлечения информации, но ограничение того, что они могут сказать на самом деле. Другой пример: вы берете генеративную модель и позволяете ей быть генеративной под капотом, но она может взаимодействовать с конечным пользователем только посредством предопределенной серии действий или вещей, которые она может сказать.

Есть много способов взять мощный двигатель и попытаться сделать его более безопасным, надежным и сдержанным. И я думаю, вы увидите много людей, работающих с этой техникой. У нас есть эта новая технология, которая может делать гораздо более точные прогнозы и делать вещи намного быстрее. Как мы можем принять это и сделать его достаточно надежным или, по крайней мере, позволить клиентам выбирать? Я думаю, вы увидите много движений в этом пространстве в течение следующих нескольких месяцев.

Массовая персонализация в разных отраслях

Кристал Ху: На этой ноте, Итан, Талия, помимо обслуживания клиентов, есть ли какие-либо другие приложения, которые вы видите в этой области, которые вас особенно волнуют?

Итан Курцвейл: Я могу пойти первым. Глядя на некоторые потребительские приложения, мы в восторге от игр. Если подумать о том, что делает игры увлекательными, то часто это частота обновления нового контента, а для этого нужно постоянно придумывать творческие идеи. Мы начинаем видеть, как люди думают: «Что, если каждый опыт для каждого игрока может быть новым?» You couldn't have a personal copywriter writing that much content for each person, but an AI could do it. And it could get down to a level where each decision you make generates a new experience based on whatever temporal inputs you want to give the system.

“We went from handcrafted goods to mass-produced goods to mass personalization in a way we've probably never seen before”

Media applications as well. Earlier in my career, I used to work at the Wall Street Journal , and the parent company of the Wall Street Journal was Dow Jones. They had a sister news department called Dow Jones Newswires , which was about getting financial news mainly to traders and folks that needed to act very quickly on that information as fast as possible through terminals and things like that. I think about what an AI could do to augment news or get news to the end user more quickly. Again, I don't think it's replacing journalists at all, I think it's augmenting the amount of information and the targeting we can provide to folks much more quickly.

I think about entertainment use cases. This promise of personalized television and premium content services has always been out there, but when you get to the long tail of internet content and user-generated content, it tends to be pretty low-quality. Could you have a high-quality, personalized content delivery service? I think AI could impact that equation in the future.

Talia Goldberg: I love the concept of personalization and everyone having their own experience. We went from handcrafted goods to mass-produced goods to mass personalization in a way we've probably never seen before. This is a totally new experience for everyone, which is super cool. I'll share one of the areas that I think is going to be wildly impactful and really promising, which is in life sciences and biotech.

“The AI is seeing something that we, as humans, have never before been able to see”

Applying AI to drug discovery and development using huge amounts of data to look at molecules and protein structures and genomic data can be really transformative. I read this study that I think was in Nature a month ago, and it described how some researchers gave an AI a bunch of images of a human retina, and the AI, with 90% accuracy, said which retina belonged to either a male or a female. That seems very basic – who cares? But what's really crazy about that is that no researcher, scientist, or AI expert has ever been able to find any sign of a retina correlating to gender of any form. The AI is seeing something that we, as humans, have never before been able to see.

You think about that, and then you apply that to cancer and different cells and otherwise, and the potential is just massive and really exciting. And we're already seeing a lot of applications. AI's going to transform a whole bunch of things – health, software, business applications, logistics, consumer… We could make a long list, but there are a ton of reasons to be super optimistic.

Mix and match

Krystal Hu: When I talk to startups, when they're incorporating this kind of technology into their offerings, one choice they have to make is which model they work with. Do they only work with one type of model, or do they diversify their vendors to work with other companies besides OpenAI? I'm sure, Fergal, you've spent some time thinking about that. What was the experience like at Intercom?

Fergal Reid: With new technology, being right in the forefront, our head tends to go first to customer value. We're happy to use the most expensive or newest model to try and figure out, “Okay, can we really build a transformative experience for a customer with this that is a core part of the workflow and makes something valuable for them?” And once we do that, we're like, “Okay, now, how can we make it cost-effective?” And we're probably going to end up with a large mix of different models from, say, OpenAI, and we've also looked at other vendors like Anthropic, which are doing some really interesting work in this space too.

“It's highly likely that everyone's going to end up running a bespoke mix of many different models. It's going to get complex pretty fast”

It's an exploding space with many different people training large language models, and I think you'll have different large language models that are better and worse and have different trade-offs in terms of cost and latency and performance. Performance won't be one-size-fits-all. Some models are better at dealing with hallucinations, some are better at generating creative content, and I think we're already seeing that.

Our focus is to get whatever models we can, try them out, think if we can use these to build transformative value, get it live with our customers, and then figure out how to optimize that. Once we know it's delivering value, let's optimize it in terms of price and cost and work. It's highly likely that everyone's going to end up running a bespoke mix of many different models. You could have three different models in one customer interaction. So yeah, it's going to get complex pretty fast.

“There'll probably be a new set of metrics that everyone coalesces around that measure the effectiveness of your AI and your particular business problem”

Ethan Kurzweil: I think that's an interesting point that actually ties the question from before: how do you measure the success of this? Because I think lots of companies will try a model or many, and the question will be, “All right, which is best?” And that's such an oversimplification because you have to figure out what you are trying to achieve. Are you trying to achieve engagement with users? Are you trying to achieve a quick resolution?

I think there'll probably be a sort of metricization of this where people come to a standard, like the way Google Search created a new industry, AdWords, and the way we measure click-through rates and conversion rates and things like that. There'll probably be a new set of metrics that everyone coalesces around that measure the effectiveness of your AI and your particular business problem.

Fergal Reid: Yeah, even before these more recent language models, we've had bots that process natural language using pretty big neural networks, although not as big. And whenever we would do something like upgrade our bots, we would conduct a large-scale A/B test framed in terms of end-user metrics such as self-serve rate. Then, we would find edge cases for particular customers or domains where it performed less well, really dig into those, and make sure nothing was broken. I think there's probably a well-understood playbook, like Ethan's referring to, of metrics for given domains. A lot of the same things will apply to this new type of technology.

вопросы и ответы

Krystal Hu: I'd love to get to the Q&A. I think we were able to address some of the questions during our discussions, but there are a bunch about the potential roadmaps from, I assume, Intercom's customers or companies working with Intercom who want to know what could be the next AI-aided feature that may come out, both in the short-term and long-term, and also how that will affect the pricing strategy.

Fergal Reid: Cool. Do you want to call out one particular question?

Krystal Hu: I think there was a question about your roadmap for the features for the next six months versus 12 to 18 months, and then the other person asked about the pricing strategy.

Fergal Reid: We have some things coming up that unfortunately, I can't talk about at the moment. I would say that six months is a really long time in this space. I expect you'll see a lot of movement in this space over the next two or three months. We will continue to sweat and invest in these features in our Inbox to make support reps more efficient. I've already talked about how we've got a Generation 1 version of features here at the moment, with summarization and expansion features to help edit a text, and we're definitely working on Generation 2 versions of those features.

We've also met two other exciting features in this space that we're really excited about, but unfortunately, I can't share any details at the moment – it's just a little bit too early to announce and launch those things. I can promise you're going to see a lot of action and excitement from us, and I'm sure from other companies in this space as well, over the next six months.

“Right now, there's a bit of a context limit for each interaction with an AI in a large language model, but there's a lot of exciting research pushing the boundaries”

Krystal Hu: Talia and Ethan, do you have any expectations or hopes on how fast the space could move?

Talia Goldberg: Well, it's moving a lot faster than we even anticipated. The space is moving really quickly in part because there are a whole bunch of technological advances happening at the same time as the hardware that these models are trained on gets better and improves at a Moore's Law rate, and there are new architectures and ways of scaling on that hardware. We're getting better and better at creating new experiences and models.

I don't have an exact prediction of how quickly we'll see different things, but one of the biggest areas that we're watching closely and expect to see a lot of advances in over the next six to 12 months is around personalization and being able to create far more personalized experiences. Right now, there's a bit of a context limit for each interaction with an AI in a large language model, but there's a lot of exciting research pushing the boundaries of those context windows, coming up with new frameworks to create far more personalized experiences and remember each person, each user, each customer, and tons of data points about that person to create a better experience.

“I would encourage everyone that's building new products to ride the ups and the downs”

Ethan Kurzweil: I completely agree with Fergal and Talia. We're going to see predictable and unpredictable applications of this over the next six months. There'll be some unsuccessful ones too, and then the narrative will quickly shift to, “Oh, that didn't do everything we thought it was going to do as quickly as we thought.” Right now, we're into the peak of momentum and euphoria and, dare I say, a little hype in the space. But over time, it'll become as big a deal as we thought.

I would encourage everyone that's building new products to ride the ups and the downs. Don't ride the up as high as it may be feeling like you should right now, but when the narrative changes a little bit, because it will – all new technologies have that “Oh, that wasn't as impactful as quickly as we thought” moment – I would encourage everyone to keep building through that as well.

Krystal Hu: Yeah, I'll definitely take that from you as a crypto investor.

Ethan Kurzweil: It's the same thing. Right now, there's clearly a trough of disillusionment for crypto. And good builders are figuring out, “Okay, what of this technology is applicable? What makes sense?” And we'll see those things come to market over the next couple of years.

Krystal Hu: One common question I saw in the Q&A is: how will this impact human jobs like human agent jobs? I'm curious to hear your thoughts on this specific case.

Ethan Kurzweil: Ever since the advent of the computer, there's been this prediction that it would be a massive replacement for human work at all levels. It does change the nature of work, and this will certainly change in some ways, but it's not going to be a wholesale replacement for humans in any broad way.

“Guess what? Every year, we need way more engineers. It's like Jevon's Paradox. The more that AI is available and the cost goes down, the more demand there is”

Just as Talia alluded to the example of Copilot and people, I've read many articles saying this was going to put all developers out of business over the next two to three years, and that's complete BS. Everyone knows that's not true. But it may allow for more productivity and for the cycle time on software to speed up. It may allow for different skills to be more important. I think it just makes us more productive. It's not that it won't have an impact and won't shift the nature of work in some ways. I don't mean to minimize that because that's very real. But looking at the whole, you'll see we come out ahead.

Talia Goldberg: At least until we reach the singularity, I'm pretty convinced of the need for more and more engineers. You could have gone back 10 years and been like, “Ah, there are all these cool developer tools now that are coming out and making it way easier to integrate things,” or, “Oh gosh, there are these self-serve products like Zapier that make it easy for non-technical people to connect products and integrate things.” And guess what? Every year, we need way more engineers. There's a shortage. It's like Jevon's Paradox. The more that AI is available and the cost goes down, the more demand there is. And I think, in a lot of areas, that paradigm will hold true. But as Ethan said, the exact skills and the way it looks may shift.

Krystal Hu: Yeah, that makes a lot of sense. I saw some interesting observations and questions about whether you should tell people that they are talking to an AI versus a real person. It's an interesting question because it presumes we wouldn't be able to tell.

Ethan Kurzweil: It's a good existential question. If you're talking to a person assisted by an AI, who are you talking to, and what disclosure do you have to make in that case? I don't have any answers to these questions, but they're great ones for us to debate.

Talia Goldberg: I find that AI can sometimes generate responses that are so detailed and so good that there's just no way that a human did it anyway. It's like the reverse of the Turing test.

Кристал Ху: Еще один вопрос о функциях безопасности. Я думаю, что мы также касались этого ранее, но есть конкретный вопрос: «Насколько важна вертикальная интеграция функциональности безопасности с поставщиком модели? Например, насколько важно использовать API модерации OpenAI с выводом модели ChatGPT по сравнению с смешиванием и сопоставлением с API перспективы Jigsaw?» Фергал, возможно, у вас есть какие-то мысли или опыт, которыми вы могли бы поделиться по этому поводу.

Фергал Рейд: Да, я не знаком с API-интерфейсом Jigsaw Perspective, поэтому не знаю его конкретно. Все люди в OpenAI и Tropic, а также кто-то еще, кто занимается обучением больших языковых моделей, очень заботятся о том, чтобы сделать их удобными, безопасными и согласованными, и они очень заботятся о том, чтобы избежать галлюцинаций. И они собираются продолжать работать в этих областях, чтобы облегчить таким компаниям, как Intercom, их развертывание надежными способами. Я не уверен, что нам нужно вертикально интегрировать это. Я не знаю, нужно ли Intercom заниматься обучением своих собственных крупных языковых моделей, чтобы мы могли заняться производством и сделать их достаточно надежными. Я думаю, что мы все равно увидим много движения в этом пространстве.

Этот тип генеративного ИИ дает пользователю большую свободу, чтобы попытаться понять, как развернуть модель. Существует новая область разработки подсказок, и моя команда активно этим занимается, редактируя подсказки и пытаясь понять: «Хорошо, как мне правильно спросить у модели, что я хочу, чтобы она дать мне результат, который я ищу?» Это станет лучше, по крайней мере, на какое-то время, станет мощнее, а моделями станет легче управлять.

Я думаю, что мы сможем увидеть, как компании, занимающие позицию Intercom, создают большую ценность и разрабатывают множество приложений и дизайнов. Мы все еще учимся разрабатывать продукты на основе этой новой технологии. Есть так много степеней свободы для людей в нашем положении, чтобы использовать это.

«Всегда есть это напряжение: вы просто привязываетесь к общему делу? Насколько лучше становится общая модель по сравнению с тонкой настройкой?»

Кристал Ху: Были также вопросы о том, что Intercom создает собственную модель. Как вы упомянули ранее, возможно, при создании API или чего-то в этом роде появится возможность комбинировать модели, которые лучше подходят для ваших вариантов использования?

Фергал Рейд: Да, учитывая тот масштаб, в котором в настоящее время обучаются эти модели, не кажется экономически целесообразным, чтобы каждая компания размером с Intercom обучала свою собственную. Но опять же, здесь есть спектр. Мы будем развивать опыт проектирования вокруг них и знать, что просить модель. И мы, вероятно, увидим новые функциональные возможности таких компаний, как модели тонкой настройки Intercom. Многие из этих новых моделей обучаются с помощью обучения с подкреплением с обратной связью от человека. Стоимость этого, вероятно, со временем снизится, и мы сможем настроить их в большей степени для наших конкретных случаев использования.

Всегда есть это напряжение: вы просто привязываетесь к общему делу? Насколько лучше становится общая модель по сравнению с тонкой настройкой и выполнением конкретных действий? Нам нужно будет посмотреть, как это пространство будет работать, но я думаю, что у компаний будет много степеней свободы, чтобы брать эти модели и настраивать и производить их для своей области. Мы находимся в первые дни производства этой технологии. Это сильно изменится, и станет намного проще расставлять приоритеты.

Кристал Ху: Мы почти подошли к концу нашего замечательного разговора, но мы можем задать еще два вопроса. Один из них касается того, как корпоративные компании внедряют и извлекают выгоду из ChatGPT. Вы видели, как компании начинают интегрировать это в свои предложения, а с другой стороны, я думаю, что компании, особенно строго регулируемые банки, задавались вопросом об информационных услугах и проблемах конфиденциальности и запрещали своим сотрудникам играть на корпоративных ноутбуках. Мне любопытно услышать мысли Талии и Итана по этому вопросу.

Талия Голдберг: В нашем портфолио многие компании-разработчики программного обеспечения, которые могут даже не входить в такие категории, как Intercom, которые действительно находятся в авангарде, думают: «Эй, как это важно для моего бизнеса и как я могу может интегрировать некоторые из этих моделей или API ChatGPT в мой продукт?» Часто повторяющиеся задачи могут быть очень полезны для автоматизации или оптимизации ИИ. Одна из наших компаний получает большое количество бухгалтерской информации от своих клиентов, и им необходимо согласовать и отметить, если есть ошибка или что-то не так. И в прошлом у них были эти системы, основанные на правилах, но вы можете применить ИИ и добиться гораздо большей точности. Еще один интересный пример связан с резюмирующей частью. Если клиент разговаривает с оператором колл-центра или торговым представителем, вы можете обобщить этот разговор и создать специальные маркетинговые материалы только для этого человека.

Кристал Ху: Последний вопрос Талии и Итану. Люди спрашивали, что вы ищете, когда инвестируете в стартапы pre-seed или, я думаю, в стартапы вообще.

«Мы пытаемся свести это к ключевому вопросу: «Действительно ли это двигает иглу для какой-то конкретной роли или типа человека?»

Итан Курцвейл: Отличный вопрос. На это есть так много разных ответов. Pre-seed проводится немного раньше, чем мы обычно инвестируем, чтобы предупредить об отказе от ответственности — обычно мы инвестируем в более позднюю посевную или серию A или B. Но наша философия заключается в том, чтобы искать модели гиперроста везде, где мы можем найти их. И обычно мы разбиваем это на части, пытаясь провести предварительную диагностику с помощью дорожных карт, и именно Талия натолкнула нас на наши размышления об ИИ и его приложениях для разных целей, и мы придумываем эти дорожные карты различные тематические области, которые мы считаем довольно интересными. Они могут быть очень широкими, как облачные вычисления или ориентация здравоохранения на потребителя, или узкими, как влияние ИИ на обслуживание клиентов.

Я бы посоветовал людям посмотреть, потому что мы много публикуем в нашем блоге и социальных сетях нашу активную диссертацию, чтобы увидеть, соответствует ли то, что вы строите, чему-то. И затем, вообще говоря, мы ищем: «Оказывает ли это влияние, которое изменит то, как мы работаем или развлекаемся, или что-то, что может привести к смене парадигмы в каком-то бизнес-процессе или потребительских потребностях?» Это то, что мы разбить его на. Мы заметили, что каждый раз, когда у вас происходит широкомасштабное изменение поведения, это приводит к быстрому росту компаний и возможности для стартапов изменить то, как вы работаете, развлекаетесь или что-то еще, что делалось раньше. И поэтому мы пытаемся разбить его на этот ключевой вопрос: «Действительно ли это двигает иглу для какой-то конкретной роли или типа человека?»

Кристал Ху: Это конец нашего разговора. Для тех, у кого нет возможности попробовать новые функции Intercom, я рекомендую вам поиграть с обобщением и несколькими другими функциями самостоятельно. И если вас интересует венчурное пространство, обязательно загляните на сайт Бессемера. Как все говорили, через шесть месяцев мы оглянемся назад, и некоторые из предсказаний сбудутся, а некоторые, возможно, будут совсем другими. Я надеюсь, что у нас будет еще время вернуться назад и ответить на другие вопросы. Еще раз спасибо, Талия, Итан и Фергал, за ваше время сегодня.

Итан Курцвейл: Спасибо, что пригласили нас.

Талия Голдберг: Пока.

Фергал Рид: Всем большое спасибо. Пока-пока.