Начало разговора: беседа о нашем революционном новом чат-боте с искусственным интеллектом.

Мир ИИ развивается быстро, и здесь, в Intercom, мы помогаем задавать этот темп. Сегодня мы рады представить Fin, нашего нового чат-бота, работающего на базе OpenAI GPT-4 и запатентованной технологии машинного обучения Intercom.

Всего несколько недель назад мы анонсировали наши первые функции на базе GPT в Intercom — ряд полезных инструментов для представителей службы поддержки — и наши клиенты действительно наслаждаются дополнительной эффективностью, которую обеспечивают эти функции.

Однако главной целью было создание чат-бота на основе GPT, который мог бы напрямую отвечать на запросы клиентов. Для этого нужно было использовать возможности больших языковых моделей, но без недостатков, связанных с «галлюцинациями». Первоначально мы не были уверены, сколько времени потребуется, чтобы решить эту проблему, но теперь, с выпуском GPT-4 от OpenAI, мы можем сообщить, что создали чат-бота, который может надежно отвечать на вопросы клиентов на высоком уровне. . Мы назвали его Фин.

В сегодняшнем выпуске подкаста Inside Intercom я встретился с нашим директором по машинному обучению Фергалом Рейдом, чтобы обсудить наш новый чат-бот с искусственным интеллектом, как мы его создали, что он делает и как выглядят следующие шаги для этого замечательного прорыва.

Вот некоторые из основных выводов:

• Наш новый чат-бот с искусственным интеллектом может общаться естественным образом, используя новейшую технологию GPT.
• Fin получает информацию из вашего существующего справочного центра и использует только эту информацию, предоставляя вам контроль над тем, как он отвечает на вопросы о вашем бизнесе.
• В Intercom мы считаем, что будущее службы поддержки — это сочетание ботов и людей. Fin не сможет ответить на все запросы клиентов, и в таких ситуациях он может беспрепятственно передавать более сложные вопросы группам поддержки.
• Мы уменьшили галлюцинации примерно в 10 раз, создав ограничения, которые ограничивают Fin для запросов, касающихся вашего бизнеса, на основе базы знаний, которой вы доверяете.

Если вам нравится наша дискуссия, посмотрите другие выпуски нашего подкаста. Вы можете подписаться на Apple Podcasts, Spotify, YouTube или получить RSS-канал в выбранном вами проигрывателе. Далее следует слегка отредактированная стенограмма эпизода.

Бот под любым другим именем

Дес Трейнор: Добро пожаловать в захватывающий выпуск подкаста Intercom. Ко мне снова присоединился Фергал Рид, наш директор по машинному обучению, и он расскажет нам о запуске чего-то, о чем нас просили почти каждый день с момента запуска ChatGPT.

«На самом деле это будет бот, который вы можете использовать для своего бизнеса, который имеет возможность обработки естественного языка ChatGPT, но будет отвечать на вопросы конкретно о вашем бизнесе».

Фергал Рид: Да, спасибо, Дес. С тех пор, как появился ChatGPT, люди спрашивали: «Эй, а могу я использовать его, чтобы отвечать на вопросы о поддержке моего бизнеса?» И мы всегда говорили: «О, мы не знаем. Мы не уверены насчет галлюцинаций. Но сегодня я думаю, что мы действительно рады объявить, что мы действительно рады этому продукту, потому что мы думаем, что сделали это. Мы думаем, что кое-что создали — на самом деле это будет бот, который вы можете использовать для своего бизнеса, который имеет возможность обработки естественного языка ChatGPT, но будет отвечать на вопросы конкретно о вашем бизнесе, и мы создали его с помощью вашего справочного центра, чтобы он не будет отвечать на вопросы случайным образом со всего Интернета или что-то в этом роде. Вы можете контролировать то, что он говорит. Уровень точности пошел вверх. Нам удалось значительно повысить уровень точности с помощью новой модели OpenAI GPT-4, к которой у вас есть доступ в бета-версии. Так что я очень взволнован этим.

Дес: Итак, идея в том, что то, что люди испытали и влюбились в ChatGPT, фактически является этим ботом, у которого вы можете спросить что угодно, и он дает хороший ответ при ответе. Вы можете сделать это для вашего бизнеса?

Фергал: Да. Вроде, как бы, что-то вроде. Поэтому мы намеренно сделали это так, чтобы вы ничего не могли спросить. Идея состоит в том, чтобы создать что-то такое же, что и в ChatGPT, но отвечающее только на вопросы о вашем бизнесе. Вы можете спросить что-нибудь дикое, например, кто был 22-м президентом Америки? И это будет похоже на: «Эй, я здесь только для того, чтобы ответить на вопросы службы поддержки клиентов об этом конкретном бизнесе».

Дес: Круто. Таким образом, он на самом деле эффективно знает, что он должен и не должен делать?

Фергал: Да, именно так. Это идея.

Прорыв ботов

Дес: Мне кажется, семь или восемь недель назад вы сказали, что мы не собираемся этого делать, потому что это невозможно, или это будет нелегко, или что-то в этом роде?

«Каждый клиент спрашивал нас об этом»

Фергал: Итак, шесть или семь недель назад, когда мы начали рассматривать эту технологию, сначала, когда мы впервые посмотрели на нее, мы подумали: «Вау, мы можем это построить? Можем ли мы создать ChatGPT для вашего бизнеса?» Это было у всех на уме. Каждый клиент спрашивал нас об этом. Мы как бы смотрели на это и думали, черт возьми, это много галлюцинаций, это даст вам неточные результаты. Крайне неточные результаты, полностью выдуманные вещи, мы говорили: «Это очень захватывающая технология, но мы не уверены, сможем ли мы на самом деле ограничить ее и остановить галлюцинации». И мы провели много времени, играя с GPT, ChatGPT, GPT-3.5.

«Когда мы начали играть с ним, мы подумали: «Вау, это кажется намного лучше». Иногда он все еще может галлюцинировать, но галлюцинаций намного меньше, может быть, в 10 раз меньше».

Мы просто никогда не сможем заставить его узнать, когда он чего-то не знает. Но недавно мы получили доступ к новой бета-версии OpenAI их новой модели GPT-4. И одна из вещей, которые они сказали нам, была: «Эй, это предназначено для того, чтобы галлюцинировать намного меньше, чем некоторые другие модели, которые мы видели в прошлом». Итак, вы знаете, мы подумали: «Вау, звучит очень интересно». Звучит очень захватывающе, GPT-4, что он собирается делать? И мы приложили усилия, чтобы посмотреть на это и провести через некоторые из наших испытательных стендов, чтобы проверить и исследовать на наличие галлюцинаций. И когда мы начали играть с этим, мы подумали, вау, это кажется намного лучше. Он все еще может иногда галлюцинировать, но галлюцинаций намного меньше, может быть, в 10 раз меньше, что-то в этом роде. И поэтому мы были очень взволнованы. Мы подумали: «Вау, ладно, это внезапно кажется чем-то особенным». Этого достаточно для создания бота, это поколение опережает GPT-3.5, который мы используем. Это просто намного дальше, с точки зрения того, насколько это заслуживает доверия.

Дес: Волнующе. Что делает тест — есть ли пыточные тесты, через которые мы подвергаем этих ботов, чтобы точно узнать, знают ли они, что они несут чушь?

Фергал: Значит, мы не так далеко продвинулись. Для нашего предыдущего поколения моделей, например, для бота разрешения, у нас был очень, очень хорошо разработанный набор проверенных в боевых условиях тестовых тестов, которые мы создавали годами. Всем этим новым технологиям уже несколько месяцев, так что мы не настолько принципиальны. Но мы выявили кучу пограничных случаев, просто конкретные вещи. У нас есть электронная таблица, в которой мы отслеживаем определенные типы режимов отказа, которые мы наблюдаем с этими новыми моделями. И вот, когда появился GPT-4, вы подумали: ладно, давайте попробуем. Давайте посмотрим, что происходит, когда вы задаете ему вопрос, которого нет ни в статье, ни в базе знаний. Или вы задаете ему вопрос, похожий, но не совсем такой, как есть на самом деле.

И вы знаете, с GPT-3.5 и с ChatGPT, если он чего-то не знает, он почти как будто хочет доставить вам удовольствие, дать вам то, что вы хотите. А так просто что-то придумывает. И с GPT-4 они явно проделали большую работу по уменьшению этого. И это просто очевидно для нас. Поэтому, когда мы подвергаем его своего рода тестам, можно заставить его сказать: «Я не знаю» или гораздо больше выразить неуверенность. Это было настоящим переломным моментом для нас.

«В Intercom мы считаем, что будущее службы поддержки — это сочетание ботов и людей»

Дес: А если бот не знает, может ли он передать это человеку?

Фергал: Абсолютно. В Intercom мы считаем, что будущее службы поддержки — это сочетание ботов и людей. У нас есть большой опыт работы с ботом-разрешителем, чтобы сделать хорошую передачу от бота к представителю службы поддержки, мы надеемся получить этого представителя службы поддержки до разговора, и мы думаем, что нам все еще нужно сделать это с этим ботом. Всегда будут проблемы, когда, скажем, кто-то просит возмещение. Может быть, вы хотите, чтобы человек одобрил это. Так что всегда должен быть путь человеческого одобрения. У нас в Intercom есть действительно хорошая платформа для рабочих процессов, и вы сможете использовать ее, чтобы контролировать, когда и как бот передает передачу. Мы позаботимся о том, чтобы этот новый бот интегрировался с нашей существующей платформой так же, как и наш существующий бот.

Дес: И я предполагаю, что бот каким-то образом устранит неоднозначность или уточнит запрос, возможно, резюмирует его, даже когда он передает его?

Фергал: На данный момент у нас нет функции обобщения, но бот попытается устранить двусмысленность и получить ответ клиента. Наш существующий бот разрешения делает немного этого. Этот новый бот, поскольку он намного лучше обрабатывает естественный язык, может просто делать это более эффективно. Таким образом, это может означать, что время обработки вашего представителя сокращается для вопросов, которые затронул бот. Так что да, я тоже в восторге от этого.

Искусство разговора

Дес: Слушатели нашего подкаста Intercom On Product знают, что я часто люблю повторять, что наличия возможности, даже новой полезной возможности, недостаточно для создания отличного продукта. Как вы обертывали продукт – каковы были ваши цели? Каковы цели проектирования для создания реального продукта на основе этой возможности GPT-4?

Фергал: Итак, мы довольно рано поняли, что на самом деле существует набор целей дизайна, к которым мы пытаемся двигаться. Прежде всего, мы хотели зафиксировать понимание естественного языка, которое люди видели и были очень впечатлены с помощью ChatGPT. Мы хотели получить поколение выше того, что было, что было раньше. Поэтому, если вы задаете довольно сложный вопрос или задаете один вопрос, то вы задаете последующий вопрос, чтобы он понял, что второй вопрос следует интерпретировать в свете предыдущего. Наш предыдущий бот этого не делал. И большинство ботов просто не делают этого. Это было слишком тяжело. Вы знаете, разговоры — очень сложная среда для алгоритмов машинного обучения. Есть много тонкостей, взаимодействий и своего рода разговора о поддержке, но эта новая технология, похоже, отлично справляется с этим. Итак, наша первая цель — зафиксировать это.

«Здесь много тонкостей, взаимодействия и своего рода разговора о поддержке, но эта новая технология, кажется, отлично справляется с этим»

Дес: Например, вы можете задать вопрос и сказать: «У вас есть приложение для Android?». А как насчет iPhone? Нравится, чтобы спросить: «А как насчет iPhone?» не имеет смысла, если вы ранее не проанализировали его с помощью, например, «У вас есть приложение для Android?». Таким образом, речь идет о склеивании вещей, чтобы понять непрерывность разговора и контекст.

Фергал: Точно. И с этим он просто течет более естественно. Мы особенно замечаем это с новым ботом, когда вы задаете ему вопрос и получаете ответ, и это не совсем то, что вы просили, вы можете просто сказать: «О, но нет, я действительно хотел узнать цену». И он как бы понимает это и даст вам более подходящий ответ. Нам кажется, что это настоящая прорывная технология.

Дес: Может ли он оттолкнуть вас и сказать: «Скажи больше?» Может ли он задавать вам дополнительные вопросы, чтобы уточнить ваши вопросы? Так что, если вы придумаете что-то расплывчатое, например: «Эй, эта штука работает?» Будет ли он пытаться решить это? Или ответит: «Мне нужно больше».

«Чтобы на самом деле создать хороший опыт работы с продуктом, у нас почти есть много гибкости и много мощности, но теперь нам нужна возможность ограничивать и контролировать это».

Фергал: Итак, изначально алгоритмы будут делать определенное количество этого, но с такого рода технологиями мы получаем очень продвинутые возможности, а затем на самом деле то, что мы пытаемся сделать, это мы пытаемся их сильно ограничить. На самом деле мы пытаемся сказать: «Хорошо, вы можете делать все это из коробки, но нам нужно больше контроля». На самом деле, как вы упомянули ранее, чтобы создать хороший опыт работы с продуктом, у нас есть масса гибкости и масса возможностей, но теперь нам нужна возможность ограничивать их и контролировать. Таким образом, мы создали подобный опыт. Мы создали опыт устранения неоднозначности, когда, если вы задаете вопрос, а информации недостаточно, мы пытаемся прояснить это, но мы контролируем это.

Мы разработали подсказки, в которых у вас есть специальные приложения с технологией для выполнения каждой задачи в разговоре. Итак, у нас есть одна подсказка, чтобы вы задали вопрос; еще один, чтобы устранить неоднозначность вопроса; еще один, чтобы проверить, был ли вам дан полный ответ на вопрос. Итак, мы начинаем с этой очень мощной языковой модели, но на самом деле мы просто хотим использовать ее как строительный блок. Мы хотим контролировать это. Мы достигаем этого контроля, разбивая его на модули специального назначения, которые делают каждую вещь отдельно.

С отличным продуктом приходит большая ответственность

Дез: Итак, на фундаментальном уровне мы говорим, что он может общаться естественным образом. На мой взгляд, самым большим преимуществом этого продукта как продукта является то, что вам будет удобно размещать его в качестве первой линии решения перед вашими клиентами. Я хотел сказать оборона, но это не военная операция. Но вам было бы удобно разместить это там, как бы говоря: «Эй, большинство разговоров идет здесь». И тот факт, что он может перемещаться вперед и назад, поддерживать контекст, устранять неоднозначность, означает, что он хорошо подготовлен для этого. Что еще вы добавили? Это не просто сидеть и болтать — так что еще он делает?

Фергал: Первое, что я хотел бы сказать, это то, что разные компании, вероятно, будут иметь разный уровень комфорта с точки зрения того, как они внедряют это. Некоторые люди, вероятно, скажут: «Ну, у меня действительно отличный справочный центр», и этот бот, которого мы создали, черпает всю информацию из вашего справочного центра. Я вернусь к этому. Но некоторые люди могут сказать: «У меня действительно хороший справочный центр. Это очень хорошо куратор. Со временем я поместил туда много статей, и я хочу поговорить с ботом и ответить на все эти вопросы». Будут и другие клиенты, которые захотят, чтобы бот появлялся более авантюрно и уходил [сам от себя], и мы работаем над созданием настроек, позволяющих людям контролировать свой уровень комфорта при этом.

Des: Какой-то порог, когда бот должен вмешаться.

«Мы интегрируем бота со всеми нашими существующими рабочими процессами, чтобы помочь вам получить контроль над тем, когда вы хотите, чтобы он пришел, и, что более важно, когда вы хотите, чтобы он ушел, чтобы вы могли передать его существующей команде поддержки, когда он будет достигнут. все кончено"

Фергал: Точно. И на данный момент у нас есть довольно большие возможности рабочих процессов, которые вы можете использовать. И мы интегрируем бота со всеми нашими существующими рабочими процессами, чтобы помочь вам получить контроль над тем, когда вы хотите, чтобы он пришел, и, что более важно, когда вы хотите, чтобы он ушел, чтобы вы могли передать его существующей команде поддержки, когда он будет достигнут. все кончено.

Des: Итак, если агентов поддержки нет в сети или если пользователь свободен, просто отправьте их прямо боту. Если это VIP-клиент и агенты сидят без дела, отправьте их прямо агенту.

Фергал: Точно. Итак, что мы пытаемся сделать здесь, так это взять эту новую технологию, а затем интегрировать ее с нашей существующей платформой, которая имеет все те функции, которые нужны людям для создания того, что можно было бы считать отраслевым стандартом развертывания ботов.

«Следующей важной целью дизайна, которую мы поставили перед собой, было избежать галлюцинаций»

Итак, следующей важной целью дизайна, которую мы поставили перед собой, было избежать галлюцинаций. Мы говорили об уменьшении галлюцинаций и о том, что нашей целью было сделать так, чтобы бот общался естественным образом. Но мы действительно хотели дать нашим клиентам контроль над вопросами, на которые он мог ответить. Теперь эти боты, эта новая технология искусственного интеллекта, вы получаете доступ к большой языковой модели, и она обучена всему тексту в Интернете. Так что там есть все эти знания. И один из способов — самый простой — развернуть это так: «Эй, я просто заставлю бота отвечать на вопросы, используя всю его информацию об Интернете». Но проблема в том, что если он чего-то не знает, он может это придумать. Или, если он что-то знает, возможно, вы не хотите, чтобы он говорил с вашими клиентами о потенциально деликатной теме, о которой, как вы знаете, у него есть информация. Вы можете подумать: «Я не знаю, как относится мой бизнес или мой бренд к любой информации, полученной с какого-то странного веб-сайта». Я не хочу, чтобы он разговаривал с моим клиентом».

«Мы проделали большую работу, чтобы использовать модель большого языка для диалога; чтобы использовать его для понимания имеющейся у вас статьи справочного центра; но ограничить его предоставлением только информации, которая находится в реальной статье справочного центра, которую вы контролируете, которую вы можете обновлять, изменять и редактировать».

Таким образом, мы проделали большую работу, чтобы использовать модель большого языка для диалога; чтобы использовать его для понимания имеющейся у вас статьи справочного центра; но ограничить его предоставлением только информации, которая находится в реальной статье справочного центра, которую вы контролируете, которую вы можете обновлять, изменять и редактировать. Таким образом, это было главной целью для нас: попытаться сделать этого бота заслуживающим доверия, взять большие языковые модели, но создать бота, который будет использовать их только для того, чтобы отвечать на вопросы о вашем бизнесе и о справочном центре вашего бизнеса.

Это была большая работа, и мы очень гордимся этим. Мы думаем, что у нас есть что-то действительно хорошее, потому что вы получаете этот разговорный фрагмент. Вы получаете интеллект модели ИИ, чтобы получить фактический ответ из статьи справочного центра, но он ограничен. Так что он не собирается начинать случайные разговоры с конечными пользователями.

Эти боты, эти модели, всегда возможно — если вы их взломаете — как бы обмануть их, чтобы они сказали что-то небрендовое или то, что вы бы не хотели. И это, вероятно, все еще возможно, но мы действительно чувствуем, что подошли к моменту, когда это потребует решительной попытки взлома, чтобы действительно заставить это работать. Это не просто радикально выходит за рамки сценария в обычных разговорах.
Я думаю, очень важно прояснить одну вещь: эти большие языковые модели являются вероятностными. Галлюцинации значительно уменьшились, и мы думаем, что теперь это приемлемо для многих предприятий, но это не ноль. Иногда они будут давать неактуальную информацию. Они иногда дают неверную информацию, когда они читают вашу статью в справочном центре, они не полностью ее понимают, и поэтому они неправильно отвечают на вопрос. Возможно, агент поддержки тоже ошибется…

Des: Известно, что люди…

Фергал: Известно, что люди иногда тоже совершают ошибки. Итак, эти боты, вы знаете, это новая эра технологий. Это другой компромисс, чем то, что у нас было раньше. Возможно, некоторые наши клиенты скажут: «Я хочу подождать. Я пока не хочу развертывать это». Но мы думаем, что для многих, многих клиентов это преодолеет порог, когда преимущество [возможности сказать] «Мне не нужно курировать, мне не нужно выполнять настройку, которую я» В прошлом мне приходилось иметь дело с ботом разрешения, я могу просто включить его в первый же день, и вдруг все знания, которые есть в моем справочном центре, у бота есть, бот может попытаться ответить на вопросы с его помощью». Идеально не получится, но быстро. Мы думаем, что это будет выгодным компромиссом для многих предприятий.

Des: С точки зрения настройки, если вы клиент с хорошей базой знаний, сколько времени вам потребуется, чтобы перейти от этого к хорошему боту? Сколько требуется обучения? Сколько конфигурации?

Фергал: Совсем немного времени. В основном без тренировок. Вы можете просто взять новую систему, которую мы создали, и указать ее в существующем справочном центре. Это немного времени на обработку, когда мы должны как бы вытащить его, очистить и подготовить статьи к показу.

Дес: Минуты? Секунды?

Фергал: Мы все еще работаем над этим. У нас сейчас минуты, но мы думаем — может быть, к тому времени, когда это выйдет в эфир — оно будет намного меньше. Нет никаких жестких инженерных препятствий для того, чтобы сделать это очень, очень низким. И поэтому мы очень рады этому.

Краткое описание продукта

Des: Итак, в заключение, дайте нам основные пункты этого продукта. Что мы должны сказать рынку об этом?

«Он будет разговаривать с вами естественным образом, как вы видели с ChatGPT. Во-вторых, вы, как бизнес, можете контролировать то, что он говорит».

Фергал: Первое, что я хотел бы сказать, это то, что он будет разговаривать с вами естественным образом, как вы видели с ChatGPT. Во-вторых, вы, как бизнес, можете контролировать то, что он говорит. Вы можете ограничить то, о чем он будет говорить, содержанием вашей базы знаний. Третье, что я хотел бы сказать, это то, что галлюцинации ушли далеко от того места, где они были раньше. И четвертое, что я хотел бы сказать, это то, что это действительно легко настроить. Вы просто берете это, указываете на свой существующий набор знаний, и вам не нужно делать целую кучу курирования.

Дес: Поскольку мы Intercom, мы вряд ли будем болтать дерьмо и заниматься шумихой без хотя бы некоторой квалификации. Над какими областями мы еще работаем?

Фергал: Я думаю, первое, что я хотел бы сказать, это то, что точность не идеальна. Это новый тип техники. Это новый тип компромисса в разработке программного обеспечения. Итак, с ботом разрешения иногда приходил бот разрешения и давал не относящийся к делу ответ, но вы всегда могли понять, о чем он говорил, вы могли сказать: «Это не совсем уместно». Это немного другое. Иногда это будет давать нерелевантные ответы, но иногда это может давать и неправильные ответы. Возможно, он просто неправильно понял информацию в вашей базе знаний. Конкретным примером этого иногда является, скажем, если у вас есть список случаев, когда что-то может произойти, и пользователь спрашивает [бота], он может предположить, что этот список является исчерпывающим. Он может предположить, что этот список был во все времена, а затем предположить: «О нет, его не было в списке в статье». Так что я скажу, что ответ нет, этого не может быть. Этого не может случиться в другой раз.

Дес: Итак, у вас может быть статья, основанная на знаниях, в которой приводятся примеры случаев, когда мы не вернем вам платеж, со списком из двух или трех примеров. И языковая модель прочитает это и сделает вывод, что есть три условия, при которых это происходит. И ошибается, не видя, что это лишь показательные примеры, а не исчерпывающий список. Это то, что вы имели ввиду?

Фергал: Точно. Его общее знание и его общее понимание здесь еще немного ограничены. Таким образом, он может просматривать списки вещей и делать предположения, которые близки к тому, чтобы быть в порядке, но не совсем верны. Ага. Таким образом, в большинстве случаев, когда мы видим, что он делает ошибку, ошибка кажется вполне разумной, но все же неправильной. Но с этим нужно смириться. Это ограничение. Вы должны смириться с мыслью, что иногда он может давать несколько неверные ответы.

«Мы создаем этот опыт, когда вы можете взять свой существующий справочный центр и очень быстро получить доступ к демо-версии бота, предварительно купив, чтобы поиграть с ним самостоятельно и понять, насколько хорошо это работает для вашего конкретного справочного центра».

Des: Это поддается количественной оценке? Я предполагаю, что это не потому, что они будут разными в зависимости от вопроса, базы знаний, клиента, приемлемости… Итак, когда кто-то говорит: «Эй, насколько хорош бот?», как вы лучше всего на это ответите?

Фергал: Лучше всего пойти и поиграть с демо-версией в собственном справочном центре. Мы создаем этот опыт, где вы можете взять свой существующий справочный центр и очень быстро получить доступ к демо-версии бота, предварительно купив, чтобы поиграть с ним самостоятельно и понять, насколько хорошо это работает для вашего конкретного справочного центра.

Дес: А вы бы предложили, скажем, воспроизвести последние 20 ваших разговоров или ваши самые распространенные запросы в службу поддержки? Как любой человек принимает обоснованное решение? Потому что я уверен, что это сделает все: «Привет? Вы - бот?' "Да, я" вещь.

Фергал: Мы думаем, что, просто взаимодействуя с ним, вы можете очень быстро получить представление об уровне точности. Если вы задаете свои 20 самых популярных вопросов, которые люди задают вам изо дня в день… вы исследуете их, вы просите разъяснений. Вы получаете довольно хорошее представление о том, где это хорошо, а где точки разрыва. Для нас это удивительный новый продукт, и мы очень рады этому, но это все еще первое поколение. Теперь мы собираемся улучшить все части машинного обучения. Со временем мы также улучшим все эти элементы измерения.

Дес: С ботом-разрешением номер один, нашим предыдущим ботом, вы бы его тренировали — так что вы бы сказали: «Эй, это неправильный ответ. Вот что я хочу, чтобы вы сказали», и так далее. В этот раз ты этого не делаешь. Итак, если вы обнаружите, что он дает неточный ответ или считает, что он мог бы работать лучше, что лучше всего сделать? Ты напишешь статью лучше? Вы смотрите на его источник?

Фергал: Пока еще рано, и мы, вероятно, создадим функции, которые позволят вам иметь более точный контроль над этим. Но прямо сейчас ответ на этот вопрос таков: «Эй, не мог бы ты сделать свою статью из базы знаний более понятной?» На самом деле, разрабатывая этого бота, мы увидели, что в мире есть много неоднозначных статей, основанных на знаниях, где маленькие кусочки могли бы быть яснее.

Эволюция

Des: Как вы думаете, какие еще области будут развиваться в ближайшие месяцы?

Фергал: С нашей стороны предстоит много работы. На данный момент у нас есть первая версия. Чтобы улучшить его, мы хотим, чтобы он работал с клиентами, мы хотим получать реальную обратную связь, основанную на использовании. В любом продукте машинного обучения, над которым я когда-либо работал, всегда есть множество итераций и множество улучшений, которые нужно сделать с течением времени. Мы также хотим улучшить уровень интеграции с нашим существующим ботом разрешения. Наш существующий бот разрешения требует такой проверки, но если вы сделаете эту проверку, это будет превосходно. Он может делать такие вещи, как совершать действия. Вы можете подключить его к своему API, чтобы он понял, что кто-то спрашивает о перепродаже пароля, и фактически пошел и инициировал сброс этого пароля.

«Последняя часть, которая меня очень взволновала, — это идея о том, что мы можем взять эту новую технологию искусственного интеллекта и использовать ее для создания значительно большего количества вспомогательного контента, чем мы могли в прошлом. Очень быстро этот новый бот, если контент есть в вашем справочном центре, он сможет ответить, используя ваш контент».

Для нас очень важно, чтобы такой бот следующего поколения тоже мог делать все эти вещи. Итак, сначала это будет похоже на: «Эй, ответь на информационные вопросы из своей базы знаний». Первый день нулевой настройки — запустите его, это здорово. Но в конце концов — и мы видели это в каждом проведенном нами исследовании — вы хотите перейти на следующий уровень. После этого люди захотят использовать эту технологию и возможности, которые у нас уже есть, чтобы предпринимать действия для решения запросов. И мы рады, что можем увидеть, что на этой языковой платформе следующего поколения построено гораздо больше.

Затем, последняя часть, которая меня очень взволновала, — это идея о том, что мы можем взять эту новую технологию искусственного интеллекта и использовать ее для создания значительно большего количества вспомогательного контента, чем мы могли в прошлом. Очень быстро этот новый бот, если контент есть в вашем справочном центре, он сможет ответить, используя ваш контент. И мы думаем, что это здорово. Есть много людей, которые могут писать статьи в справочный центр, которые в прошлом застряли бы, пытаясь курировать ботов или намерения. Так что мы очень рады этому. Но мы думаем, что здесь можно создать новый инструментарий, который значительно упростит написание содержания статей для справочного центра. Например, взять ваши разговоры в службу поддержки и использовать ИИ следующего поколения для запуска этого процесса.

Дес: Итак, одно видение, о котором мы говорили всего два месяца назад, заключалось в том, что группа поддержки будет отвечать на вопросы, которые… Я думаю, в то время, как я сказал, отвечать на ваши вопросы в первый и последний раз. . Так что, если вопрос проходит, это потому, что мы не видели его раньше. А раз увидели, то больше не увидим. Вот как вы видите, что происходит?

«Мы думаем, что можем увидеть путь к этому, когда у нас будет опыт курирования, который будет достаточно простым, чтобы представитель службы поддержки в папке «Входящие» мог просто закончить ответить на разговор и сказать: «Да, я одобрил этот ответ, чтобы войти в бота». '”

Фергал: Думаю, я впервые вижу путь к этому. Когда мы перешли к разрешению бота 1.0, запрос на добавление функции, который мы всегда получали, был: «Эй, могу ли я получить мой представитель службы поддержки в папке «Входящие»? Могу ли я попросить их ответить на вопрос, а затем просто задать этот вопрос в боте?» И каждый раз, когда мы пытались это сделать, это не срабатывало, потому что постановка вопроса и подготовка вопроса, чтобы он был достаточно хорош для разработки намерения, были просто большой работой. В отрасли существует множество различных ботов поддержки. Я никогда не видел никого, кто сумел бы прибить это и заставить это действительно работать. Но теперь, с передовыми моделями больших языков, мы думаем, что можем увидеть путь к тому, чтобы у нас был достаточно простой опыт курирования, чтобы представитель службы поддержки в папке «Входящие» мог просто закончить ответ на разговор и сказать: «Да, я одобрил этот ответ, чтобы войти в бота.

Должно быть какое-то человеческое одобрение, потому что не может быть, чтобы Фергал спрашивал бота: «Эй, какой номер кредитной карты Деса?» Бот скажет: «Ну, я знаю ответ на этот вопрос, потому что он был в другом разговоре, в котором участвует Дес». Это было бы неприемлемо. Должен быть какой-то шаг утверждения между частными беседами и надежными знаниями поддержки. Но мы думаем, что видим путь к гораздо лучшему процессу утверждения, чем когда-либо прежде. И потенциально мир, в котором, возможно, не на каждый вопрос, но на множество вопросов можно ответить только один раз. Мы думаем, что там будет что-то классное.

Дес: Потрясающе. Ну, это захватывающий релиз – он доступен для всех?

Фергал: На данный момент это только начало частной бета-версии с новым выпуском GPT-4 от OpenAI.

Дес: Волнующе. Ну, я проверю через несколько недель и посмотрю, как дела.

Фергал: Ага. Захватывающие времена.