Новый рассвет машинного обучения

Мы были здесь раньше. Между шумихой в СМИ, преувеличенными заявлениями и работой на местах иногда бывает трудно отличить фантазию от реальности при работе с машинным обучением. По мере того, как нейронные сети развиваются и выделяются из общей массы, сможет ли технология оправдать шумиху?

За последние пять лет мы стали свидетелями того, как технология нейронных сетей действительно набирает обороты. GPT-3 может создавать человекоподобный текст по запросу, а DALL-E, модель машинного обучения, которая генерирует изображения из текстовых подсказок, стала невероятно популярной в социальных сетях, отвечая на самые насущные вопросы мира, такие как: «Что бы Дарт Вейдер похоже на подледную рыбалку? или «как бы выглядел Уолтер Уайт, если бы он был в Animal Crossing?»

Мы хотели знать, что случилось с этим всплеском, поэтому мы спросили нашего директора по машинному обучению Фергала Рейда, можем ли мы выбрать его мозг для сегодняшнего эпизода. Несмотря на то, что работа все еще в значительной степени балансирует между тем, что возможно, и тем, что осуществимо, кажется, что все только начинает масштабироваться. Технический ландшафт меняется, бизнес-приложения (потенциально) меняют правила игры, и, спойлер, Фергал очень верит в эту шумиху.

В сегодняшнем выпуске Intercom on Product Пол Адамс, наш директор по продукту, и я встретились с Фергалом Ридом, чтобы поговорить о недавней шумихе вокруг нейронных сетей, о том, как машинное обучение влияет на бизнес и чего мы можем ожидать от технологий в следующие несколько лет.

Вот некоторые из наших любимых выводов из разговора:

• Нейронные сети добились значительного прогресса за последние пять лет, и теперь они являются лучшим способом работы с неструктурированными данными, такими как текст, изображения или звук в масштабе.
• В CX нейронные сети, вероятно, будут использоваться с более традиционными методами машинного обучения для выбора действий, обеспечивающих наилучшее взаимодействие с клиентом.
• Создание продуктов машинного обучения требует баланса — бессмысленно начинать с проблемы, если решение недостижимо, но и не стоит начинать с технологии, если она не может удовлетворить реальные потребности клиентов.
• В прошлом ИИ был сильно разрекламирован. Хотя вполне вероятно, что более реалистичные претензии закрывают меньше счетов, это окупается за счет удержания клиентов.
• Команды машинного обучения, как правило, вкладывают значительную часть ресурсов в исследования, которые никогда не будут реализованы. Сопоставьте его как можно больше с проектами, которые действительно влияют на опыт клиента.
• Если вы хотите инвестировать в машинное обучение, наймите кого-нибудь с опытом как в технической, так и в операционной сфере, чтобы он мог начать работать с командой продукта с первого дня.

Если вам нравится наша дискуссия, посмотрите другие выпуски нашего подкаста. Вы можете подписаться на iTunes, Spotify, YouTube или получить RSS-канал в выбранном вами проигрывателе. Далее следует слегка отредактированная стенограмма эпизода.

Ажиотаж наносит ответный удар

Дес Трейнор: Добро пожаловать в Intercom On Product, эпизод 18. Сегодня у нас есть интересная тема для обсуждения. Все дело в искусственном интеллекте и машинном обучении. Ко мне, как всегда, присоединился директор по продуктам Intercom г-н Пол Адамс. Павел, как дела?

Пол Адамс: Я в порядке, Дез. Спасибо.

Дес Трейнор: И сегодня у нас специальный гость, мистер Фергал Рейд, наш директор по машинному обучению. Фергал, как дела?

Фергал Рид: Это хорошо, Дес. Я действительно рад быть на подкасте сегодня. С нетерпением жду начала.

Дес Трейнор: Отлично. Я думаю, вы наш первый или второй гость, так что вы должны быть очень, очень благодарны.

Фергал Рид: Я действительно чувствую себя очень привилегированным.

«Мы наблюдаем устойчивый прогресс чего-то нового и захватывающего — технологии, управляемой нейронными сетями, — которая действительно начинает вступать в свои права и быть полезной».

Дес Трейнор: Ну, в некотором смысле, давайте начнем с конца. Такое ощущение, что хайп-машина ИИ снова набирает обороты. С моей точки зрения, это происходит каждые несколько лет, но то, что я действительно вижу, это то, что люди создают много искусства. Поколение DALL-E стартовало, и некоторые из созданных изображений захватывают дух. На днях я увидел, что существует рынок подсказок DALL-E, где вы можете буквально купить подсказки, которые создают изображения для вас, что является мета, насколько это возможно. В более практическом смысле второй пилот GitHub теперь может дополнять ваш код по мере того, как вы пишете, что довольно невероятно; Я играл с GPT-3 от OpenAI, задавал вопросы и позволял ему создавать для меня небольшие абзацы и истории, и это было довольно впечатляюще. Если мы немного увеличим масштаб, что на самом деле происходит? Что-то произошло за последнее время? Связано ли это с какой-то конкретной цепочкой событий? Как дела?

Фергал Рейд: Это сложная вещь для распаковки – много всего происходит. Компании вкладывают так много средств в эту область искусственного интеллекта и машинного обучения, что сложно понять, что именно происходит. Если вы посмотрите на arxiv, куда люди помещают свои документы по машинному обучению, то увидите, что каждый день появляется множество новых материалов. Таким образом, трудно пройти через это повествование. На мой взгляд, за последние пять лет мы наблюдаем устойчивый прогресс чего-то нового и захватывающего — технологии, управляемой нейронными сетями, — которая действительно начинает вступать в свои права и приносить пользу. Вы упомянули GPT-3, OpenAI, и это то, что мы называем большой языковой моделью, которая представляет собой большую нейронную сеть, пытающуюся предсказать следующее слово и последовательность слов, которые она увидит. И они просто масштабируют это. Они просто добавляли к нему все больше и больше вычислений, и он начал делать удивительные вещи.

Дес Трейнор: Итак, может быть, просто пара определений из словаря. Итак, добавление дополнительных вычислений означает увеличение мощности процессора?

Фергал Рид: Да, именно так. Если вернуться в далекое прошлое, центральные процессоры наших компьютеров, мозг наших компьютеров, были очень, очень быстрыми в решении задач общего назначения. И, возможно, в середине-конце девяностых, в основном благодаря видеоиграм и прочему, у нас был массовый рынок принятия этих графических процессоров или графических процессоров.

Дес Трейнор: Видеокарты и прочее дерьмо?

Fergal Reid: В видеокартах, вашей карте 3dfx и во всем остальном. И они действительно хорошо делали графику для компьютерных игр. Затем, в начале 2000-х, люди говорили: «О, операции, которые мы делаем для видеоигр, действительно хороши для матриц и умножения». И оказывается, что такие вещи также очень полезны для операций, которые вам нужно выполнять при обучении нейронной сети. И вот спустя долгое время стоимость видеостока взлетела до небес, потому что есть ИИ и революция крипто-майнинга.

Рост нейронных сетей

Дес Трейнор: Вы упомянули новое направление в работе над нейронными сетями. Мне кажется, что я слышал о них, когда учился в колледже. Просто в них было вложено больше работы? Появились ли они в качестве основного способа машинного обучения? Есть ли альтернатива, от которой мы отошли?

Фергал Рейд: Да, я бы сказал, что есть альтернатива, от которой мы отказались. Теперь я не хочу перепродавать нейронные сети. Нейронные сети — это новая мода, и почти все прорывы, которые вы видели за последние пять лет, связаны с нейронными сетями. Однако это подраздел машинного обучения. В команде по машинному обучению здесь, в Intercom, нейронные сети составляют примерно 30% того, что мы делаем, используя те же самые логистические инструменты для прогнозирования того, что кто-то собирается делать дальше.

Когда есть неструктурированные данные, такие как масса текста, изображений или звуков, нейронные сети теперь определенно лучший способ справиться с этими данными. Для прорывов, которые вы видите — визуальные элементы, звуковые элементы, синтез текста — вам нужна массивная модель, которая действительно может зафиксировать множество зависимостей в этих данных, и нейронные сети — основной способ сделать это. Люди много вложили в их масштабирование, и вы можете запустить их намного больше. Некоторые из моделей, о которых вы читаете, могут стоить 10 миллионов долларов только для обучения этой модели.

«Раньше мы рассматривали любые неструктурированные текстовые или графические данные с точки зрения машинного обучения и говорили: «Не знаю, что здесь делать»».

Происходит несколько вещей. Мы становимся лучше в обучении их в масштабе. Мы становимся лучше в выражении проблемы таким образом, чтобы мы могли добиться прогресса и понять смысл. Что касается видео, мы продолжаем улучшать производительность. Таким образом, было много технологических революций. Это слияние множества различных тенденций.

Дес Трейнор: Чтобы перейти к аспекту продукта, что возможно сейчас, чего не было раньше? DALL-E может принять подсказку и создать изображение; GPT-3 может создавать довольно реалистично выглядящий сгенерированный текст. Если вы хотите проанализировать загрузку текста и выяснить, о чем он говорит, сократить его или упростить, проверить на тональность или что-то еще, есть ли какой-то список возможностей, которые у нас есть? Причина, по которой я спрашиваю, заключается в том, что я пытаюсь связать это с тем, как об этом должны думать продакт-менеджеры.

Фергал Рид: Да, есть несколько разных способов думать об этом. Раньше мы смотрели на любой неструктурированный текст или изображение с точки зрения машинного обучения и говорили: «Не знаю, что здесь делать. Размер этого и количество возможных абзацев текста, которые могут быть в моем документе, безумно велики. Я не знаю, как справиться с этим с помощью традиционного машинного обучения». И вы можете делать такие вещи, как извлечение функций, скажем: «Я собираюсь разбить это на набор слов и извлечь материал». Но что изменилось сейчас, так это то, что ваши методы работы с этими данными будут работать намного лучше, чем в прошлом. И вам не нужно столько ручной разработки функций. Вы можете использовать нейронную сеть.

Мы начинаем видеть промежуточные шаги, появляются средние слои. Есть такая штука, которую мы называем встраиванием: вы можете взять одну из этих больших нейронных сетей, обученных на тонне текстовых данных, а затем их выпустит Google или один из крупных игроков, которые тратят на это 10 миллионов долларов. обучение, и вы можете пойти и использовать его, чтобы взять любой текст, который вы ему даете, и преобразовать его в вектор чисел. Затем вы можете делать что-то с этим вектором чисел. Итак, была прорывная технология, но она дала строительные блоки, с которыми стартапы действительно могут работать для создания продуктов.

«Если вы работаете в какой-либо стартап-экосистеме и имеете дело с большим количеством неструктурированных данных, особенно с большими объемами, где вы, возможно, пытаетесь принимать решения с их помощью, вам определенно следует обратить на это внимание».

Дес Трейнор: Итак, первые X процентов делают для вас более крупные компании?

Фергал Рид: Точно. Или открытый консорциум. Есть люди, формирующие консорциум, который собирает много денег, чтобы обучить что-то большое, что затем будет выпущено.

Дес Трейнор: Итак, если ваш продукт включает в себя большое количество текста, написанного человеком, будь то создание ответов, его написание, анализ или понимание, вы должны предположить, что за последние пару лет почва ушла из-под ваших ног?

Фергал Рид: Да, я думаю, это справедливое предположение. Если вы работаете в какой-либо стартап-экосистеме и имеете дело с большим количеством неструктурированных данных, особенно с большими объемами, где вы, возможно, пытаетесь принимать с ними решения, вам определенно следует обратить на это внимание. Ландшафт возможностей изменился. 10 лет назад вам не о чем было беспокоиться, но теперь, возможно, вы можете создать что-то классное, чего не могли раньше. Мы начинаем видеть изменения в таких простых вещах, как поиск. Шесть-семь лет назад вы бы установили Elasticsearch или что-то в этом роде и использовали эти проверенные алгоритмы для обработки поиска. Теперь вы можете использовать нейронный поиск. И мы начинаем видеть новые технологии и продукты в этой области.

В поисках следующего лучшего действия

Пол Адамс: Я бы хотел спросить вас о продуктах, которые обещают следующее лучшее действие. Я думаю, что это важно для продуктовых команд по двум причинам. Один из них — это просто продукты в этой области — если у вас есть продукт для общения с клиентами или продукт для отделов продаж, есть много обещаний, когда вы говорите продавцу, что будет следующим лучшим действием. И продуктовые команды часто пытаются заставить своих клиентов и пользователей делать больше и больше вовлекаться, поэтому для них это инструмент для стимулирования роста. Насколько это хайп? Сколько реально?

Фергал Рейд: Всегда есть проблема с этими продуктами машинного обучения, и я говорю это как человек, который создает продукты машинного обучения, чтобы зарабатывать на жизнь, и очень трудно сказать, насколько это шумиха, а насколько реально со стороны. Я не могу говорить о конкретных продуктах, пока не проанализирую и не сравним их. Я бы сказал, что следующим лучшим экшеном вряд ли будут нейронные сети. Или, если они там, они будут там как компонент этого. Чтобы поместить это в контекст Intercom, я возьму текст разговора, который происходит между представителем службы поддержки и конечным пользователем, и использую вложения, чтобы попытаться понять это. Но затем я, вероятно, соединю это с кучей других сигналов о том, что происходит, может быть, о ценности аккаунта или о том, на каком этапе пути клиента находится клиент, и воспользуюсь более традиционным классификатором машинного обучения или регрессором, чтобы попытаться и предсказать: «Хорошо, что я могу сделать в следующий раз?»

«По мере того, как точность увеличивается, увеличивается, увеличивается, она пересекает критический порог, когда это похоже на: «Это не всегда правильно, но это полезно, и мне не нужно думать». Это помогает '”

И эта штука неплохо работает. У нас есть функции в наших продуктах, которые используют более традиционные методы машинного обучения, которые пытаются предсказать, скажем, что кто-то собирается спросить, когда он заходит на веб-сайт и открывает мессенджер. Мы делаем это на основе всех данных и сигналов, которые у нас есть об этом пользователе, и это работает очень хорошо. Если вы можете сделать хорошие прогнозы с помощью этого, это будет короткий шаг оттуда к чему-то более общему, что является следующим лучшим действием.

Бьюсь об заклад, этот материал работает очень хорошо. У меня были бы разумные ожидания точности. Все эти вещи хорошо работают, когда они улучшают и помогают кому-то. Если точность слишком низкая, это похоже на: «О, это раздражает. Это дерьмово. Не стоит на это обращать внимание». Но затем, по мере того, как точность увеличивается, увеличивается, увеличивается, она пересекает критический порог, когда это похоже на: «Это не всегда правильно, но это полезно, и мне не нужно думать. Я могу просто посмотреть на это и понять, что это помогает». Это то, что мы ищем в этих продуктах, и я уверен, что в отрасли есть люди, у которых есть подобные вещи.

Дес Трейнор: Да. Я чувствую, что автозаполнение Gmail пересекло ту обрыв восприятия, где я бы не стал отключать эту функцию. Вы печатаете ответ, он угадывает следующие две вещи, которые вы собираетесь сказать, и вы можете нажать Tab, и, возможно, вы измените предложение, слово или что-то в этом роде, но это более ценно с точки зрения направления, чем отсутствие.

«Я вижу будущее, в котором мы сможем узнать, какие предложения стимулируют поведение товарищей по команде, что дает лучший CSAT или большую пожизненную ценность клиента беспроигрышным способом».

Пол Адамс: Забавно, однако. Я думаю, это меняет поведение. Я смотрю на предложение и говорю: «Я бы так не сказал, но это достаточно близко». Таб, таб, таб. Введите, отправьте.

Фергал Рид: Интересно, проводят ли они когда-нибудь эксперименты, в которых измеряют внушения и настроение внушений, которые они производят, и то, как они изменили реальный мир. Facebook печально известен тем, что когда-то проводил подобные эксперименты. Если вы посмотрите на что-то вроде Intercom, я вижу будущее, в котором мы начинаем давать рекомендации по умным ответам в папке «Входящие». Я вижу будущее, в котором мы сможем узнать, какие предложения стимулируют поведение товарищей по команде, что дает лучший CSAT или большую пожизненную ценность клиента беспроигрышным способом. Эти подсказки с низким коэффициентом трения. Я думаю об этом всякий раз, когда пишу жене «Я люблю тебя». Иногда я получаю предложение «Я люблю тебя», и я такой: «Я печатаю это сам».

Дес Трейнор: Да. В этом есть что-то более колониальное — мы формируем наши инструменты, а наши инструменты формируют нас. Вы можете себе представить, что представитель CS, только что присоединившийся к команде, использующей Intercom, на самом деле в конечном итоге будет говорить и печатать так же, как и его коллеги, основываясь на том факте, что Intercom говорит им, что это поведение, которое, по-видимому, работает лучше всего. Это почти как школа поддержки клиентов.

Фергал Рид: Мы поговорили с некоторыми клиентами, которым понравилась идея тренировочной рампы с низким коэффициентом трения для новых торговых представителей, которая кажется лучшей практикой. Это то, что система подталкивает вас делать в хорошем смысле.

Проблема против технологии

Дес Трейнор: Если мы вернемся на уровень выше, я чувствую, что большая часть повествования, даже когда, скажем, DALL-E вышла, самыми популярными темами на ней были такие вещи, как: «Может ли кто-нибудь назвать хороший вариант использования для это?" Или: «Вот моя лучшая идея». Очевидно, все думают: «О, вы могли бы создать компанию по производству футболок» или что-то в этом роде. Мой лучший удар по тому, для чего это может быть полезно, — это возможность аннотировать детский сборник рассказов. Представьте себе инструмент, в котором есть детская история, а изображения дополняют ее. Вы также могли увидеть, как это может быть плагин для Squarespace или Mailchimp для замены стоковой фотографии. Keynote или Google Slides были бы похожи.

Я действительно чувствую, что мы подходим к этому в обратном направлении. Мы говорим: «Учитывая, что теперь мы можем брать текст и создавать изображения, давайте построим из него компанию», а это не то, откуда берутся лучшие компании. Обычно они склонны хотеть решить проблему в мире. Как фанату или продакт-менеджеру лучше всего думать об этом пространстве? Вообще говоря, они, вероятно, зациклены на проблеме, а не на конкретном элементе новой нейронной технологии.

Фергал Рид: Это очень сложный вопрос. В большинстве случаев стандартный совет заключается в том, что если вы создаете новый технологический стартап, вы никогда не должны быть решением, ищущим проблему. Вы хотите найти реальную конкретную проблему, а затем подойти к решению. Я думаю, что это в целом хороший совет. У нас в Intercom есть принцип начинать с проблемы. Но я думаю, что есть исключения из этого. С действительно прорывной технологией, когда вы говорите: «Что-то меняет мир, меняет ландшафт, здесь есть новые возможности, и я не знаю, для чего это хорошо, но я знаю, что это будет революционно полезно для чего-то, «Я думаю, что нормально начинать с решения, а затем искать проблемы.

«Нет смысла начинать с проблемы, если вы пытаетесь создать технологическое решение, которое просто еще не готово»

Я верю шумихе вокруг машинного обучения и искусственного интеллекта на данный момент. Я бы сказал, что на этот раз это реально, и поэтому справедливо будет сказать: «Смотрите, у нас здесь есть революционные возможности. Где все большие возможности, где это можно применить?» Тогда, очевидно, есть взаимодействие. Когда вы думаете, что нашли возможность, вы, вероятно, захотите пойти и начать с проблемы.

Команда машинного обучения здесь, в Intercom, немного необычна по сравнению с другими командами. Мы приспосабливаемся к принципам продукта немного больше, чем другие команды, потому что мы должны находиться в этом сером пространстве между началом проблемы и технологией. Нет смысла начинать с проблемы, если вы пытаетесь создать технологическое решение, которое еще не готово. Итак, мы должны немного начать с технологии, сделать прототип, получить некоторое представление о том, что возможно, а затем пойти и по-настоящему попотеть над проблемой и спросить: «Полезно это или нет?»

Дес Трейнор: В каком-то смысле вы должны смотреть как на спрос, так и на сторону предложения инноваций. Из всех проблем, которые мы можем решить, и возможностей, которые у нас есть, где найти хорошую фирму в области взаимосвязи? Если мы возьмем наш продукт Resolution Bot, как бы вы сформулировали это как сочетание проблемы и решения?

«В первой версии Resolution Bot мы не использовали нейронные сети или что-то еще, но у нас была уверенность, что здесь можно создать что-то хорошее»

Фергал Рейд: Когда мы только начинали, мы осознавали, что в технологии и продуктовом ландшафте произошли изменения, когда боты были очень плохими, и они начали давать убедительный опыт в очень ограниченных обстоятельствах, когда: «Хорошо, здесь что-то есть». ». А потом это было похоже на: «Хорошо, можем ли мы взять наш конкретный домен, можем ли мы взять чат и разговоры и посмотреть, есть ли этот брак, это соответствие между проблемой и технологией, которая обеспечит отличное обслуживание клиентов?»

В первой версии Resolution Bot мы не использовали нейронные сети или что-то еще, но у нас была уверенность, что здесь можно создать что-то хорошее. Мы сделали минимальные вложения в технологию, убедились, что дерьмовый сборно-разборный прототип действительно поможет клиентам и что люди действительно захотят его, исключили это из рисков, а затем повторяли, повторяли и повторяли. Сейчас мы используем третью или четвертую версию нашей технологии, и в ней используются очень современные модные нейронные сети, и она обеспечивает лучшую в своем классе производительность и точность. Но первая версия Elasticsearch была готовой, просто чтобы подтвердить, что это действительно поможет людям.

Вы хотите вести этот поиск. Вы хотите сказать: «Я знаю, что в этом общем направлении продуктового пространства есть что-то хорошее». Я не собираюсь получать подтвержденный спрос на продукт, который невозможно доставить. Вы не хотите быть там. Вы также не хотите говорить: «У меня есть удивительный алгоритм, который определенно сдвинет иглу в сторону того, что никого не волнует». Вы должны повторить обе части этого уравнения и найти зону приземления посередине.

Слишком хорошо, чтобы быть правдой?

Пол Адамс: На самом деле у стула есть третья ножка. Есть проблема, есть решение, а затем есть история или то, что вы можете сказать об этом. Когда дело доходит до ИИ и машинного обучения, мне приходится сталкиваться с тем, что вам приятно говорить вовне и что другие люди говорят вовне. В худшем случае это трагедия коммуникаций, когда все компании выступают с огромными заявлениями, а люди, которые действительно понимают, о чем говорят, говорят: «Это смехотворные заявления». «Но есть эта конкурентная дилемма. Если наш конкурент говорит 80%, и мы не думаем, что они могут это получить, но у нас 50, что вы думаете об этом? Что вы думаете об утверждениях, которые вы можете сделать, и о балансе между проблемой, решением и историей?

«Я сталкиваюсь с продуктами на рынке и оцениваю их требования, и я думаю: «Это действительно так? Как вы это оцениваете?»

Фергал Рид: Я имею в виду, это очень сложно. Думаю, я бы отделил внутреннюю разработку продукта от успеха на рынке. При внутренней разработке продукта, а это верно для Intercom, если я прихожу и говорю: «Эй, ребята, я почти уверен, что мы можем дать достаточно хорошее впечатление от продукта», я, по крайней мере, несу ответственность, если выяснится, что это не так. совсем не так. Итак, внутри вы должны работать с людьми и хорошо объяснять вещи, но, по крайней мере, стимулы совпадают.

Внешне, когда люди конкурируют на рынке с продуктами машинного обучения, это действительно тяжело. Я сталкиваюсь с продуктами на рынке и оцениваю их требования, и я думаю: «Это действительно так? Как вы это оцениваете?» Даже если я вижу новую исследовательскую работу, обещающую что-то удивительное, и в ней есть примеры «мы сказали это ИИ, и вот что он сказал в ответ», мой первый вопрос всегда такой: пример? Он делает это 9 раз из 10 или один раз из 10?» Потому что это очень отличается в зависимости от каждого. Всегда есть неявное «ну, а в чем, собственно, производительность?» Вы не можете точно сказать, пока не столкнетесь лицом к лицу, когда сядете и поиграете с этим. Наши клиенты проводят больше прямых проверок концепции и оценок, и мне это нравится. Это прекрасно. Это то, что мы хотим видеть.

«Вы определенно можете обещать больше, чем выполнять меньше, а затем наблюдать за оттоком аккаунта»

Что касается пространства в целом, я думаю, вы видите, что люди все больше и больше делают демо общедоступными. Люди идут на DALL-E 2 и раньше получают доступ к независимым исследователям. Или они пишут в газетах, что «это то, что выдает за один запуск на стандартной подсказке». Это помогает людям понять это.

Дес Трейнор: Возникает вопрос о том, какой доход вы хотите получить, потому что вы определенно можете обещать больше, чем выполнять, а затем наблюдать за оттоком аккаунта. Или вы можете сказать: «Вот что, как мы думаем, мы можем сделать для вас», рискуя потерять сделку, но знайте, что если они совершат конвертацию, они получат то, на что они конвертировались. Я думаю, что это опасный мир — идти по высокой дороге, а не по низкой; брать клиентов, которые получат именно то, что, как они думали, получат, вместо того, чтобы получить много разгневанных клиентов в 11-м месяце, потому что они не получили ничего близкого к тому, на что надеялись. Это вызов.

Фергал Рейд: Это вызов, и в этом вызове так много аспектов. Мы также должны управлять ожиданиями. Машинное обучение становится все лучше, но все еще не идеально. Иногда у нас есть клиенты, которые покупают нашего Resolution Bot, и он хорош, лучший в своем классе, но все равно допускает ошибки. Каждый программный продукт все еще делает ошибки. Таким образом, вы должны управлять ожиданиями всех сторон, чтобы иметь эти позитивные отношения.

Дес Трейнор: Что вы думаете о ресурсах для машинного обучения? В Intercom у нас есть команда, которую вы возглавляете отдельно от всех команд, а затем партнеры для предоставления функций машинного обучения. Как вы думаете, так и останется? Как вы думаете, должны ли команды иметь встроенных инженеров по машинному обучению? У каждой команды в Intercom есть свой собственный дизайнер — у нас нет команды дизайнеров, которая бродит вокруг в поисках кусочков дизайна, которые можно было бы добавить. Есть ли смысл в том, как оно есть? Для наших слушателей, как бы они опустили палец? Начнут ли они со специальной капсулы ML или у них будет человек? Как стартапы должны начать внедрять машинное обучение?

Фергал Рейд: У меня твердое мнение, что централизованная команда машинного обучения лучше подходит для организаций нашего размера или меньше на данном этапе развития технологий. Здесь мы имеем дело с незрелой технологией. Технология сложна в использовании и легко ошибиться. Есть набор навыков, которые пересекаются с навыками разработки программного обеспечения, науки о данных или аналитики, но они не совпадают с ними. Я думаю, что имеет смысл иметь централизованную команду, которая может работать и оттачивать этот набор навыков и изучать подводные камни, потому что продукты машинного обучения имеют уникальные подводные камни. Они вероятностные. Как мы уже упоминали, иногда они ошибаются. И поэтому, когда вы проектируете или создаете продукт машинного обучения, вам приходится сильно попотеть. Достаточно ли высок уровень точности, чтобы обеспечить хорошее качество обслуживания клиентов? Это трудно.

«Я думаю, что централизованная модель, которая затем помогает на основе проекта за проектом, является правильной моделью на данный момент»

Когда вы разговариваете с дизайнером, мы часто видим одну вещь: ему в начале трудно уложить в голове идею о том, что вы не можете просто думать о золотом пути, где все идет правильно. Вы должны рассмотреть все пути, на которых что-то пойдет не так и могут накапливаться ошибки. Это сложно.

Мы находимся на этом странном пересечении разработки программного обеспечения, и мы должны иметь возможность развертывать эти продукты с наукой о данных или исследованиями. Нам нужно запустить команду продукта. Мы должны быть бережливыми и эффективными, но мы также должны работать как исследовательская группа, где мы создаем пространство для инноваций. Потратил две недели, работая над чем-то, и ничего не вышло? Это нормально. Мы должны быть готовы инвестировать в это. Итак, я думаю, что централизованная модель, которая затем помогает на основе проекта за проектом, является правильной моделью на данный момент.

Держите это реальным

Дес Трейнор: Как вы относитесь к тому факту, что кто-то вроде Фергала говорит: «Эй, Пол, мы собираемся попробовать продукт, который мог бы изменить характер нашего продукта поддержки клиентов, но он может не работать, и вы можете ничего не увидеть на первой стороне всего этого. В то же время кто-то вроде меня говорит: «Эй, нам нужно составить планы, и мы должны сообщить компании, что мы создаем, и сообщить отделу продаж, что продавать». Как вы решаете эту сложность?

Пол Адамс: Как человек, который годами работал над продуктами, которые никогда не поставлялись, у меня остается глубокий-глубокий шрам от любого намека на вещь, которая не будет отправлена ​​как можно скорее, как можно меньше.

Дес Трейнор: Это ваш бывший работодатель, если быть точным, верно?

Пол Адамс: Да. На моем прежнем месте работы, да. Но с первого дня работы в Intercom мы с Десом всегда были одержимы доставкой и запуском с малого. Мы зациклены на том, чтобы определить масштаб и получить что-то как можно быстрее, наименьшее самое быстрое решение проблемы, которую мы определили. Так что у меня есть желание, которое всегда так.

«Я пришел из академии, и любой, кто имел время в академии, вероятно, видел так много проектов, которые обещали луну на палке, а затем ничего не делали»

Теперь, очевидно, это другое. Тем не менее, я хотел бы, чтобы Фергал ответил на один вопрос — небольшое примечание, но я думаю, что это важно — когда вы ранее отвечали на вопрос Деса о том, как вы предоставляете ресурсы команде машинного обучения, вы говорили об инженерах машинного обучения. . Почти всю историю нашей команды машинного обучения здесь работали инженеры машинного обучения. Но недавно мы наняли дизайнера машинного обучения. Не могли бы вы вкратце рассказать и об этом? Потому что я думаю, что это важная часть ответа здесь. Что делает дизайнер машинного обучения и в чем разница?

Фергал Рид: Итак, это сложный вопрос. Это начало ее третьей недели, поэтому я не хочу говорить в подкасте о том, что она собирается делать, прежде чем поговорить с ней…

Дес Трейнор: На более высоком уровне. Что вы думаете о дизайне машинного обучения по сравнению с обычным дизайном?

Фергал Рид: Позвольте мне снова изменить порядок, и я вернусь к этому. Я ненавижу работать над вещами, которые не поставляются. У меня есть докторская степень, я пришел из академии, и любой, кто имел время в академии, вероятно, видел так много проектов, которые обещали луну на палке, а затем ничего не делали. И часть его необходимо отходов, не так ли? Вы должны попробовать много вещей, потому что это очень рискованно. Но часть этого никогда не собиралась работать. И поэтому разделение этих двух вещей абсолютно ключевое здесь. Я хочу, чтобы команда машинного обучения была максимально исследовательской и рискованной, но не более исследовательской и рискованной, чем необходимо.

Мы пытаемся найти здесь два мира. Мы стараемся придерживаться этих чрезвычайно твердых принципов Intercom: если вы собираетесь потерпеть неудачу, потерпите неудачу быстро; начать с проблемы; начинайте с малого, двигайтесь маленькими шагами. Мы очень стараемся следовать этим принципам. Но мы проводим исследования и рискованные вещи, когда нам нужно, если мы достаточно уверены, что кому-то это нужно. Мы хотим быть очень, очень четкими в отношении риска, который мы пытаемся устранить на каждом этапе разработки. Так что да, мы так работаем. Я бы сказал, что мы больше занимаемся исследованиями, чем средняя команда Intercom, но, вероятно, более вдумчивы в отношении движения небольшими шагами и точного риска, который мы пытаемся снизить, чем подавляющее большинство команд машинного обучения в мире. Конечно, гораздо больше, чем могла бы быть команда исследовательской лаборатории.

With that in mind, we've recently hired a designer for the first time in the five years we've had a machine learning team. That's partly because the team is getting a bit bigger and can kind of support that, and since our team has grown, our work is touching more and more parts of the Intercom product, and we can do better than handling the product design ourselves and having a ML engineer figure out the product design envelope. We'll be able to increase the scope of things we can interact with less with disruption to the teams in whose area we're operating.

“Even when you're doing something as simple as testing a ML system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity”

Des Traynor: Is it a different type of design?

Fergal Reid: There is definitely a certain type of design specific to ML and ML products. And we can see this when we're interviewing or interacting with designers in this space. There's sort of a product design or a systems design, and a lot of the time, its aspects are closer to API design than UI design. And obviously, there's a big spectrum here. We have a great design team at Intercom. We have people used to working in all different parts of that spectrum. But there's definitely a difference.

And also, you're looking for quantitative skills to make progress in this space. It's very immature technology. There will come a time, I'm sure, in five, 10 years, I don't know, when Amazon and Google and everyone will have figured out the best API. And it's going to have really nice docs and explain to you all the premises of that space, but we're not there yet. We're a very, very long way away from there. There are just so many trade-offs. Even when you're doing something as simple as testing a machine learning system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity. Some designers are great at that, but for other designers, that wouldn't be how they'd like to work. And so, you're looking for something that treads all those needles at once.

The future of conversations

Des Traynor: We're coming towards the end here. I would like to try a little quick-fire round that I haven't prepared you for at all.

Fergal Reid: Sounds good.

Des Traynor: Here's my proposal. I name a product or a product space, and you tell me something that you think is possible that people don't think about.

Fergal Reid: Oh my God. Хорошо. This is going to be futuristic and speculative and wrong, but let's do it.

Des Traynor: Let's start. Issue tracking.

Fergal Reid: A lot like customer support. You can probably do a lot more with clustering issues and detecting when a bunch of issues have one root cause. You can probably do much better in terms of the next best action about suggestions and resolutions for common issues you've seen before.

“We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent”

Des Traynor: Cool. This is going well. Project management apps. Say Basecamp or Asana or something like that.

Fergal Reid: Project management apps. Probably an insights layer, and you can build on top of that stuff. People always say that. It's always easy to say and extremely difficult to make an insights product work, but it's probably an insights layer. There's probably a lot you can do with unstructured assets that are part of the project you're tracking, and you can start to make sense of those that you couldn't in the past. Definitely field research, but there's probably something there.

Des Traynor: Cool. Paul, do you have any?

Paul Adams: Well, one hot space we mentioned earlier is communication products. I'm thinking about Gmail, for example. Gmail was the same for the best part of a decade. And now, suddenly, it feels like there's an explosion in all sorts of cool things happening in Gmail.

Fergal Reid: This is going to sound very self-serving, but I think that the sort of domain we're in at Intercom is going to drive a lot of extremely exciting innovation that is going to percolate out to broader, more horizontal products like Gmail. To give an example of why I think this: if you look at our customers as they use Intercom, they're having so many of the same conversations again and again. There's so much structure in that domain. It's this mix of unstructured texts that they're writing, but then there's so much structure to the conversation, whereas Gmail is broad and horizontal. If you look at my inbox, any email could be completely different than the last. So, I feel that companies like us working in areas like customer support are going to be in a great position to innovate because there's just so much structure to take advantage of there. You're going to have suggestions, recommendations, and automation. And I think that will percolate out. That will go out to these broader, more horizontal products after it has proven its business value. We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent. It's starting to scratch that direction, and we're going to see more and more of that.

Paul Adams: It's easy for me to imagine a world where a WhatsApp exchange between any one of us is literally just tap, reply. Tap, reply. Tap, reply.

Des Traynor: We're trying to go for dinner. Here are four places. Bang. What time? Bang.

Paul Adams: But literally, you're just inserting the recommended content.

“If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface”

Fergal Reid: Now, is the future of the inbox something where you're sitting almost looking at this dashboard of a conversational tree unfolding and your job is to guide the AI to answer questions for you? Maybe the future of coms and conversations looks a lot less like typing on a keyboard. You're still going to do that sometimes, but maybe 80% of what you do will be much more structured, like guiding the branches on a tree.

Des Traynor: The AI stops augmenting you, you start augmenting it.

Fergal Reid: Exactly, which is good. It's almost like you're managing somebody who's answering your conversations. And that's always my number one thinking tool for AI disruption. Imagine you had a very well-paid, smart human doing the task, and you told them what to do. What would that look like? People were like, “Oh, there'll never be software that automatically programs, or it will never have visual programming. We've tried it a whole bunch of times.” Well, I used to do programming competitions, and if you have a highly skilled developer, you don't say the exact keystrokes. You say, “Oh, now flip the list around. Хорошо. And then filter out those two things.” If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface. That's a great starting point for where AI could take us.

Des Traynor: That's fascinating. Okay, last question. You mentioned that AI is a disruptive force. If our listeners haven't already embarked upon an AI, ML journey, and let's say they have the budget for a couple of heads, what's the best thing to do?

Fergal Reid: Like any disruptive tech change, the first question is always: Is it still worth ignoring? And how long can you ignore it for? And I'm not saying to race and do something now. Maybe you're in a space where you should continue to ignore this as it matures for another few years. If you can't ignore it, or if you want to do something in this space, I would say to concentrate your resources and your budget and get someone who's got some deep experience at the tech end and enough of a product head on their shoulders that they can go and work with your product team productively. And start exploring opportunities from there. Start building relationships with the designers and the company. Start sketching and figuring out, “Okay, what would be possible to design here?” And start mocking up some designs. Do they look exciting? Они хорошо выглядят? Show them to your customers. Get customer feedback and take it from there.

After that, you're into the standard product development – how do you know how to resource something or not? But yeah, concentrate your resources and get someone who knows what you're doing as much as possible, and then have them pair with your existing organizational assets. Don't go and say, “We're going to do some blue sky thinking. We're going to start a new lab and put it off-site, and they're going to go and build nothing for two years, and it'll be very impressive.” No, definitely tread that balance. That's what it's all about. It's about marrying and balancing technology and design.

Des Traynor: Fergal Reid, thank you very much for joining us. Thank you, Paul. And we'll see you all again for Intercom on Product. Take care, everyone.