Создание работающего ИИ: как выйти на передовые рубежи ИИ в качестве лидера продукта

Руководители продуктов Intercom обсуждают, как мы создавали Fin, нашего нового чат-бота с искусственным интеллектом, и что мы узнали об управлении неоднозначностью, неопределенностью и рисками в быстро меняющемся мире искусственного интеллекта.

Появление ChatGPT полностью изменило представление о чат-ботах — прощайте жесткие обмены по заранее заданному сценарию; привет динамичные, естественные разговоры.

Конечно, мы ухватились за возможность создать бота на основе GPT, который мог бы по-настоящему взаимодействовать с клиентами, предоставляя полезные ответы и решения на их запросы с минимальной настройкой. Результатом стал Fin, построенный на GPT-4 OpenAI и нашей собственной технологии. Мы невероятно довольны первоначальными результатами, которые видят наши клиенты: более 400 клиентов Intercom настраивают Fin, который уже обслужил более 250 000 ответов, а некоторые клиенты добились повышения скорости разрешения до 50%.

Однако для достижения этой цели потребовался совершенно новый способ создания продукта. Нелегко определить правильное соответствие продукта рынку в технологическом ландшафте, где все меняется каждый день — это балансирование постоянной оценки того, как добиться прогресса, на основе очень ограниченной и неопределенной информации.

Но именно эта неопределенность делает создание продукта ИИ таким захватывающим, нервным и, в конечном счете, приносящим удовлетворение. В сегодняшнем выпуске подкаста Intercom мы делимся тем, что мы узнали на данный момент, как мы запускали бета-версию Fin, нашим пониманием текущей динамики рынка и нашими прогнозами на будущее, насколько кто-либо может предсказать будущее прямо сейчас. .

В сегодняшнем выпуске вы услышите:

• Дес Трейнор, соучредитель и директор по стратегии Intercom
• Рати Звирава, старший менеджер по групповым продуктам Intercom
• Брайан Донохью, вице-президент по продуктам Intercom

Короткий срок? Вот несколько ключевых выводов:

• Нахождение баланса между скоростью, точностью и ценой остается сложной задачей. Сколько компании будут готовы платить? Какие ожидания будут у конечных пользователей в отношении чат-ботов с искусственным интеллектом?
• Имея общую цель, расширяя возможности принятия решений и расставляя приоритеты в скорости, мы смогли быстро вывести Fin на рынок, укрепив наши позиции лидеров в области ИИ для поддержки.
• Достижения в области генеративного ИИ открыли целый новый мир возможностей продукта. Стартапы могут использовать эту возможность, сосредоточившись на краткосрочной выгоде или выбрав существующие проблемы, над которыми нужно работать.
• В быстро развивающемся ландшафте искусственного интеллекта становится все труднее определить конкурентное преимущество продукта и то, какая дифференциация будет иметь значение в долгосрочной перспективе.
• Клиенты ищут заслуживающие доверия бренды, которые будут ориентироваться в изменяющемся ландшафте ИИ, чтобы они могли положиться на их опыт, поскольку рынок обнаруживает, в чем заключается ценность.
• ИИ обладает способностью демократизировать доступ к сложному программному обеспечению, потенциально позволяя пользователям использовать естественный язык для взаимодействия со сложными инструментами, а не с традиционными пользовательскими интерфейсами.

Если вам нравится наша дискуссия, посмотрите другие выпуски нашего подкаста. Вы можете подписаться на Apple Podcasts, Spotify, YouTube или получить RSS-канал в выбранном вами проигрывателе. Далее следует слегка отредактированная стенограмма эпизода.

От концепции к реальности

Дес Трейнор: Добро пожаловать на подкаст Intercom. Ко мне присоединились два наших лидера по продуктам, Рати и Брайан. Мы собираемся полностью поговорить об ИИ, нашем новом продукте Fin и в целом о том, каково это быть лидером продукта в эпоху ИИ. Рати, давай начнем с тебя. Где находится «Фин»? Уже несколько дней.

Рати Звирава: Да, это захватывающая неделя для нас. Сейчас у нас более 400 клиентов, которые настраивают Fin. И, оглядываясь назад на цифры, которые у нас есть с клиентами, мы обслужили более 250 000 ответов. Они основаны на искусственном интеллекте, и мы очень рады видеть результаты. Для клиентов, начинающих работу, мы сразу же увидели повышение скорости разрешения до 50%, что очень впечатляет.

Des: Скорость разрешения означает, что клиент, вероятно, получил то, что хотел?

Рати: Точно. Нам интересно просто наблюдать за реакцией клиентов и решать эти вопросы.

«Изначально мы оптимизировали создание чего-то, что раньше было невозможно, но мы хотели сделать это очень быстро и запачкать руки»

Des: Брайан, не могли бы вы рассказать нам, как появился Фин?

Брайан Донохью: Могу. Несмотря на то, что так много всего произошло так быстро, причина, по которой мы смогли двигаться быстро, заключается в том, что мы работали над этим годами.

Des: Когда вы говорите быстро, как быстро?

Брайан: Итак, мы работали над Resolution Bot, старой версией Fin, в некотором роде, потому что это то же основное предложение продукта — автоматически отвечать на вопросы ваших клиентов. Мы работали над этим в течение многих лет, как и над другими продуктами машинного обучения. Но затем ChatGPT открыл всем глаза, включая наших экспертов по машинному обучению, Фергала и его команду, на то, на что способна новая технология. Итак, с 30 ноября команда говорила: «Давайте проверим. Действительно ли это так важно, как мы думаем?» В течение недели они говорили: «Это резкое изменение». И оттуда все пошло полным ходом. Сначала мы оптимизировали создание чего-то, что раньше было невозможно, но мы хотели сделать это очень быстро и запачкать руки.

Итак, мы оптимизировали функции почтового ящика с помощью искусственного интеллекта. И куча людей построили подобные вещи здесь. Обобщение, придание более вежливости и все в таком духе. Почему? Потому что это легко сделать, и некоторые из них крутые, а некоторые на самом деле очень полезные. Большой проблемой были, конечно, галлюцинации. ChatGPT великолепен, но он выдумывает вещи, что является проблемой, если вы создаете продукт для обслуживания клиентов, верно? И это была пара недель тимбилдинга. С начала февраля Фергал сказал: «Я думаю, что мы действительно сможем справиться с этой проблемой галлюцинаций». А затем мы поставили эти функции входящих сообщений на паузу и полностью погрузились в то, что стало Фином. Что это было в середине марта?

Рати: Да, середина марта, 14 марта.

Брайан: 14 марта мы анонсировали прототип, с которым можно было играть. Мы сказали, что хотим доверия. Мы не просто размахиваем продуктами, которые вы можете увидеть на скриншотах. Вы можете играть с этим. И оттуда он перешел от одной небольшой команды, работающей над этим, к «Давайте на самом деле создадим этот продукт, который мы сможем продавать». Это было своего рода то, что привело его к этой неделе.

Des: Как вы думаете, что заставило это произойти быстро? Это было похоже на пальцы на клавиатуре? Была ли это скорость принятия решений? Была ли это просто ясность в том, что это приоритет? Если бы вам пришлось повторить эту скорость, что бы вы сделали?

«Является ли продукт законным? Это на самом деле так хорошо? Это был первый этап».

Брайан: Было два этапа. На первом этапе Фергал действительно защищал команду, потому что эта команда очень хорошо работала вместе, и они были очень эффективны как при тестировании технологии, так и при тестировании предлагаемого продукта. Он был очень защитным: «Мы можем двигаться быстро, потому что у нас сплоченная команда». И он такой: «Я здесь диктатор. Никто не имеет права говорить что-либо моей команде». Я связался с Рати в Slack и сказал: «Фергал, наверное, вышвырнет тебя завтра, просто чтобы ты знал».

Рати: Да.

Брайан: Он сделал. Вскоре вас снова пригласили, и хорошо, вас официально приветствуют. Вероятно, меня выгнали в тот момент или что-то в этом роде. Так что на самом деле это была довольно защитная фраза: «Если мы собираемся двигаться так быстро, нам нужно быть почти стеной вокруг команды». Является ли продукт законным? Это на самом деле так хорошо? Это был первый этап. Работа там просто разрушала то, как вы работали раньше, и как шли ваши планы. Каждый день был: «Что изменилось сегодня в мире ИИ в нашем узком мире и чему мы учимся?» Каждый день вы начинаете с того, как сильно все изменилось с тех пор, как вы перестали работать над этим прошлой ночью. А затем был второй этап, который вы можете лучше сформулировать, потому что вы перешли от небольшой команды к моменту: «Хорошо, мы собираемся воплотить это в продукт, а для этого требуется гораздо больше людей».

Дес: Небольшая команда проверяла: «Эй, LLM действительно могут делать то, что, как мы думаем, они могут делать». И затем, второй этап: «Учитывая, что эта часть теперь установлена, давайте создадим продукт вокруг нее».

Брайан: Да, и есть нюанс, но он важен. Это не «Могут ли LLM сделать это», а скорее «Можем ли мы поставить нашу систему контроля над этим? И поможет ли это решить фундаментальный недостаток — галлюцинации?» Именно здесь наши технические эксперты делают так много запросов на оценку продукта. И именно поэтому, я думаю, вам действительно нужны ваши инженеры в качестве инженеров по продуктам в этой области. Потому что нужно принять так много важных решений на раннем этапе, чтобы выяснить, где есть реальная возможность, а где состояние технологии недостаточно хорошо, учитывая эти недостатки.

Переосмысление опыта бота

Des: Когда мы перешли на бета-версию и как работает бета-версия?

Рати: Да, я хочу подчеркнуть, что продукт работал 14 марта. Мы уже проводили внутреннее тестирование, и если люди посещали наш сайт, они могли поиграть с ним. Вскоре после этого мы знали, что хотим перейти к бета-тестированию, чтобы проверить это и убедиться, что это не галлюцинации. Итак, неделю спустя мы начали интегрировать клиентов в бета-версию, чтобы проверить, делает ли она то, что мы думали, и разрешает ли она разговоры. Вовлечение этих первых клиентов в бета-версию, пока мы строили, было ключевым моментом в этом процессе.

Дез: В чем, по вашему мнению, бета-версии более важны или отличаются от стандартной функции SaaS «мясо и два овоща», например загрузка фотографий или что-то в этом роде?

«И вы должны дойти до конца бета-тестирования с уверенностью в том, что продукт работает, но с готовностью знать, что ландшафт будет продолжать меняться».

Рати: В B2B, я думаю, есть много функций или возможностей, которые вы привносите. Конечно, вы начинаете с проблемы, которую пытаетесь проверить. У вас может быть твердая гипотеза о том, каким будет результат, когда вы перейдете к бета-версии, но когда вы строите, и на рынке происходит много изменений, и это ново для клиентов, и они взволнованы, у вас есть понятия не имею, каково их восприятие. Есть разные способы, которыми клиенты воспринимают качество. Вы должны понять, от бизнеса, готовы ли они поставить это перед конечными пользователями? Какова реакция конечных пользователей? И вы должны дойти до конца бета-тестирования с уверенностью в том, что продукт работает, но с готовностью знать, что ландшафт будет продолжать меняться. Где вы делаете звонок, что вы попали на правильный рынок продукта, чтобы начать продавать? Таким образом, природа этих бета-версий сильно отличается от того, что мы обычно делаем в продуктах B2B SaaS.

Дес: Также интересно наблюдать, как клиенты учатся оценивать, работает ли функция в каком-то смысле. Существуют компромиссы между точностью, надежностью, надежностью, скоростью и стоимостью. И очень трудно понять, как клиенты оценивают эти переменные. Кроме того, это также, вероятно, отличается от B2B по сравнению с B2C, небольшое количество клиентов, которые очень важны для большого количества клиентов. Узнали ли мы что-нибудь о том, как люди думают об этом в целом? Что можно ожидать от чат-бота с искусственным интеллектом?

Рати: Думаю, да. Одна интересная вещь, которую мы очень быстро узнали, заключается в том, что в мире ботов у нас было много таких ботов, основанных на ключевых словах. А для входящих клиентов, я думаю, первоначальное восприятие заключалось в использовании входящих ключевых слов и использовании этого ИИ-бота. Но очень быстро то, что мы обещали в отрасли, — это диалоговый способ взаимодействия с ботами и наблюдение за тем моментом, когда клиенты рады видеть, что их конечные пользователи обслуживаются чем-то более разговорным. Я думаю, что это было ключевым уроком, который мы получили.

«Мы спрашивали их: «Какой самый распространенный вопрос поступает в ваши группы поддержки?» Увидеть ответ, пришедший с их собственным контентом, было немедленным «моментом ага» для клиентов».

Des: Что было моментом ага для клиентов? Что заставило их поверить? Все были настроены скептически по уважительным причинам, например, да, если предложение содержит ключевое слово бла, «О, это ответил бла». Такое ощущение, что мы пересекли некую пропасть восприятия с нашими клиентами, и они говорят: «О, черт, эта штука действительно работает». Что является причиной этого осознания? Это ваш собственный контент?

Рати: Да, я бы сказал, что это наш собственный контент. Было интересно, все бета-звонки и интер-звонки с клиентами — заходим, ажиотаж. Есть много больших вопросов, и все пытаются говорить о будущем ИИ на звонках. А потом мы представим им Фина. Они бы начали задавать вопросы. Мы спрашивали их: «Какой самый распространенный вопрос поступает в ваши группы поддержки?» Увидев, что ответ пришел с их собственным содержанием, клиенты сразу же почувствовали «ага-момент». И это действительно то, что двигало нами. Это ключевой момент, чтобы клиенты увидели, что эта штука работает. Вы размещаете свой контент, и ИИ действительно может ответить на эти вопросы и решить эти вопросы для ваших клиентов.

Des: Брайан, о чем ты это говорил?

Брайан: Что интересно и что, как я думаю, подтверждено тестированием конечных пользователей, так это до и после определения состояния ботов, или, может быть, это старые и новые боты. На самом деле мы слышали, что в ходе тестирования конечных пользователей, которое проводила наша команда, люди говорили: «Ой, подождите, это старый бот?» И давайте будем честными. Это тоже наши боты, да? И многие конечные пользователи говорят: «Я не очень разбираюсь в этом. Я не так взволнован, чтобы заниматься этим. Вероятно, есть изрядное количество трений и обручей, через которые ты заставляешь меня прыгать. О, подождите, это бот ChatGPT?» Это другое. Это то, что я, как конечный пользователь, готов сделать. Так что я думаю, что это действительно появится.

Это началось из-за того, что ChatGPT получил такое широкое распространение, поэтому конечные пользователи воспринимают качество. Я не знаю, скажут ли люди: «Я чувствую, что разговариваю с человеком». Но я чувствую, что могу вести нормальный разговор, а не «я разговариваю с технологией, использую ключевые слова, нажимаю эти кнопки». На самом деле естественный диалог — это огромный сдвиг в восприятии качества нашими клиентами и конечными пользователями, а также ключевое предложение продукта, которое заключается в автоматическом ответе на ваш вопрос без предварительной настройки. Это разговорное качество, которое придает почти этот лоск, весь этот блеск вокруг того, что действительно меняет вкус этой технологии.

Потребность в скорости

Дес: Похоже, что появление ChatGPT впервые узаконило ботов, так что каждый готов дать им новую попытку. Давайте поговорим о создании продукта в эпоху ИИ. Что меняется, Брайан? На что это похоже?

Брайан: Это была настоящая поездка. На самом деле с декабря это было похоже на то, что он вернулся в режим запуска. Это был рефрен, который звучал правдой для всех. И что это значит? Я думаю, что в первую очередь это скорость. Мы согласовали это в декабре и заявили: «Мы хотим быть лидером в области поддержки ИИ». Для того, чтобы мы могли законно иметь это требование, а также иметь продукт, нам нужно иметь скорость фактического вывода этого продукта на рынок. Мы думаем, что там, где это сейчас, скорость абсолютно критична. И это не трюизм. Скорость всегда имеет значение. Здесь мы всегда говорим о том, как мы можем двигаться быстрее, бросая себе вызов двигаться быстрее. Но буквально на прошлой неделе я увидел, как кто-то написал в Твиттере: «Эй, Apple не ограничивается только скоростью. Они рады занять второе место на рынке, но предложить лучший продукт, а потом они исправятся». Это не трюизм, потому что скорость несет в себе множество рисков с точки зрения качества продукта, предложения продукта, с точки зрения свободного места в голове, здоровья на работе и тому подобного. Но мы все согласны с тем, что речь идет о скорости, о быстром продвижении продукта.

«На самом деле вы можете использовать скорость в качестве основной цели: «Мы хотим быстро выпустить продукт, который, по нашему мнению, изменит правила игры»».

Если все настроены на это и на то, чтобы быть по-настоящему амбициозными и агрессивными, и мы вроде как готовы разрушить то, как мы работаем и как мы должны работать, все станет еще более запутанным, и вы как бы разорвете процесс. У нас слишком много Slack-каналов, но у нас есть несколько замечательных Slack-каналов, которые со временем выросли в размерах. Теперь хорошо, вы должны вернуться и очистить его. Но я думаю, что это оптимизация для скорости.

Еще одним важным компонентом здесь является отсутствие политики. Отсутствие людей, говорящих: «Эй, мне нужен сильный голос здесь. Я хочу иметь здесь свое мнение». Люди просто выстраивались позади: «Эй, чем я могу помочь?» И если это означает написать здесь небольшой документ с часто задаваемыми вопросами, а затем убраться с дороги, ладно, я так и сделаю. Трудно понять, что вы можете сделать, чтобы помочь, но если у вас есть такой дух, вы действительно можете использовать скорость в качестве основной цели: «Мы хотим быстро выпустить то, что, по нашему мнению, изменит правила игры». Это действительно может воодушевить людей таким образом, что это на самом деле невероятно заряжает энергией. Это действительно интересный способ работы, но для некоторых людей он слишком хаотичен.

Рати: Чуть раньше мы говорили о том, как создали основную команду машинного обучения. У нас есть основная команда людей, в которой есть один ответственный за принятие решений, который проверяет основную концепцию Fin. Теперь мы перешли к следующему: «Хорошо, у нас есть продукт. Мы хотим довести его до бета-версии. Мы хотим вывести его на рынок. У нас есть специалисты по маркетингу, которые нам нужны, и команды поддержки, которые нам нужны для совместной работы. Но мы по-прежнему хотим поддерживать тот же уровень скорости». Итак, мы перешли от одной основной команды, и как вы масштабируете ее на остальную часть группы, на остальную часть бизнеса, чтобы больше людей могли работать, сохраняя при этом скорость? То, что мы решали там, было иметь общую цель, чтобы все понимали, куда мы хотим добраться с Фином. Предоставление людям самостоятельности в принятии решений.

«Я думаю, что это важно, когда вы строите в этом пространстве с помощью ИИ, который сильно отличается от того, что мы делали раньше, — допускать беспорядок и быть в порядке с беспорядком».

Дес: Когда вы говорите, к чему мы хотели прийти с Фином, были ли это масштабы и сроки, это было что-то вроде «эти функции, эта дата»? Были ли мы готовы отдать что-либо?

Рати: Хронология была для нас хорошей отправной точкой. Вы можете выбрать масштаб, а затем позволить масштабу определять вашу временную шкалу, или вы можете выбрать временную шкалу, которая определяет вашу область. Мы выбрали временную шкалу. Сроки были важны, потому что как бизнес мы хотели двигаться быстро, и мы хотели вывести что-то на рынок и предоставить это клиентам. Итак, мы выбрали временную шкалу, а затем проверили, что мы можем получить в эту временную шкалу. И это было очень полезно для нас, чтобы оставаться сосредоточенными. У нас есть этот график. У нас есть эта область, которая, как мы думаем, будет действительно полезной для клиентов. Бегать. Предоставление командам автономии для принятия решений и принятие возникающих из-за этого беспорядка. Я думаю, что это важно, когда вы строите в этом пространстве с помощью ИИ, который сильно отличается от того, что мы делали раньше — допускать беспорядок и быть в порядке с беспорядком.

Брайан: Вы затронули еще один важный момент, а именно скорость принятия решений. Все это знают, но, как и многие другие вещи, это легко сказать и трудно сделать. Когда все выровнены, скорость выхода на рынок имеет решающее значение, когда мы в соответствии с тем, что мы пытаемся сделать, даже в соответствии с целями выхода на рынок, что, я думаю, мы сделали лучше для Fin, чем где-либо еще, когда вы может нарастить мускулы быстрого принятия решений, это потрясающе. Эоган Маккейб смог внести ясность: «Вот что мы пытаемся сделать». Это также имело эффект ряби вниз.

«Нет смысла бегать и рассказывать людям, что скорость важна, если нам потребуется шесть месяцев, чтобы решить, сколько мы будем брать за эту функцию».

Нужно принимать трудные, запутанные решения, и люди берутся за них и борются с ними. И вместо того, чтобы ходить туда-сюда, получать больше информации, привлекать больше людей и не достигать консенсуса, если вы натренируете эту мышцу, она заряжает энергией. Люди могут быть недовольны решением, но часто они просто счастливы, что мы движемся из-за ощущения прогресса. Когда вы едете в автобусе и чувствуете, что едете быстро, это очень захватывающее место. Я знал, что в понедельник будет встреча, и я собирался туда лететь. Мой единственный шанс состоял в том, чтобы написать документ, поделиться всем, что я мог, и опередить его, потому что я не могу присутствовать на встрече, а решение должно было быть принято там. Я очень старался и потерпел неудачу. Но в любом случае, вы просто соглашаетесь: «Это скорость принятия решений, которую мы должны принять, а скорость принятия решений обычно важнее, чем сами решения».

Дес: Полностью согласен. Я также думаю, что стоит отметить для слушателей, что Эоган Маккейб является нашим генеральным директором. Воскресными вечерами, на протяжении всего проекта, я созванивался с Эоганом, где мы просто обсуждали неизвестное и известное, все вопросы, о которых мы знали. Как рано мы должны идти? Какую модель мы будем использовать? Что бы мы брали? Если мы медленные, с какой стати вам быть быстрыми? Если вы медлительны, с какой стати дизайнеры или инженеры должны двигаться быстро? Это просто невозможно. Нет смысла пытаться работать как можно быстрее, если вы знаете: «Эй, пройдет еще две недели, прежде чем мы примем решение». Несмотря на то, что я много говорю, что «скорость — это жизнь» и все такое, этот проект стал действительно хорошим доказательством того, что он действительно должен быть в унисон. Нет смысла бегать вокруг, говоря людям, что скорость важна, если нам потребуется шесть месяцев, чтобы решить, сколько мы будем брать за эту функцию или что-то в этом роде. Это должно быть 100% вместе.

Уравновешивание

Брайан: Переменными здесь являются цена, скорость, задержка, доступность и качество. Итак, у вас есть все эти переменные моделей LLM поверх нашей системы, и то, как мы взаимодействуем и получаем желаемое качество продукта, и все это меняется очень быстро. Итак, когда OpenAI выпустила ChatGPT с API, то есть GPT Turbo, это было в 10 раз дешевле, чем 3.5. Итак, внезапно вся динамика смещается, и внезапно функции, которые раньше были невозможны, теперь похожи на «Вау, вау, вау, вау». Весь рынок здесь сильно изменился. Затем вы возвращаетесь к «Подождите, а каково качество? Достаточно ли хорошего качества?» И это на самом деле быстро. Поэтому иногда более дешевые модели работают очень быстро. Таким образом, у вас нет четкого соотношения «более дорогие» обязательно равно-

Des: Это одна из вещей, которую мы изучаем в бета-версии. Один из вопросов, который нам нужно решить, и мы, вероятно, потратим на это вечность, заключается в том, каков компромисс между скоростью получения ответа конечным пользователем и необходимостью предельной точности? Или даже просто красивый текст, обёрнутый вокруг ответа в каком-то смысле. Правильный ответ, плохо сформулированный за 0,1 секунды, может на самом деле превзойти очень элегантный ответ за 10 секунд с точки зрения того, что делает конечного пользователя счастливым.

«Как вы строите продукт с неопределенностью происходящего? Все пытаются разобраться в этом»

Рати: Я думаю, что это задача, которую должен решить каждый в этом пространстве, потому что это так ново для бизнеса и клиентов. Есть также не очень много твердых мнений, потому что клиенты все еще учатся тому, что они хотят в мире. Кое-что, что было действительно интересно во время бета-тестирования и даже сейчас, пытается экстраполировать от людей то, как они воспринимают и ценят качество. Возвращаясь к этой точке цены и не имея ее отдельно внутри компании, когда мы принимаем решения по Fin, вы думаете о цене. Вы должны думать о продукте, потому что мы говорим: «О, мы хотим повысить качество. Сколько это стоит и готов ли кто-то за это платить?» «Хорошо, мы пойдем на более низкое качество, но это будет немного быстрее. Готовы ли они платить за это больше или меньше?» Итак, это непрерывный цикл, в котором вы должны продумывать и проверять себя на предмет того, с чем стоит двигаться вперед. Готовы ли клиенты платить? Ценят ли они его так же, как и мы?

Дез: И, учитывая то огромное количество происходящих изменений, кажется, что все эти решения, принципы или руководящие принципы почти скоропортящиеся. У нас может быть действительно твердое мнение о том, где следует использовать GPT-4 по сравнению с Turbo, и через два дня мы можем изменить это мнение и вернуться к вопросам снова и снова. Как вы справляетесь с довольно экстремальными изменениями?

Брайан: Когда я оглядываюсь назад, я думаю: «О, я ошибся». Попытка оптимизировать скорость, но затем, когда мы получили новую информацию о доступности, которую мы собираемся иметь, и о том, как это изменит ситуацию, потому что вам удобно работать в небольшом подразделении, эффективно, вы все можете работать вместе. доска каждый день. И теперь мы похожи на сотни людей, и поэтому, если вы вносите существенные изменения на основе вчерашней информации, все должны быть такими: «Все изменилось, а на следующей неделе снова изменится». Очень сложно работать в масштабе, когда пол под вами может иметь такие драматические сдвиги.

Мы говорили о беспорядке и неопределенности, а вы говорили о моделях как о ключевой части всего этого, потому что здесь так много меняется и смещается, но более широкая картина очень неопределенна. И это то, о чем мы говорили: «Как вы строите продукт с неопределенностью того, что происходит?» Все пытаются в этом разобраться.

«Если вы хотите работать над определением следующей версии продуктов и того, куда движется эта отрасль, вы должны быть готовы прыгнуть в хаос и надеяться, что все ваши конечности останутся привязанными, когда вы выйдете».

Например, не будет ли наш мессенджер неактуален, потому что все просто перейдут в Google, а Google станет их новым помощником, чтобы на самом деле все это делать? Или, может быть, Google будет неактуален. «На самом деле нет, это они будут сорваны». Возможности правдоподобного разрушения многомиллиардной компании… Я думаю, это даже больше, чем масштабы этого. Все достаточно правдоподобно, чтобы думать. Мы находимся в этом пространстве, где макро-неопределенность правдоподобных реалий альтернативной вселенной, которые могут стать реальными через шесть месяцев, по сравнению с тем, что мы можем построить прямо сейчас, и можем ли мы построить это на зыбкой почве, является новым вызовом для всех. Большинству людей нравится немного стабильности для работы, и я думаю, что каждый должен признать, что стабильность больше не вещь.

Des: Это не актив.

Брайан: Если вы хотите работать над стабильным продуктом, это означает, что вы работаете с командами, которые раньше справлялись с неопределенностью, и вы едете на их фалдах почти так: «Хорошо, вы добились успеха, а теперь у вас больше возможностей». удобное пространство для повторяющейся работы». И это правильное место, до которого, как вы надеетесь, доберется ваша компания. Но я думаю, что другая сторона — это также инновации и неопределенность. Нельзя извлечь одно из другого. Если вы хотите работать над определением следующей версии продуктов и того, куда движется эта отрасль, вы должны быть готовы прыгнуть в хаос и надеяться, что все ваши конечности останутся привязанными, когда вы выйдете. Но они обычно делают, верно? Это просто программное обеспечение.

Раскрытие ценности в эпоху ИИ

Дес: Брайан, если вы разговариваете со стартапом на ранней стадии, скажем, с 50-100 людьми, и они собираются начать свое первое приключение в области ИИ, что бы вы им посоветовали? Если вам нужно дать им направление, вы должны принять неопределенность или двигаться как можно быстрее? Будет ли это сидеть сложа руки и смотреть и делать свой выстрел?

Брайан: Я был на одной из наших конференций для клиентов и разговаривал с некоторыми людьми, которые тоже собираются что-то строить, и они спросили: «Как вы справляетесь со всей этой неопределенностью?» Мы сидим так много ценности с точки зрения того, что открывает эта технология, которая никогда раньше не была возможна, и теперь ее можно построить. Никогда еще у создателя продукта не было столько вариантов. У нас слишком много, и мы пытаемся сосредоточиться и выяснить, как мы можем сбалансировать наши инвестиции. Есть сотни вещей, которые мы хотим сделать, и мы уверены, что 50 из них будут реализованы и будут иметь ценность. Сейчас слишком много всего доступно.

«Вещи, которые раньше были невозможны, возможны не только сейчас — многое из этого довольно просто построить»

Так что, если вы стартап, просто выберите следующий шаг. Чтобы сделать большую ставку на то, как изменятся модели всего продукта, нужны большие инвестиции. Но есть так много всего, что может быть построено, что компания может добиться успеха. Я чувствую, что сейчас лучшее время для стартапа. Шесть месяцев назад, помните, Роб был на шоу и сказал, Роб из команды ML, и он, с предыдущей версией Tech, исследовал: «Можем ли мы сделать это?» Потому что мы знали, что это ценно, и он провел двухнедельное исследование. Он такой: «Нет, здесь ничего нет. Извините, ребята. Я пытался что-то найти, но оказалось, что здесь вообще ничего нет». Шесть месяцев спустя, я искренне думаю, что прошло меньше дня, когда он просто закрыл эту штуку, чтобы получить эту функцию. Вот где мы находимся.

Вещи, которые раньше были невозможны, возможны не только сейчас — многое из этого довольно просто построить. Итак, я думаю, что это прекрасное время для любого производителя продукта, чтобы найти место. Выберите краткосрочную ценность, потому что для создания продукта и его коммерциализации требуется время, найдите эту краткосрочную ценность, чтобы вы могли начать думать о том, куда она пойдет в будущем, но не парализуйтесь тем фактом, что мы перед нами столько альтернативных вселенных.

Рати: Я бы также сказала, что вам не нужно выбирать новое дело. Даже если я посмотрю на то, что мы сделали в Intercom, когда в прошлом году запустили GPT, мы посмотрели на рабочие места и проблемы, которые хотели решить, и это очень важно. Вам не нужно создавать что-то новое или искать новую нишу — вы можете найти существующие проблемы и использовать эту новую технологию для их решения. А затем выберите один. Не бери кучу вещей, выбери что-то одно и следуй за ним.

«Мы думаем о краткосрочной перспективе. Есть ли у нас дифференциация? Эй, три месяца было бы хорошо. Может быть, шесть месяцев было бы неплохо, и мы посмотрим, что это нам даст».

Des: Что вы оба думаете об идее рвов в бизнесе? Если вы стартап, у вас есть список дел или управление проектом, и вы говорите: «Эй, я придумал крутую вещь, которую, я думаю, эти элементы все еще делают, так что я пойду и сделай это. Если тебе было легко, то легко и всем». Что вы думаете о степени, в которой вы передаете на аутсорсинг интересные функции? И тогда, в конце концов, может произойти великая демократизация SaaS, когда каждый сможет создавать все те классные вещи, которые создаете и вы. Может быть, это вопрос, выходящий за рамки того, на что вы на самом деле тратите свой день, но как вы на это реагируете? Идея, что эти функции на самом деле сделаны кем-то другим, а мы просто подключаемся к ним через API?

Брайан: Из-за этого ров и конкурентное преимущество — сложный вопрос. We think of what Intercom as a system has and our competitive advantages within that, with data that we have, which is a huge source potentially there. We're not unique in having that, but we're, in a way, a smaller group of people who have some of those characteristics. So, how can we lean on that? It's super hard. How will it change? Will it matter or not? Will technology make that differentiation moot? Competitive differentiation is part of this as well because that will dissolve. The way we're thinking about is thinking short term. Do we have differentiation? Hey, three months would be good. Maybe six months would be good, and we'll see what that buys us. The reality is there's probably not a world where you can build something for a year and you're differentiated for a while. I don't know if that world ever really existed, but I think that's hard.

Des: There are still some types of moats, but I think, in general, simply building a lot of products might not be one, especially when you're not really building – you're just building API goals into it.

Brian: Another interesting thing, though, is that for us, as builders in this space, it's impossible to stay on top of all the stuff that's happening. It's actually incredibly hard to stay on top of all the stuff happening at the Intercom project. No one can really keep up with all this stuff that's happening. Never mind the macro industry.

“Are you betting on a product that's going to keep getting better or on a product that hopes the world never changes?”

And what about your customers? Their job is not to stay on top of all this stuff, even though they're now being asked to do it. I think brands will increase in importance. People say, “I need someone who's going to do the work for me, and I know this company will figure out the good stuff and make that available to me so that I don't have to figure it out.” So your customers can rely on you to figure out what matters from this and make sure that's in the product. Because I would be very happy if I could just offload that whole mental, “How the hell do I think about AI?” to you.

Des: I think that's totally true. Maybe it's just our industry, because people are not free to change help desk every few months. It's very messy. But I think when people are picking a tool, whether it's like, say, project management or communications or support, they're probably making a decision that's at least one year in length, but probably more cause migration's now a joke for a lot of these things. So, what they're looking for in a brand is like, “Am I picking the right horse?” If new shit drops, will these people be able to react to it and make the most of it, or are they going to be stuck forever doing press releases that don't amount to any software whatsoever? Are you betting on a product that's going to keep getting better or on a product that hopes the world never changes? I think the latter category will be a bad bet at a time like this.

Brian: One other thought that's circled around my head is like product builders. This is what you hope for. You say, “Oh, the world has changed, and we want it to be in this holy-changed space.” And it is. It's for real. It's a great time to be building product, and we're lucky to be working in this space. That's how I feel, even though it's head-wrecking, you can't keep up, and the ground beneath us is almost forever shaken up. But this is fun. This is why you want to build product.

“Companies who want to move in the space in AI are going to have to be okay with not knowing everything and making sure you have clear goals for your teams”

Des: What's it like on the ground, Rati? Do you end up having to just chase down Slack channels in the night?

Rati: Yeah, I'm in Slack a lot. Это правда. But I also am okay. And I think companies who want to move in the space in AI are going to have to be okay with not knowing everything and making sure you have clear goals for your teams. For us, that's worked really well where the teams have clear goals they need to go after. I know 60% of the time what's going on, and any key decisions are usually surface that you'll catch. I'm sure there are things that drop, but generally, we're going in the same direction as a team. And on the AI piece, people are excited to work in this new space. It's a great opportunity for a lot of folks who you've been wanting to have this exciting new thing happen, learning how ML works, learning AI, as well as getting involved in that. So, it's quite good on the ground. Of course, there are pain points – I'm not going to paint it as a rosy thing, but it's exciting on the ground.

Des: I was talking to a friend, and we had this thought experiment. Imagine it all just went away. Imagine that, for whatever reason, someone deleted all of the LLMs, and we have to go back to the world of SaaS. It feels so much more boring looking back now. Because even the features that are pure SaaS 101 for us, even, let's say, ticketing in our help center, or whatever, we were still looking at them going, “At some point, we're going to come back to you with an AI perspective.” But if this wasn't here, in hindsight, it feels like we were getting towards the end of the SaaS cycle. We'd worked out how to build CRMs for farmers to keep track of their roosters. How many more tail-end sort of features could we build?

Philosophical musings

Des: Forgetting about Intercom, are you excited about AI in your own life as an employee of a tech company? Are there other areas or products you would like to see AI in? Are you seeing anything interesting?

Brian: I'll take this in a different direction, which you may want to shoot down. But for me, what's interesting, getting a little closer to the tech, is the language ability. There are so many philosophical questions that were good for college students to rattle on about with their professors. And you go on there, and it was all academic in that sense. And this has been going on from the '50s, actually, when it was a Touring test. What does it mean to learn? What is knowledge? What is reasoning? It's all relevant right now.

“You learn your second language quite deliberately, but with your first language, your brain was programmed to learn it in a way that evolution built”

Here's an example of this. Ask Fergal “Does GPT understand?” Well, no, it doesn't understand. But I saw, in a Slack thread, “Comprehension is actually kind of remarkable.” Does a robot understand things? It doesn't do language like we do because it just predicts blah blah blah – everyone vaguely knows how this works –, which makes no sense in our heads. But then, how did you learn your language? You had no idea. Your brain learned your language. I find myself thinking way more. I remember hearing neural networks, like programs were getting neural networks, “Yeah, right. Come on, you're not even close.” Now I'm starting to think of my brain more like the machine and I'm like, “I have no idea how I learned language. You learn your second language quite deliberately, but with your first language, your brain was programmed to learn it in a way that evolution built. It's all relevant now.

You could go into politics. There's all the fear of AI, which seems reasonable, but like, humans aren't so good at voting. I don't know, have we really earned the right that we think we have? Because I'd welcome a little more rational voting choices in the future. You can zoom up to that level. And actually, this AI makes you more reflective of our species. We always think we're amazing and wonderful whenever someone's competing against us. But damn, we've got to live up to the promise. My head goes a lot in those directions. And then with kids, seeing how they adapt to the technology as well. That for, me, are the juicy places to go. The academic questions are now front and center. It will be a fun time to go back to college now to be able to talk about this stuff.

“And all of a sudden, do you build relationships with machines?”

Rati: Continuing the tangent. For me, it's more the relationships. Normally, you build relationships by talking to people like this. And imagine, with the advancement of generative AI, being in conversations that you've had with a friend, a parent, or a partner, and then being able to have a conversation there. Can you have relationships with machines? That's, of course, not related to B2B SaaS, but I think it's interesting to start building the space around it.

Brian: Make the internet personal? We can productize that.

Rati: And all of a sudden, do you build relationships with machines? How does that change humans and how we interact in the world? I think that's going to be interesting to watch.

Des: I think the infinitely easier challenge, perhaps, is to build a model of yourself. Giving one of these things access to everything you've ever communicated digitally in any form, everything you've ever spoken, your voice, your look, et cetera. You can imagine having effectively a shadow bot that does your job for you 90% of the time. And that shadow bot just knows to escalate to you whenever it does not know how to do something. You know what I mean?

Rati: We're not far from that. I'm curious to see how open we are as a world to have this integrated into us. It's always been a theoretical conversation about machines and AI and what it could do. So, I'm curious to see, from a personal level and everyday life, how people will actually genuinely integrate this and how it changes how we relate to each other and create connections.

Democratizing UI

Brian: What about you, Des? What are you excited about?

Des: I believe in AI in so many ways. I'm actually not super excited by the sort of text generation features that everyone who has a text area has now got the ability to expand on. And yet, I think that's a reference to the “hello, world” of AI. You just throw this out to make sure all the endpoints are working. Where I get most excited from a future-facing point of view is that I think it'll be a great democratizer for UI. There are so many products we use on a regular basis. Workday is one of them. Kuba is another. There are plenty, honestly, where they're designed for the administrator in the company but not really for the end user who might be affected by the software.

“The idea is you know how to do that, and I don't. You and I could do it, and it might take us four hours, but Brian knows how to do it in 14 minutes”

So, I'm sure we employ people who think the Workday UI is great. I'm sure somebody in the world thinks it's the right UI. But I was in a tool yesterday to approve access for provisioning for something to somebody, and it's not that the UI is necessarily bad from a Jacob Nielsen one-on-one point of view – the drop-downs line up, the text areas line up, et cetera. It's more like this product is capable of so many things but my specific usage of it centers around one or two things, like requesting a day off or approving an expense or something like that, and yet it feels like I need to go on a training course to know how to do these things.

The example you'd both be familiar with is Google Analytics. You've both experienced it at some stage. You probably were once a certified GA or approved educator or something.

Brian: Yes, I was.

Des: You have a grant philosopher at Google or whatever. And the fact that you need a certification is almost part of my point. Because you get those certifications so you can answer questions, “Well, given this interface, tell me how to find the highest-performing referrals CPC ad word that worked for us in Norway between July and August or something like that.” The idea is you know how to do that, and I don't. You and I could do it, and it might take us four hours, but Brian knows how to do it in 14 minutes.

“The gap between being able to express what you want to do and being able to do it will narrow to zero”

What I think genuinely we'll see happen is a lot of these UIs will disappear for the regular folk, and they'll just type the thing they're trying to do. I see this all over the place today. An example is Equals, which is actually built by two former Intercomers. They're basically doing a next-generation spreadsheet with live connections to live data, et cetera. But one of the things they can do is press command+K and start typing the thing you're trying to do. And it will work out what you're trying to do and then generate the Excel commands that you needed to know that you never fucking knew because none of us know Excel codes or commands. It'll do all that for you, you hit return, and you're done.

That's an example of what I call democratization. Previously, all of this was only accessible to people who legit knew Excel or how to use Google Analytics. And now, all of a sudden, we're all going to have access to the same power. The gap between being able to express what you want to do and being able to do it will narrow to zero. Whereas before, there was a big clunky thing in the middle of becoming an expert at using blah. And that expertise is no longer needed. And now I think we can all say to the machine what we want to do, and the machine's going to do it.

Я почти уверен, что это произойдет, потому что это намного лучше, чем текущий опыт вкладок, раскрывающихся списков и щелчков мышью. Это произойдет. И когда это происходит, это лазейка в самой природе программного обеспечения. Я говорил со многими людьми, и я не думаю, что кто-то из нас готов к этому. Я не думаю, что мы знаем, что это значит. Трудно представить пользовательский интерфейс без пользовательского интерфейса. Трудно представить себе многие из этих вещей. И я не думаю, что UI исчезнет. Я думаю, что люди все еще хотят видеть, что происходит. Но реальная природа сложного пользовательского интерфейса исчезнет. Просто напишите по-английски, что вы пытаетесь сделать, и все готово. Это новая эра программного обеспечения, и я просто надеюсь, что уйду на пенсию до того, как это произойдет.

Брайан: Интерактивный дизайн спорный.

Дес: Да, точно. И вы знаете, кто должен быть во всем этом и почему-то нет? Дизайнеры контента. Их ждет огромный мир, если они смогут извлечь из этого выгоду.

Рати: Как быстро или кто примет его первым? Когда это изменение произойдет, произойдет ли это с нашим поколением, или это будут люди, которые придут сейчас, которые изменят природу программного обеспечения, которое оно привлечет?

Дес: Я думаю, многое зависит и от того, насколько это доступно. Если вы думаете о текстовых интерфейсах, они эквивалентны аудиоинтерфейсам из-за Whisper, технологии OpenAI. А потом вы думаете о будущем Siri, вы думаете об устройствах Amazon Echo, Cortana и всей остальной банде. Внезапно кто-то, кто даже не разбирается в компьютерах, сидя в комнате, теперь может получить доступ к цифровым командам всего Интернета. Закажите мне такси, пришлите мне пиццу, что угодно. Все это становится просто тривиальным. И это меняет дело. Я не хочу этого понимать и не хочу говорить, что знаю, как это сделать, но я просто думаю, что весь мир станет другим, и это, безусловно, захватывающее время. Большое спасибо, что присоединились к нам и помогли нам с Fin. Это был хороший разговор, и мы скоро увидимся снова.

Брайан: Спасибо, Дес.

Рати: Спасибо.