Construire une IA qui fonctionne : comment naviguer à la frontière de l'IA en tant que chef de produit

Les chefs de produit d'Intercom expliquent comment nous avons construit Fin, notre nouveau chatbot IA, et ce que nous avons appris sur la gestion de l'ambiguïté, de l'incertitude et des risques dans le monde en évolution rapide de l'intelligence artificielle.

L'arrivée de ChatGPT a complètement transformé la perception des chatbots - adieu les échanges rigides et pré-scénarisés ; bonjour les conversations dynamiques et naturelles.

Bien sûr, nous avons sauté sur l'occasion de créer un bot alimenté par GPT qui pourrait véritablement interagir avec les clients, en fournissant des réponses et des résolutions utiles à leurs requêtes avec une configuration minimale. Le résultat est Fin, construit sur le GPT-4 d'OpenAI et notre propre technologie propriétaire. Nous sommes incroyablement enthousiasmés par les premiers résultats que nos clients voient - plus de 400 clients Intercom s'installent avec Fin, qui a déjà servi plus de 250 000 réponses, et certains clients ont vu des taux de résolution jusqu'à 50 % meilleurs.

Arriver à ce point, cependant, a nécessité une toute nouvelle façon de construire le produit. Il n'est pas facile de déterminer la bonne adéquation produit-marché dans un paysage technologique où les choses changent chaque jour - c'est un exercice d'équilibre consistant à évaluer constamment comment progresser sur la base d'informations très limitées et incertaines.

Mais cette incertitude est exactement ce qui rend la création d'un produit d'IA si excitante, éprouvante pour les nerfs et, finalement, satisfaisante. Dans l'épisode d'aujourd'hui du podcast Intercom, nous partageons ce que nous avons appris jusqu'à présent, comment nous avons géré la version bêta de Fin, notre sens de la dynamique actuelle du marché et nos prévisions pour l'avenir, dans la mesure où n'importe qui peut prédire l'avenir dès maintenant .

Dans l'épisode d'aujourd'hui, vous entendrez :

• Des Traynor, co-fondateur et directeur de la stratégie chez Intercom
• Rati Zvirawa, chef de produit senior groupe chez Intercom
• Brian Donohue, vice-président des produits chez Intercom

Vous manquez de temps ? Voici quelques points clés :

• Trouver un équilibre entre vitesse, précision et prix reste un défi dans l'espace. Combien les entreprises seront-elles prêtes à payer ? Quelles sortes d'attentes les utilisateurs finaux auront-ils vis-à-vis des chatbots IA ?
• En ayant un objectif commun, en renforçant la prise de décision et en donnant la priorité à la vitesse, nous avons pu lancer rapidement Fin sur le marché, consolidant ainsi notre position de leader de l'IA pour le support.
• Les progrès de l'IA générative ont ouvert un tout nouveau monde de possibilités de produits. Les startups peuvent tirer parti de cette opportunité en se concentrant sur la valeur à court terme ou en choisissant des problèmes existants sur lesquels s'appuyer.
• Dans le paysage de l'IA en évolution rapide, il est devenu de plus en plus difficile de déterminer l'avantage concurrentiel d'un produit et quelle différenciation comptera à long terme.
• Les clients recherchent des marques dignes de confiance qui sauront naviguer dans le paysage changeant de l'IA afin de pouvoir compter sur leur expertise au fur et à mesure que le marché découvre où se situe la valeur.
• L'IA a la capacité de démocratiser l'accès à des logiciels complexes, permettant potentiellement aux utilisateurs d'utiliser le langage naturel pour interagir avec des outils sophistiqués, plutôt qu'avec des interfaces utilisateur traditionnelles.

Si vous aimez notre discussion, consultez d'autres épisodes de notre podcast. Vous pouvez suivre sur Apple Podcasts, Spotify, YouTube ou récupérer le flux RSS dans le lecteur de votre choix. Ce qui suit est une transcription légèrement modifiée de l'épisode.

Du concept à la réalité

Des Traynor : Bienvenue sur le podcast Intercom. Je suis accompagné de deux de nos chefs de produit, Rati et Brian. Nous allons parler entièrement de l'IA, de notre nouveau produit Fin, et plus généralement de ce que c'est que d'être un leader produit à l'ère de l'IA. Rati, commençons par vous. Où est Fin ? Il est en direct depuis quelques jours.

Rati Zvirawa : Oui, c'est une semaine passionnante pour nous. Nous avons plus de 400 clients en train de s'installer avec Fin. Et en regardant les chiffres que nous avons avec les clients, nous avons fourni plus de 250 000 réponses. Ceux-ci sont alimentés par l'IA, et nous sommes ravis de voir les résultats. Pour les clients débutants, nous avons constaté instantanément un taux de résolution jusqu'à 50 % supérieur, ce qui est vraiment impressionnant.

Des : Taux de résolution, ce qui signifie que le client a probablement obtenu ce qu'il voulait ?

Rati : Exactement. Le simple fait de voir les réactions des clients et de résoudre ces questions est passionnant pour nous.

"Ce pour quoi nous avons optimisé au départ était de construire quelque chose qui n'était pas possible auparavant, mais nous voulions le faire très rapidement et nous salir les mains"

Des : Brian, pouvez-vous nous expliquer comment Fin est né ?

Brian Donohue : Je peux. Même si tant de choses se sont passées si rapidement, la raison pour laquelle nous avons pu agir rapidement est que nous y travaillons depuis des années.

Des : Quand vous dites rapidement, à quelle vitesse ?

Brian : Eh bien, nous avons donc travaillé sur Resolution Bot, l'ancienne version de Fin, d'une certaine manière, parce que c'est la même proposition de produit de base : répondre automatiquement aux questions de vos clients. Nous y travaillons depuis des années, ainsi que d'autres produits ML. Mais alors ChatGPT a ouvert les yeux de tout le monde, y compris nos experts ML, Fergal et son équipe, sur ce dont la nouvelle technologie était capable. Donc, à partir du 30 novembre, c'était là que l'équipe était : « Validons. Est-ce vraiment aussi important que nous le pensons ? En une semaine, ils se sont dit: "C'est un changement radical." Et à partir de là, ça partait à fond. Ce que nous avons optimisé au départ était de construire quelque chose qui n'était pas possible auparavant, mais nous voulions le faire très rapidement et nous salir les mains.

Et donc, ce que nous avons optimisé, ce sont les fonctionnalités de la boîte de réception assistée par l'IA. Et un tas de gens ont construit des trucs similaires ici. Résumer, le rendre plus poli, tout ce genre de choses. Pourquoi? Parce que c'est facile à faire, et certains sont cool, et certains sont en fait très utiles. Le gros problème était, bien sûr, les hallucinations. ChatGPT est incroyable, mais il crée des trucs, ce qui est un problème si vous créez un produit de service client, n'est-ce pas ? Et c'était à quelques semaines de la conviction de l'esprit d'équipe. À partir de début février, Fergal a dit: "Je pense que nous pouvons réellement surmonter ce problème d'hallucination." Et puis, nous avons mis ces fonctionnalités de boîte de réception en pause et nous nous sommes lancés dans ce qui est devenu Fin. C'était quoi cette mi-mars ?

Rati : Oui, mi-mars, le 14 mars.

Brian : Le 14 mars, nous avons annoncé un prototype avec lequel vous pourriez jouer. Nous avons dit que nous voulions de la crédibilité. Nous ne sommes pas seulement des produits agitant à la main dont vous pouvez voir des captures d'écran. Vous pouvez jouer avec ça. Et à partir de là, il est passé d'une petite équipe travaillant dessus à "Construisons réellement ce produit que nous pouvons vendre." C'est un peu ce qui l'a amené à cette semaine.

Des: Selon vous, qu'est-ce qui a fait que cela s'est produit rapidement ? Était-ce comme des doigts sur un clavier ? Était-ce la rapidité de la prise de décision ? Était-ce simplement la clarté de dire que c'est une priorité? Si vous deviez répéter cette vitesse, que feriez-vous ?

« Le produit est-il légitime ? Est-ce vraiment si bon ? C'était la première phase"

Brian : Il y a eu deux phases. Dans la première phase, Fergal a vraiment protégé l'équipe parce que cette équipe travaillait si bien ensemble et qu'elle était si efficace à la fois pour tester la technologie et pour tester la proposition de produit. Il était très protecteur, "Nous sommes capables d'aller vite parce que nous avons cette équipe soudée." Et il m'a dit : « Je suis le dictateur ici. Personne n'a le droit de dire quoi que ce soit à mon équipe. J'ai canalisé Rati sur Slack, et je me dis : "Fergal va probablement te virer demain, juste pour que tu le saches."

Rati : Il l'a fait.

Brian : Il l'a fait. Vous avez été invité à revenir bientôt, et d'accord, vous étiez officiellement le bienvenu au bercail. J'ai probablement été expulsé à ce moment-là ou quelque chose comme ça. Donc, c'était en fait assez protecteur, "Si nous allons bouger aussi vite, nous devons être presque un mur autour de l'équipe." Le produit est-il légitime ? Est-ce vraiment si bon ? C'était la première phase. Travailler là-bas ne faisait que déchirer comment vous travailliez auparavant et comment se déroulaient vos projets. Chaque jour était : "Qu'est-ce qui a changé aujourd'hui dans le monde de l'IA dans notre monde étroit, et qu'apprenons-nous ?" Chaque jour, vous commencez par combien de choses ont changé depuis que vous avez cessé de travailler sur cette dernière nuit. Et puis il y a eu la phase deux, que vous pouvez peut-être mieux articuler parce que vous êtes passé d'une petite équipe à ce point de, "D'accord, nous allons produire cela, et cela nécessite beaucoup plus de gens pour construire."

Des: La petite équipe validait, "Hé, les LLM peuvent réellement faire ce que nous pensons qu'ils peuvent faire." Et puis, la deuxième étape est : "Étant donné que ce bit est maintenant vérifié, construisons un produit autour de lui."

Brian : Oui, et il y a une nuance, mais c'est important. Ce n'est pas, « Les LLM peuvent-ils faire la chose », mais plutôt, « Pouvons-nous mettre notre système de contrôle autour de cela ? Et cela fonctionnera-t-il pour résoudre le handicap fondamental, qui est les hallucinations ? C'est là qu'il y a tant d'appels de jugement sur les produits faits par nos experts techniques. Et c'est, je pense, pourquoi vous avez vraiment besoin de vos ingénieurs en tant qu'ingénieurs produit dans cet espace. Parce qu'il y a tellement de décisions critiques qui doivent être prises tôt pour déterminer où il y a une opportunité réelle par rapport à l'état de la technologie qui n'est pas assez bon compte tenu de ces handicaps.

Redéfinir l'expérience du bot

Des : Quand sommes-nous passés à la bêta, et comment fonctionne la bêta ?

Rati : Ouais, une chose que je veux souligner avec les gens, c'est que le produit fonctionnait le 14 mars. Nous testions déjà en interne, et si les gens visitaient notre site, ils pourraient jouer avec. Peu de temps après, nous savions que nous voulions passer en version bêta pour valider cela et nous assurer qu'il n'y avait pas d'hallucinations. Ainsi, une semaine plus tard, nous avons commencé à intégrer les clients à la version bêta pour valider s'il faisait ce que nous pensions qu'il ferait et s'il résoudrait les conversations. L'intégration de ces premiers clients dans la version bêta pendant que nous construisions était la clé de ce processus.

Des : En quoi diriez-vous que les bêtas sont plus essentiels ou différents d'une fonctionnalité SaaS standard de viande et deux légumes, comme le chargement de photos ou quelque chose comme ça ?

"Et vous devez arriver à la fin de la version bêta avec la certitude que le produit fonctionne mais avec la volonté de savoir que le paysage va continuer à changer"

Rati : En B2B, je pense qu'il y a beaucoup de fonctionnalités ou de capacités que vous apportez. Bien sûr, vous partez du problème que vous essayez de valider. Vous pouvez avoir une hypothèse solide sur ce que sera le résultat lorsque vous entrez dans la version bêta, mais lorsque vous construisez et qu'il y a beaucoup de changements sur le marché, et que c'est nouveau pour les clients, et qu'ils sont excités, vous avez aucune idée de leur perception. Les clients perçoivent la qualité de différentes manières. Vous devez comprendre, d'une entreprise, est-elle prête à mettre cela devant les utilisateurs finaux ? Quelle est la réaction des utilisateurs finaux ? Et vous devez arriver à la fin de la version bêta avec la certitude que le produit fonctionne mais avec la volonté de savoir que le paysage va continuer à changer. Où faites-vous l'appel que vous avez atteint le bon marché de produits pour commencer à vendre ? Ainsi, la nature de ces bêtas est assez différente de ce que nous faisons habituellement dans les produits B2B SaaS.

Des: Il est également intéressant de voir comment les clients apprennent à évaluer si la fonctionnalité fonctionne ou non dans un sens. Il existe des compromis entre la précision, la fiabilité, la fiabilité, la rapidité et le coût. Et il est vraiment difficile de comprendre les pondérations de ces variables par les clients. Et puis, ça change aussi probablement d'un B2B versus B2C, un petit nombre de clients qui sont très importants pour un grand nombre de clients. Avons-nous appris quelque chose sur la façon dont les gens pensent de cela en général ? Qu'attend-on d'un chatbot IA ?

Rati : Je pense que oui. Une chose intéressante que nous avons apprise très rapidement est que dans le monde des robots, nous avons eu beaucoup de ces robots basés sur des mots clés. Et pour les clients entrants, je pense que la perception initiale était d'utiliser des mots-clés entrant et utilisant ce bot AI. Mais très rapidement, ce que nous avons promis dans l'industrie, c'est cette façon conversationnelle d'interagir avec les bots et de voir ce moment où les clients sont ravis de voir leurs utilisateurs finaux être servis par quelque chose de plus conversationnel. Je pense que c'était un apprentissage clé que nous avions.

« Nous leur demandions : 'Quelle est la question la plus fréquemment posée par vos équipes d'assistance ?' Voir une réponse arriver avec leur propre contenu a été le « moment aha » immédiat pour les clients »

Des : Quel a été le moment aha pour les clients ? Qu'est-ce qui les a fait croire ? Tout le monde a été sceptique pour de bonnes raisons, comme dans oui, si la phrase contient le mot-clé bla, "Oh, c'est bla répondu." C'est comme si nous avions franchi une falaise de perception avec nos clients où ils se disaient : "Oh merde, ce truc fonctionne vraiment." Qu'est-ce qui provoque cette prise de conscience ? Est-ce votre propre contenu ?

Rati : Ouais, je dirais que c'est notre propre contenu. C'était intéressant, tous les appels bêta et les appels inter avec les clients - nous entrons, il y a de l'excitation. Il y a beaucoup de grandes questions, et tout le monde essaie de parler de l'avenir de l'IA dans les appels. Et puis, on leur présentait Fin. Ils commenceraient à poser des questions. Nous leur demanderions : « Quelle est la question la plus fréquemment posée par vos équipes d'assistance ? » Voir cette réponse arriver avec leur propre contenu a été le «moment aha» immédiat pour les clients. Et c'est vraiment ce qui nous motive. C'est un moment clé pour les clients de voir que cela fonctionne. Vous insérez votre contenu et l'IA peut vraiment répondre et résoudre ces questions pour vos clients.

Des : Brian, de quoi s'agit-il ?

Brian : Ce qui est intéressant et ce qui, à mon avis, est validé par des tests d'utilisateurs finaux, c'est ce sens avant et après de l'état des bots, ou peut-être qu'il s'agit d'anciens et de nouveaux bots. Nous avons en fait entendu, lors des tests effectués par notre équipe auprès des utilisateurs finaux, que les gens se disaient : « Oh, attendez, est-ce un vieux bot ? » Et soyons honnêtes. C'est aussi nos robots, n'est-ce pas ? Et beaucoup d'utilisateurs finaux disent : « Je n'ai pas une très bonne idée de ceux-là. Je ne suis pas tellement excité de m'engager avec ça. Il y a probablement pas mal de frictions et d'obstacles que vous me faites franchir. Oh, attendez, est-ce un bot ChatGPT ? » C'est différent. C'est quelque chose que, en tant qu'utilisateur final, je suis prêt à faire. Je pense donc que cela va vraiment émerger.

Cela a commencé parce que ChatGPT a eu une utilisation si large, il y a donc cette perception de la qualité par l'utilisateur final. Je ne sais pas si les gens diront : « J'ai l'impression de parler à un humain. Mais j'ai l'impression que je peux avoir une conversation normale plutôt que "Je parle à la technologie, utilise des mots-clés, clique sur ces boutons." En fait, avoir un dialogue naturel est un énorme changement dans la perception de la qualité de nos clients et des utilisateurs finaux ainsi que dans la proposition de produit de base, qui consiste à répondre automatiquement à votre question sans aucune configuration. Il y a cette qualité conversationnelle qui donne presque ce lustre, tout cet éclat autour de la chose qui change vraiment la saveur de cette technologie.

Le besoin de rapidité

Des: C'est presque comme si l'avènement de ChatGPT avait re-légitimé les bots pour la première fois, de sorte que tout le monde est prêt à les essayer à nouveau. Parlons de la construction de produits à l'ère de l'IA. Qu'est-ce qui change, Brian ? A quoi ça ressemble?

Brian : Ça a été toute une balade. Vraiment depuis décembre, c'est comme, whoa, c'est de retour en mode démarrage. C'est un refrain qui sonne vrai pour tout le monde. Et qu'est ce que ca veut dire? Je pense que la première chose est la vitesse. Nous nous sommes alignés là-dessus en décembre et avons déclaré : "Nous voulons être le leader de l'IA pour le support." Pour que nous ayons légitimement cette revendication, en plus d'avoir le produit, nous devons avoir la vitesse nécessaire pour mettre ce produit sur le marché. Nous pensons que, là où cela se passe actuellement, la vitesse est absolument essentielle. Et ce n'est pas un truisme. La vitesse compte toujours. À l'intérieur ici, nous parlons toujours de la façon dont nous pouvons aller plus vite, en nous mettant au défi d'aller plus vite. Mais pas plus tard que la semaine dernière, j'ai vu quelqu'un tweeter : « Hé, Apple n'est pas qu'une question de vitesse. Ils sont heureux d'être deuxièmes sur le marché, mais proposent le meilleur produit, puis ils nettoieront. » Ce n'est pas un truisme, car la vitesse comporte de nombreux risques en termes de qualité du produit, de proposition de produit, en termes d'espace de tête et de santé au travail, etc. Mais nous sommes tous d'accord sur le fait qu'il s'agit de vitesse, d'aller vite pour le produit ici.

"Vous pouvez en fait utiliser la vitesse comme objectif d'ancrage : 'Nous voulons sortir rapidement ce que nous pensons être un produit qui change la donne'"

Si tout le monde est en quelque sorte aligné sur cela et sur le fait d'être vraiment ambitieux et agressif, et que nous sommes en quelque sorte prêts à déchirer notre façon de travailler et comment nous devrions travailler, les choses vont être plus compliquées et vous déchirez en quelque sorte le processus. Nous avons trop de canaux Slack, mais nous avons des canaux Slack incroyables qui ont finalement explosé en taille là-bas. Maintenant d'accord, vous devez revenir en arrière et le nettoyer. Mais je pense que c'est l'optimisation de la vitesse.

Un autre ingrédient essentiel ici est l'absence de politique. Une absence de personnes disant: «Hé, j'ai besoin d'avoir une voix forte ici. Je veux avoir une opinion ici. Les gens se sont alignés derrière, "Hey, que puis-je faire pour aider?" Et si cela veut dire écrire un petit document FAQ ici et ensuite foutre le camp, d'accord, c'est ce que je ferai. Il est difficile de savoir ce que vous pouvez faire pour aider, mais si vous avez cet esprit, vous pouvez en fait utiliser la vitesse comme objectif d'ancrage : "Nous voulons sortir rapidement ce que nous pensons être un produit révolutionnaire." Cela peut vraiment galvaniser les gens d'une manière incroyablement énergisante. C'est une façon vraiment amusante de travailler, mais pour certaines personnes, c'est trop chaotique.

Rati : Nous avons parlé un peu plus tôt de la façon dont nous avons créé l'équipe principale de ML. Nous avons une équipe centrale de personnes où il y a un décideur qui valide le concept de base de Fin. Nous avons maintenant mis à l'échelle, « D'accord, nous avons un produit. Nous voulons le mettre en version bêta. Nous voulons le mettre sur le marché. Nous avons des gens du marketing que nous devons intégrer et des équipes d'habilitation dont nous avons besoin pour travailler les unes avec les autres. Mais nous voulons toujours maintenir ce même niveau de vitesse. Donc, nous sommes maintenant passés d'une équipe centrale, et comment l'étendez-vous au reste du groupe, au reste de l'entreprise pour que plus de gens puissent continuer tout en maintenant la vitesse ? Ce que nous avons abordé là-bas, c'était d'avoir l'objectif commun que tout le monde comprenne où nous voulions en venir avec Fin. Donner aux gens l'autonomie de prendre des décisions.

"Je pense que c'est important lorsque vous construisez dans cet espace avec une IA très différente de ce que nous avons fait auparavant - pour permettre le désordre et être d'accord avec le désordre"

Des : Quand vous dites où nous voulions en venir avec Fin, est-ce que cette portée et cette chronologie étaient comme « ces fonctionnalités, cette date » ? Étions-nous prêts à tout donner ?

Rati : Timeline était un bon point d'ancrage pour nous. Vous pouvez choisir la portée, puis laisser la portée dicter votre chronologie, ou vous pouvez choisir une chronologie, et cela dicte votre portée. Nous avons choisi une chronologie. Un calendrier était important, car en tant qu'entreprise, nous voulions aller vite et nous voulions mettre quelque chose sur le marché et le mettre entre les mains des clients. Nous avons donc choisi un calendrier, puis validé ce que nous pouvions obtenir dans ce calendrier. Et cela nous a vraiment aidés à rester concentrés. Nous avons ce calendrier. Nous avons cette portée qui, selon nous, aura un impact réel sur les clients. Courir. Donner aux équipes l'autonomie pour prendre des décisions et accepter le désordre qui en découle. Je pense que c'est important lorsque vous construisez dans cet espace avec une IA très différente de ce que nous avons fait auparavant - pour permettre le désordre et être d'accord avec le désordre.

Brian : Il y a un autre point critique que vous avez abordé, qui est la vitesse de prise de décision. Tout le monde le sait, mais comme tant de choses, c'est facile à dire et difficile à faire. Lorsque tout le monde est aligné, la vitesse de mise sur le marché est essentielle, lorsque nous sommes alignés sur ce que nous essayons de faire, même alignés sur les objectifs de mise sur le marché, ce que je pense que nous avons mieux fait pour Fin qu'ailleurs, lorsque vous peut construire ce muscle de la prise de décision rapide, c'est incroyable. Eoghan McCabe a été en mesure de clarifier les choses : "Voici ce que nous essayons de faire." Cela a également eu un effet d'entraînement.

"Cela ne sert à rien que je coure partout, disant aux gens que la vitesse est importante s'il nous faut six mois pour décider de ce que nous allons facturer pour la fonctionnalité"

Il y a des décisions difficiles et délicates à prendre et les gens entrent et s'y attaquent. Et au lieu de tourner en rond, d'obtenir plus d'informations, d'avoir plus de gens et de ne pas parvenir à un consensus, si vous obtenez ce muscle fort, c'est énergisant. Les gens peuvent ne pas être satisfaits de la décision, mais souvent, ils sont simplement heureux que nous avancions à cause du sentiment de progrès. Lorsque vous êtes dans un bus et que vous sentez que vous vous déplacez rapidement, c'est un endroit très excitant. Je savais qu'il y avait une réunion lundi, et j'allais y prendre l'avion. Ma seule chance était de rédiger le document, de partager tout ce que je pouvais et de prendre de l'avance car je ne pouvais pas être là à la réunion et la décision allait être prise là-bas. J'ai essayé dur et j'ai échoué. Mais quoi qu'il en soit, vous vous contentez de dire : "C'est le rythme de prise de décision que nous devons prendre, et le rythme de prise de décision est généralement plus important que les décisions elles-mêmes."

Des : Je suis tout à fait d'accord. Je pense aussi qu'il vaut la peine de signaler aux auditeurs qu'Eoghan McCabe est notre PDG. Les dimanches soirs, tout au long de ce projet, j'ai eu des appels avec Eoghan où nous avons juste parlé de ce qu'étaient les inconnues et les connues, toutes les questions dont nous étions conscients. À quelle heure doit-on partir ? Quel modèle utiliserions-nous ? Que facturerions-nous ? Si nous sommes lents, pourquoi diable seriez-vous rapide ? Si vous êtes lent, pourquoi diable les concepteurs ou les ingénieurs agiraient-ils vite ? C'est juste impossible. Il ne sert à rien d'essayer de travailler aussi vite que possible si vous savez que "Hé, ça va prendre encore deux semaines avant que nous prenions la décision." Même si je dis souvent que "la vitesse c'est la vie" et tout ça, ce projet a été une très bonne preuve qu'il doit être à l'unisson. Il ne sert à rien que je coure partout, disant aux gens que la vitesse est importante s'il nous faut six mois pour décider ce que nous allons facturer pour la fonctionnalité ou quoi que ce soit. Ça doit être 100% ensemble.

Un exercice d'équilibriste

Brian : Les variables ici sont le prix, la vitesse, la latence, la disponibilité et la qualité. Donc, vous avez toutes ces variables des modèles LLM au-dessus de notre système, et comment nous interagissons et obtenons la qualité du produit que nous voulons, et tout change très rapidement. Ainsi, lorsque OpenAI a publié ChatGPT avec l'API, qui est GPT Turbo, c'était 10 fois moins cher que 3.5. Donc, tout à coup, toute la dynamique est modifiée, et tout à coup, des fonctionnalités qui n'étaient pas réalisables auparavant sont maintenant comme "Whoa, whoa, whoa, whoa". L'ensemble du marché ici a énormément changé. Ensuite tu reviens sur « Attends, c'est quoi la qualité ? La qualité est-elle suffisante ? » Et c'est effectivement rapide. Donc, parfois, les modèles les moins chers sont super rapides. Donc, vous n'avez pas de rapport clair entre les prix les plus chers et les égaux-

Des: C'est l'une des choses que nous apprenons dans la version bêta. L'une des questions que nous devons résoudre, et nous y passerons probablement une éternité, est la suivante : quel est le compromis entre la rapidité avec laquelle l'utilisateur final obtient la réponse et le besoin d'une précision extrême ? Ou même juste un beau texte enroulé autour de la réponse dans un sens. La bonne réponse mal formulée en 0,1 seconde pourrait en fait battre une réponse très élégante en 10 secondes en termes de satisfaction de l'utilisateur final.

"Comment construisez-vous avec l'incertitude du produit sur ce qui se passe ? Tout le monde essaie de comprendre cela"

Rati : Je pense que c'est un défi que tout le monde dans cet espace devra relever car c'est tellement nouveau pour les entreprises et les clients. Il n'y a pas non plus beaucoup d'opinions fortes car les clients apprennent encore ce qu'ils veulent dans le monde. Quelque chose qui était vraiment intéressant tout au long de la version bêta, et même maintenant, essaie d'extrapoler à partir des gens comment ils perçoivent et apprécient la qualité. Pour en revenir à ce point de prix et ne pas avoir cela séparé au sein de l'entreprise alors que nous prenons des décisions sur Fin, vous pensez à la tarification. Vous devez penser au produit parce que nous disons : « Oh, nous voulons augmenter la qualité. Quel est le coût de cela, et est-ce que quelqu'un est prêt à payer pour cela ? » « D'accord, on va passer à une qualité inférieure, mais ça va être un peu plus rapide. Sont-ils prêts à payer plus ou moins pour cela ? » Et donc, c'est un cycle continu auquel vous devez réfléchir et vérifier par vous-même ce qui vaut la peine d'aller de l'avant. Les clients sont-ils prêts à payer ? L'apprécient-ils de la même manière que nous ?

Des : Et compte tenu de la quantité torrentielle de changements qui se produisent, on a l'impression que toutes ces décisions, principes ou directives sont presque périssables. Nous pourrions avoir une opinion très forte sur l'endroit où il faut utiliser GPT-4 par rapport à Turbo, et deux jours plus tard, nous pourrions changer cette opinion et revoir les questions à nouveau. Comment gérez-vous des changements assez extrêmes ?

Brian : Quand je regarde en arrière, je me dis : "Oh, je me suis trompé." Essayer d'optimiser la vitesse, mais ensuite, lorsque nous avons obtenu de nouvelles informations sur la disponibilité que nous allions avoir et comment cela allait changer les choses, parce que vous êtes à l'aise de travailler dans une petite unité, effectivement, vous pouvez tous continuer bord chaque jour. Et maintenant, nous sommes comme des centaines de personnes, et donc si vous faites un changement significatif sur la base des informations d'hier, tout le monde doit se dire : "Tout a changé, puis cela change à nouveau la semaine prochaine." Il est vraiment difficile de travailler à grande échelle lorsque le sol en dessous peut subir des changements aussi spectaculaires.

Nous parlions du désordre et de l'incertitude, et vous avez parlé des modèles comme d'un élément central de tout cela parce que tant de choses changent et changent ici, mais le tableau d'ensemble est tellement incertain. Et c'est aussi quelque chose dont nous avons parlé : "Comment construisez-vous avec l'incertitude du produit sur ce qui se passe?" Tout le monde essaie de comprendre cela.

"Si vous voulez travailler sur la définition de la prochaine version des produits et sur la direction que prend cette industrie, vous devez être prêt à sauter dans le chaos et espérer que tous vos membres resteront attachés lorsque vous sortirez"

Par exemple, notre messager ne sera-t-il pas pertinent parce que tout le monde ira simplement sur Google et Google sera leur nouvel assistant pour faire tout cela ? Ou peut-être que Google ne sera plus pertinent. "En fait non, ce sont eux qui vont être perturbés." Les possibilités d'une perturbation plausible de plusieurs milliards d'entreprises… C'est même au-delà de cela, je pense, l'ampleur de cela. Est-ce que tout est raisonnablement plausible à penser. Nous sommes dans cet espace où la macro-incertitude des réalités plausibles de l'univers alternatif qui pourraient être réelles dans six mois par rapport à ce que nous pouvons construire maintenant et si nous pouvons construire cela sur un terrain fragile est un nouveau défi pour tout le monde. La plupart des gens aiment un peu de stabilité pour travailler, et je pense que tout le monde doit reconnaître que la stabilité n'est plus une chose.

Des : Ce n'est pas un atout.

Brian : Si vous voulez travailler dans un produit stable, cela signifie que vous travaillez avec des équipes qui géraient auparavant l'incertitude, et vous chevauchez presque du genre : « D'accord, vous avez du succès, et maintenant vous avez plus espace coussiné pour faire votre travail itératif. Et c'est un endroit valable que vous espérez pour votre entreprise. Mais je pense que l'autre côté est aussi l'innovation et l'incertitude. Vous ne pouvez pas extraire l'un de l'autre. Si vous voulez travailler sur la définition de la prochaine version des produits et sur la direction que prend cette industrie, vous devez être prêt à sauter dans le chaos et espérer que tous vos membres resteront attachés lorsque vous sortirez. Mais ils le font généralement, n'est-ce pas? C'est juste un logiciel.

Libérer de la valeur à l'ère de l'IA

Des : Brian, si vous parlez à une start-up à un stade précoce, disons 50 à 100 personnes, et qu'elle est sur le point de commencer sa première aventure dans l'IA, que lui conseilleriez-vous ? Si vous devez leur donner une direction, serait-ce d'embrasser l'incertitude, ou serait-ce d'aller aussi vite que possible ? Serait-ce de s'asseoir et de regarder et de choisir votre coup?

Brian : J'ai assisté à certaines de nos conférences avec nos clients et j'ai parlé à des personnes qui envisagent également de construire des choses, et ils se sont dit : "Comment gérez-vous toute cette incertitude ?" Il y a tellement de valeur sur laquelle nous nous asseyons en termes de ce que cette technologie déverrouille qui n'était jamais possible auparavant, et c'est maintenant constructible. Jamais auparavant quelqu'un n'avait eu autant d'options pour construire un produit. Nous avons beaucoup trop, et nous essayons de nous concentrer et de trouver comment équilibrer notre investissement. Il y a une centaine de choses que nous voulons faire, et nous sommes assez confiants que 50 d'entre elles seront construites et auront de la valeur. Il y en a trop qui sont disponibles maintenant.

"Des choses qui n'étaient pas possibles auparavant ne sont pas seulement possibles maintenant - beaucoup d'entre elles sont raisonnablement simples à construire"

Donc, si vous êtes une startup, choisissez simplement l'étape suivante. Pour faire un gros pari sur la façon dont les modèles de produits entiers vont changer, vous avez besoin d'un gros investissement. Mais il y a tellement de choses à construire sur lesquelles une entreprise peut tirer parti. J'ai l'impression que c'est le meilleur moment pour être une startup. Il y a six mois, rappelez-vous que Rob était à un spectacle et dites, Rob de l'équipe ML, et lui, avec la version précédente de Tech, a enquêté, "Pouvons-nous faire cela?" Parce que nous savions que c'était précieux et il a fait une exploration de deux semaines. Il dit : « Non, il n'y a rien ici. Désolé les gens. J'ai essayé de trouver quelque chose, mais il s'avère qu'il n'y a rien du tout ici. Six mois plus tard, je pense sincèrement que c'est en moins d'un jour qu'il vient de mettre l'emballage autour de cette chose pour obtenir cette fonctionnalité. C'est là où nous en sommes.

Des choses qui n'étaient pas possibles auparavant ne sont pas seulement possibles maintenant - beaucoup d'entre elles sont raisonnablement simples à construire. Donc, je pense que c'est un moment incroyable pour tout constructeur de produits pour rechercher un espace. Choisissez une valeur à court terme pour vous lancer, car il faut du temps pour créer un produit et le commercialiser, trouvez cette valeur à court terme pour laquelle vous pouvez commencer à réfléchir à son évolution future, mais ne soyez pas paralysé par le fait que nous 'ai tellement d'univers alternatifs devant nous maintenant.

Rati : Je dirais aussi que vous n'avez pas besoin de choisir une nouvelle chose à faire. Même si je regarde ce que nous avons fait chez Intercom lors du lancement de GPT l'année dernière, nous avons examiné les emplois et les problèmes que nous voulions résoudre, et c'est très important. Vous n'avez pas besoin de construire une nouvelle chose ou de trouver un nouveau créneau - vous pouvez trouver des problèmes existants et utiliser cette nouvelle technologie pour les résoudre. Et puis choisissez-en un. Ne choisissez pas une tonne de choses, choisissez une chose et poursuivez-la.

« La façon dont nous pensons est de penser à court terme. Avons-nous une différenciation ? Hey, trois mois serait bien. Peut-être que six mois seraient bien, et nous verrons ce que cela nous rapportera »

Des : Que pensez-vous tous les deux de l'idée de douves dans les affaires ? Si vous êtes une startup, vous avez une liste de choses à faire ou une gestion de projet, et vous dites : « Hé, j'ai pensé à un truc sympa que je pense que ces éléments font toujours, alors je vais y aller et fais-le. Si c'était facile pour vous, c'est facile pour tout le monde ». Que pensez-vous de la mesure dans laquelle vous externalisez les fonctionnalités intéressantes ? Et puis, en fin de compte, la grande démocratisation du SaaS pourrait se produire où tout le monde peut construire toutes les choses sympas que vous construisez aussi. C'est peut-être une question qui dépasse le cadre de ce sur quoi vous passez réellement votre journée, mais quelle est votre réaction à cela ? L'idée que ces fonctionnalités sont en fait réalisées par quelqu'un d'autre, et que nous ne faisons que les API ?

Brian : La douve et l'avantage concurrentiel sont une question difficile à cause de cela. We think of what Intercom as a system has and our competitive advantages within that, with data that we have, which is a huge source potentially there. We're not unique in having that, but we're, in a way, a smaller group of people who have some of those characteristics. So, how can we lean on that? It's super hard. How will it change? Will it matter or not? Will technology make that differentiation moot? Competitive differentiation is part of this as well because that will dissolve. The way we're thinking about is thinking short term. Do we have differentiation? Hey, three months would be good. Maybe six months would be good, and we'll see what that buys us. The reality is there's probably not a world where you can build something for a year and you're differentiated for a while. I don't know if that world ever really existed, but I think that's hard.

Des: There are still some types of moats, but I think, in general, simply building a lot of products might not be one, especially when you're not really building – you're just building API goals into it.

Brian: Another interesting thing, though, is that for us, as builders in this space, it's impossible to stay on top of all the stuff that's happening. It's actually incredibly hard to stay on top of all the stuff happening at the Intercom project. No one can really keep up with all this stuff that's happening. Never mind the macro industry.

“Are you betting on a product that's going to keep getting better or on a product that hopes the world never changes?”

And what about your customers? Their job is not to stay on top of all this stuff, even though they're now being asked to do it. I think brands will increase in importance. People say, “I need someone who's going to do the work for me, and I know this company will figure out the good stuff and make that available to me so that I don't have to figure it out.” So your customers can rely on you to figure out what matters from this and make sure that's in the product. Because I would be very happy if I could just offload that whole mental, “How the hell do I think about AI?” to you.

Des: I think that's totally true. Maybe it's just our industry, because people are not free to change help desk every few months. It's very messy. But I think when people are picking a tool, whether it's like, say, project management or communications or support, they're probably making a decision that's at least one year in length, but probably more cause migration's now a joke for a lot of these things. So, what they're looking for in a brand is like, “Am I picking the right horse?” If new shit drops, will these people be able to react to it and make the most of it, or are they going to be stuck forever doing press releases that don't amount to any software whatsoever? Are you betting on a product that's going to keep getting better or on a product that hopes the world never changes? I think the latter category will be a bad bet at a time like this.

Brian: One other thought that's circled around my head is like product builders. This is what you hope for. You say, “Oh, the world has changed, and we want it to be in this holy-changed space.” And it is. It's for real. It's a great time to be building product, and we're lucky to be working in this space. That's how I feel, even though it's head-wrecking, you can't keep up, and the ground beneath us is almost forever shaken up. But this is fun. This is why you want to build product.

“Companies who want to move in the space in AI are going to have to be okay with not knowing everything and making sure you have clear goals for your teams”

Des: What's it like on the ground, Rati? Do you end up having to just chase down Slack channels in the night?

Rati: Yeah, I'm in Slack a lot. That is true. But I also am okay. And I think companies who want to move in the space in AI are going to have to be okay with not knowing everything and making sure you have clear goals for your teams. For us, that's worked really well where the teams have clear goals they need to go after. I know 60% of the time what's going on, and any key decisions are usually surface that you'll catch. I'm sure there are things that drop, but generally, we're going in the same direction as a team. And on the AI piece, people are excited to work in this new space. It's a great opportunity for a lot of folks who you've been wanting to have this exciting new thing happen, learning how ML works, learning AI, as well as getting involved in that. So, it's quite good on the ground. Of course, there are pain points – I'm not going to paint it as a rosy thing, but it's exciting on the ground.

Des: I was talking to a friend, and we had this thought experiment. Imagine it all just went away. Imagine that, for whatever reason, someone deleted all of the LLMs, and we have to go back to the world of SaaS. It feels so much more boring looking back now. Because even the features that are pure SaaS 101 for us, even, let's say, ticketing in our help center, or whatever, we were still looking at them going, “At some point, we're going to come back to you with an AI perspective.” But if this wasn't here, in hindsight, it feels like we were getting towards the end of the SaaS cycle. We'd worked out how to build CRMs for farmers to keep track of their roosters. How many more tail-end sort of features could we build?

Philosophical musings

Des: Forgetting about Intercom, are you excited about AI in your own life as an employee of a tech company? Are there other areas or products you would like to see AI in? Are you seeing anything interesting?

Brian: I'll take this in a different direction, which you may want to shoot down. But for me, what's interesting, getting a little closer to the tech, is the language ability. There are so many philosophical questions that were good for college students to rattle on about with their professors. And you go on there, and it was all academic in that sense. And this has been going on from the '50s, actually, when it was a Touring test. What does it mean to learn? What is knowledge? What is reasoning? It's all relevant right now.

“You learn your second language quite deliberately, but with your first language, your brain was programmed to learn it in a way that evolution built”

Here's an example of this. Ask Fergal “Does GPT understand?” Well, no, it doesn't understand. But I saw, in a Slack thread, “Comprehension is actually kind of remarkable.” Does a robot understand things? It doesn't do language like we do because it just predicts blah blah blah – everyone vaguely knows how this works –, which makes no sense in our heads. But then, how did you learn your language? You had no idea. Your brain learned your language. I find myself thinking way more. I remember hearing neural networks, like programs were getting neural networks, “Yeah, right. Come on, you're not even close.” Now I'm starting to think of my brain more like the machine and I'm like, “I have no idea how I learned language. You learn your second language quite deliberately, but with your first language, your brain was programmed to learn it in a way that evolution built. It's all relevant now.

You could go into politics. There's all the fear of AI, which seems reasonable, but like, humans aren't so good at voting. I don't know, have we really earned the right that we think we have? Because I'd welcome a little more rational voting choices in the future. You can zoom up to that level. And actually, this AI makes you more reflective of our species. We always think we're amazing and wonderful whenever someone's competing against us. But damn, we've got to live up to the promise. My head goes a lot in those directions. And then with kids, seeing how they adapt to the technology as well. That for, me, are the juicy places to go. The academic questions are now front and center. It will be a fun time to go back to college now to be able to talk about this stuff.

“And all of a sudden, do you build relationships with machines?”

Rati: Continuing the tangent. For me, it's more the relationships. Normally, you build relationships by talking to people like this. And imagine, with the advancement of generative AI, being in conversations that you've had with a friend, a parent, or a partner, and then being able to have a conversation there. Can you have relationships with machines? That's, of course, not related to B2B SaaS, but I think it's interesting to start building the space around it.

Brian: Make the internet personal? We can productize that.

Rati: And all of a sudden, do you build relationships with machines? How does that change humans and how we interact in the world? I think that's going to be interesting to watch.

Des: I think the infinitely easier challenge, perhaps, is to build a model of yourself. Giving one of these things access to everything you've ever communicated digitally in any form, everything you've ever spoken, your voice, your look, et cetera. You can imagine having effectively a shadow bot that does your job for you 90% of the time. And that shadow bot just knows to escalate to you whenever it does not know how to do something. You know what I mean?

Rati: We're not far from that. I'm curious to see how open we are as a world to have this integrated into us. It's always been a theoretical conversation about machines and AI and what it could do. So, I'm curious to see, from a personal level and everyday life, how people will actually genuinely integrate this and how it changes how we relate to each other and create connections.

Democratizing UI

Brian: What about you, Des? What are you excited about?

Des: I believe in AI in so many ways. I'm actually not super excited by the sort of text generation features that everyone who has a text area has now got the ability to expand on. And yet, I think that's a reference to the “hello, world” of AI. You just throw this out to make sure all the endpoints are working. Where I get most excited from a future-facing point of view is that I think it'll be a great democratizer for UI. There are so many products we use on a regular basis. Workday is one of them. Kuba is another. There are plenty, honestly, where they're designed for the administrator in the company but not really for the end user who might be affected by the software.

“The idea is you know how to do that, and I don't. You and I could do it, and it might take us four hours, but Brian knows how to do it in 14 minutes”

So, I'm sure we employ people who think the Workday UI is great. I'm sure somebody in the world thinks it's the right UI. But I was in a tool yesterday to approve access for provisioning for something to somebody, and it's not that the UI is necessarily bad from a Jacob Nielsen one-on-one point of view – the drop-downs line up, the text areas line up, et cetera. It's more like this product is capable of so many things but my specific usage of it centers around one or two things, like requesting a day off or approving an expense or something like that, and yet it feels like I need to go on a training course to know how to do these things.

The example you'd both be familiar with is Google Analytics. You've both experienced it at some stage. You probably were once a certified GA or approved educator or something.

Brian: Yes, I was.

Des: You have a grant philosopher at Google or whatever. And the fact that you need a certification is almost part of my point. Because you get those certifications so you can answer questions, “Well, given this interface, tell me how to find the highest-performing referrals CPC ad word that worked for us in Norway between July and August or something like that.” The idea is you know how to do that, and I don't. You and I could do it, and it might take us four hours, but Brian knows how to do it in 14 minutes.

“The gap between being able to express what you want to do and being able to do it will narrow to zero”

What I think genuinely we'll see happen is a lot of these UIs will disappear for the regular folk, and they'll just type the thing they're trying to do. I see this all over the place today. An example is Equals, which is actually built by two former Intercomers. They're basically doing a next-generation spreadsheet with live connections to live data, et cetera. But one of the things they can do is press command+K and start typing the thing you're trying to do. And it will work out what you're trying to do and then generate the Excel commands that you needed to know that you never fucking knew because none of us know Excel codes or commands. It'll do all that for you, you hit return, and you're done.

That's an example of what I call democratization. Previously, all of this was only accessible to people who legit knew Excel or how to use Google Analytics. And now, all of a sudden, we're all going to have access to the same power. The gap between being able to express what you want to do and being able to do it will narrow to zero. Whereas before, there was a big clunky thing in the middle of becoming an expert at using blah. And that expertise is no longer needed. And now I think we can all say to the machine what we want to do, and the machine's going to do it.

Je suis presque certain que cela se produira parce que c'est tellement mieux que l'expérience actuelle des onglets, des listes déroulantes et des clics de souris. Cela va arriver. Et quand cela arrive, c'est un changement de trappe pour la nature même du logiciel. J'ai parlé à beaucoup de gens, et je pense qu'aucun d'entre nous n'est prêt pour ça. Je ne pense pas que nous sachions ce que cela signifie. Il est difficile d'imaginer une interface utilisateur sans interface utilisateur. Il est difficile d'imaginer beaucoup de ces choses. Et je ne pense pas que l'interface utilisateur disparaisse. Je pense que les gens veulent toujours voir ce qui se passe. Mais la nature réelle de l'interface utilisateur compliquée disparaîtra. Écrivez simplement en anglais ce que vous essayez de faire, et vous avez terminé. C'est une nouvelle ère du logiciel, et j'espère juste que je serai à la retraite avant que cela n'arrive.

Brian : Le design d'interaction est discutable.

Des : Ouais, exactement. Et vous savez qui devrait être partout là-dedans et qui ne l'est pas d'une manière ou d'une autre ? Concepteurs de contenu. Il y a un monde énorme qui s'offre à eux s'ils peuvent en tirer parti.

Rati : En combien de temps ou qui l'adopterait en premier ? Lorsque ce changement se produira, cela se produira-t-il avec notre génération, ou est-ce que ce seront les gens qui arriveront maintenant qui changeront la nature des logiciels qu'ils attireront ?

Des : Je pense que cela dépend aussi en grande partie de son accessibilité. Si vous pensez aux interfaces textuelles, elles sont équivalentes aux interfaces audio à cause de Whisper, la technologie OpenAI. Et puis vous pensez à l'avenir de Siri, vous pensez aux appareils Echo d'Amazon, à Cortana et à tout le reste du gang. Tout à coup, quelqu'un qui n'est même pas doué pour les ordinateurs assis dans une pièce peut désormais avoir accès aux commandes numériques de l'ensemble d'Internet. Commandez-moi un taxi, envoyez-moi une pizza, peu importe. Tout cela devient banal. Et ça change les choses. Je ne veux pas le comprendre, ni dire que j'ai la moindre idée de comment, mais je pense juste que le monde entier va être différent, et c'est sûr que c'est une période excitante. Merci beaucoup de vous joindre à nous et de nous aider sur Fin. Cela a été une bonne conversation, et nous vous reverrons tous bientôt.

Brian : Merci, Des.

Rati : Merci.