Démarreur de conversation : une discussion sur notre nouveau chatbot IA révolutionnaire

Le monde de l'IA évolue rapidement, et chez Intercom, nous aidons à établir ce rythme. Aujourd'hui, nous sommes ravis de vous présenter Fin, notre nouveau chatbot alimenté par le GPT-4 d'OpenAI et la technologie d'apprentissage automatique exclusive d'Intercom.

Il y a quelques semaines à peine, nous avons annoncé nos premières fonctionnalités alimentées par GPT dans Intercom - une gamme d'outils utiles pour les représentants du service client - et nos clients ont vraiment apprécié l'efficacité supplémentaire que ces fonctionnalités offrent.

Le grand objectif, cependant, était de créer un chatbot alimenté par GPT qui pourrait répondre directement aux requêtes des clients. Pour ce faire, il fallait pouvoir exploiter la puissance des grands modèles de langage mais sans les inconvénients posés par les « hallucinations ». Au départ, nous n'étions pas sûrs du temps qu'il faudrait pour résoudre ce problème, mais maintenant, avec la sortie de GPT-4 par OpenAI, nous pouvons révéler que nous avons construit un chatbot qui peut répondre de manière fiable aux questions des clients à un niveau élevé. . Nous l'avons appelé Fin.

Dans l'épisode d'aujourd'hui du podcast Inside Intercom, j'ai rencontré notre directeur de l'apprentissage automatique, Fergal Reid, pour discuter de notre nouveau chatbot IA, comment nous l'avons construit, ce qu'il fait et à quoi ressemblent les prochaines étapes de cette percée remarquable.

Voici quelques-uns des principaux plats à emporter :

• Notre nouveau chatbot IA peut converser naturellement en utilisant la dernière technologie GPT.
• Fin ingère les informations de votre centre d'aide existant et n'utilise que ces connaissances, ce qui vous donne le contrôle sur la façon dont il répond aux questions sur votre entreprise.
• Chez Intercom, nous pensons que l'avenir du support est un mélange de bots et d'humains. Fin ne sera pas en mesure de répondre à toutes les questions des clients et, dans ces situations, il peut transmettre les questions les plus difficiles aux équipes d'assistance humaine de manière transparente.
• Nous avons réduit les hallucinations d'environ 10 fois, en créant des contraintes qui limitent Fin aux requêtes relatives à votre entreprise, sur la base d'une base de connaissances en laquelle vous avez confiance.

Si vous aimez notre discussion, consultez d'autres épisodes de notre podcast. Vous pouvez suivre sur Apple Podcasts, Spotify, YouTube ou récupérer le flux RSS dans le lecteur de votre choix. Ce qui suit est une transcription légèrement modifiée de l'épisode.

Un bot sous n'importe quel autre nom

Des Traynor : Bienvenue dans un épisode passionnant du podcast Intercom. Je suis à nouveau rejoint par Fergal Reid, notre directeur de l'apprentissage automatique, et il va nous parler du lancement de quelque chose qu'on nous demande presque tous les jours depuis le lancement de ChatGPT.

"Ce sera en fait un bot que vous pouvez utiliser pour votre entreprise qui a la capacité de traitement du langage naturel de ChatGPT mais répondra aux questions spécifiquement sur votre entreprise"

Fergal Reid : Oui, merci Des. Depuis que ChatGPT est sorti, les gens se disaient : "Hé, puis-je l'utiliser pour répondre à mes questions d'assistance pour mon entreprise ?" Et nous étions toujours comme, 'Oh, nous ne savons pas. Nous ne sommes pas sûrs des hallucinations. Mais aujourd'hui, je pense que nous sommes vraiment ravis d'annoncer que nous sommes vraiment excités par ce produit parce que nous pensons que nous l'avons fait. Nous pensons que nous avons construit quelque chose - ce sera en fait un bot que vous pouvez utiliser pour votre entreprise qui a la capacité de traitement du langage naturel de ChatGPT mais répondra aux questions spécifiquement sur votre entreprise et nous l'avons construit en utilisant votre centre d'aide afin qu'il ne répondra pas aux questions au hasard sur Internet ou quoi que ce soit. Vous pouvez contrôler ce qu'il dit. Le taux de précision a beaucoup augmenté. Nous avons réussi à augmenter considérablement le taux de précision grâce à l'utilisation du nouveau modèle GPT-4 d'OpenAI et auquel vous avez accès en version bêta. Je suis donc vraiment excité à ce sujet.

Des : Donc l'idée est que ce que les gens ont vécu et dont ils sont tombés amoureux dans ChatGPT, qui est en fait ce bot auquel vous pouvez demander n'importe quoi et qui donne une bonne chance de répondre. Vous pouvez faire ça pour votre entreprise ?

Fergal : Oui. Sorte de. Nous avons donc délibérément fait en sorte que vous ne puissiez rien lui demander. L'idée est de créer quelque chose qui a le même type de compréhension conversationnelle que nous avons vu avec ChatGPT, mais qui ne répond spécifiquement qu'aux questions sur votre entreprise. Vous pouvez lui demander quelque chose de sauvage comme, qui était le 22e président des États-Unis ? Et ce sera comme, 'Hé, je ne suis ici que pour répondre aux questions du service client sur cette entreprise spécifique.'

Dés : Cool. Donc, il sait effectivement ce qu'il doit et ne doit pas tenter ?

Fergal : Oui, exactement. C'est l'idée.

Une percée de bot

Des : J'ai l'impression qu'il y a sept ou huit semaines, vous avez dit que nous n'allions pas le faire parce que ce n'était pas possible ou n'allait pas être facile ou quelque chose comme ça ?

"Chaque client nous en parlait"

Fergal : Donc, il y a six ou sept semaines, lorsque nous avons commencé à examiner cette technologie, au départ, lorsque nous l'avons examinée en premier, nous nous sommes dit : « Wow, pouvons-nous construire cela ? » Pouvons-nous créer ChatGPT pour votre entreprise ? » C'était la priorité de tout le monde. Chaque client nous en parlait. Nous étions en quelque sorte en train de le regarder et nous disions, mon Dieu, cela hallucine beaucoup, cela vous donnera des résultats inexacts. Des résultats extrêmement inexacts, des choses totalement inventées, nous étions comme 'C'est une technologie très excitante, mais nous ne savons pas si nous pouvons réellement la contraindre et l'empêcher d'halluciner suffisamment. Et nous avons passé beaucoup de temps à jouer avec GPT, ChatGPT, GPT-3.5.

"Quand nous avons commencé à jouer avec, nous avons pensé, wow, cela semble beaucoup mieux. Il peut encore halluciner parfois, mais il hallucine beaucoup moins, peut-être 10 fois moins »

Nous ne pourrions jamais lui faire savoir quand il ne sait pas quelque chose. Mais récemment, nous avons accès à une nouvelle version bêta d'OpenAI de leur nouveau modèle GPT-4. Et l'une des choses qu'ils nous ont dit était: "Hé, c'est conçu pour halluciner beaucoup moins que certains des autres modèles que nous avons vus dans le passé." Et donc, vous savez, nous étions comme, 'Wow, ça a l'air très intéressant. Ça a l'air très excitant, GPT-4, qu'est-ce que ça va faire ? Et nous avons fait un effort pour en quelque sorte regarder cela et le soumettre à certains de nos bancs d'essai pour vérifier et examiner les hallucinations. Et quand nous avons commencé à jouer avec, nous avons pensé, wow, cela semble beaucoup mieux. Ça peut encore halluciner parfois, mais ça hallucine beaucoup moins, peut-être 10 fois moins, quelque chose comme ça. Et donc nous étions extrêmement excités. Nous étions comme, 'Wow, d'accord, on a soudain l'impression que c'est quelque chose. C'est assez bon pour construire un bot avec, c'est une génération en avance sur le GPT-3.5 que nous utilisons. C'est juste beaucoup plus avancé, en termes de fiabilité.

Dés : Excitant. Que fait le test ? Y a-t-il des tests de torture que nous soumettons à ces robots pour voir exactement s'ils savent qu'ils font des conneries, en gros ?

Fergal : Nous n'en sommes donc pas si loin. Pour notre génération précédente de modèles, par exemple pour le bot de résolution, nous avions cet ensemble vraiment très bien développé de références de test testées au combat que nous avions construites au fil des ans. Toutes ces nouvelles technologies datent de plusieurs mois, nous n'avons donc pas autant de principes que cela. Mais nous avons identifié un tas de cas extrêmes, juste des choses spécifiques. Nous avons une feuille de calcul où nous gardons une trace des types spécifiques de modes de défaillance que nous voyons avec ces nouveaux modèles. Et donc quand GPT-4 est arrivé, vous vous êtes dit, d'accord, essayons ça. Voyons ce qui se passe lorsque vous lui posez une question qui ne figure pas du tout dans un article ou une base de connaissances. Ou vous lui posez une question qui est similaire, mais pas tout à fait la même que ce qui est réellement là.

Et vous savez, avec GPT-3.5 et avec ChatGPT, s'il ne sait pas quelque chose, c'est presque comme s'il voulait vous plaire, vous donner ce que vous voulez. Et donc ça fait juste quelque chose. Et avec GPT-4, ils ont évidemment fait beaucoup de travail pour réduire cela. Et c'est vraiment évident pour nous. Ainsi, lorsque nous le soumettons à nos tests, il est possible de lui faire dire "je ne sais pas" ou d'exprimer beaucoup plus d'incertitude. Cela a vraiment changé la donne pour nous.

"Chez Intercom, nous pensons que l'avenir du support est un mélange de bots et d'humains"

Des : Et si le bot ne le sait pas, peut-il passer la main à un humain ?

Ferga : Absolument. Chez intercom, nous pensons que l'avenir du support est un mélange de bots et d'humains. Nous avons beaucoup d'expérience avec le bot de résolution pour faire un bon transfert du bot au représentant du support humain, en espérant que ce représentant du support soit en avance sur la conversation et nous pensons que nous devons encore le faire avec ce bot. Il y aura toujours des problèmes où, disons, quelqu'un demande un remboursement. Peut-être que vous voulez qu'un humain approuve cela. Il devra donc toujours y avoir un chemin d'approbation humaine. Chez Intercom, nous avons une très bonne plate-forme autour des flux de travail et vous pourrez l'utiliser pour contrôler quand le bot passe le relais et comment il passe le relais. Nous veillerons à ce que ce nouveau bot s'intègre à notre plate-forme existante de la même manière que notre bot existant l'a fait.

Des : Et je présume que le bot aura désambiguïsé ou qualifié une requête d'une manière ou d'une autre, peut-être l'a-t-il résumée, même lorsqu'il la transmet ?

Fergal : Nous n'avons pas de fonctionnalité de résumé pour le moment, mais le bot tentera de lever l'ambiguïté et d'obtenir une réponse du client. Notre robot de résolution existant fait un peu de cela. Ce nouveau bot, parce qu'il est tellement meilleur dans le traitement du langage naturel, peut le faire plus efficacement. Cela peut donc signifier que le temps de traitement diminue pour votre représentant, pour les questions que le bot a abordées. Alors oui, assez excité à ce sujet aussi.

L'art de converser

Des: Les auditeurs de notre podcast Intercom On Product savent que j'aime souvent dire qu'avoir une capacité, même une nouvelle capacité utile, ne suffit pas pour avoir un excellent produit. Comment avez-vous emballé un produit – quels étaient vos objectifs ? Quels sont les objectifs de conception pour créer un produit réel autour de cette fonctionnalité GPT-4 ?

Fergal : Nous avons donc réalisé assez tôt qu'il y avait vraiment un ensemble d'objectifs de conception vers lesquels nous essayions de nous diriger. Avant tout, nous voulions capturer la compréhension du langage naturel que les gens ont vue et qui ont été très impressionnés, avec ChatGPT. Nous voulions obtenir une génération au-dessus de ce qui était, ce qui était là avant. Donc, si vous posez une question assez compliquée ou si vous posez une question, alors vous posez une question de suivi, qu'il comprend que la deuxième question doit être interprétée à la lumière de la précédente. Notre bot précédent ne faisait pas cela. Et la plupart des bots là-bas, ils ne font tout simplement pas ça. C'était tout simplement trop difficile. Vous savez, les conversations sont des environnements très délicats pour les algorithmes d'apprentissage automatique. Il y a beaucoup de subtilité et d'interaction et une sorte de conversation de support, mais cette nouvelle technologie semble très bien faire cela. Donc, notre premier objectif est de capturer cela.

"Il y a beaucoup de subtilité et d'interaction et une sorte de conversation de support, mais cette nouvelle technologie semble très bien faire ça"

Des : Par exemple, vous pouvez poser une question et dire : "Avez-vous une application Android ?" Qu'en est-il de l'iPhone ?' Aimer, demander, 'Et l'iPhone?' n'a aucun sens à moins que vous ne l'ayez déjà analysé avec "Avez-vous une application Android ?", par exemple. Il s'agit donc de coller les choses ensemble pour comprendre la continuité conversationnelle et le contexte.

Fergal : Exactement. Et avec ça, ça coule plus naturellement. Nous le remarquons spécifiquement avec le nouveau bot lorsque vous lui posez une question et que vous obtenez une réponse et que ce n'est pas exactement ce que vous avez demandé, vous pouvez simplement vous dire : "Oh, mais non, je voulais vraiment demander un prix". Et il comprend en quelque sorte cela et il vous donnera la réponse la plus pertinente. Nous pensons qu'il s'agit d'une véritable avancée technologique.

Des : Peut-il vous repousser et dire : « Dites-en plus ? » Peut-il vous poser des questions de suivi pour qualifier vos questions ? Donc, si vous trouvez quelque chose de vague, comme "Hé, est-ce que ça marche ?" Essaierait-il de résoudre ce problème ? Ou répondrait-il par "J'ai besoin de plus que ça".

"Pour créer une bonne expérience produit, c'est presque comme si nous avions beaucoup de flexibilité et beaucoup de puissance, mais maintenant, ce dont nous avons besoin, c'est de la capacité à la limiter et à la contrôler"

Fergal : Donc, nativement, les algorithmes feront une certaine quantité de cela, mais avec ce type de technologie, nous obtenons cette capacité très avancée et en fait, ce que nous essayons de faire, c'est de beaucoup la contraindre. Nous essayons en fait de dire : "D'accord, vous pouvez faire tout cela en dehors de la boîte, mais nous avons besoin de plus de contrôle". En fait, comme vous y avez fait allusion plus tôt, pour créer une bonne expérience produit, c'est presque comme si nous disposions d'une grande flexibilité et d'une grande puissance, mais maintenant, ce dont nous avons besoin, c'est de la capacité à la limiter et à la contrôler. Nous avons donc construit des expériences comme celle-là. Nous avons construit une expérience de désambiguïsation où, si vous posez une question et qu'il n'y a pas assez d'informations, nous essayons de clarifier cela, mais nous le contrôlons.

Nous avons conçu des invites où vous avez des applications spéciales avec la technologie pour effectuer chaque tâche dans la conversation. Nous avons donc une invite pour vous amener à poser une question ; un autre pour lever l'ambiguïté d'une question ; un autre pour vérifier si une question a reçu une réponse complète pour vous. Et donc nous commençons avec ce modèle de langage très puissant, mais nous voulons vraiment l'utiliser comme un bloc de construction. Nous voulons le contrôler. Nous réalisons ce contrôle en le divisant en modules à usage spécial qui font chaque chose séparément.

Un excellent produit s'accompagne d'une grande responsabilité

Des : Donc, à un niveau fondamental, nous disons qu'il peut converser naturellement. Le plus grand avantage de cela, à mon avis, en tant que produit, c'est que vous serez à l'aise de le mettre en première ligne de solution devant vos clients. J'allais dire défense, mais ce n'est pas une opération militaire. Mais vous seriez à l'aise de le dire là-bas comme pour dire: "Hé, la plupart des conversations vont ici." Et le fait qu'il puisse avoir un va-et-vient, qu'il puisse maintenir le contexte, qu'il puisse désambiguïser signifie qu'il est bien équipé pour le faire. Qu'as-tu ajouté d'autre ? Il ne s'agit pas seulement de s'asseoir pour bavarder – alors que fait-il d'autre ?

Fergal : La première chose que je dirais, c'est que différentes entreprises auront probablement différents niveaux de confort en termes de déploiement. Certaines personnes vont probablement dire : "Eh bien, j'ai un très bon centre d'aide", et ce bot que nous avons construit tire toutes ses informations de votre centre d'aide. Je reviendrai là-dessus. Mais certaines personnes pourraient dire : « J'ai un très bon centre d'aide. C'est très bien organisé. J'y ai mis beaucoup d'articles au fil du temps, et je veux avoir le dialogue du bot et répondre à toutes ces questions. Il y aura d'autres clients qui voudront que le bot entre de manière plus opportuniste et se retire [lui-même], et nous travaillons sur la création de paramètres pour permettre aux gens de contrôler leur niveau de confort avec cela.

Des : Une sorte de seuil pour le moment où le bot doit intervenir.

"Nous intégrons le bot à tous nos flux de travail existants pour vous aider à contrôler quand vous voulez qu'il entre et, plus important encore, quand vous voulez qu'il parte afin que vous puissiez passer le relais à votre équipe d'assistance existante lorsqu'il est atteint. sa fin"

Fergal : Exactement. Et pour le moment, nous avons une assez grande capacité de flux de travail que vous pouvez utiliser. Et nous intégrons le bot à tous nos flux de travail existants pour vous aider à contrôler quand vous voulez qu'il entre et, plus important encore, quand vous voulez qu'il parte afin que vous puissiez passer le relais à votre équipe d'assistance existante lorsqu'il est atteint. sa fin.

Des: Donc, s'il n'y a pas d'agents de support en ligne, ou si l'utilisateur est libre, envoyez-les simplement directement au bot. S'il s'agit d'un client VIP et que les agents sont inactifs, envoyez-les directement à l'agent.

Fergal : Exactement. Donc, ce que nous essayons de faire ici, c'est de prendre cette nouvelle technologie, puis de l'intégrer à notre plate-forme existante, qui possède toutes les fonctionnalités dont les gens ont besoin pour créer ce qui serait considéré comme un déploiement de robots standard.

"Le prochain objectif majeur de conception que nous avions était d'éviter les hallucinations"

Donc, le prochain objectif majeur de conception que nous avions était d'éviter les hallucinations. Nous avons parlé de la réduction des hallucinations et du fait que c'était l'un de nos objectifs de conception que le bot converse naturellement. Mais nous voulions vraiment donner à nos clients le contrôle sur le type de questions auxquelles ils pourraient répondre. Maintenant, ces robots, cette nouvelle technologie d'IA, vous avez accès à un grand modèle de langage et il a été formé sur l'intégralité du texte d'Internet. Il contient donc toutes ces connaissances. Et l'une des manières – en quelque sorte la plus simple – de déployer cela est de dire : « Hé, je vais juste demander au bot de répondre aux questions en utilisant toutes ses informations sur Internet. Mais le problème avec cela est que s'il ne sait pas quelque chose, il peut l'inventer. Ou s'il sait quelque chose, vous ne voulez peut-être pas qu'il parle à vos clients d'un sujet potentiellement sensible sur lequel vous savez qu'il contient des informations. Vous pourriez penser : « Je ne suis pas sûr de ce que pensent de mon entreprise ou de ma marque, vous savez, quelle que soit l'information, elle provient d'un site Web étrange. Je ne veux pas qu'il ait cette conversation avec mon client.

« Nous avons fait beaucoup de travail pour utiliser le grand modèle de langage pour être conversationnel ; pour l'utiliser pour comprendre un article du centre d'aide dont vous disposez ; mais pour le contraindre à ne donner que des informations qui se trouvent dans un article du centre d'aide réel que vous contrôlez et que vous pouvez mettre à jour et que vous pouvez modifier et que vous pouvez modifier »

Nous avons donc beaucoup travaillé pour utiliser le grand modèle de langage pour être conversationnel ; pour l'utiliser pour comprendre un article du centre d'aide dont vous disposez ; mais pour le contraindre à ne donner que des informations qui se trouvent dans un article du centre d'aide réel que vous contrôlez et que vous pouvez mettre à jour et que vous pouvez modifier et que vous pouvez modifier. Et c'était donc un objectif de conception majeur pour nous, essayer de rendre ce bot digne de confiance, de prendre les grands modèles de langage, mais de créer un bot qui est contraint de les utiliser pour répondre uniquement aux questions sur votre entreprise et sur le centre d'aide de votre entreprise.

C'était beaucoup de travail et nous en sommes très fiers. Nous pensons que nous avons quelque chose de vraiment bon parce que vous obtenez ce morceau de conversation. Vous obtenez l'intelligence du modèle d'IA pour obtenir une réponse réelle à partir d'un article du centre d'aide, mais c'est limité. Donc, ça ne va pas commencer à avoir des conversations aléatoires avec les utilisateurs finaux.

Ces bots, ces modèles, il est toujours possible - si vous les jailbreakez - de les piéger en leur faisant dire quelque chose qui n'est pas de marque ou que vous ne voudriez pas. Et c'est probablement encore possible, mais nous pensons vraiment que nous sommes arrivés à un point où cela nécessiterait une tentative de piratage déterminée pour que cela fonctionne vraiment. Cela ne va pas seulement devenir radicalement hors script dans les conversations normales.
Je pense qu'une chose qu'il est très important de clarifier est que ces grands modèles de langage sont probabilistes. Les hallucinations ont beaucoup diminué et nous pensons que c'est désormais acceptable pour de nombreuses entreprises, mais ce n'est pas nul. Ils donneront parfois des informations non pertinentes. Ils donnent parfois des informations incorrectes lorsqu'ils ont lu l'article de votre centre d'aide, qu'ils n'ont pas bien compris, et qu'ils répondent donc mal à une question. Peut-être qu'un agent de support fera aussi des erreurs…

Des: Les humains sont connus pour…

Fergal : Les humains sont également parfois connus pour faire des erreurs. Et donc, ces bots, vous savez, c'est une nouvelle ère technologique. Il y a un compromis différent de ce que nous avions auparavant. Peut-être que certains de nos clients diront : "Je veux attendre". Je ne veux pas le déployer pour l'instant. Mais nous pensons que, pour beaucoup, beaucoup de clients, cela franchira le seuil, où l'avantage de [pouvoir dire] "Je n'ai pas besoin de faire la curation, je n'ai pas besoin de faire la configuration que j'ai" J'ai eu à faire dans le passé avec le bot de résolution, je peux simplement l'activer, le premier jour, et tout à coup toutes les connaissances qui se trouvent dans mon centre d'aide, le bot l'a, le bot peut essayer de répondre aux questions avec. Ce ne sera pas parfait, mais ce sera rapide. Nous pensons que cela va être un compromis valable pour beaucoup d'entreprises.

Des : En termes de configuration, si vous êtes un client avec une bonne base de connaissances, combien de temps vous faut-il pour passer de cela à un bon bot ? Quelle est la durée de la formation ? Combien de configurations ?

Fergal : Très peu de temps. En gros pas de formation. Vous pouvez simplement prendre le nouveau système que nous avons construit et vous pouvez le diriger vers votre centre d'aide existant. C'est un peu de temps de traitement où nous devons en quelque sorte le rentrer et le gratter et préparer les articles pour le service.

Des : Minutes ? Secondes ?

Fergal : Nous y travaillons toujours. Nous sommes en minutes en ce moment, mais nous pensons – peut-être au moment où cela sera diffusé – ce sera beaucoup plus bas que cela. Il n'y a pas de goulot d'étranglement technique difficile à rendre cela très, très bas. Et donc nous sommes très excités à ce sujet.

Un résumé du produit

Des : Donc, en résumé, donnez-nous les points essentiels de ce produit. Que devrions-nous en dire au marché ?

"Il va parler avec vous d'une manière naturelle, comme vous l'avez vu avec ChatGPT. La deuxième chose est que vous, en tant qu'entreprise, pouvez contrôler ce qu'il dit "

Fergal : La première chose que je dirais, c'est qu'il vous parlera de manière naturelle, comme vous l'avez vu avec ChatGPT. La deuxième chose est que vous, en tant qu'entreprise, pouvez contrôler ce qu'elle dit. Vous pouvez limiter les choses dont il parlera au contenu de votre base de connaissances. La troisième chose que je dirais, c'est que les hallucinations sont loin d'être là. Et la quatrième chose que je dirais, c'est que c'est vraiment facile à mettre en place. Vous prenez simplement ceci, vous le pointez vers votre ensemble de connaissances existant et vous n'avez pas besoin de faire tout un tas de curation.

Des : Parce que nous sommes Intercom, nous ne sommes pas susceptibles de discuter de merde et de nous engager dans une charge de battage médiatique sans au moins certaines qualifications. Dans quels domaines travaillons-nous encore à nous améliorer ?

Fergal : Je suppose que la première chose que je dirais, c'est que la pièce de précision n'est pas parfaite. Il s'agit d'un nouveau type de technologie. C'est un nouveau type de compromis en génie logiciel. Ainsi, avec le bot de résolution, le bot de résolution venait parfois donner une réponse non pertinente, mais vous pouviez toujours comprendre de quoi il parlait, vous pouviez dire : "Ce n'est pas tout à fait pertinent". C'est un peu différent. Cela donnera parfois des réponses non pertinentes, mais cela peut aussi parfois donner des réponses incorrectes. Il a peut-être simplement mal compris les informations de votre base de connaissances. Un exemple spécifique de ceci est parfois, par exemple, si vous avez une liste de fois où quelque chose peut se produire et qu'un utilisateur demande [au bot], il peut supposer que cette liste est exhaustive. Il pourrait supposer que cette liste était tout le temps, puis il supposerait: "Oh non, ce n'était pas dans la liste de l'article". Donc je vais dire que la réponse est non, ça ne peut pas arriver. Cette chose ne peut pas arriver cette autre fois.

Des : Ainsi, vous pourriez avoir un article basé sur la connaissance qui cite des exemples de cas où nous ne rembourserons pas votre paiement, avec une liste de deux ou trois exemples. Et le modèle de langage lira cela et conclura qu'il y a trois conditions dans lesquelles cela se produit. Et c'est se tromper, en ne voyant pas qu'il ne s'agit là que d'exemples démonstratifs, plutôt que de la liste exhaustive. C'est ce que tu veux dire ?

Fergal : Exactement. Sa culture générale et sa compréhension générale sont encore un peu limitées ici. Ainsi, il peut examiner des listes de choses et faire des hypothèses qui sont sur le point d'être acceptables, mais pas tout à fait exactes. Ouais. Ainsi, la plupart du temps, lorsque nous le voyons faire une erreur, l'erreur semble assez raisonnable, mais toujours fausse. Mais tu dois être d'accord avec ça. C'est une limite. Vous devez être d'accord avec l'idée que parfois cela peut donner des réponses légèrement erronées.

"Nous construisons cette expérience où vous pouvez prendre votre centre d'aide existant et accéder très rapidement à une démo du bot, pré-achat, pour jouer avec vous-même et comprendre à quel point cela fonctionne pour votre centre d'aide spécifique"

Des : Est-ce quantifiable ? Je suppose que ce n'est pas parce que ce sera différent par question, par base de connaissances, par client, par acceptabilité… Donc, quand quelqu'un dit : « Hé, à quel point le bot est-il bon ? », comment répondez-vous le mieux ?

Fergal : La meilleure chose à faire est d'aller jouer avec une démo sur votre propre centre d'aide. Nous construisons cette expérience où vous pouvez prendre votre centre d'aide existant et accéder très rapidement à une démo du bot, pré-achat, pour jouer avec vous-même et comprendre à quel point cela fonctionne pour votre centre d'aide spécifique.

Des : Et vous suggéreriez, par exemple, de rejouer les 20 dernières conversations que vous avez eues, ou vos requêtes d'assistance les plus courantes ? Comment un individu peut-il prendre une décision éclairée ? Parce que je suis sûr que ça fera tout, 'Allo? Etes-vous un robot?' 'Oui, je le suis'.

Fergal : Nous pensons que rien qu'en interagissant avec lui, on peut très rapidement se faire une idée du niveau de précision. Si vous posez vos 20 principales questions, le type de questions que les gens vous posent jour après jour… vous explorez celles-ci, vous demandez des éclaircissements. Vous avez une assez bonne idée de là où c'est bon et où se trouvent les points de rupture. Pour nous, il s'agit d'un nouveau produit incroyable et nous en sommes vraiment ravis, mais il s'agit toujours de la première génération. Nous allons maintenant améliorer toutes les pièces d'apprentissage automatique. Nous améliorerons également toutes ces pièces de mesure au fil du temps.

Des : Avec le premier bot de la résolution, notre ancien bot, vous l'entraîniez - vous diriez donc : « Hé, c'est la mauvaise réponse ». Voici ce que je veux que vous disiez », et cetera. Vous ne faites pas ça cette fois-ci. Donc, si vous détectez qu'il donne une réponse imprécise, ou pensez qu'il pourrait faire mieux, quelle est la meilleure chose à faire ? Écrivez-vous un meilleur article? Regardez-vous sa source?

Fergal : Nous n'en sommes qu'à nos débuts et nous allons probablement créer des fonctionnalités pour vous permettre d'avoir un contrôle plus précis. Mais pour l'instant, la réponse à cette question est : "Hé, pouvez-vous rendre votre article de base de connaissances plus clair ?" En fait, en développant ce bot, nous avons vu qu'il existe de nombreux articles ambigus basés sur la connaissance dans le monde, où de petits éléments pourraient être plus clairs.

Évolution

Des : Selon vous, quels autres domaines vont évoluer au cours des prochains mois ?

Fergal : Il y a beaucoup de travail à faire de notre côté. Nous avons la première version pour le moment. Pour l'améliorer, nous voulons le mettre en ligne avec les clients, nous voulons obtenir des commentaires réels, basés sur l'utilisation. Tout produit d'apprentissage automatique sur lequel j'ai travaillé, il y a toujours une tonne d'itérations et une tonne d'améliorations à faire au fil du temps. Nous souhaitons également améliorer le niveau d'intégration avec notre robot de résolution existant. Notre bot de résolution existant nécessite cette curation, mais si vous faites cette curation, c'est excellent. Il peut faire des choses comme prendre des mesures. Vous pouvez le connecter à votre API afin qu'il se rende compte que quelqu'un demande à propos de la revente d'un mot de passe et déclenchera réellement cette réinitialisation du mot de passe.

"Le dernier élément qui me passionne énormément est cette idée que nous pouvons prendre cette nouvelle technologie d'IA et l'utiliser pour générer considérablement plus de contenu de support que nous n'avons pu le faire dans le passé. Très vite, ce nouveau bot, si le contenu est dans votre centre d'aide, il pourra répondre en utilisant votre contenu »

Il est vraiment important pour nous que ce type de bot de nouvelle génération soit également capable de faire toutes ces choses. Donc, au début, ce sera comme "Hey, réponds aux questions d'information de ta base de connaissances". Zéro configuration le premier jour - lancez-le en direct, c'est génial. Mais finalement - et nous l'avons vu dans toutes les recherches que nous avons faites - vous voulez passer au niveau suivant. Après cela, les gens voudront pouvoir utiliser cette technologie et cette capacité dont nous disposons déjà pour prendre des mesures pour résoudre les requêtes. Et nous sommes ravis de voir cela beaucoup plus construit sur cette plate-forme basée sur le langage de nouvelle génération.

Ensuite, le dernier élément qui me passionne énormément est cette idée que nous pouvons prendre cette nouvelle technologie d'IA et l'utiliser pour générer considérablement plus de contenu de support que nous n'avons pu le faire dans le passé. Très rapidement, ce nouveau bot, si le contenu est dans votre centre d'aide, il pourra répondre en utilisant votre contenu. Et nous pensons que c'est formidable. Il y a beaucoup de gens qui sont capables d'écrire des articles du centre d'aide qui auraient été bloqués en essayant de gérer des bots ou des intentions dans le passé. Nous sommes donc très excités à ce sujet. Mais nous pensons qu'il y a de nouveaux outils à créer ici, pour faciliter considérablement la rédaction du contenu de l'article du centre d'aide. Par exemple, prenez vos conversations d'assistance et utilisez cette IA de nouvelle génération pour amorcer ce processus.

Des: Donc, une vision dont nous avons parlé il y a peut-être seulement deux mois était l'idée que l'équipe d'assistance répondrait aux questions qui sont… Je pense, à l'époque, j'ai dit, répondre à vos questions pour la première fois et la dernière fois . Donc si une question fait son chemin, c'est parce qu'on ne l'a pas vue avant. Et une fois que nous l'avons vu, nous ne le revoyons plus. C'est comme ça que vous voyez que ça se passe ?

"Nous pensons que nous pouvons voir un chemin vers cela où nous pouvons avoir une expérience de curation qui est assez simple pour qu'un représentant du support dans une boîte de réception puisse simplement finir de répondre à une conversation et dire:" Oui, j'ai approuvé cette réponse pour aller dans le bot '"

Fergal : Je pense que, pour la première fois, je peux voir un chemin vers cela. Lorsque nous sommes passés au bot de résolution 1.0, la demande de fonctionnalité que nous recevions toujours était : « Hé, puis-je avoir mon représentant de support dans la boîte de réception ? Puis-je leur demander de répondre à une question, puis de simplement poser cette question dans le bot ? » Et chaque fois que nous avons essayé de le faire, cela n'a pas fonctionné, car poser une question et organiser une question pour être assez bon pour concevoir une intention était juste beaucoup de travail. Dans l'industrie, il existe de nombreux robots de support différents. Je n'ai jamais vu quelqu'un qui a réussi à clouer ça et à faire que ça marche vraiment. Mais maintenant, avec les grands modèles de langage avancés, nous pensons que nous pouvons voir un chemin vers cela où nous pouvons avoir une expérience de curation qui est assez simple pour qu'un représentant du support dans une boîte de réception puisse juste finir de répondre à une conversation et se dire : "Oui, je a approuvé cette réponse pour entrer dans le bot.'

Il doit y avoir une approbation humaine car il ne peut pas être que Fergal demande au bot, "Hey, quel est le numéro de carte de crédit de Des" ? Le bot dira : "Eh bien, je connais la réponse à cette question, car c'était dans cette autre conversation dans laquelle Des est présente." Ce serait inacceptable. Il doit y avoir une étape d'approbation entre les conversations privées et la connaissance du support durable. Mais nous pensons voir la voie vers un processus d'approbation bien meilleur que jamais auparavant. Et potentiellement un monde où peut-être pas tous les problèmes, mais pour beaucoup de problèmes, ils ne peuvent être résolus qu'une seule fois. Nous pensons qu'il y a quelque chose de cool qui arrive là-bas.

Des : Génial. Eh bien, c'est une version passionnante - est-elle disponible pour tout le monde ?

Fergal : Cela se dirige actuellement vers la version bêta privée, avec la nouvelle version de GPT-4 d'OpenAI.

Dés : Excitant. Eh bien, je vérifierai dans quelques semaines et je verrai comment ça se passe.

Fergal : Ouais. Des moments passionnants.