Gesprächseinstieg: Ein Gespräch über unseren bahnbrechenden neuen KI-Chatbot

Die Welt der KI bewegt sich schnell, und hier bei Intercom tragen wir dazu bei, dieses Tempo vorzugeben. Heute freuen wir uns, Fin vorzustellen, unseren neuen Chatbot, der auf GPT-4 von OpenAI und der proprietären maschinellen Lerntechnologie von Intercom basiert.

Erst vor wenigen Wochen haben wir unsere ersten GPT-basierten Funktionen in Intercom angekündigt – eine Reihe nützlicher Tools für Kundendienstmitarbeiter – und unsere Kunden haben die zusätzliche Effizienz, die diese Funktionen bieten, wirklich genossen.

Das große Ziel war jedoch die Schaffung eines GPT-basierten Chatbots, der Kundenanfragen direkt beantworten kann. Dazu musste es in der Lage sein, die Leistungsfähigkeit großer Sprachmodelle zu nutzen, jedoch ohne die Nachteile von „Halluzinationen“. Anfangs waren wir uns nicht sicher, wie lange es dauern würde, dieses Problem zu knacken, aber jetzt, mit der Veröffentlichung von GPT-4 von OpenAI, können wir verraten, dass wir einen Chatbot gebaut haben, der Kundenfragen zuverlässig und auf hohem Niveau beantworten kann . Wir haben es Fin genannt.

In der heutigen Folge des Podcasts von Inside Intercom habe ich mich mit unserem Director of Machine Learning, Fergal Reid, zusammengesetzt, um unseren neuen KI-Chatbot zu besprechen, wie wir ihn gebaut haben, was er tut und wie die nächsten Schritte für diesen bemerkenswerten Durchbruch aussehen.

Hier sind einige der wichtigsten Erkenntnisse:

• Unser neuer KI-Chatbot kann sich mit der neuesten GPT-Technologie auf natürliche Weise unterhalten.
• Fin nimmt die Informationen aus Ihrem bestehenden Help Center auf und verwendet nur dieses Wissen, sodass Sie die Kontrolle darüber haben, wie Fragen zu Ihrem Unternehmen beantwortet werden.
• Wir bei Intercom glauben, dass die Zukunft des Supports eine Mischung aus Bots und Menschen ist. Fin wird nicht in der Lage sein, alle Kundenanfragen zu beantworten, und in solchen Situationen kann es schwierigere Fragen nahtlos an menschliche Supportteams weiterleiten.
• Wir haben Halluzinationen um etwa das 10-fache reduziert und Einschränkungen geschaffen, die Fin auf Abfragen in Bezug auf Ihr Unternehmen beschränken, basierend auf einer Wissensdatenbank, der Sie vertrauen.

Wenn Ihnen unsere Diskussion gefällt, sehen Sie sich weitere Folgen unseres Podcasts an. Sie können auf Apple Podcasts, Spotify, YouTube folgen oder den RSS-Feed in Ihrem Player Ihrer Wahl abrufen. Was folgt, ist eine leicht bearbeitete Abschrift der Episode.

Ein Bot mit einem anderen Namen

Des Traynor: Willkommen zu einer spannenden Folge des Intercom-Podcasts. Zu mir gesellt sich wieder Fergal Reid, unser Director of Machine Learning, und er wird uns über die Einführung von etwas erzählen, um das wir seit der Einführung von ChatGPT fast jeden Tag gebeten wurden.

„Dies wird tatsächlich ein Bot sein, den Sie für Ihr Unternehmen verwenden können und der über die Fähigkeit zur Verarbeitung natürlicher Sprache von ChatGPT verfügt, aber Fragen speziell zu Ihrem Unternehmen beantwortet.“

Fergal Reid: Ja, danke Des. Seit ChatGPT auf den Markt kam, sagten die Leute: „Hey, kann ich damit meine Support-Fragen für mein Unternehmen beantworten?“ Und wir dachten immer: ‚Oh, wir wissen es nicht. Bei den Halluzinationen sind wir uns nicht sicher.« Aber heute, denke ich, freuen wir uns sehr, ankündigen zu können, dass wir wirklich begeistert von diesem Produkt sind, weil wir glauben, dass wir es geschafft haben. Wir glauben, dass wir etwas gebaut haben – dies wird tatsächlich ein Bot sein, den Sie für Ihr Unternehmen verwenden können und der über die Fähigkeit zur Verarbeitung natürlicher Sprache von ChatGPT verfügt, aber Fragen speziell zu Ihrem Unternehmen beantwortet, und wir haben ihn mithilfe Ihres Hilfezentrums erstellt beantwortet keine zufälligen Fragen aus dem Internet oder so. Sie können steuern, was es sagt. Die Genauigkeitsrate ist stark gestiegen. Wir haben es geschafft, die Genauigkeitsrate durch die Verwendung des neuen GPT-4-Modells von OpenAI, auf das Sie in der Betaversion zugreifen können, erheblich zu steigern. Also ich bin wirklich aufgeregt darüber.

Des: Die Idee ist also, dass das, was die Leute in ChatGPT erlebt haben und in das sie sich irgendwie verliebt haben, das ist im Grunde dieser Bot, den Sie alles fragen können, und der einen guten Versuch gibt, zu antworten. Können Sie das für Ihr Unternehmen tun?

Fergal: Ja. Art von. Also haben wir es bewusst so gemacht, dass Sie es nichts fragen können. Die Idee ist, etwas zu bauen, das die gleiche Art von Gesprächsverständnis hat, das wir bei ChatGPT gesehen haben, das aber speziell nur Fragen zu Ihrem Unternehmen beantwortet. Sie können es so wild fragen wie: Wer war der 22. Präsident von Amerika? Und es wird so lauten: „Hey, ich bin nur hier, um Fragen des Kundensupports zu diesem speziellen Unternehmen zu beantworten.“

Des: Cool. Es weiß also effektiv, was es versuchen soll und was nicht?

Fergal: Ja, genau. Das ist die Idee.

Ein Bot-Durchbruch

Des: Ich habe das Gefühl, Sie haben vor sieben oder acht Wochen gesagt, wir würden das nicht machen, weil es nicht möglich oder nicht einfach wäre oder so?

„Jeder Kunde hat uns danach gefragt“

Fergal: Also, als wir uns vor sechs oder sieben Wochen mit dieser Technologie befassten, dachten wir zunächst, als wir sie uns zum ersten Mal ansahen: „Wow, können wir das bauen? Können wir ChatGPT für Ihr Unternehmen entwickeln?' Das war in aller Munde. Jeder Kunde hat uns danach gefragt. Wir haben es uns irgendwie angesehen und dachten, meine Güte, das halluziniert sehr, das wird Ihnen ungenaue Ergebnisse liefern. Völlig ungenaue Ergebnisse, völlig erfundene Dinge, wir dachten: „Es ist eine sehr aufregende Technologie, aber wir sind uns nicht sicher, ob wir sie tatsächlich einschränken und verhindern können, dass sie genug halluziniert. Und wir haben viel Zeit damit verbracht, mit GPT, ChatGPT, GPT-3.5 zu spielen.

„Als wir anfingen, damit zu spielen, dachten wir, wow, das sieht viel besser aus. Es kann immer noch manchmal halluzinieren, aber es halluziniert viel weniger, vielleicht zehnmal weniger.“

Wir könnten es einfach nie wissen lassen, wenn es etwas nicht weiß. Aber vor kurzem haben wir Zugang zu einer neuen Beta von OpenAI ihres neuen GPT-4-Modells erhalten. Und eines der Dinge, die sie uns sagten, war: "Hey, das soll viel weniger halluzinieren als einige der anderen Modelle, die wir in der Vergangenheit gesehen haben." Und so dachten wir: ‚Wow, das klingt sehr interessant. Das klingt sehr aufregend, GPT-4, was wird es tun?' Und wir haben uns bemüht, uns das sozusagen anzusehen und es durch einige unserer Prüfstände zu schicken, um es zu überprüfen und auf Halluzinationen zu untersuchen. Und als wir anfingen, damit zu spielen, dachten wir, wow, das scheint viel besser zu sein. Es kann immer noch manchmal halluzinieren, aber es halluziniert viel weniger, vielleicht zehnmal weniger, so ähnlich. Und deshalb waren wir sehr aufgeregt. Wir sagten: ‚Wow, okay, das fühlt sich plötzlich so an, als wäre das etwas. Das ist gut genug, um damit einen Bot zu bauen, das ist dem von uns verwendeten GPT-3.5 eine Generation voraus. Es ist nur viel weiter, in Bezug darauf, wie vertrauenswürdig es ist.

Des: Aufregend. Was macht der Test – gibt es Foltertests, denen wir diese Bots unterziehen, um genau zu sehen, ob sie im Grunde wissen, dass sie Bullshit machen?

Fergal: So weit sind wir noch nicht. Für unsere vorherige Generation von Modellen, zum Beispiel für Auflösungs-Bots, hatten wir diesen wirklich, wirklich gut entwickelten Satz von kampferprobten Test-Benchmarks, die wir über Jahre aufgebaut hatten. All diese neuen Technologien sind Monate alt, also sind wir nicht ganz so prinzipientreu. Aber wir haben eine Reihe von Grenzfällen identifiziert, nur bestimmte Dinge. Wir haben eine Tabelle, in der wir bestimmte Arten von Fehlermodi verfolgen, die wir bei diesen neuen Modellen sehen. Und als GPT-4 auftauchte, dachten Sie, okay, lasst uns das ausprobieren. Mal sehen, was passiert, wenn Sie ihm eine Frage stellen, die überhaupt nicht in einem Artikel oder einer Wissensdatenbank enthalten ist. Oder Sie stellen ihm eine Frage, die ähnlich, aber nicht ganz gleich ist wie das, was tatsächlich da ist.

Und wissen Sie, mit GPT-3.5 und mit ChatGPT, wenn es etwas nicht weiß, ist es fast so, als wollte es Ihnen gefallen, Ihnen geben, was Sie wollen. Und so macht es nur etwas aus. Und mit GPT-4 haben sie offensichtlich eine Menge Arbeit geleistet, um dies zu reduzieren. Und das ist für uns ganz offensichtlich. Wenn wir es also unseren Tests unterziehen, ist es möglich, dass es sagt: „Ich weiß nicht“ oder viel mehr Unsicherheit ausdrückt. Das war ein echter Game Changer für uns.

„Bei Intercom glauben wir, dass die Zukunft des Supports eine Mischung aus Bots und Menschen ist“

Des: Und wenn der Bot es nicht weiß, kann er an einen Menschen übergeben?

Fergal: Absolut. Wir bei Intercom glauben, dass die Zukunft des Supports eine Mischung aus Bots und Menschen ist. Wir haben viel Erfahrung mit Auflösungs-Bots darin, eine nette Übergabe vom Bot an den menschlichen Support-Mitarbeiter zu machen und diesen Support-Mitarbeiter hoffentlich vor dem Gespräch zu bekommen, und wir denken, dass wir das mit diesem Bot noch tun müssen. Es wird immer Probleme geben, bei denen beispielsweise jemand um eine Rückerstattung bittet. Vielleicht möchten Sie, dass ein Mensch das genehmigt. Es muss also immer einen menschlichen Genehmigungsweg geben. Bei Intercom haben wir eine wirklich gute Plattform für Arbeitsabläufe und Sie können diese verwenden, um zu steuern, wann und wie der Bot übergibt. Wir werden sicherstellen, dass sich dieser neue Bot genauso in unsere bestehende Plattform integriert wie unser bestehender Bot.

Des: Und ich nehme an, dass der Bot eine Abfrage auf irgendeine Weise disambiguiert oder qualifiziert, vielleicht zusammengefasst hat, selbst wenn er sie übergibt?

Fergal: Wir haben im Moment keine Zusammenfassungsfunktion, aber der Bot wird versuchen, eine Kundenantwort zu klären und herauszuarbeiten. Unser bestehender Resolution-Bot macht ein bisschen davon. Dieser neue Bot kann dies einfach effektiver tun, weil er so viel besser in der Verarbeitung natürlicher Sprache ist. Das kann also bedeuten, dass die Bearbeitungszeit für Ihren Vertreter für die Fragen, die der Bot berührt hat, sinkt. Also ja, ich bin auch ziemlich aufgeregt darüber.

Die Kunst des Gesprächs

Des: Die Zuhörer unseres Intercom On Product-Podcasts wissen, dass ich oft sage, dass es nicht ausreicht, eine Fähigkeit zu haben, selbst eine neuartige Fähigkeit, die nützlich ist, um ein großartiges Produkt zu haben. Wie haben Sie ein Produkt verpackt – was waren Ihre Ziele? Was sind die Designziele für die Entwicklung eines tatsächlichen Produkts um diese GPT-4-Fähigkeit herum?

Fergal: Wir haben also ziemlich früh erkannt, dass es wirklich eine Reihe von Designzielen gibt, auf die wir zusteuern wollten. In erster Linie wollten wir mit ChatGPT das natürliche Sprachverständnis erfassen, das die Leute gesehen haben und von dem sie sehr beeindruckt waren. Wir wollten eine Generation über dem stehen, was vorher da war. Wenn Sie also eine ziemlich komplizierte Frage stellen oder eine Frage stellen, dann stellen Sie eine Folgefrage, die versteht, dass die zweite Frage im Lichte der vorherigen zu interpretieren ist. Unser vorheriger Bot hat das nicht gemacht. Und die meisten Bots da draußen tun das einfach nicht. Das war einfach zu hart. Wissen Sie, Konversationen sind sehr knifflige Umgebungen für maschinelle Lernalgorithmen. Es gibt viel Subtilität und Zusammenspiel und eine Art Support-Gespräch, aber diese neue Technologie scheint darin großartig zu sein. Unser erstes Ziel ist es also, das zu erfassen.

„Es gibt viel Subtilität und Zusammenspiel und eine Art Support-Gespräch, aber diese neue Technologie scheint darin großartig zu sein.“

Des: Als Beispiel dafür könnten Sie eine Frage stellen und sagen: „Haben Sie eine Android-App? Nun, was ist mit dem iPhone?' Gerne, um zu fragen: "Was ist mit dem iPhone?" macht keinen Sinn, es sei denn, Sie haben es zuvor beispielsweise mit „Haben Sie eine Android-App?“ geparst. Es geht also darum, Dinge zusammenzukleben, um die Gesprächskontinuität und den Kontext zu verstehen.

Fergal: Genau. Und damit fließt es einfach natürlicher. Wir bemerken dies besonders beim neuen Bot, wenn Sie ihm eine Frage stellen und eine Antwort erhalten und es nicht genau das ist, was Sie gefragt haben. Sie können einfach sagen: „Oh, aber nein, ich wollte wirklich nach dem Preis fragen.“ Und es versteht das irgendwie und gibt Ihnen die relevantere Antwort. Wir haben das Gefühl, dass dies eine echte bahnbrechende Technologie ist.

Des: Kann es auf dich zurückdrängen und sagen: "Sag mehr?" Kann es Ihnen Folgefragen stellen, um Ihre Fragen zu qualifizieren? Wenn Ihnen also etwas Vages einfällt, wie "Hey, funktioniert das Ding?" Würde es versuchen, das zu lösen? Oder würde es mit „Ich brauche mehr als das“ antworten.

„Um tatsächlich ein gutes Produkterlebnis zu schaffen, ist es fast so, als hätten wir jede Menge Flexibilität und viel Kraft, aber jetzt brauchen wir die Fähigkeit, sie zu begrenzen und zu kontrollieren.“

Fergal: Also, nativ werden die Algorithmen eine gewisse Menge davon machen, aber mit dieser Art von Technologie bekommen wir diese sehr fortschrittliche Fähigkeit und dann versuchen wir eigentlich, sie stark einzuschränken. Wir versuchen tatsächlich zu sagen: ‚Okay, Sie können das alles sofort machen, aber wir brauchen mehr Kontrolle.' Um tatsächlich – wie Sie bereits angedeutet haben – ein gutes Produkterlebnis aufzubauen, ist es fast so, als hätten wir jede Menge Flexibilität und jede Menge Macht, aber jetzt brauchen wir die Fähigkeit, sie zu begrenzen und zu kontrollieren. Also haben wir solche Erfahrungen gemacht. Wir haben eine Erfahrung zur Begriffsklärung entwickelt, bei der wir versuchen, das zu klären, wenn Sie eine Frage stellen und es nicht genügend Informationen gibt, aber wir kontrollieren es.

Wir haben Eingabeaufforderungen entwickelt, bei denen Sie spezielle Anwendungen mit der Technologie haben, um jede Aufgabe im Gespräch zu erledigen. Wir haben also eine Aufforderung, Sie dazu zu bringen, eine Frage zu stellen; eine andere, um eine Frage zu klären; eine andere, um zu überprüfen, ob eine Frage für Sie vollständig beantwortet wurde. Und so beginnen wir mit diesem sehr mächtigen Sprachmodell, aber wir wollen es wirklich nur als Baustein verwenden. Wir wollen es kontrollieren. Wir erreichen diese Kontrolle, indem wir sie in Spezialmodule aufteilen, die alles separat erledigen.

Mit einem großartigen Produkt geht eine große Verantwortung einher

Des: Auf einer grundlegenden Ebene sagen wir also, dass es sich natürlich unterhalten kann. Der größte Vorteil davon als Produkt ist meiner Meinung nach, dass Sie es bequem als erste Lösungslinie Ihren Kunden präsentieren können. Ich wollte Verteidigung sagen, aber es ist keine militärische Operation. Aber Sie würden es bequem veröffentlichen, als wollten Sie sagen: "Hey, die meisten Gespräche finden hier statt." Und die Tatsache, dass es ein Hin und Her haben kann, es kann den Kontext aufrechterhalten, es kann disambiguieren, bedeutet, dass es dafür gut gerüstet ist. Was hast du noch hinzugefügt? Er sitzt nicht nur zum Plaudern da – was macht er sonst noch?

Fergal: Das erste, was ich sagen würde, ist, dass verschiedene Unternehmen wahrscheinlich unterschiedliche Komfortniveaus in Bezug auf die Art und Weise haben werden, wie sie dies einsetzen. Einige Leute werden wahrscheinlich sagen: „Nun, ich habe ein wirklich großartiges Help Center“, und dieser Bot, den wir gebaut haben, zieht alle seine Informationen aus Ihrem Help Center. Ich komme darauf zurück. Aber manche Leute sagen vielleicht: „Ich habe ein wirklich gutes Hilfezentrum. Es ist sehr gut kuratiert. Ich habe dort im Laufe der Zeit viele Artikel veröffentlicht, und ich möchte den Bot-Dialog haben und all diese Fragen beantworten.' Es wird andere Kunden geben, die wollen, dass der Bot eher opportunistisch kommt und sich [von selbst] verabschiedet, und wir arbeiten daran, Einstellungen zu erstellen, damit die Leute ihren Komfort damit steuern können.

Des: Eine Art Schwelle, wann der Bot einspringen soll.

„Wir integrieren den Bot in alle unsere bestehenden Workflows, damit Sie die Kontrolle darüber erhalten, wann er eintreffen und, was noch wichtiger ist, wann er gehen soll, damit Sie ihn an Ihr bestehendes Support-Team übergeben können, wenn er erreicht ist sein Ende"

Fergal: Genau. Und im Moment haben wir eine ziemlich große Workflow-Funktion, die Sie verwenden können. Und wir integrieren den Bot in alle unsere bestehenden Workflows, damit Sie die Kontrolle darüber erhalten, wann er eintreffen und, was noch wichtiger ist, wann er gehen soll, damit Sie ihn an Ihr bestehendes Support-Team übergeben können, wenn er erreicht ist sein Ende.

Des: Wenn also keine Support-Agenten online sind oder der Benutzer frei ist, senden Sie sie einfach direkt an den Bot. Wenn es sich um einen VIP-Kunden handelt und Agenten untätig sitzen, senden Sie sie direkt an den Agenten.

Fergal: Genau. Was wir hier also versuchen, ist, diese neue Technologie zu nehmen und sie dann in unsere bestehende Plattform zu integrieren, die all die Funktionen hat, die die Leute brauchen, um das aufzubauen, was als branchenüblicher Bot-Einsatz gelten würde.

„Das nächste große Designziel, das wir hatten, war die Vermeidung von Halluzinationen“

Das nächste große Designziel, das wir hatten, war also, Halluzinationen zu vermeiden. Wir haben über die Reduzierung von Halluzinationen gesprochen und darüber, dass es eines unserer Designziele war, den Bot auf natürliche Weise sprechen zu lassen. Aber wir wollten unseren Kunden wirklich die Kontrolle über die Art der Fragen geben, die es beantworten kann. Jetzt erhalten Sie mit diesen Bots, dieser neuen KI-Technologie, Zugriff auf ein großes Sprachmodell, das auf den gesamten Text des Internets trainiert wurde. Da steckt also all das Wissen drin. Und eine Möglichkeit – irgendwie die einfachste Art – dies bereitzustellen, ist: „Hey, ich lasse den Bot einfach Fragen beantworten, indem er all seine Informationen über das Internet verwendet.“ Aber das Problem dabei ist, dass es etwas erfinden kann, wenn es etwas nicht weiß. Oder wenn es etwas weiß, möchten Sie vielleicht nicht, dass es mit Ihren Kunden über ein potenziell sensibles Thema spricht, von dem Sie wissen, dass es Informationen darüber hat. Sie denken vielleicht: „Ich bin mir nicht sicher, wie sich mein Unternehmen oder meine Marke anfühlt, wissen Sie, welche Informationen auch immer von einer seltsamen Website stammen. Ich möchte nicht, dass es dieses Gespräch mit meinem Kunden führt.'

„Wir haben viel Arbeit investiert, um das große Sprachmodell für Konversation zu verwenden; um es zu verwenden, um einen Hilfeartikel zu verstehen, den Sie haben; sondern es darauf zu beschränken, nur Informationen zu geben, die in einem tatsächlichen Hilfeartikel enthalten sind, den Sie kontrollieren und den Sie aktualisieren, ändern und bearbeiten können.

Wir haben also viel Arbeit investiert, um das große Sprachmodell für Konversation zu verwenden; um es zu verwenden, um einen Hilfeartikel zu verstehen, den Sie haben; sondern es darauf zu beschränken, nur Informationen zu geben, die in einem tatsächlichen Hilfeartikel enthalten sind, den Sie kontrollieren und den Sie aktualisieren, ändern und bearbeiten können. Das war also ein wichtiges Designziel für uns, zu versuchen, diesen Bot vertrauenswürdig zu machen, die großen Sprachmodelle zu nehmen, aber einen Bot zu bauen, der darauf beschränkt ist, sie zu verwenden, um nur Fragen zu Ihrem Unternehmen und zum Hilfecenter Ihres Unternehmens zu beantworten.

Das war eine Menge Arbeit, und darauf sind wir sehr stolz. Wir denken, dass wir etwas wirklich Gutes haben, weil Sie diesen Gesprächsstoff bekommen. Sie erhalten die Intelligenz des KI-Modells, um eine tatsächliche Antwort aus einem Hilfecenter-Artikel zu erhalten, aber es ist eingeschränkt. Es wird also nicht losgehen und anfangen, zufällige Gespräche mit Endbenutzern zu führen.

Diese Bots, diese Modelle, es ist immer möglich – wenn Sie sie jailbreaken – sie irgendwie dazu zu bringen, etwas zu sagen, das nicht der Marke entspricht oder das Sie nicht wollen würden. Und das ist wahrscheinlich immer noch möglich, aber wir haben wirklich das Gefühl, dass wir an einem Punkt angelangt sind, an dem das einen entschlossenen Hacking-Versuch erfordern würde, damit das wirklich funktioniert. Es wird nicht nur in normalen Gesprächen radikal vom Drehbuch abweichen.
Ich denke, eine Sache, die sehr wichtig zu klären ist, ist, dass diese großen Sprachmodelle probabilistisch sind. Halluzinationen haben stark abgenommen und wir denken, dass es für viele Unternehmen jetzt akzeptabel ist, aber es ist nicht Null. Sie werden gelegentlich irrelevante Informationen geben. Gelegentlich geben sie falsche Informationen, wenn sie Ihren Hilfeartikel gelesen haben, sie nicht vollständig verstanden haben, und beantworten daher eine Frage falsch. Möglicherweise macht auch ein Support-Mitarbeiter Fehler…

Des: Es ist bekannt, dass Menschen …

Fergal: Auch Menschen machen gelegentlich Fehler. Und diese Bots, wissen Sie, es ist eine neue Ära der Technologie. Es hat einen anderen Kompromiss als das, was wir vorher hatten. Möglicherweise werden einige unserer Kunden sagen: „Ich möchte warten. Ich möchte das jetzt noch nicht einsetzen.' Aber wir denken, dass dies für viele, viele Kunden die Schwelle überschreiten wird, wo der Vorteil ist, [sagen zu können] "Ich muss nicht kuratieren, ich muss nicht die Einrichtung vornehmen, die ich habe." Ich musste in der Vergangenheit mit Auflösungs-Bots zu tun haben, ich kann das einfach am ersten Tag einschalten, und plötzlich hat der Bot all das Wissen, das in meinem Hilfezentrum ist, der Bot hat es, der Bot kann versuchen, Fragen damit zu beantworten.' Es wird nicht perfekt, aber es wird schnell gehen. Wir glauben, dass dies für viele Unternehmen ein lohnender Kompromiss sein wird.

Des: In Bezug auf die Einrichtung, wenn Sie ein Kunde mit einer guten Wissensbasis sind, wie lange brauchen Sie, um von diesem zu einem guten Bot zu gelangen? Wie viel Training ist damit verbunden? Wie viel Konfiguration?

Fergal: Sehr wenig Zeit. Grundsätzlich keine Ausbildung. Sie können einfach das neue System nehmen, das wir entwickelt haben, und Sie können es auf Ihr bestehendes Hilfezentrum verweisen. Es ist ein bisschen Bearbeitungszeit, in der wir es einziehen und kratzen und die Artikel zum Servieren fertig machen müssen.

Des: Minuten? Sekunden?

Fergal: Daran arbeiten wir noch. Wir sind gerade in wenigen Minuten, aber wir denken – vielleicht wird es bis zur Ausstrahlung viel niedriger sein. Es gibt keinen harten Engineering-Engpass, um das sehr, sehr niedrig zu machen. Und deshalb freuen wir uns sehr darüber.

Eine Produktzusammenfassung

Des: Geben Sie uns also zusammenfassend die Eckpunkte dieses Produkts. Was sollen wir dem Markt darüber sagen?

„Es wird auf natürliche Weise mit Ihnen sprechen, wie Sie es bei ChatGPT gesehen haben. Die zweite Sache ist, dass Sie als Unternehmen kontrollieren können, was es sagt.“

Fergal: Das erste, was ich sagen würde, ist, dass es auf natürliche Weise mit Ihnen spricht, wie Sie es bei ChatGPT gesehen haben. Die zweite Sache ist, dass Sie als Unternehmen kontrollieren können, was es sagt. Sie können die Dinge, über die es sprechen wird, auf die Inhalte Ihrer Wissensdatenbank beschränken. Die dritte Sache, die ich sagen würde, ist, dass Halluzinationen weit von dort entfernt sind, wo sie waren. Und die vierte Sache, die ich sagen würde, ist, dass dies wirklich einfach einzurichten ist. Sie nehmen dies einfach, verweisen es auf Ihr vorhandenes Wissen und müssen nicht eine ganze Menge kuratieren.

Des: Weil wir Intercom sind, werden wir ohne zumindest einige Qualifikationen wahrscheinlich keinen Scheiß plaudern und uns auf eine Menge Hype einlassen. In welchen Bereichen arbeiten wir noch an Verbesserungen?

Fergal: Ich denke, das erste, was ich sagen würde, ist, dass das Genauigkeitsstück nicht perfekt ist. Dies ist eine neue Art von Technologie. Es ist eine neue Art von Software-Engineering-Kompromiss. Beim Auflösungs-Bot kam also manchmal ein Auflösungs-Bot und gab eine irrelevante Antwort, aber man konnte immer irgendwie herausfinden, wovon er sprach, man konnte sagen: „Das ist nicht ganz relevant.“ Das ist ein bisschen anders. Dies wird manchmal irrelevante Antworten geben, aber es kann manchmal auch falsche Antworten geben. Möglicherweise wurden die Informationen in Ihrer Wissensdatenbank nur falsch verstanden. Ein konkretes Beispiel hierfür ist manchmal, sagen wir, wenn Sie eine Liste mit Zeiten haben, in denen etwas passieren kann und ein Benutzer [den Bot] fragt, könnte er davon ausgehen, dass die Liste vollständig ist. Es könnte annehmen, dass diese Liste alle Zeiten war, und dann wird es vermuten: „Oh nein, es war nicht in der Liste in dem Artikel. Also werde ich sagen, die Antwort ist nein, das kann nicht passieren. Dieses Ding kann dieses andere Mal nicht passieren.'

Des: Vielleicht haben Sie einen wissensbasierten Artikel, der Beispiele dafür nennt, wann wir Ihre Zahlung nicht zurückerstatten, mit einer Liste von zwei oder drei Beispielen. Und das Sprachmodell liest das und kommt zu dem Schluss, dass es drei Bedingungen gibt, unter denen dies geschieht. Und es ist ein Fehler, nicht zu sehen, dass dies nur demonstrative Beispiele sind und nicht die erschöpfende Liste. Meinst Du das?

Fergal: Genau. Sein Allgemeinwissen und sein allgemeines Verständnis sind hier noch etwas eingeschränkt. Es kann sich also Listen von Dingen ansehen und Annahmen treffen, die in der Nähe von in Ordnung, aber nicht ganz richtig sind. Ja. Wenn wir also sehen, dass es einen Fehler macht, erscheint der Fehler meistens ziemlich vernünftig, aber immer noch falsch. Aber damit muss man klar kommen. Das ist eine Einschränkung. Sie müssen damit einverstanden sein, dass manchmal leicht falsche Antworten gegeben werden.

„Wir bauen diese Erfahrung auf, bei der Sie Ihr vorhandenes Help Center nutzen und sehr schnell Zugriff auf eine Demo des Bots erhalten können, vor dem Kauf, um selbst damit zu spielen und zu verstehen, wie gut dies für Ihr spezifisches Help Center funktioniert.“

Des: Ist es quantifizierbar? Ich vermute, das liegt nicht daran, dass es je nach Frage, Wissensbasis, Kunde, Akzeptanz unterschiedlich ist … Wenn also jemand sagt: „Hey, wie gut ist der Bot?“, wie antworten Sie darauf am besten?

Fergal: Das Beste, was Sie tun können, ist, mit einer Demo davon in Ihrem eigenen Hilfecenter zu spielen. Wir bauen diese Erfahrung auf, bei der Sie Ihr vorhandenes Help Center nutzen und sehr schnell Zugriff auf eine Demo des Bots erhalten, vorab kaufen, selbst damit spielen und verstehen können, wie gut dies für Ihr spezifisches Help Center funktioniert.

Des: Und Sie würden beispielsweise vorschlagen, die letzten 20 Gespräche, die Sie geführt haben, oder Ihre häufigsten Supportanfragen noch einmal abzuspielen? Wie trifft eine Person eine fundierte Entscheidung? Weil ich sicher bin, dass es das Ganze tun wird, 'Hallo? Bist du ein Bot?' „Ja, das bin ich“-Sache.

Fergal: Wir denken, dass man sich durch Interaktion sehr schnell ein Bild von der Genauigkeit machen kann. Wenn Sie Ihre 20 wichtigsten Fragen stellen, die Art von Fragen, die Ihnen die Leute tagein, tagaus stellen … Sie untersuchen diese, Sie bitten um Klärung. Man bekommt ein ziemlich gutes Gefühl dafür, wo das gut ist und wo die Sollbruchstellen sind. Für uns ist dies ein erstaunliches neues Produkt und wir freuen uns sehr darüber – aber es ist immer noch die erste Generation. Wir werden jetzt alle Teile des maschinellen Lernens verbessern. Wir werden all diese Messstücke im Laufe der Zeit ebenfalls verbessern.

Des: Mit Auflösungs-Bot eins, unserem vorherigen Bot, würden Sie ihn trainieren – also würden Sie sagen: „Hey, das ist die falsche Antwort. Hier ist, was ich möchte, dass Sie sagen', und so weiter. Diesmal tust du das nicht. Wenn Sie also feststellen, dass es eine ungenaue Antwort gibt, oder denken, dass es besser sein könnte, was ist das Beste, was Sie tun können? Schreibst du einen besseren Artikel? Schaust du dir seine Quelle an?

Fergal: Wir sind hier noch in den Anfängen und wir werden wahrscheinlich Funktionen bauen, die Ihnen eine genauere Kontrolle darüber ermöglichen. Aber im Moment lautet die Antwort auf diese Frage: "Hey, können Sie Ihren Wissensdatenbankartikel klarer gestalten?" Tatsächlich haben wir bei der Entwicklung dieses Bots gesehen, dass es viele zweideutige wissensbasierte Artikel auf der Welt gibt, in denen kleine Teile davon klarer sein könnten.

Evolution

Des: Welche anderen Bereiche werden sich Ihrer Meinung nach in den kommenden Monaten entwickeln?

Fergal: Auf unserer Seite gibt es viel zu tun. Wir haben im Moment Version eins. Um es zu verbessern, wollen wir es bei Kunden live bringen, wir wollen aktuelles Feedback basierend auf der Nutzung erhalten. Bei jedem Produkt für maschinelles Lernen, an dem ich je gearbeitet habe, gibt es im Laufe der Zeit immer eine Menge Iterationen und eine Menge Verbesserungen zu tun. Wir möchten auch den Grad der Integration mit unserem bestehenden Resolution-Bot verbessern. Unser bestehender Auflösungsbot erfordert diese Kuration, aber wenn Sie diese Kuration durchführen, ist es ausgezeichnet. Es kann Dinge wie Aktionen ausführen. Sie können es mit Ihrer API verbinden, damit es erkennt, dass jemand nach dem Weiterverkauf eines Passworts fragt, und tatsächlich losgeht und diese Passwortzurücksetzung auslöst.

„Der letzte Punkt, der mich sehr begeistert, ist diese Idee, dass wir diese neue KI-Technologie nehmen und sie verwenden können, um dramatisch mehr Support-Inhalte zu generieren, als wir es in der Vergangenheit konnten. Sehr schnell wird dieser neue Bot, wenn sich der Inhalt in Ihrem Hilfezentrum befindet, in der Lage sein, mit Ihrem Inhalt zu antworten.“

Es ist wirklich wichtig für uns, dass diese Art von Bot der nächsten Generation all diese Dinge auch tun kann. Am Anfang wird es also lauten: „Hey, beantworte Informationsfragen aus deiner Wissensdatenbank.“ Keine Einrichtung am ersten Tag – holen Sie es live, es ist großartig. Aber irgendwann – und das haben wir in jeder unserer Untersuchungen gesehen – möchte man die nächste Stufe erreichen. Danach werden die Leute die Möglichkeit haben wollen, diese Technologie und Fähigkeit zu nutzen, die wir bereits haben, um Maßnahmen zur Lösung von Anfragen zu ergreifen. Und wir freuen uns, dass wir sehen werden, dass noch viel mehr auf dieser sprachbasierten Plattform der nächsten Generation basieren.

Der letzte Punkt, auf den ich mich sehr freue, ist die Idee, dass wir diese neue KI-Technologie nehmen und sie verwenden können, um dramatisch mehr Support-Inhalte zu generieren, als wir es in der Vergangenheit konnten. Wenn sich der Inhalt in Ihrem Help Center befindet, kann dieser neue Bot sehr schnell mit Ihrem Inhalt antworten. Und das finden wir toll. Es gibt viele Leute, die Help-Center-Artikel schreiben können, die in der Vergangenheit beim Kuratieren von Bots oder Absichten stecken geblieben wären. Darauf freuen wir uns sehr. Aber wir denken, dass es hier neue Werkzeuge zu bauen gibt, um das Schreiben des Artikelinhalts des Hilfezentrums erheblich einfacher zu machen. Nehmen Sie zum Beispiel Ihre Support-Gespräche und verwenden Sie diese KI der nächsten Generation, um diesen Prozess zu starten.

Des: Eine Vision, über die wir vielleicht erst vor zwei Monaten gesprochen haben, war die Idee, dass das Support-Team Fragen beantworten würde, die… Ich glaube, damals, sagte ich, zum ersten Mal und zum letzten Mal Ihre Fragen zu beantworten . Wenn also eine Frage durchkommt, liegt das daran, dass wir sie noch nie zuvor gesehen haben. Und wenn wir es einmal gesehen haben, sehen wir es nicht wieder. Siehst du das so?

„Wir glauben, dass wir einen Weg dahin sehen können, bei dem wir eine Kurationserfahrung haben können, die so einfach ist, dass ein Support-Mitarbeiter in einem Posteingang einfach eine Konversation beantworten und sagen kann: ‚Ja, ich habe diese Antwort genehmigt, damit sie in den Bot geht '"

Fergal: Ich glaube, ich sehe zum ersten Mal einen Weg dahin. Als wir zu Resolution Bot 1.0 wechselten, lautete die Feature-Anfrage, die wir immer erhielten: „Hey, kann ich meinen Support-Mitarbeiter im Posteingang haben? Kann ich sie eine Frage beantworten lassen und diese Frage dann einfach in den Bot stellen?' Und jedes Mal, wenn wir das versucht haben, hat es nicht funktioniert, weil das Stellen einer Frage und das Kuratieren einer Frage, die gut genug ist, um eine Absicht zu entwerfen, einfach eine Menge Arbeit war. In der gesamten Branche gibt es viele verschiedene Support-Bots. Ich habe noch nie jemanden gesehen, der es geschafft hat, das auf den Punkt zu bringen und das wirklich funktionieren zu lassen. Aber jetzt, mit den fortgeschrittenen großen Sprachmodellen, glauben wir, dass wir einen Weg dahin sehen können, wo wir eine Kurationserfahrung haben können, die so einfach ist, dass ein Support-Mitarbeiter in einem Posteingang einfach eine Unterhaltung beantworten und sagen kann: „Ja, ich genehmigte diese Antwort, um in den Bot zu gehen.'

Es muss eine menschliche Zustimmung geben, denn es kann nicht sein, dass Fergal den Bot fragt: „Hey, wie lautet die Kreditkartennummer von Des? Der Bot wird sagen: „Nun, ich kenne die Antwort darauf, weil es in dieser anderen Unterhaltung war, in der Des ist.“ Das wäre nicht akzeptabel. Zwischen privaten Gesprächen und dauerhaftem Support-Wissen muss ein gewisser Zustimmungsschritt liegen. Aber wir glauben, dass wir dort einen Weg zu einem viel besseren Genehmigungsprozess sehen, als wir ihn jemals zuvor hatten. Und möglicherweise eine Welt, in der vielleicht nicht jedes Problem, aber viele Probleme nur einmal beantwortet werden können. Wir denken, da kommt etwas Cooles.

Des: Genial. Nun, es ist eine aufregende Veröffentlichung – ist sie für alle verfügbar?

Fergal: Mit der neuen Version von GPT-4 von OpenAI bewegt sich das im Moment nur in Richtung Private Beta.

Des: Aufregend. Nun, ich werde in ein paar Wochen nachsehen, wie es läuft.

Fergal: Ja. Aufregende Zeiten.