Der neue Beginn des maschinellen Lernens

Wir waren schon einmal hier. Zwischen Medienrummel, übertriebenen Behauptungen und der Arbeit vor Ort ist es manchmal schwierig, Fantasie von Realität zu unterscheiden, wenn es um maschinelles Lernen geht. Wenn neuronale Netze ausgereift sind und sich von der Masse abheben, kann die Technologie dem Hype gerecht werden?

In den letzten fünf Jahren haben wir gesehen, wie sich die neuronale Netzwerktechnologie wirklich entwickelt hat. GPT-3 kann bei Bedarf menschenähnlichen Text erstellen, und DALL-E, ein maschinelles Lernmodell, das Bilder aus Texteingabeaufforderungen generiert, erfreut sich in den sozialen Medien wachsender Beliebtheit und beantwortet die dringendsten Fragen der Welt wie „Was würde Darth Vader Sieht aus wie Eisfischen?“ oder "Wie würde Walter White aussehen, wenn er in Animal Crossing wäre?"

Wir wollten wissen, was es mit diesem Anstieg auf sich hat, also haben wir unseren Director of Machine Learning, Fergal Reid, gefragt, ob wir uns für die heutige Folge etwas ausdenken können. Obwohl die Arbeit immer noch ein Balanceakt zwischen dem, was möglich ist, und dem, was machbar ist, beginnen die Dinge, wie es scheint, gerade erst zu skalieren. Die Tech-Landschaft verändert sich, die Geschäftsanwendungen sind (potenziell) bahnbrechend, und, Achtung, Spoiler, Fergal glaubt fest an den Hype.

In der heutigen Folge von Intercom on Product haben Paul Adams, unser Chief Product Officer, und ich uns mit Fergal Reid zusammengesetzt, um über die jüngste Aufregung um neuronale Netze zu sprechen, wie maschinelles Lernen Unternehmen antreibt und was wir von der Technologie in der Branche erwarten können nächsten paar Jahre.

Hier sind einige unserer Lieblingsmitnahmen aus dem Gespräch:

• Neuronale Netze haben in den letzten fünf Jahren erhebliche Fortschritte gemacht und sind heute die beste Möglichkeit, mit unstrukturierten Daten wie Text, Bildern oder Ton in großem Umfang umzugehen.
• In CX werden neuronale Netze wahrscheinlich mit traditionelleren Methoden des maschinellen Lernens verwendet, um Aktionen auszuwählen, die die bestmögliche Interaktion mit dem Kunden ermöglichen.
• Die Entwicklung von ML-Produkten erfordert ein Gleichgewicht – es ist sinnlos, mit dem Problem zu beginnen, wenn die Lösung unerreichbar ist, aber Sie sollten nicht mit der Technologie beginnen, wenn sie die tatsächlichen Kundenanforderungen nicht erfüllen kann.
• KI wurde in der Vergangenheit ziemlich überbewertet. Es ist zwar wahrscheinlich, dass realistischere Ansprüche weniger Konten schließen, aber es zahlt sich bei der Kundenbindung aus.
• ML-Teams neigen dazu, einen angemessenen Teil der Ressourcen in Forschung zu investieren, die nie ausgeliefert wird. Ordnen Sie es so weit wie möglich Projekten zu, die einen tatsächlichen Einfluss auf das Kundenerlebnis haben.
• Wenn Sie in ML investieren möchten, stellen Sie jemanden mit Erfahrung sowohl auf technischer als auch auf operativer Seite ein, damit er vom ersten Tag an mit dem Produktteam zusammenarbeiten kann.

Wenn Ihnen unsere Diskussion gefällt, sehen Sie sich weitere Folgen unseres Podcasts an. Sie können auf iTunes, Spotify, YouTube folgen oder den RSS-Feed in Ihrem bevorzugten Player herunterladen. Was folgt, ist eine leicht bearbeitete Abschrift der Episode.

Der Hype schlägt zurück

Des Traynor: Willkommen zu Intercom On Product, Folge 18. Heute haben wir ein interessantes Thema zu besprechen. Es dreht sich alles um künstliche Intelligenz und maschinelles Lernen. Zu mir gesellt sich wie immer der Chief Product Officer von Intercom, Mr. Paul Adams. Paul, wie geht es dir?

Paul Adams: Mir geht es gut, Des. Vielen Dank.

Des Traynor: Und heute haben wir einen besonderen Gast, Mr. Fergal Reid, unser Director of Machine Learning. Fergal, wie geht's?

Fergal Reid: Es ist gut, Des. Ich freue mich sehr, heute im Podcast zu sein. Ich freue mich darauf, darauf einzugehen.

Des Traynor: Ausgezeichnet. Ich denke, Sie sind unser erster oder zweiter Gast überhaupt, also sollten Sie sehr, sehr dankbar sein.

Fergal Reid: Ich fühle mich wirklich sehr privilegiert.

„Wir haben einen anhaltenden Fortschritt von etwas Neuem und Aufregendem gesehen – von neuronalen Netzwerken angetriebene Technologie – die sich wirklich zu entfalten beginnt und nützlich ist.“

Des Traynor: Fangen wir gewissermaßen am Ende an. Es fühlt sich an, als ob die KI-Hype-Maschine wieder einmal auf Hochtouren läuft. Aus meiner Sicht passiert das alle paar Jahre, aber was ich wirklich sehe, sind Menschen, die viel Kunst schaffen. Die DALL-E-Generation hat begonnen, und einige der erstellten Bilder sind atemberaubend. Neulich habe ich gesehen, dass es einen Marktplatz für DALL-E-Prompts gibt, auf dem Sie buchstäblich Prompts kaufen können, die Bilder für Sie erstellen, was so meta ist, wie es nur geht. In einem praktischeren Sinne kann GitHub Copilot jetzt Ihren Code erweitern, während Sie schreiben, was ziemlich unglaublich ist; Ich habe mit GPT-3 von OpenAI gespielt, die Fragen gestellt und kleine Absätze und Geschichten für mich erstellen lassen, und es war ziemlich beeindruckend. Wenn wir ein wenig zurückzoomen, was passiert eigentlich? Ist in letzter Zeit etwas passiert? Hat das mit einer bestimmten Kette von Ereignissen zu tun? Was ist los?

Fergal Reid: Es ist eine komplexe Sache, das auszupacken – es passiert viel. Es wird unternehmensübergreifend so viel in diesen Bereich der KI und des maschinellen Lernens investiert, dass es schwierig ist, genau zu entschlüsseln, was passiert. Wenn Sie sich arxiv ansehen, wo die Leute ihre Papiere zum maschinellen Lernen ablegen, gibt es jeden Tag eine Flut neuer Sachen. Es ist also schwierig, eine Erzählung durch das zu führen. Meiner Meinung nach haben wir in den letzten fünf Jahren einen anhaltenden Fortschritt von etwas Neuem und Aufregendem gesehen – der von neuronalen Netzwerken angetriebenen Technologie –, die wirklich anfing, sich zu entfalten und nützlich zu sein. Sie haben GPT-3, OpenAI erwähnt, und das nennen wir ein großes Sprachmodell, das ein großes neuronales Netzwerk ist, das versucht, das nächste Wort und eine Folge von Wörtern vorherzusagen, die es sieht. Und sie skalieren das nur. Sie fügten einfach immer mehr Rechenleistung hinzu und es fing an, erstaunliche Dinge zu tun.

Des Traynor: Also vielleicht nur ein paar Wörterbuchdefinitionen. Ist das Hinzufügen von mehr Rechenleistung also mehr CPU-Leistung?

Fergal Reid: Ja, genau. Um lange zurück zu gehen, die CPUs in unseren Computern, das Gehirn unserer Computer, waren sehr, sehr schnell darin, allgemeine Dinge zu erledigen. Und vielleicht hatten wir Mitte bis Ende der neunziger Jahre, hauptsächlich angetrieben von Videospielen und so, diesen Massenmarkt für die Einführung dieser GPUs oder Grafikprozessoren.

Des Traynor: Wie Grafikkarten und so?

Fergal Reid: In Grafikkarten und Ihrer 3dfx-Karte und allem. Und sie waren wirklich gut darin, Grafiken für Computerspiele zu erstellen. Dann, in den frühen 2000er Jahren, sagten die Leute: „Oh, die Art von Operationen, die wir für Videospiele machen, sind wirklich gut für Matrix und Multiplikation.“ Und es stellt sich heraus, dass diese Art von Zeug auch sehr nützlich für die Operationen ist, die Sie ausführen müssen, wenn Sie ein neuronales Netzwerk trainieren. Und so geht der Wert von Videobeständen nach langer Zeit durch die Decke, weil es eine KI- und eine Krypto-Mining-Revolution gibt.

Der Aufstieg neuronaler Netze

Des Traynor: Sie haben auf eine neue Aufnahme der Arbeit an neuronalen Netzen verwiesen. Ich habe das Gefühl, dass ich damals auf dem College davon gehört habe. Wurde einfach mehr Arbeit in sie gesteckt? Haben sie sich als primäre Methode für maschinelles Lernen herausgestellt? Gibt es eine Alternative, von der wir abgerückt sind?

Fergal Reid: Ja, ich würde sagen, dass es eine Alternative gibt, von der wir uns entfernt haben. Nun, ich möchte neuronale Netze nicht übertreiben. Neuronale Netze sind der neue Trend, und fast alle Durchbrüche, die Sie in den letzten fünf Jahren gesehen haben, waren neuronale Netze. Dies ist jedoch ein Teilbereich des maschinellen Lernens. Im Team für maschinelles Lernen hier bei Intercom machen neuronale Netze vielleicht 30 % von dem aus, was wir tun, und verwenden dasselbe logistische Fortschrittsmaterial, um vorherzusagen, was jemand als nächstes tun wird.

Wenn es um unstrukturierte Daten wie Massen von Text oder Bildern oder Tönen geht, sind neuronale Netze jetzt definitiv der beste Weg, um mit diesen Daten umzugehen. Für die Durchbrüche, die Sie sehen – das visuelle Zeug, das Tonzeug, die Textsynthese – brauchen Sie ein massives Modell, das wirklich viele Abhängigkeiten in diesen Daten erfassen kann, und neuronale Netze sind der wichtigste Weg, dies zu tun. Die Leute haben viel investiert, um sie zu skalieren, und Sie können sie viel größer betreiben. Einige der Modelle, über die Sie gerade lesen, könnten Rechenleistung im Wert von 10 Millionen US-Dollar kosten, nur um dieses Modell zu trainieren.

„In der Vergangenheit haben wir alle unstrukturierten Text- oder Bilddaten aus der Perspektive des maschinellen Lernens betrachtet und gesagt: ‚Ich weiß nicht, was ich hier tun soll‘.“

Es ist einiges los. Wir werden besser darin, sie in großem Umfang zu schulen. Wir werden immer besser darin, das Problem so auszudrücken, dass wir Fortschritte machen und es verstehen können. Bei Videos verbessern wir die Leistung weiter. Es gab also viele technologische Revolutionen. Es ist ein Zusammenfluss von vielen verschiedenen Trends.

Des Traynor: Um zum Produktaspekt überzugehen, was ist jetzt möglich, was vorher nicht möglich war? DALL-E kann eine Eingabeaufforderung annehmen und ein Bild erzeugen; GPT-3 kann ziemlich realistisch aussehenden generierten Text erzeugen. Wenn Sie eine Menge Text analysieren und herausfinden möchten, was er aussagt, ihn reduzieren oder vereinfachen oder auf Stimmungen oder was auch immer überprüfen möchten, gibt es eine Art Liste von Fähigkeiten, die wir jetzt haben? Der Grund, warum ich frage, ist, dass ich versuche, dies näher damit zu verknüpfen, wie PMs darüber denken sollten.

Fergal Reid: Ja, es gibt ein paar verschiedene Möglichkeiten, darüber nachzudenken. In der Vergangenheit haben wir alle unstrukturierten Text- oder Bilddaten aus der Perspektive des maschinellen Lernens betrachtet und gesagt: „Ich weiß nicht, was ich hier tun soll. Die Größe davon und die Anzahl der möglichen Textabsätze, die in meinem Dokument enthalten sein könnten, ist verrückt hoch. Ich weiß nicht, wie ich damit mit herkömmlichem maschinellem Lernen umgehen soll.“ Und Sie können Sachen wie Features extrahieren, sagen: „Ich werde das in eine Tüte mit Wörtern aufteilen und Sachen extrahieren.“ Aber was jetzt anders ist, ist, dass Ihre Methoden, mit diesen Daten zu arbeiten, viel besser funktionieren werden als in der Vergangenheit. Und Sie brauchen nicht so viel manuelles Engineering von Funktionen. Sie können ein neuronales Netzwerk verwenden.

Wir fangen an, Mittelstufen zu sehen, Mittelschichten entstehen. Es gibt diese Sache, die wir Einbettungen nennen, wo Sie eines dieser großen neuronalen Netzwerke nehmen können, die mit einer Tonne Textdaten trainiert wurden, und dann würden sie von Google oder einem der großen Player veröffentlicht, die diese 10 Millionen Dollar ausgeben Training, und Sie können damit gehen und jeden Text, den Sie ihm geben, nehmen, um ihn in einen Vektor von Zahlen umzuwandeln. Dann können Sie mit diesem Zahlenvektor Sachen machen. Es gab also eine bahnbrechende Technologie, aber sie hat Bausteine ​​geliefert, mit denen Startups tatsächlich arbeiten können, um Produkte herzustellen.

„Wenn Sie in einem Startup-Ökosystem mit vielen unstrukturierten Daten zu tun haben, insbesondere mit großen Mengen, bei denen Sie vielleicht versuchen, Entscheidungen damit zu treffen, sollten Sie auf jeden Fall aufpassen.“

Des Traynor: Die ersten X Prozent werden also von den größeren Unternehmen für Sie erledigt?

Fergal Reid: Genau. Oder auch ein offenes Konsortium. Es gibt Leute, die ein Konsortium bilden, das viel Geld zusammenbringt, um etwas Großes zu trainieren, das dann veröffentlicht wird.

Des Traynor: Also, wenn Ihr Produkt viel von Menschen geschriebenen Text beinhaltet, entweder das Erstellen von Antworten, das Schreiben, das Analysieren oder das Verstehen, sollten Sie davon ausgehen, dass sich der Boden unter Ihren Füßen in den letzten paar Jahren bewegt hat?

Fergal Reid: Ja, ich denke, das ist eine faire Annahme. Wenn Sie in einem Startup-Ökosystem mit vielen unstrukturierten Daten zu tun haben, insbesondere mit großen Mengen, bei denen Sie vielleicht versuchen, Entscheidungen damit zu treffen, sollten Sie auf jeden Fall aufpassen. Die Fähigkeitenlandschaft hat sich verändert. Vor 10 Jahren gab es nichts, worüber Sie sich Sorgen machen mussten, aber jetzt gibt es vielleicht etwas Cooles, das Sie bauen können, was Sie vorher nicht konnten. Wir sehen allmählich eine Veränderung bei Dingen, die so einfach sind wie die Suche. Vor sechs, sieben Jahren haben Sie sich Elasticsearch oder ähnliches zugelegt und diese bewährten Algorithmen für Ihre Suche verwendet. Jetzt können Sie die neuronale Suche verwenden. Und wir beginnen, neue Technologien und Produkte in diesem Bereich zu sehen.

Auf der Suche nach der nächstbesten Aktion

Paul Adams: Eine Sache, nach der ich Sie gerne fragen würde, sind die Produkte, die die nächstbeste Wirkung versprechen. Ich denke, das ist aus zwei Gründen für Produktteams wichtig. Einer davon sind nur Produkte in diesem Bereich – wenn Sie ein Produkt für die Kundenkommunikation oder ein Produkt für Verkaufsteams haben, ist es vielversprechend, dem Verkäufer zu sagen, was die nächstbeste Aktion ist. Und Produktteams versuchen oft, ihre Kunden und Benutzer dazu zu bringen, mehr zu tun und sich mehr zu engagieren, also ist es ein Werkzeug für sie, um das Wachstum voranzutreiben. Wie viel davon ist Hype? Wie viel ist echt?

Fergal Reid: Es gibt immer ein Problem mit diesen Machine Learning-Produkten, und ich sage das als jemand, der Machine Learning-Produkte für seinen Lebensunterhalt entwickelt, nämlich dass es sehr schwierig ist, von außen zu sagen, wie viel Hype und wie viel Realität ist. Ich kann nicht über bestimmte Produkte sprechen, es sei denn, ich habe sie analysiert und bewertet. Ich würde sagen, dass das nächstbeste Action-Zeug eher weniger neuronale Netze sind. Oder wenn sie da sind, werden sie als eine Komponente davon da sein. Um es in einen Intercom-Kontext zu stellen, nehme ich den Text des Gesprächs, das zwischen dem Support-Mitarbeiter und dem Endbenutzer stattgefunden hat, und verwende Einbettungen, um zu versuchen, das zu verstehen. Aber dann werde ich das wahrscheinlich mit einer Reihe anderer Signale über das, was vor sich geht, zusammenfügen, vielleicht mit dem Wert des Kontos oder wo der Kunde in seiner Customer Journey steht, und einen traditionelleren Klassifikator oder Regressor für maschinelles Lernen verwenden, um es zu versuchen sagen: „Okay, was ist das Nächstbeste, was ich tun könnte?“

„Wenn die Genauigkeit zunimmt, zunimmt, zunimmt, überschreitet sie eine kritische Schwelle, wo es heißt: ‚Es ist nicht immer richtig, aber es ist nützlich, und ich muss nicht nachdenken. Es hilft '”

Und dieses Zeug funktioniert ziemlich gut. Wir haben Funktionen in unseren Produkten, die traditionellere Methoden des maschinellen Lernens verwenden, die versuchen vorherzusagen, was jemand fragen wird, wenn er auf eine Website kommt und den Messenger öffnet. Wir tun das auf der Grundlage aller Daten und Signale, die wir über diesen Benutzer haben, und das funktioniert ziemlich gut. Wenn Sie damit gute Vorhersagen treffen können, ist es nur ein kurzer Schritt von dort zu etwas Allgemeinerem, das die nächstbeste Aktion ist.

Ich wette, das Zeug funktioniert ziemlich gut. Ich hätte vernünftige Erwartungen an die Genauigkeit. All diese Dinge funktionieren gut, wenn sie jemanden erweitern und ihm helfen. Wenn die Genauigkeit zu niedrig ist, ist es wie: „Oh, das ist ärgerlich. Es ist beschissen. Es lohnt sich nicht, darauf zu achten.“ Aber dann, wenn die Genauigkeit zunimmt, zunimmt, zunimmt, überschreitet sie eine kritische Schwelle, wo es heißt: „Es ist nicht immer richtig, aber es ist nützlich, und ich muss nicht nachdenken. Ich kann es mir nur ansehen und erkennen, dass es hilft.“ Das ist es, wonach wir mit diesen Produkten suchen, und ich bin sicher, dass es Leute in der Branche gibt, die solche Dinge haben.

Des Traynor: Ja. Ich habe das Gefühl, dass die automatische Vervollständigung von Google Mail diese Wahrnehmungsklippe überschritten hat, wo ich diese Funktion nicht ausschalten würde. Sie geben eine Antwort ein, es errät die nächsten beiden Dinge, die Sie sagen werden, und Sie können die Tabulatortaste drücken, und vielleicht würden Sie einen Satz oder ein Wort oder so etwas ändern, aber es ist richtungsweisender als nicht.

„Ich sehe eine Zukunft, in der wir lernen können, welche Vorschläge das Verhalten von Teamkollegen hervorrufen, das eine bessere CSAT oder einen besseren Lebenszeitwert des Kunden auf Win-Win-Weise ergibt.“

Paul Adams: Es ist aber lustig. Ich denke, es verändert das Verhalten. Ich schaue mir den Vorschlag an und sage: „Das würde ich nicht so sagen, aber es ist nah genug.“ Tab, Tab, Tab. Eingeben, absenden.

Fergal Reid: Ich frage mich, ob sie jemals Experimente durchführen, bei denen sie die Vorschläge und die Stimmung der von ihnen produzierten Vorschläge messen und wie sie die reale Welt verändert haben. Facebook hat früher einige Experimente wie dieses gemacht. Wenn Sie sich etwas wie Intercom ansehen, sehe ich eine Zukunft, in der wir beginnen, intelligente Antwortempfehlungen im Posteingang abzugeben. Ich sehe eine Zukunft, in der wir lernen können, welche Vorschläge das Verhalten von Teamkollegen hervorrufen, das dem Kunden auf Win-Win-Weise eine bessere CSAT oder einen besseren Lebenszeitwert verleiht. Diese reibungsarmen Eingabeaufforderungen. Daran denke ich, wenn ich meiner Frau „Ich liebe dich“ schreibe. Manchmal bekomme ich den Vorschlag für „Ich liebe dich“ und sage: „Das tippe ich selbst.“

Des Traynor: Ja. Es hat etwas Kolonialistischeres – wir formen unsere Werkzeuge, und unsere Werkzeuge formen uns. Sie können sich vorstellen, dass ein CS-Vertreter, der neu in ein Team aufgenommen wird, das Intercom verwendet, am Ende tatsächlich viel wie seine Kollegen spricht und tippt, basierend auf der Tatsache, dass Intercom ihnen sagt, dass dies das Verhalten ist, das am besten funktioniert. Es ist fast wie eine Schule für Kundenbetreuung.

Fergal Reid: Wir haben mit einigen Kunden gesprochen, die von der Idee einer reibungsarmen Trainingsrampe für neue Wiederholungen begeistert waren, was die beste Praxis zu sein scheint. Das ist es, wozu Sie das System auf gute Weise anstupst.

Problem vs. Technik

Des Traynor: Wenn wir eine Ebene höher gehen, habe ich das Gefühl, dass ein Großteil der Erzählung, selbst als, sagen wir, DALL-E herauskam, die beliebtesten Threads waren Dinge wie: „Kann jemand einen guten Anwendungsfall dafür nennen? Dies?" Oder: „Hier ist meine beste Idee.“ Offensichtlich denkt jeder: „Oh, du könntest eine T-Shirt-Firma aufbauen“ oder was auch immer. Mein bester Versuch, wofür das nützlich sein könnte, ist die Möglichkeit, ein Märchenbuch für Kinder zu kommentieren. Stellen Sie sich ein Tool vor, in dem es eine kindliche Geschichte gibt und Bilder diese zu erweitern scheinen. Sie könnten auch sehen, wie es ein Plugin für Squarespace oder Mailchimp sein könnte, um Stockfotos zu ersetzen. Keynote oder Google Slides wären ähnlich.

Ich habe jedoch das Gefühl, dass wir uns dem rückwärts nähern. Wir sagen: „Angesichts der Tatsache, dass wir jetzt Text nehmen und Bilder produzieren können, lasst uns daraus ein Unternehmen aufbauen“, und das ist nicht der Ort, an dem die besten Unternehmen herkommen. Normalerweise neigen sie dazu, ein Problem in der Welt lösen zu wollen. Was ist der beste Weg für einen Fan oder PM, über diesen Bereich nachzudenken? Im Allgemeinen sind sie wahrscheinlich von einem Problem besessen, nicht von einer bestimmten neuen neuronalen Technologie.

Fergal Reid: Das ist eine sehr komplexe Frage. Meistens lautet der Standardratschlag, dass Sie beim Aufbau eines neuen Technologie-Startups niemals eine Lösung sein wollen, die nach einem Problem sucht. Sie wollen ein wirklich konkretes Problem finden und sich dann einer Lösung nähern. Ich denke, das ist im Allgemeinen ein guter Rat. Bei Intercom haben wir ein Prinzip, um mit dem Problem zu beginnen. Aber ich denke, es gibt Ausnahmen davon. Mit wirklich disruptiver Technologie, wo Sie sagen: „Etwas verändert die Welt, es verändert die Landschaft, hier gibt es neue Fähigkeiten, und ich weiß nicht, wofür es gut ist, aber ich weiß, dass es für etwas revolutionär gut sein wird, „Ich finde es in Ordnung, mit der Lösung anzufangen und dann nach Problemen zu suchen.

„Es hat keinen Sinn, mit dem Problem zu beginnen, wenn Sie versuchen, eine Technologielösung zu entwickeln, die noch nicht in der Lage ist.“

Ich glaube im Moment dem Hype um ML und KI. Ich würde sagen, dass es dieses Mal real ist, und daher ist es fair zu sagen: „Sehen Sie, wir haben hier eine revolutionäre Fähigkeit. Wo sind all die großartigen Möglichkeiten, wo dies angewendet werden kann?“ Dann gibt es offensichtlich ein Zusammenspiel. Wenn Sie denken, dass Sie eine Gelegenheit gefunden haben, möchten Sie wahrscheinlich mit dem Problem beginnen.

Das Team für maschinelles Lernen hier bei Intercom ist im Vergleich zu anderen Teams etwas ungewöhnlich. Wir passen uns den Produktprinzipien etwas mehr an als andere Teams, weil wir uns in dieser Grauzone zwischen dem Problem und der Technologie bewegen müssen. Es hat keinen Sinn, mit dem Problem zu beginnen, wenn Sie versuchen, eine Technologielösung zu entwickeln, die noch nicht fähig ist. Wir müssen also ein wenig mit der Technologie beginnen, Prototypen erstellen, uns ein Bild davon machen, was möglich ist, und dann das Problem wirklich ins Schwitzen bringen und fragen: „Ist es nützlich oder nicht?“

Des Traynor: Es ist fast so, als müsste man in gewisser Weise sowohl die Nachfrage- als auch die Angebotsseite von Innovationen durchsehen. Von all den Problemen, die wir lösen können, und den Fähigkeiten, die wir haben, wo ist ein gutes Unternehmen in der Vernetzung? Wenn wir unser Produkt Resolution Bot nehmen, wie würden Sie das als Paarung von Problem und Lösung formulieren?

„Bei Resolution Bot haben wir für unsere Version eins keine neuronalen Netze oder ähnliches verwendet, aber wir waren der Überzeugung, dass es möglich ist, hier etwas Gutes zu bauen.“

Fergal Reid: Als wir anfingen, war uns bewusst, dass es eine Bewegung in der Technologie und der Produktlandschaft gab, in der Bots wirklich schlecht waren und sie anfingen, unter sehr begrenzten Umständen überzeugende Erfahrungen zu machen, bei denen: „Okay, hier ist etwas .“ Und dann war es so: „Okay, können wir unsere spezielle Domäne nehmen, können wir Chats und Gespräche führen und sehen, ob es diese Verbindung gibt, diese Übereinstimmung zwischen dem Problem und der Technologie, die großartige Kundenerlebnisse bieten wird?“

Bei Resolution Bot haben wir für unsere Version eins keine neuronalen Netze oder ähnliches verwendet, aber wir waren der Überzeugung, dass man hier etwas Gutes bauen kann. Wir haben minimale Technologieinvestitionen getätigt, validiert, dass ein beschissener, zusammengewürfelter Prototyp den Kunden tatsächlich helfen würde und dass die Leute ihn tatsächlich wollen würden, das Risiko reduziert und ihn dann iteriert und iteriert und iteriert. Wir haben jetzt Version drei oder vier unserer Technologie, und sie verwendet sehr moderne, ausgefallene neuronale Netze und bietet die beste Leistung und Genauigkeit ihrer Klasse. Aber die erste Version war Elasticsearch von der Stange, nur um zu bestätigen, dass dies den Menschen tatsächlich helfen würde.

Sie wollen diese Suche leiten. Sie möchten sagen: „Ich weiß, dass diese allgemeine Richtung des Produktbereichs etwas Gutes hat.“ Ich werde nicht mit einer bestätigten Nachfrage nach einem Produkt enden, das unmöglich zu liefern ist. Du willst nicht dabei sein. Sie möchten auch nicht sagen: „Ich habe einen erstaunlichen Algorithmus, der definitiv die Nadel für etwas bewegen wird, das niemanden interessiert.“ Sie müssen auf beiden Seiten dieser Gleichung iterieren und eine Landezone in der Mitte finden.

Zu schön um wahr zu sein?

Paul Adams: Es gibt tatsächlich ein drittes Bein des Hockers. Es gibt ein Problem, es gibt eine Lösung, und dann gibt es die Geschichte oder was man dazu sagen kann. Eines der Dinge, mit denen ich in Bezug auf KI und maschinelles Lernen zu kämpfen habe, ist, was Sie nach außen sagen und was andere Leute nach außen sagen. Im schlimmsten Fall ist dies eine Kommunikationstragödie, bei der alle Unternehmen herauskommen und riesige Behauptungen aufstellen, und die Leute, die tatsächlich wissen, wovon sie sprechen, sagen: „Das sind lächerliche Behauptungen.“ „Aber es gibt dieses Wettbewerbsdilemma. Wenn unser Konkurrent 80 % sagt und wir glauben, dass er das auf keinen Fall erreichen kann, unserer aber 50 % beträgt, was denken Sie darüber? Was denkst du über die Behauptungen, die du machen kannst, und das Gleichgewicht zwischen Problem, Lösung und Geschichte?

„Ich stoße auf Produkte auf dem Markt und bewerte ihre Ansprüche, und ich frage mich: ‚Tut es das wirklich? Wie bewerten Sie das?'“

Fergal Reid: Ich meine, es ist sehr schwierig. Ich denke, ich würde die interne Produktentwicklung vom Markterfolg trennen. Bei der internen Produktentwicklung, und das gilt für Intercom, wenn ich komme und sage: „Hey Leute, ich bin mir ziemlich sicher, dass wir ein ausreichend gutes Produkterlebnis bieten können“, bin ich zumindest verantwortlich, wenn sich herausstellt, dass das so ist überhaupt nicht der Fall. Intern muss man also mit den Leuten zusammenarbeiten und die Dinge gut erklären, aber zumindest die Anreize stimmen.

Extern, wenn Menschen mit Produkten für maschinelles Lernen auf dem Markt konkurrieren, ist es wirklich schwierig. Ich stoße auf Produkte auf dem Markt und beurteile ihre Ansprüche, und ich frage mich: „Tut es das wirklich? Wie beurteilen Sie das?“ Selbst wenn ich eine neue Forschungsarbeit sehe, die etwas Erstaunliches verspricht, und sie Beispiele enthält wie „Wir haben das der KI gesagt, und das hat sie zurückgeantwortet“, lautet meine erste Frage immer: „Nun, war das eine Rosinenpickerei Beispiel? Tut es das 9 Mal von 10 oder ein Mal von 10?“ Denn das ist bei jedem sehr unterschiedlich. Da ist immer dieses implizite „Nun, was ist die Leistung eigentlich?“ Sie können es nicht wirklich sagen, es sei denn, Sie machen eine Art Kopf-an-Kopf-Rennen, bei dem Sie sich hinsetzen und damit spielen. Unsere Kunden führen mehr Kopf-an-Kopf-Konzeptnachweise und -Evaluierungen durch, und ich liebe das. Das ist wunderbar. Das wollen wir sehen.

„Sie können definitiv zu viel versprechen, zu wenig liefern und dann zusehen, wie die Konten abwandern.“

In Bezug auf den Raum im Allgemeinen, denke ich, dass Sie sehen, dass die Leute immer mehr Demos öffentlich zugänglich machen. Die Leute gehen zu DALL-E 2 und erhalten früher Zugang zu unabhängigen Forschern. Oder sie schreiben Sachen in die Zeitungen, in denen sie sagen: „Das ist es, was ein in einem Durchlauf an einer Standard-Eingabeaufforderung produziert.“ Das hilft den Leuten, sich zurechtzufinden.

Des Traynor: Es stellt sich die Frage, welche Art von Einnahmen Sie wollen, denn Sie können definitiv zu viel versprechen, zu wenig liefern und dann zusehen, wie sich das Konto ändert. Oder Sie können sagen: „Wir denken, dass wir Folgendes für Sie tun können.“ Sie riskieren, den Deal zu verlieren, wissen aber, dass sie, wenn sie konvertieren, das bekommen, wofür sie konvertiert sind. Ich denke, es ist eine gefährliche Welt, in der man sich aufhält – die Hauptstraße gegen die Unterstraße zu nehmen; Nehmen Sie die Kunden, die genau das bekommen, was Sie dachten, dass Sie es bekommen würden, im Gegensatz zu vielen verärgerten Kunden in Monat 11, weil sie nicht annähernd das bekommen haben, was sie sich erhofft hatten. Es ist eine Herausforderung.

Fergal Reid: Es ist eine Herausforderung, und diese Herausforderung hat so viele Facetten. Wir müssen auch mit Erwartungen umgehen. Maschinelles Lernen wird viel besser, aber es ist immer noch nicht perfekt. Wir haben manchmal Kunden, die unseren Resolution Bot kaufen, und er ist gut, der Klassenbeste, aber er macht immer noch Fehler. Jedes Softwareprodukt macht immer noch Fehler. Sie müssen also mit den Erwartungen auf allen Seiten umgehen, um diese positive Beziehung zu haben.

Des Traynor: Wie denken Sie über die Bereitstellung von Ressourcen für maschinelles Lernen? Bei Intercom haben wir ein von Ihnen geleitetes Team, das von allen Teams getrennt und dann Partner ist, um maschinelle Lernfunktionen bereitzustellen. Glaubst du, das wird so bleiben? Denken Sie, dass Teams eingebettete ML-Ingenieure haben sollten? Jedes Team bei Intercom hat seinen eigenen Designer – wir haben kein Designteam, das herumschwebt und nach Designelementen sucht, die es hinzufügen kann. Macht es Sinn so wie es ist? Für unsere Zuhörer da draußen, wie würden sie ihren Zeh eintauchen? Würden sie mit einem dedizierten ML-Pod beginnen oder würden sie eine Person haben? Wie sollten Startups anfangen, ML einzuführen?

Fergal Reid: Ich bin fest davon überzeugt, dass ein zentralisiertes Team für maschinelles Lernen an diesem Punkt der Technologieentwicklung besser für Organisationen unserer Größe oder kleiner ist. Wir haben es hier mit unausgereifter Technik zu tun. Die Technologie ist schwer zu bedienen und leicht schief zu gehen. Es gibt eine Reihe von Fähigkeiten, die sich mit den Fähigkeiten der Softwareentwicklung, Datenwissenschaft oder Analytik überschneiden, aber sie sind nicht dasselbe. Ich denke, es ist sehr sinnvoll, ein zentralisiertes Team zu haben, das diese Fähigkeiten bearbeiten und verfeinern und die Fallstricke lernen kann, da Produkte für maschinelles Lernen einzigartige Fallstricke haben. Sie sind probabilistisch. Wie wir bereits erwähnt haben, machen sie es manchmal falsch. Wenn Sie also ein Produkt für maschinelles Lernen entwerfen oder bauen, müssen Sie wirklich ins Schwitzen kommen. Ist die Genauigkeitsrate gut genug, um ein gutes Kundenerlebnis zu bieten? Das ist schwierig.

„Ich denke, dass ein zentralisiertes Modell, das dann von Projekt zu Projekt hilft, im Moment das richtige Modell ist.“

Wenn Sie mit einem Designer sprechen, stellen wir oft fest, dass es für ihn am Anfang schwierig ist, sich mit der Vorstellung auseinanderzusetzen, dass Sie nicht einfach an den goldenen Weg denken können, auf dem alles richtig läuft. Man muss alle Wege bedenken, auf denen etwas schief geht und sich Fehler häufen können. Das ist schwierig.

Wir befinden uns an diesem seltsamen Schnittpunkt der Softwareentwicklung und müssen in der Lage sein, diese Produkte mit Data Science oder Forschung einzusetzen. Wir müssen ein Produktteam leiten. Wir müssen schlank und effizient sein, aber wir müssen auch ein bisschen wie ein Forschungsteam laufen, in dem wir Raum für Innovationen schaffen. Du hast zwei Wochen an etwas gearbeitet und es hat nichts gebracht? Das ist gut. Dafür müssen wir bereit sein, zu investieren. Daher denke ich, dass ein zentralisiertes Modell, das dann projektweise hilft, im Moment das richtige Modell ist.

Real bleiben

Des Traynor: Wie gehen Sie mit der Tatsache um, dass jemand wie Fergal sagt: „Hey, Paul, wir werden ein Produkt ausprobieren, das die Natur unseres Kundensupport-Produkts verändern könnte, aber es könnte nicht funktionieren, und vielleicht siehst du nichts auf der ersten Seite von all dem.“ Gleichzeitig sagt jemand wie ich: „Hey, wir müssen die Roadmaps einhalten, und wir müssen dem Unternehmen sagen, was wir bauen, und dem Vertriebsteam sagen, was es verkaufen soll.“ Wie lösen Sie diese Komplexität?

Paul Adams: Als jemand, der jahrelang an Produkten gearbeitet hat, die nie versandt wurden, habe ich tiefe, tiefe Narbengewebe über jeden Geruch von etwas, das nicht so schnell wie möglich, so klein wie möglich, versandt wird.

Des Traynor: Das wäre Ihr ehemaliger Arbeitgeber, um das klarzustellen, richtig?

Paul Adams: Ja. In meiner früheren Beschäftigung ja. Aber vom ersten Tag bei Intercom an waren Des und ich immer davon besessen, mit dem Versand zu beginnen und klein anzufangen. Wir sind besessen davon, den Umfang zu bestimmen und so schnell wie möglich etwas herauszubringen, die kleinste und schnellste Lösung für das Problem, das wir identifiziert haben. So habe ich den Wunsch, dass das immer so ist.

„Ich komme aus der Wissenschaft, und jeder, der Zeit in der Wissenschaft hatte, hat wahrscheinlich so viele Projekte gesehen, die den Mond am Stiel versprochen haben und dann nie etwas getan haben.“

Das ist jetzt offensichtlich anders. Eine Frage, die Fergal gerne beantworten würde – eine kleine Randnotiz, aber ich denke, sie ist wichtig – als Sie vorhin Des‘ Frage beantwortet haben, wie Sie ein Team für maschinelles Lernen mit Ressourcen ausstatten, sprechen Sie über die ML-Ingenieure . Fast die gesamte Geschichte unseres ML-Teams hier waren ML-Ingenieure. Aber wir haben kürzlich einen ML-Designer eingestellt. Kannst du uns das auch kurz erzählen? Denn ich denke, das ist ein wichtiger Teil der Antwort hier. Was macht der ML-Designer und was ist der Unterschied?

Fergal Reid: Das ist also eine schwierige Frage. Dies ist der Beginn ihrer dritten Woche, also möchte ich im Podcast nicht darüber sprechen, was sie tun wird, bevor ich mit ihr spreche …

Des Traynor: Auf einem höheren Niveau. Was halten Sie vom Machine-Learning-Design im Vergleich zum regulären Design?

Fergal Reid: Lassen Sie mich die Reihenfolge noch einmal umkehren, und ich komme darauf zurück. Ich hasse es, an Dingen zu arbeiten, die nicht versendet werden. Ich habe einen Doktortitel, ich komme aus der Wissenschaft, und jeder, der Zeit in der Wissenschaft hatte, hat wahrscheinlich so viele Projekte gesehen, die den Mond am Stiel versprochen haben und dann nie etwas getan haben. Und ein Teil davon ist notwendiger Abfall, oder? Man muss viele Dinge ausprobieren, weil es so riskant ist. Aber ein Teil davon würde nie funktionieren. Und deshalb ist es hier absolut entscheidend, diese beiden Dinge auseinander zu bringen. Ich möchte, dass das Team für maschinelles Lernen so explorativ und riskant wie möglich ist und nicht explorativer und nicht riskanter als nötig.

Wir versuchen hier zwei Welten zu betreten. Wir versuchen, diese äußerst strengen Intercom-Prinzipien einzuhalten: Wenn Sie scheitern werden, scheitern Sie schnell; Beginnen Sie mit dem Problem; fange klein an, gehe in kleinen schritten. Wir bemühen uns sehr, diesen Grundsätzen zu folgen. Aber wir machen die Recherche und die riskanten Sachen, wenn wir müssen, wenn wir ziemlich überzeugt sind, dass jemand das wollen würde. Wir möchten sehr, sehr deutlich machen, welches Risiko wir in jeder Phase der Entwicklung zu eliminieren versuchen. Also ja, so arbeiten wir. Ich würde sagen, wir sind forschungsfreudiger als das durchschnittliche Intercom-Team, aber wahrscheinlich bedachter auf kleine Schritte und genau auf das Risiko, das wir zu reduzieren versuchen, als die große Mehrheit der ML-Teams auf der Welt. Sicherlich viel mehr, als es ein Forschungslaborteam normalerweise tun würde.

With that in mind, we've recently hired a designer for the first time in the five years we've had a machine learning team. That's partly because the team is getting a bit bigger and can kind of support that, and since our team has grown, our work is touching more and more parts of the Intercom product, and we can do better than handling the product design ourselves and having a ML engineer figure out the product design envelope. We'll be able to increase the scope of things we can interact with less with disruption to the teams in whose area we're operating.

“Even when you're doing something as simple as testing a ML system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity”

Des Traynor: Is it a different type of design?

Fergal Reid: There is definitely a certain type of design specific to ML and ML products. And we can see this when we're interviewing or interacting with designers in this space. There's sort of a product design or a systems design, and a lot of the time, its aspects are closer to API design than UI design. And obviously, there's a big spectrum here. We have a great design team at Intercom. We have people used to working in all different parts of that spectrum. But there's definitely a difference.

And also, you're looking for quantitative skills to make progress in this space. It's very immature technology. There will come a time, I'm sure, in five, 10 years, I don't know, when Amazon and Google and everyone will have figured out the best API. And it's going to have really nice docs and explain to you all the premises of that space, but we're not there yet. We're a very, very long way away from there. There are just so many trade-offs. Even when you're doing something as simple as testing a machine learning system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity. Some designers are great at that, but for other designers, that wouldn't be how they'd like to work. And so, you're looking for something that treads all those needles at once.

The future of conversations

Des Traynor: We're coming towards the end here. I would like to try a little quick-fire round that I haven't prepared you for at all.

Fergal Reid: Sounds good.

Des Traynor: Here's my proposal. I name a product or a product space, and you tell me something that you think is possible that people don't think about.

Fergal Reid: Oh my God. Okay. This is going to be futuristic and speculative and wrong, but let's do it.

Des Traynor: Let's start. Issue tracking.

Fergal Reid: A lot like customer support. You can probably do a lot more with clustering issues and detecting when a bunch of issues have one root cause. You can probably do much better in terms of the next best action about suggestions and resolutions for common issues you've seen before.

“We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent”

Des Traynor: Cool. This is going well. Project management apps. Say Basecamp or Asana or something like that.

Fergal Reid: Project management apps. Probably an insights layer, and you can build on top of that stuff. People always say that. It's always easy to say and extremely difficult to make an insights product work, but it's probably an insights layer. There's probably a lot you can do with unstructured assets that are part of the project you're tracking, and you can start to make sense of those that you couldn't in the past. Definitely field research, but there's probably something there.

Des Traynor: Cool. Paul, do you have any?

Paul Adams: Well, one hot space we mentioned earlier is communication products. I'm thinking about Gmail, for example. Gmail was the same for the best part of a decade. And now, suddenly, it feels like there's an explosion in all sorts of cool things happening in Gmail.

Fergal Reid: This is going to sound very self-serving, but I think that the sort of domain we're in at Intercom is going to drive a lot of extremely exciting innovation that is going to percolate out to broader, more horizontal products like Gmail. To give an example of why I think this: if you look at our customers as they use Intercom, they're having so many of the same conversations again and again. There's so much structure in that domain. It's this mix of unstructured texts that they're writing, but then there's so much structure to the conversation, whereas Gmail is broad and horizontal. If you look at my inbox, any email could be completely different than the last. So, I feel that companies like us working in areas like customer support are going to be in a great position to innovate because there's just so much structure to take advantage of there. You're going to have suggestions, recommendations, and automation. And I think that will percolate out. That will go out to these broader, more horizontal products after it has proven its business value. We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent. It's starting to scratch that direction, and we're going to see more and more of that.

Paul Adams: It's easy for me to imagine a world where a WhatsApp exchange between any one of us is literally just tap, reply. Tap, reply. Tap, reply.

Des Traynor: We're trying to go for dinner. Here are four places. Bang. What time? Bang.

Paul Adams: But literally, you're just inserting the recommended content.

“If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface”

Fergal Reid: Now, is the future of the inbox something where you're sitting almost looking at this dashboard of a conversational tree unfolding and your job is to guide the AI to answer questions for you? Maybe the future of coms and conversations looks a lot less like typing on a keyboard. You're still going to do that sometimes, but maybe 80% of what you do will be much more structured, like guiding the branches on a tree.

Des Traynor: The AI stops augmenting you, you start augmenting it.

Fergal Reid: Exactly, which is good. It's almost like you're managing somebody who's answering your conversations. And that's always my number one thinking tool for AI disruption. Imagine you had a very well-paid, smart human doing the task, and you told them what to do. What would that look like? People were like, “Oh, there'll never be software that automatically programs, or it will never have visual programming. We've tried it a whole bunch of times.” Well, I used to do programming competitions, and if you have a highly skilled developer, you don't say the exact keystrokes. You say, “Oh, now flip the list around. Okay. And then filter out those two things.” If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface. That's a great starting point for where AI could take us.

Des Traynor: That's fascinating. Okay, last question. You mentioned that AI is a disruptive force. If our listeners haven't already embarked upon an AI, ML journey, and let's say they have the budget for a couple of heads, what's the best thing to do?

Fergal Reid: Like any disruptive tech change, the first question is always: Is it still worth ignoring? And how long can you ignore it for? And I'm not saying to race and do something now. Maybe you're in a space where you should continue to ignore this as it matures for another few years. If you can't ignore it, or if you want to do something in this space, I would say to concentrate your resources and your budget and get someone who's got some deep experience at the tech end and enough of a product head on their shoulders that they can go and work with your product team productively. And start exploring opportunities from there. Start building relationships with the designers and the company. Start sketching and figuring out, “Okay, what would be possible to design here?” And start mocking up some designs. Do they look exciting? Do they look good? Show them to your customers. Get customer feedback and take it from there.

After that, you're into the standard product development – how do you know how to resource something or not? But yeah, concentrate your resources and get someone who knows what you're doing as much as possible, and then have them pair with your existing organizational assets. Don't go and say, “We're going to do some blue sky thinking. We're going to start a new lab and put it off-site, and they're going to go and build nothing for two years, and it'll be very impressive.” No, definitely tread that balance. That's what it's all about. It's about marrying and balancing technology and design.

Des Traynor: Fergal Reid, thank you very much for joining us. Thank you, Paul. And we'll see you all again for Intercom on Product. Take care, everyone.