Deux chatbots IA entrent dans un bar : l'écrivain de télévision Joe Toplyn explique comment apprendre aux chatbots à faire des blagues

Nous avons beaucoup parlé d'IA et de chatbots ; les implications pour le lieu de travail et nos vies, et ce que l'avenir réserve à l'humanité. Mais aujourd'hui, nous posons une question assez légère : les chatbots peuvent-ils faire une blague ?

L'humour a longtemps été considéré comme difficile à saisir pour les systèmes d'IA. Cela nécessite une compréhension sémantique approfondie du texte et dépend de facteurs contextuels et de nuances culturelles et sociales. Cependant, cela n'a jamais dissuadé les chercheurs d'essayer d'enseigner des blagues sur l'IA. Il y a, par exemple, le travail de Binsted et Ritchie, qui, en 1994, ont développé un programme pour générer des énigmes basées sur des jeux de mots simples (par exemple, "Quel genre d'arbre pouvez-vous porter ? Un sapin."). Ou Matthews et Petrovic, qui ont utilisé des méthodes d'apprentissage automatique non supervisées pour générer des blagues suivant la structure "J'aime mon X comme j'aime mon Y, Z", résultant en des plaisanteries comme "J'aime mon café comme j'aime ma guerre". Froid." ou "J'aime mes garçons comme j'aime mes secteurs, mauvais."

Et il y a l'invité d'aujourd'hui, Joe Toplyn, l'une des personnes les plus qualifiées pour parler du sujet. Joe a non seulement obtenu un baccalauréat ès sciences en ingénierie et physique appliquée et un MBA (tous deux de Harvard), mais il a également été, entre autres, co-scénariste en chef de The Tonight Show avec Jay Leno et rédacteur en chef de Late Show avec David Letterman . Pendant près de deux décennies, il a écrit et produit des milliers de scénarios, de segments et de blagues - une expérience qui a inspiré son livre, Comedy Writing for Late-Night TV , où il dissèque des blagues et propose des recettes pour ce qu'il appelle les créateurs de punchlines.

Si quelqu'un devait apprendre à un ordinateur à avoir un vrai sens de l'humour, ce serait Joe. Il a fusionné sa connaissance des blagues avec celle de l'ingénierie pour créer Witscript, un système d'IA hybride alimenté par GPT-3.5, conçu pour improviser des blagues dans les conversations.

Dans l'épisode d'aujourd'hui du podcast, Joe Toplyn nous emmène dans un voyage à travers ses expériences en tant qu'auteur de comédie et enseignant aux chatbots l'art de la comédie.

Voici quelques-uns des principaux plats à emporter :

• La recherche suggère que les gens se sentent plus à l'aise lorsqu'ils s'engagent dans une technologie aux qualités humaines. Avoir un bot avec un sens de l'humour, par exemple, peut créer une expérience délicieuse. Cependant, pour être utilisés dans le service client, ils doivent suivre des directives en termes de timing, de ton de voix, de contenu et d'alignement avec la personnalité de la marque.
• Witscript utilise une structure de blague en trois parties inspirée des monologues des talk-shows de fin de soirée en prenant n'importe quel sujet initial, en exécutant l'algorithme d'écriture de blague et en produisant une punchline.
• Le système fonctionne à travers une série d'invites qui exécutent les étapes de l'algorithme d'écriture de blagues, génèrent cinq blagues candidates et sélectionnent celle qu'il juge la plus drôle.
• Des outils comme Witscript peuvent être précieux pour tous les types d'écrivains, leur permettant de générer rapidement un grand nombre d'idées et offrant une approche plus efficace du processus d'écriture de blagues.

Si vous aimez notre discussion, consultez d'autres épisodes de notre podcast. Vous pouvez suivre sur Apple Podcasts, Spotify, YouTube ou récupérer le flux RSS dans le lecteur de votre choix. Ce qui suit est une transcription légèrement modifiée de l'épisode.

Comédie de rétro-ingénierie

Liam Geraghty : Bonjour et bienvenue sur Inside Intercom. Je suis Liam Geraghty. Au cours des dernières semaines, nous avons discuté des chatbots et de l'IA, mais une question que je n'ai pas posée ou que je n'ai même pas pensé à poser est la suivante : un chatbot peut-il avoir le sens de l'humour ? Un chatbot peut-il au moins raconter une blague ? Eh bien, mon invité aujourd'hui, Joe Toplyn, ne pourrait pas être plus qualifié pour répondre à cette question. Non seulement il a reçu un SB en ingénierie et physique appliquée et un MBA (tous deux de Harvard), mais il a également été co-scénariste en chef de The Tonight Show avec Jay Leno et rédacteur en chef de Late Show avec David Letterman . Il est actuellement l'ingénieur en chef de l'humour pour Witscript, un système d'IA hybride permettant d'improviser des blagues dans une conversation. Joe, vous êtes le bienvenu dans l'émission.

Joe Toplyn : Merci de m'avoir invité. Salut, Liam.

Liam : Alors passons directement à Witscript. Qu'est-ce que c'est, et comment est-ce arrivé en premier lieu?

Joe : Witscript est un système d'IA hybride pour générer des blagues. C'est un hybride symbolique neuronal, ce qui signifie qu'il combine un système symbolique, qui consiste en des algorithmes d'écriture de blagues que j'ai créés en tant qu'auteur de comédie humaine, et il les combine avec un grand modèle de langage, qui est la partie neuronale. Donc, fondamentalement, vous lui donnez une phrase, qu'il considère comme le sujet d'une blague, et il utilise GPT 3.5 pour exécuter les étapes d'un algorithme d'écriture de blagues - en fait, plusieurs algorithmes d'écriture de blagues que j'ai créés en fonction de mon expérience en tant qu'auteur de comédie.

« D'accord, qu'est-ce que l'écrivain a fait de ces mots pour rire ? Comment l'écrivain est-il passé de la phrase topique, le sujet de la blague, à l'angle et à la chute ? »

Liam : Je présume que ce genre de contexte de ces deux choses qui se brisent ensemble est la façon dont vous avez trouvé cela. C'est tellement spécifique entre l'ingénierie derrière et la comédie.

Joe : Oui, j'ai été invité à enseigner l'écriture comique, et j'ai décidé que les gens aimeraient m'entendre parler de la façon d'écrire pour des émissions comiques de fin de soirée comme les émissions de David Letterman et de Jay Leno. Pour ce faire, j'ai dû comprendre comment j'écris des comédies, comment j'écris des blagues, des pièces de bureau et des croquis, car une fois que je savais comment je le faisais, je pouvais apprendre à d'autres personnes à le faire. J'ai donc proposé un plan de cours, et ce faisant, j'ai beaucoup réfléchi à la façon dont les humains écrivent des blagues parce que les blagues sont les éléments constitutifs de beaucoup d'autres pièces comiques courtes lors d'une conversation comique de fin de soirée. montrer. Et personne ne l'avait vraiment fait auparavant. J'ai fait beaucoup de recherches, lu beaucoup de livres, et personne n'avait de système ou de recette pour écrire le genre de blague que vous auriez dans un monologue comique de fin de soirée.

Donc, j'ai lu beaucoup de blagues et je les ai inversées. Je les ai regardés et j'ai dit: «D'accord, qu'est-ce que l'écrivain a fait de ces mots pour rire? Comment l'écrivain est-il passé de la phrase topique, le sujet de la blague, à l'angle et à la chute ? » Et j'ai pris en compte mon propre processus d'écriture de blagues. Que fait mon cerveau quand j'essaie d'écrire une blague ? Je lis les infos en disant : « D'accord, je dois inventer des blagues parce que c'est pour ça que je suis payé. Comment aborder cette tâche ? » J'ai donc réduit ce processus à un tas de recettes. Je les appelle les créateurs de lignes de frappe – il y a d'autres techniques impliquées – j'ai enseigné cela aux étudiants et j'ai finalement décidé qu'il pourrait y avoir d'autres personnes intéressées par ce que j'avais à dire.

"Finalement, j'ai décidé que si quelqu'un devait apprendre à un ordinateur à avoir le sens de l'humour, ce serait moi"

Et donc, j'ai écrit un livre, Comedy Writing for Late-Night TV . Tous les algorithmes sont dedans. Les gens l'achetaient, et je me suis demandé, qui d'autre pourrait être intéressé par ce qu'il y a dans le livre ? J'ai fait quelques recherches et j'ai découvert qu'il existait un domaine universitaire appelé "Computational Humour". Et j'ai pensé: "Oh, c'est intéressant." C'était un domaine assez nouveau. Il n'existait que depuis environ 20 ans. J'ai commencé à contacter des chercheurs dans le domaine, à leur présenter mon livre et à leur dire : "Eh bien, vous pourriez être intéressé par un livre qui explique comment les humains écrivent des blagues, car vous pourriez peut-être apprendre à un ordinateur à faire cela."

J'ai fait un peu de progrès, mais ça n'allait pas assez vite. Finalement, j'ai décidé que si quelqu'un devait apprendre à un ordinateur à avoir le sens de l'humour, ce serait moi. A cette époque, les outils de l'IA commençaient à devenir utiles. Il y a des années, Watson d'IBM a battu les humains dans l'émission télévisée Jeopardy, et ce fut une étape importante dans l'intelligence artificielle et ce qu'un ordinateur peut faire avec le langage. J'ai lu un article à ce sujet et j'ai décidé que si Watson pouvait battre les humains en danger en faisant ces tâches, il pouvait écrire une blague car il utilise beaucoup de ces mêmes tâches. Cela m'a donné des encouragements. Ensuite, les générateurs de texte ont commencé à arriver, Word2Vec, les incorporations de mots, les espaces vectoriels, et j'ai utilisé tous les outils dont je disposais pour trouver une manière très grossière de générer une blague qui impliquait un jeu de mots.

Ensuite, les outils d'IA sont devenus de plus en plus sophistiqués. Comme j'avais un outil plus talentueux, je l'intégrerais au logiciel Witscript. Et puis, il y a environ un an et demi, le GPT-3 est sorti, puis le 3.5, et j'ai essayé et j'ai dit : « C'est vraiment génial. C'est un moyen beaucoup plus simple et efficace d'exécuter les étapes de l'algorithme d'écriture de blagues que ce que j'utilisais auparavant. J'ai donc branché GPT-3.5, et c'est ce que Witscript est maintenant. C'est une façon d'écrire une blague en utilisant le modèle de grand langage le plus récent et le plus utile auquel j'ai accès en ce moment.

Quittez-le

Liam : C'est super. Pourquoi les chatbots doivent-ils pouvoir générer des blagues originales et pertinentes lorsqu'ils discutent ?

Joe : De nombreuses recherches indiquent que les gens sont plus à l'aise d'interagir avec des technologies comme les chatbots s'ils semblent plus humains. Et une façon de rendre un chatbot plus humain est de lui donner un sens de l'humour, de lui permettre de reconnaître et d'improviser une blague. Ainsi, dans les bonnes situations, un chatbot qui peut parfois lancer une blague à un moment approprié en fonction de quelque chose que l'utilisateur a dit détendra l'utilisateur, le rendra plus confortable et l'expérience plus agréable. Et donc, dans cette situation, il pourrait être utile pour un chatbot d'avoir le sens de l'humour.

"Pouvez-vous faire en sorte que le chatbot sache le moment approprié pour raconter une blague ? S'il y a un utilisateur en colère qui crie après le chatbot, une blague ne serait probablement pas une bonne idée »

Un système comme Witscript peut également être utilisé par quelqu'un qui veut juste écrire des blagues - un auteur de comédie ou quelqu'un qui voit quelque chose sur les réseaux sociaux et veut dire quelque chose de drôle à ce sujet. Cette personne n'a pas nécessairement les compétences nécessaires pour écrire une blague rapidement ou ne veut pas embaucher un auteur de comédie pour écrire la blague, donc elle peut utiliser Witscript pour trouver une blague et l'utiliser pour tout ce dont la personne avait besoin de la blague pour, pour faire un discours ou peut-être trouver un slogan pour un produit ou quelque chose comme ça.

Liam : Et en dehors de cela, de quels domaines parlez-vous dans lesquels Witscript pourrait être appliqué ? Quelque chose comme ça pourrait-il être utilisé pour les chatbots du service client ?

Joe : C'est certainement possible. Pouvez-vous faire savoir au chatbot le moment approprié pour raconter une blague ? Si un utilisateur en colère crie après le chatbot, une blague ne serait probablement pas une bonne idée. Un autre facteur est de s'assurer que la blague était appropriée. S'il génère une blague complètement par lui-même sans curation humaine, vous devez vous assurer qu'il y a certaines directives et que la blague sera acceptable pour le public.

"Si la marque a un personnage ludique, vous pourriez dire que le chatbot pourrait être amélioré ou rendu plus divertissant en ajoutant un module d'humour comme Witscript"

Depuis que je teste Witscript, il n'a jamais vraiment trouvé de blague qui implique d'aimer Hitler ou quelque chose comme ça. GPT-3.5 est formé sur l'ensemble d'Internet, des livres et de Wikipédia, donc ce que Witscript pense du président Biden ou de Donald Trump est fondamentalement une sorte de moyenne de ce que tout le monde pense de Biden et Trump, ce qui rend les blagues qu'il propose assez sécuritaire et généralement acceptable.

Un autre facteur à prendre en compte est la marque que le chatbot représente. Si la marque a un personnage ludique, vous pourriez dire que le chatbot pourrait être amélioré ou rendu plus divertissant en ajoutant un module d'humour comme Witscript.

La recette de Witscript pour l'humour conversationnel

Liam : L'une des parties emblématiques de tout talk-show de fin de soirée est le monologue. Et les blagues monologues sont les modèles des blagues de Witscript. Pourquoi des blagues monologues pour une conversation?

Joe : Parce que la structure d'une blague monologue est le sujet, l'angle et la chute. Le sujet est la phrase sur laquelle la blague est basée. Dans le cas d'un talk-show de fin de soirée, c'est le fait divers. L'angle est la direction que prend la blague pour arriver à la punchline, et la punchline est l'incongruité à la fin que le public résout soudainement. C'est ce qui produit le rire.

L'une des idées qui ont conduit à Witscript était que cette structure est essentiellement ce qui se passe lorsque vous improvisez une blague dans une conversation. Votre ami vous dit quelque chose – c'est le sujet d'une blague potentielle. Tout ce que vous avez à faire en tant qu'auteur de comédie ou improvisateur de blagues est de prendre ce sujet et d'exécuter les étapes de l'algorithme d'écriture de blagues qu'un écrivain de comédie de fin de soirée suivrait pour créer une blague basée sur ce sujet. Le sujet d'actualité dans un monologue pour une émission comique est le même que la configuration que vous obtiendriez lorsque quelqu'un vous dirait une phrase.

"Lorsque je débogue le système, j'essaie de comprendre : 'Eh bien, pourquoi ces blagues ne sont-elles pas plus drôles ?' Je peux aller dire, 'D'accord, il a sélectionné les mauvaises poignées de sujet. Je dois modifier cette invite '"

Liam : Comment Witscript exécute-t-il toutes ces étapes dont vous parlez dans l'algorithme de base de l'écriture de blagues ?

Joe : C'est une série de sept ou huit invites. L'utilisateur donne l'entrée - il peut s'agir d'un article d'actualité ou d'une observation amusante, quelque chose que Witscript prend alors comme sujet potentiel d'une blague. Et puis, presque littéralement, le programme a une invite pour chaque étape de l'algorithme d'écriture de blagues humaines que j'ai utilisé comme cadre pour Witscript. La première étape consiste à sélectionner deux poignées de sujet, par exemple. Les poignées de sujet sont les deux noms ou phrases nominales les plus importants dans le sujet. La première étape dans l'écriture d'une blague serait de les identifier - c'est quelque chose qu'un grand modèle de langage peut faire. Vous pouvez donner à GPT-3.5 une invite : "Quels sont les deux noms et expressions nominales les plus intéressants dans ce sujet ?" et il exécutera cette étape. Ces poignées de sujet alimenteront la prochaine étape du processus d'écriture de blagues.

Le terme général pour ce processus est le chaînage d'invites - la sortie d'une invite, que vous récupérez, devient l'entrée de l'invite suivante. C'est une série d'étapes, ce qui permet au système d'être très transparent. Lorsque je débogue le système, j'essaie de comprendre : "Eh bien, pourquoi ces blagues ne sont-elles pas plus drôles ?" Je peux aller dire: «D'accord, il a sélectionné les mauvaises poignées de sujet. Je dois modifier cette invite », ou« Les associations qu'il a générées pour Tom Cruise n'étaient pas celles sur lesquelles, en tant qu'auteur de comédie, je me serais concentré. Comment puis-je obtenir de meilleures associations pour cette invite ? » C'est juste une série de conception rapide et de peaufinage et d'ajustement de tous ces petits leviers.

"Je pouvais compter sur le système non seulement pour générer les punchlines possibles, mais aussi pour proposer celle à livrer comme choix final"

Liam : C'est intéressant. Comment le système s'auto-évalue-t-il ? Comment détermine-t-il ce qu'est une bonne blague ?

Joe : Le système fonctionne en générant cinq blagues candidates. J'ai cinq techniques distinctes pour trouver une punchline potentielle que moi, en tant qu'humain, j'utilise quand j'écris des blagues et que Witscript utilise maintenant. Et vous pouvez voir les cinq candidats à la blague - A, B, C, D, E. Ensuite, il sélectionne les candidats à la blague qu'il juge les plus drôles. C'est juste quelque chose que j'ai demandé à GPT-3.5 de faire. Selon la machine, qu'est-ce qui sera le plus amusant pour l'utilisateur ? Et ce fut aussi une grande révélation. Je pouvais compter sur le système non seulement pour générer les punchlines possibles, mais aussi pour proposer celle à livrer comme choix final. S'il s'agit d'un système conversationnel, il ne peut pas débiter cinq blagues potentielles à l'utilisateur et lui dire : « Vous en choisissez une », il doit en choisir une, puis la livrer.

Il est également intéressant de regarder les cinq et de dire : « Oh, intéressant. Cette approche a produit cette blague. Souvent, ce n'est pas du tout une blague - c'était le résultat de cet algorithme particulier. Et c'est utile parce que si vous êtes un auteur de comédie, vous n'aimerez peut-être pas le choix final qu'offre Witscript. Vous pourriez préférer B à E. Ou vous pourriez prendre B et changer ce mot, et ce serait une bonne blague. Le système pourrait également être un assistant d'écriture très utile pour créer vos propres blagues.

Liam : Ouais, j'allais dire que c'est parfait dans cette situation où vous pouvez le modifier un peu. Pourriez-vous nous donner quelques exemples de blagues de Witscript ? Et les avez-vous comparés à des blagues que vous auriez pu écrire et demandé aux gens de dire, aveuglément, lequel est lequel ?

Joe : Ouais, je poste des blagues que Witscript écrit tous les jours sur Twitter. Permettez-moi de lire quelques-uns des plus récents. C'est celui que j'ai posté hier. L'utilisateur dit: "C'est la Journée nationale du beignet et Krispy Kreme offre un beignet gratuit." Et Witscript dit: "Préparez-vous pour la Journée nationale de la diarrhée." Les beignets provoquent la diarrhée. J'ai effectivement regardé ça. Et oui, ils le font à cause du gras et du sucre. Un autre, "Les actionnaires de Netflix ont voté contre de gros packages de rémunération pour les hauts dirigeants de l'entreprise." Et Witscript dit: "Eh bien, je suppose qu'ils n'auront qu'à Netflix et se détendre." Les blagues sont directement liées et contextuellement pertinentes à l'entrée.

La boîte à outils d'un humoriste

Liam : L'écriture comique est tellement fascinante. Il y a une discussion plus large sur l'art et l'IA, et je suppose que c'est quelque chose que vous auriez utilisé à l'époque pour écrire ? Certaines personnes pourraient être réticentes à quelque chose comme ça.

"Je pourrais facilement voir un écrivain utiliser Witscript pour simplement saisir les nouvelles du jour et dire:" D'accord, donnez-moi des idées ""

Joe : Les auteurs de monologues d'un talk-show de fin de soirée ont un gros travail, en particulier en travaillant pour Jay Leno sur The Tonight Show . Il ferait un monologue de 30 blagues, ce qui signifie que l'équipe de rédaction devait proposer littéralement des centaines de blagues chaque jour. Dans cette situation, où la quantité et la qualité sont toutes deux importantes, je pourrais facilement voir un écrivain utiliser Witscript pour simplement saisir les nouvelles du jour et dire : "D'accord, donnez-moi des idées". Certaines des blagues seraient parfaites, vous n'auriez pas du tout à les changer ; ils pourraient simplement passer à l'antenne. Certains auraient besoin d'un peu de travail de la part de l'humain, et certains seraient inutiles, mais vous pouvez simplement les ignorer. Je pouvais voir des écrivains professionnels et certainement des écrivains non professionnels utiliser Witscript, mais peut-être ne pas l'admettre. Si vous êtes un professionnel, vous ne pouvez pas admettre que vous obtenez de l'aide d'une machine.

Il y a des années, il y avait un programme appelé Idea Fisher, et certains auteurs de comédie l'ont utilisé. Vous avez essentiellement mis un mot comme Noël, et cela vous a juste donné beaucoup d'associations. A quoi pensez-vous quand vous pensez à Noël ? Chants de Noël, Père Noël, Pôle Nord, lutins. Une partie du processus d'écriture d'une blague consiste à lier des associations. L'une des 10 meilleures listes que nous avons faites sur le Letterman Show était "Top 10 des bêtes noires du Père Noël". Il serait donc utile d'avoir une liste d'associations. Que pensez-vous quand vous pensez au Père Noël ? Et puis ce serait une blague sur Rudolph le renne au nez rouge et un gâteau aux fruits de vacances ou de descendre par la cheminée. C'était un des premiers exemples de la façon dont les logiciels aidaient les auteurs de blagues professionnels. Et ce n'est, je pense, qu'une extension de cela. C'est ainsi que j'ai été présenté à Idea Fisher. Quelqu'un a dit : "Oh, voici quelque chose que j'utilise." Parce qu'en tant qu'être humain, vous le faites de toute façon. C'est juste un moyen plus facile de le faire.

Liam : Je suppose que vous passeriez une journée sur le terrain à écrire des blagues sur l'IA et les chatbots si vous écriviez un monologue pour un talk-show de fin de soirée maintenant.

Joe : Ouais. En voici un que Witscript a écrit à ce sujet. L'utilisateur dit: "Les experts en technologie avertissent que l'intelligence artificielle présente un risque d'extinction pour les humains." Et Witscript dit: "Si seulement nous pouvions utiliser l'IA pour comprendre comment se débarrasser de l'IA." En voici une autre : "Le président de Microsoft dit qu'il s'attend à ce que le gouvernement américain réglemente l'intelligence artificielle cette année." Witscript dit: "Ne vous inquiétez pas, le gouvernement réglementera l'IA aussi bien qu'il réglemente tout le reste." Alors, de bonnes blagues. Certainement pitchable, si vous tournez des blagues pour un spectacle comique.

"Parfois, j'écris une blague sur un sujet, je donne le même sujet à Witscript, et Witscript aura sa propre version"

Liam : Absolument. Où est Witscript à la minute ? Et où voyez-vous son avenir ?

Joe : Je suis encore en train de faire des tests internes et des ajustements. Il est en mode bêta test limité. La prochaine étape consiste à trouver la meilleure façon de permettre aux individus d'y avoir accès, et cela signifie trouver un moyen de suivre les utilisateurs et de traiter les paiements et des choses comme ça. J'explore des moyens de le faire efficacement pour le mettre entre les mains de personnes qui peuvent l'utiliser.

Liam : Où les gens peuvent-ils se tenir au courant et en savoir plus ?

Joe : Vous pouvez aller sur witscript.com. Si vous voulez voir la dernière sortie de Witscript, rendez-vous sur Twitter @witscript. Vous pouvez voir le point de vue de Witscript sur l'actualité du jour. J'écris aussi des blagues et je les poste sur Twitter. @joetoplyn est mon compte Twitter. Parfois, j'écris une blague sur un sujet, je donne le même sujet à Witscript, et Witscript aura sa propre version.

Liam : C'est génial. Juste après ça, je te suis toi et Witscript. Nous pouvons tous faire avec quelques blagues supplémentaires dans nos chronologies à la minute. Joe, merci beaucoup de m'avoir rejoint aujourd'hui.

Joe : Merci, Liam. C'était marrant.