Due chatbot di intelligenza artificiale entrano in un bar: lo scrittore televisivo Joe Toplyn sull'insegnamento ai chatbot di fare battute

Abbiamo parlato molto di AI e chatbot; le implicazioni per il posto di lavoro e le nostre vite e cosa riserva il futuro per l'umanità. Ma oggi poniamo una domanda piuttosto leggera: i chatbot possono fare uno scherzo?

L'umorismo è stato a lungo considerato difficile da comprendere per i sistemi di intelligenza artificiale. Richiede una profonda comprensione semantica del testo e fa affidamento su fattori contestuali e sfumature culturali e sociali. Ciò, tuttavia, non ha mai scoraggiato i ricercatori dal provare a insegnare barzellette sull'IA. C'è, per esempio, il lavoro di Binsted e Ritchie, che nel 1994 hanno sviluppato un programma per generare indovinelli basati su semplici giochi di parole (ad esempio, “Che tipo di albero puoi indossare? Un cappotto di abete”). O Matthews e Petrovic, che hanno utilizzato metodi di apprendimento automatico senza supervisione per generare battute seguendo la struttura "Mi piace la mia X come mi piace la mia Y, Z", risultando in battute come "Mi piace il mio caffè come mi piace la mia guerra". Freddo." o "Mi piacciono i miei ragazzi come mi piacciono i miei settori, cattivi".

E c'è l'ospite di oggi, Joe Toplyn, una delle persone più qualificate per parlare dell'argomento. Joe non solo ha conseguito una laurea in ingegneria e fisica applicata e un MBA (entrambi ad Harvard), ma è stato anche, tra le altre cose, co-head writer di The Tonight Show con Jay Leno e head writer di Late Show con Davide Letterman . Per quasi due decenni, ha scritto e prodotto migliaia di sceneggiature, segmenti e barzellette, un'esperienza che ha ispirato il suo libro, Comedy Writing for Late-Night TV , dove analizza le barzellette e propone ricette per ciò che chiama creatori di battute finali.

Se qualcuno volesse insegnare a un computer ad avere un vero senso dell'umorismo, sarebbe Joe. Ha fuso la sua conoscenza delle battute con quella dell'ingegneria per creare Witscript, un sistema di intelligenza artificiale ibrido alimentato da GPT-3.5, progettato per improvvisare battute nelle conversazioni.

Nell'episodio odierno del podcast, Joe Toplyn ci accompagna in un viaggio attraverso le sue esperienze come sceneggiatore di commedie e insegna ai chatbot l'arte della commedia.

Ecco alcuni dei punti chiave:

• La ricerca suggerisce che le persone si sentono più a loro agio quando interagiscono con la tecnologia con qualità simili a quelle umane. Avere un bot con senso dell'umorismo, ad esempio, può creare un'esperienza deliziosa. Tuttavia, per essere utilizzati nel servizio clienti, devono seguire le linee guida in termini di tempistica, tono di voce, contenuto e allineamento con la persona del marchio.
• Witscript utilizza una struttura scherzosa in tre parti ispirata ai monologhi dei talk show a tarda notte prendendo qualsiasi argomento iniziale, eseguendo l'algoritmo di scrittura delle battute e producendo una battuta finale.
• Il sistema funziona attraverso una serie di prompt che eseguono i passaggi dell'algoritmo di scrittura delle barzellette, genera cinque battute candidate e seleziona quella che ritiene essere la più divertente.
• Strumenti come Witscript possono essere preziosi per tutti i tipi di scrittori, consentendo loro di generare rapidamente un gran numero di idee e fornendo un approccio più efficiente al processo di scrittura delle barzellette.

Se ti piace la nostra discussione, dai un'occhiata ad altri episodi del nostro podcast. Puoi seguire su Apple Podcasts, Spotify, YouTube o prendere il feed RSS nel tuo lettore preferito. Quella che segue è una trascrizione leggermente modificata dell'episodio.

Commedia di ingegneria inversa

Liam Geraghty: Ciao e benvenuto su Inside Intercom. Sono Liam Geraghty. Nelle ultime settimane abbiamo discusso di chatbot e intelligenza artificiale, ma una domanda che non ho posto o che non ho nemmeno pensato di porre è: un chatbot può avere il senso dell'umorismo? Un chatbot può almeno raccontare una barzelletta? Ebbene, il mio ospite di oggi, Joe Toplyn, non potrebbe essere più qualificato per rispondere a questa domanda. Non solo ha ricevuto un SB in ingegneria e fisica applicata e un MBA (entrambi ad Harvard), ma è stato anche co-head writer di The Tonight Show con Jay Leno e head writer di Late Show con David Letterman . Attualmente è Lead Humor Engineer per Witscript, un sistema di intelligenza artificiale ibrido per improvvisare barzellette in una conversazione. Joe, sei il benvenuto allo spettacolo.

Joe Toplyn: Grazie per avermi ospitato. Ciao Liam.

Liam: Passiamo subito a Witscript. Che cos'è e come è nato in primo luogo?

Joe: Witscript è un sistema di intelligenza artificiale ibrido per generare barzellette. È un ibrido simbolico neurale, il che significa che combina un sistema simbolico, che consiste in algoritmi di scrittura di barzellette che ho creato come scrittore di commedie umane, e li combina con un grande modello linguistico, che è la parte neurale. Quindi, in sostanza, gli dai una frase, che considera l'argomento di una barzelletta, e utilizza GPT 3.5 per eseguire i passaggi in un algoritmo di scrittura di barzellette - in realtà, diversi algoritmi di scrittura di barzellette che ho creato in base alla mia esperienza come sceneggiatore di commedie.

“Va bene, cosa ha fatto lo scrittore con queste parole per farsi una risata? In che modo lo scrittore è passato dalla frase principale, l'argomento della barzelletta, all'angolazione e alla battuta finale?

Liam: Presumo che quel tipo di background di queste due cose che si scontrano sia il modo in cui sei arrivato a questo. È così specifico tra l'ingegneria dietro di esso e la commedia.

Joe: Sì, sono stato invitato a insegnare scrittura di commedie e ho deciso che alla gente sarebbe piaciuto sentirmi parlare di come scrivere per spettacoli comici a tarda notte come gli spettacoli di David Letterman e Jay Leno. Per farlo, ho dovuto capire come scrivo commedie, come scrivo barzellette, pezzi da scrivania e schizzi perché una volta saputo come l'ho fatto, ho potuto insegnare ad altre persone a farlo. Quindi ho ideato uno schema del corso e, mentre lo facevo, ho riflettuto molto su come gli umani scrivono barzellette perché le barzellette sono gli elementi costitutivi di molte altre commedie in forma abbreviata in un discorso comico a tarda notte spettacolo. E nessuno l'aveva mai fatto prima. Ho fatto molte ricerche, letto molti libri e nessuno aveva un sistema o una ricetta per scrivere il tipo di battuta che avresti in un monologo comico a tarda notte.

Quindi, ho letto molte barzellette e le ho decodificate. Li ho guardati e ho detto: “Va bene, cosa ha fatto lo scrittore con queste parole per farsi una risata? In che modo lo scrittore è passato dalla frase principale, l'argomento della barzelletta, all'angolazione e alla battuta finale? E ho preso in considerazione il mio processo di scrittura di battute. Cosa fa il mio cervello quando cerco di scrivere una barzelletta? Sto leggendo le notizie che dicono: “Va bene, devo inventarmi delle battute perché è per questo che vengo pagato. Come mi avvicino a questo compito? Quindi ho ridotto quel processo a un mucchio di ricette. Li chiamo creatori di battute finali - ci sono altre tecniche coinvolte - l'ho insegnato agli studenti e alla fine ho deciso che potevano esserci altre persone interessate a quello che avevo da dire.

"Alla fine, ho deciso che se qualcuno avrebbe insegnato a un computer ad avere il senso dell'umorismo, quello sarei stato io"

E così, ho scritto un libro, Comedy Writing for Late-Night TV . Tutti gli algoritmi sono lì dentro. La gente lo stava comprando e mi sono chiesto, chi altro potrebbe essere interessato a cosa c'è nel libro? Ho fatto una piccola ricerca e ho scoperto che esisteva un campo accademico chiamato "umorismo computazionale". E ho pensato: "Oh, questo è interessante". Era un campo abbastanza nuovo. Era in circolazione solo da circa 20 anni. Ho iniziato a contattare i ricercatori della zona, presentando il mio libro e dicendo: "Beh, potresti essere interessato a un libro che spiega come gli umani scrivono barzellette perché allora forse potresti insegnare a un computer a farlo".

Ho fatto un piccolo progresso, ma non si stava muovendo abbastanza velocemente. Alla fine, ho deciso che se qualcuno avrebbe insegnato a un computer ad avere il senso dell'umorismo, quello sarei stato io. A quel tempo, gli strumenti dell'IA stavano iniziando a diventare utili. Anni fa, Watson di IBM ha battuto gli umani nello show televisivo Jeopardy, e quella è stata una grande pietra miliare nell'intelligenza artificiale e in ciò che un computer può fare con il linguaggio. Ho letto un documento su questo e ho deciso che se Watson potesse battere gli umani in pericolo svolgendo questi compiti, può scrivere uno scherzo perché usa molti di quegli stessi compiti. Questo mi ha dato incoraggiamento. Quindi, i generatori di testo hanno iniziato ad arrivare, Word2Vec, incorporamenti di parole, spazi vettoriali e ho usato tutti gli strumenti che avevo per trovare un modo molto rozzo di generare uno scherzo che prevedeva giochi di parole.

Quindi, gli strumenti di intelligenza artificiale sono diventati sempre più sofisticati. Man mano che ottenevo uno strumento più talentuoso, lo incorporavo nel software Witscript. E poi, circa un anno e mezzo fa, è uscito GPT-3 e poi 3.5, e l'ho provato e ho detto: “È davvero fantastico. Questo è un modo molto più semplice ed efficiente per eseguire i passaggi dell'algoritmo di scrittura di battute rispetto a quello che usavo prima. Quindi ho inserito GPT-3.5, ed è quello che è ora Witscript. È un modo di scrivere una barzelletta usando l'ultimo e più utile modello di linguaggio esteso a cui ho accesso in questo momento.

Fai una battuta

Liam: Fantastico. Perché i chatbot devono essere in grado di generare battute originali e pertinenti quando stanno chattando?

Joe: C'è una discreta quantità di ricerche che afferma che le persone sono più a loro agio nell'interagire con la tecnologia come i chatbot se sembrano più umane. E un modo per rendere un chatbot più umano è dargli un senso dell'umorismo, per permettergli di riconoscere e improvvisare uno scherzo. Quindi, nelle giuste situazioni, un chatbot che occasionalmente può scherzare in un momento appropriato sulla base di qualcosa che l'utente ha detto rilasserà l'utente, lo renderà più a suo agio e l'esperienza più piacevole. E quindi, in quella situazione, potrebbe essere utile per un chatbot avere il senso dell'umorismo.

“Riesci a far sapere al chatbot il momento opportuno per raccontare una barzelletta? Se c'è un utente arrabbiato che urla al chatbot, uno scherzo probabilmente non sarebbe una buona idea"

Un sistema come Witscript può essere utilizzato anche da qualcuno che vuole solo scrivere barzellette: uno scrittore di commedie o qualcuno che vede qualcosa sui social media e vuole dire qualcosa di divertente al riguardo. Quella persona non ha necessariamente l'abilità di scrivere una barzelletta velocemente o non vuole assumere uno scrittore di commedie per scrivere la barzelletta, quindi può usare Witscript per inventare una barzelletta e usarla per qualunque cosa la persona avesse bisogno della barzelletta per, per punzonare un discorso o magari inventare uno slogan per un prodotto o qualcosa del genere.

Liam: E a parte questo, di quali aree stai parlando a cui Witscript potrebbe essere applicato? Qualcosa del genere potrebbe essere utilizzato per i chatbot del servizio clienti?

Joe: Sicuramente potrebbe essere. Riesci a far sapere al chatbot il momento opportuno per raccontare una barzelletta? Se c'è un utente arrabbiato che urla al chatbot, uno scherzo probabilmente non sarebbe una buona idea. Un altro fattore è assicurarsi che lo scherzo fosse appropriato. Se sta generando uno scherzo completamente da solo senza cura umana, devi assicurarti che ci siano determinate linee guida e che lo scherzo sia accettabile per il pubblico.

"Se il marchio ha un personaggio giocoso, potresti dire che il chatbot potrebbe essere migliorato o reso più divertente aggiungendo un modulo umoristico come Witscript"

Per tutto il tempo in cui ho testato Witscript, non è mai venuto fuori uno scherzo che implichi l'amore per Hitler o qualcosa del genere. GPT-3.5 è addestrato su Internet, libri e Wikipedia, quindi ciò che Witscript pensa del presidente Biden o Donald Trump è fondamentalmente una specie della media di ciò che tutti pensano di Biden e Trump, il che rende le battute che ne derivano abbastanza sicuro e generalmente accettabile.

Un altro fattore da considerare è il marchio rappresentato dal chatbot. Se il marchio ha un personaggio giocoso, potresti dire che il chatbot potrebbe essere migliorato o reso più divertente aggiungendo un modulo umoristico come Witscript.

La ricetta di Witscript per l'umorismo conversazionale

Liam: Una delle parti distintive di qualsiasi talk show a tarda notte è il monologo. E le battute sui monologhi sono i modelli per le battute di Witscript. Perché il monologo scherza per una conversazione?

Joe: Perché la struttura di uno scherzo monologo è l'argomento, l'angolazione e la battuta finale. L'argomento è la frase su cui si basa la battuta. Nel caso di un talk show notturno, è la notizia. L'angolo è la direzione che prende la battuta per arrivare alla battuta finale, e la battuta finale è l'incongruenza alla fine che il pubblico risolve improvvisamente. Questo è ciò che produce la risata.

Una delle intuizioni che hanno portato a Witscript è stata che quella struttura è fondamentalmente ciò che accade quando improvvisi uno scherzo in una conversazione. Il tuo amico ti dice qualcosa: questo è l'argomento di un potenziale scherzo. Tutto quello che devi fare come scrittore di commedie o improvvisatore di barzellette è prendere quell'argomento ed eseguire i passaggi dell'algoritmo di scrittura di barzellette che uno scrittore di commedie a tarda notte impiegherebbe per creare uno scherzo basato su quell'argomento. L'argomento delle notizie in un monologo per uno spettacolo comico è lo stesso che otterresti quando qualcuno ti dice una frase.

“Quando eseguo il debug del sistema, cerco di capire, 'Bene, perché queste battute non sono più divertenti?' Posso andare e dire: "Va bene, ha selezionato gli handle dell'argomento sbagliato". Devo modificare quel prompt ""

Liam: In che modo Witscript esegue tutti quei passaggi di cui parli nell'algoritmo di scrittura di battute di base?

Joe: È una serie di sette o otto suggerimenti. L'utente fornisce l'input: potrebbe essere una notizia o un'osservazione divertente, qualcosa che Witscript prende quindi come potenziale argomento di uno scherzo. E poi, quasi molto letteralmente, il programma ha un prompt per ogni passaggio dell'algoritmo di scrittura di battute umane che ho usato come struttura per Witscript. Il primo passaggio consiste nel selezionare, ad esempio, due handle di argomento. Gli handle dell'argomento sono i due nomi o frasi nominali più importanti nell'argomento. Il primo passo per scrivere una barzelletta sarebbe identificarli: è qualcosa che può fare un modello linguistico di grandi dimensioni. Puoi dare a GPT-3.5 un prompt, "Quali sono i due nomi e le frasi nominali più interessanti in questo argomento?" e eseguirà quel passaggio. Quelle maniglie dell'argomento alimenteranno la fase successiva del processo di scrittura delle barzellette.

Il termine generale per quel processo è concatenamento di prompt: l'output di un prompt, che ricevi indietro, diventa l'input per il prompt successivo. È una serie di passaggi, che consente al sistema di essere molto trasparente. Quando eseguo il debug del sistema, cerco di capire: "Bene, perché queste battute non sono più divertenti?" Posso andare e dire: "Va bene, ha selezionato gli handle dell'argomento sbagliato. Devo modificare quel suggerimento ", oppure" Le associazioni che ha generato per Tom Cruise non erano quelle su cui, come sceneggiatore di commedie, mi sarei concentrato. Come posso ottenere associazioni migliori per quel suggerimento? È solo una serie di rapidi progetti, aggiustamenti e regolazioni di tutte queste piccole leve.

"Potevo fare affidamento sul sistema non solo per generare le possibili battute finali, ma anche per trovare quella da consegnare come scelta finale"

Liam: Interessante. Come si valuta il sistema? Come determina cos'è una bella battuta?

Joe: Il sistema funziona generando cinque candidati scherzosi. Ho cinque tecniche separate per inventare una potenziale battuta finale che io, come essere umano, uso quando scrivo barzellette e ora Witscript usa. E puoi vedere i cinque candidati allo scherzo: A, B, C, D, E. Quindi, seleziona i candidati allo scherzo che ritiene siano i più divertenti. È solo qualcosa che ho chiesto a GPT-3.5 di fare. Cosa pensa la macchina sarà il più divertente per l'utente? E anche questa è stata una grande rivelazione. Potrei fare affidamento sul sistema non solo per generare le possibili battute finali, ma anche per trovare quella da consegnare come scelta finale. Se si trova in un sistema conversazionale, non può snocciolare cinque potenziali barzellette all'utente e dire: "Scegline una tu", deve sceglierne una e poi consegnarla.

È anche interessante guardare i cinque e dire: “Oh, interessante. Quell'approccio ha prodotto quello scherzo. Molte volte, non è affatto uno scherzo: quello era l'output di quel particolare algoritmo. E questo è utile perché se sei uno scrittore di commedie, potrebbe non piacerti la scelta finale offerta da Witscript. Potrebbe piacerti B più di E. Oppure potresti prendere B e cambiare quella parola, e sarà una bella battuta. Il sistema potrebbe anche essere un assistente di scrittura molto utile per inventare le tue battute.

Liam: Sì, stavo per dire che è perfetto in quella situazione in cui puoi modificarlo un po'. Potresti darci qualche esempio delle battute di Witscript? E le hai paragonate a barzellette che avresti potuto scrivere e chiedere alla gente di dire, alla cieca, qual è quale?

Joe: Sì, pubblico barzellette che Witscript ha scritto ogni giorno su Twitter. Fammi leggere alcuni di quelli recenti. Questo è quello che ho postato ieri. L'utente dice: "È il National Donut Day e Krispy Kreme offre una ciambella gratis". E Witscript dice: "Preparati per il National Diarrea Day". Le ciambelle causano la diarrea. In realtà l'ho cercato. E sì, lo fanno a causa del grasso e dello zucchero. Un altro, "Gli azionisti di Netflix hanno votato contro i grandi pacchetti di compensazione per i massimi dirigenti dell'azienda". E Witscript dice: "Beh, immagino che dovranno solo guardare Netflix e rilassarsi". Le battute sono direttamente correlate e contestualmente rilevanti per l'input.

La cassetta degli attrezzi di un comico

Liam: Scrivere commedie è così affascinante. C'è una discussione più ampia sull'arte e l'intelligenza artificiale, e suppongo che questo sia qualcosa che avresti usato in passato quando scrivevi? Alcune persone potrebbero essere resistenti a qualcosa di simile.

"Potrei facilmente vedere uno scrittore che usa Witscript solo per inserire le notizie del giorno e dire: 'Va bene, dammi qualche idea'"

Joe: Gli scrittori di monologhi in un talk show a tarda notte hanno un grande lavoro, specialmente lavorando per Jay Leno in The Tonight Show . Avrebbe fatto un monologo di 30 battute, il che significa che lo staff di sceneggiatori doveva inventare letteralmente centinaia di battute ogni giorno. In quella situazione, in cui la quantità e la qualità sono entrambe importanti, potrei facilmente vedere uno scrittore che usa Witscript per inserire solo le notizie del giorno e dire: "Va bene, dammi qualche idea". Alcune delle battute sarebbero perfette, non dovresti cambiarle affatto; potrebbero semplicemente andare in onda. Alcuni avrebbero bisogno di un piccolo lavoro da parte dell'umano, e alcuni sarebbero inutili, ma puoi semplicemente ignorarli. Potevo vedere scrittori professionisti e certamente scrittori non professionisti che usavano Witscript, ma forse non lo ammettevano. Se sei un professionista, potresti non ammettere che stai ricevendo aiuto da una macchina.

Anni fa, c'era un programma chiamato Idea Fisher, e alcuni sceneggiatori di commedie lo usavano. Fondamentalmente hai inserito una parola come Natale e ti ha dato molte associazioni. A cosa pensi quando pensi al Natale? Canti natalizi, Babbo Natale, Polo Nord, elfi. Parte del processo di scrittura di una barzelletta è il collegamento delle associazioni. Uno dei primi 10 elenchi che abbiamo fatto al Letterman Show è stato "I 10 migliori animali domestici di Babbo Natale". Quindi sarebbe utile avere un elenco di associazioni. Cosa pensi quando pensi a Babbo Natale? E poi sarebbe uno scherzo su Rudolph la renna dal naso rosso e la torta di frutta delle vacanze o che scende dal camino. Questo è stato un primo esempio di come il software ha aiutato gli scrittori di barzellette professionisti. E questo è, penso, solo un'estensione di quello. È così che sono stato presentato a Idea Fisher. Qualcuno ha detto: "Oh, ecco qualcosa che uso". Perché, come essere umano, lo fai comunque. È solo un modo più semplice per farlo.

Liam: Immagino che ti divertiresti a scrivere barzellette sull'intelligenza artificiale e sui chatbot se stessi scrivendo un monologo per un talk show a tarda notte.

Joe: Sì. Eccone uno che Witscript ha scritto a riguardo. L'utente afferma: "Gli esperti di tecnologia avvertono che l'intelligenza artificiale rappresenta un rischio di estinzione per gli esseri umani". E Witscript dice: "Se solo potessimo usare l'IA per capire come sbarazzarci dell'IA". Eccone un altro: "Il presidente di Microsoft dice che si aspetta che il governo degli Stati Uniti regoli l'intelligenza artificiale quest'anno". Witscript dice: "Non preoccuparti, il governo regolerà l'IA così come regola tutto il resto". Quindi, battute piuttosto buone. Certamente intoccabile, se stai scherzando per uno spettacolo comico.

"A volte scrivo una battuta su un argomento, assegno lo stesso argomento a Witscript e Witscript avrà la sua opinione"

Liam: Assolutamente. Dov'è Witscript in questo momento? E dove vedi il suo futuro?

Joe: Sto ancora facendo alcuni test interni e modifiche. È in una modalità beta test limitata. Il prossimo passo è capire il modo migliore per consentire alle persone di accedervi, e questo significherà trovare un modo per tenere traccia degli utenti ed elaborare pagamenti e cose del genere. Sto esplorando modi per farlo in modo efficiente per metterlo nelle mani di persone che possono usarlo.

Liam: Dove possono andare le persone per tenersi aggiornati e leggere di più?

Joe: Puoi andare su witscript.com. Se vuoi vedere l'ultimo output di Witscript, vai su Twitter @witscript. Puoi vedere l'opinione di Witscript sulle notizie del giorno. Scrivo anche barzellette e le pubblico su Twitter. @joetoplyn è il mio handle di Twitter. A volte scrivo una battuta su un argomento, do lo stesso argomento a Witscript e Witscript avrà la sua opinione.

Liam: È geniale. Subito dopo, seguirò te e Witscript. Tutti possiamo fare con qualche battuta in più nelle nostre tempistiche al minuto. Joe, grazie mille per esserti unito a me oggi.

Joe: Grazie, Liam. È stato divertente.