Dois chatbots de IA entram em um bar: o escritor de TV Joe Toplyn fala sobre como ensinar chatbots a contar piadas

Publicados: 2023-07-07

Temos falado muito sobre IA e chatbots; as implicações para o local de trabalho e nossas vidas, e o que o futuro reserva para a humanidade. Mas hoje, fazemos uma pergunta bem leve: os chatbots podem contar uma piada?

Há muito tempo, o humor é considerado um desafio para os sistemas de IA entenderem. Requer uma compreensão semântica profunda do texto e depende de fatores contextuais e nuances culturais e sociais. Isso, no entanto, nunca impediu os pesquisadores de tentar ensinar piadas de IA. Há, por exemplo, o trabalho de Binsted e Ritchie, que, em 1994, desenvolveram um programa para gerar enigmas baseados em trocadilhos simples (por exemplo, “Que tipo de árvore você pode usar? Um casaco de pinheiro.”). Ou Matthews e Petrovic, que usaram métodos de aprendizado de máquina não supervisionados para gerar piadas seguindo a estrutura “Gosto do meu X como gosto do meu Y, Z”, resultando em piadas como “Gosto do meu café como gosto da minha guerra. Frio." ou “Gosto dos meus meninos como gosto dos meus setores, ruim”.

E tem o convidado de hoje, Joe Toplyn, uma das pessoas mais qualificadas para falar sobre o assunto. Joe não apenas recebeu um diploma de bacharel em engenharia e física aplicada e um MBA (ambos de Harvard), mas também foi, entre outras coisas, co-redator principal do The Tonight Show com Jay Leno e redator principal do Late Show com David Letterman . Por quase duas décadas, ele escreveu e produziu milhares de roteiros, segmentos e piadas – uma experiência que inspirou seu livro, Comedy Writing for Late-Night TV , onde ele disseca piadas e apresenta receitas para o que chama de criadores de piadas.

Se alguém fosse ensinar um computador a ter um verdadeiro senso de humor, seria Joe. Ele combinou seu conhecimento de piadas com o de engenharia para criar o Witscript, um sistema de IA híbrido alimentado por GPT-3.5, projetado para improvisar piadas em conversas.

No episódio de hoje do podcast, Joe Toplyn nos leva em uma jornada através de suas experiências como escritor de comédia e ensinando chatbots a arte da comédia.

Aqui estão alguns dos principais tópicos:

  • A pesquisa sugere que as pessoas se sentem mais à vontade quando se envolvem com a tecnologia com qualidades humanas. Ter um bot com senso de humor, por exemplo, pode criar uma experiência agradável. No entanto, para serem utilizados no atendimento ao cliente, eles devem seguir orientações de timing, tom de voz, conteúdo e alinhamento com a persona da marca.
  • Witscript utiliza uma estrutura de piada em três partes inspirada em monólogos de talk shows noturnos, pegando qualquer tópico inicial, executando o algoritmo de escrita de piadas e produzindo uma piada.
  • O sistema opera por meio de uma série de prompts que executam as etapas do algoritmo de escrita de piadas, geram cinco candidatas a piadas e selecionam aquela que acredita ser a mais engraçada.
  • Ferramentas como o Witscript podem ser valiosas para todos os tipos de escritores, permitindo-lhes gerar um grande número de ideias rapidamente e fornecendo uma abordagem mais eficiente para o processo de escrita de piadas.

Se você gosta de nossa discussão, confira mais episódios de nosso podcast. Você pode seguir no Apple Podcasts, Spotify, YouTube ou pegar o feed RSS no player de sua escolha. O que se segue é uma transcrição levemente editada do episódio.


Comédia de engenharia reversa

Liam Geraghty: Olá, bem-vindo ao Inside Intercom. Eu sou Liam Geraghty. Nas últimas semanas, discutimos chatbots e IA, mas uma pergunta que não fiz ou pensei em fazer é: um chatbot pode ter senso de humor? Um chatbot pode contar uma piada, pelo menos? Bem, meu convidado de hoje, Joe Toplyn, não poderia estar mais qualificado para responder a essa pergunta. Ele não apenas recebeu um SB em engenharia e física aplicada e um MBA (ambos de Harvard), mas também foi co-redator principal do The Tonight Show com Jay Leno e redator principal do Late Show com David Letterman . Atualmente, ele é o engenheiro-chefe de humor do Witscript, um sistema híbrido de IA para improvisar piadas em uma conversa. Joe, você é muito bem-vindo ao show.

Joe Toplyn: Obrigado por me receber. Olá, Liam.

Liam: Então vamos pular direto para o Witscript. O que é e como surgiu em primeiro lugar?

Joe: Witscript é um sistema híbrido de IA para gerar piadas. É um híbrido simbólico neural, o que significa que combina um sistema simbólico, que consiste em algoritmos de escrita de piadas que criei como escritor de comédia humano, e combina aqueles com um grande modelo de linguagem, que é a parte neural. Então, basicamente, você dá uma frase, que considera ser o tema de uma piada, e usa GPT 3.5 para executar as etapas de um algoritmo de escrita de piadas - na verdade, vários algoritmos de escrita de piadas que criei com base em minha experiência como escritor de comédia.

“Tudo bem, o que o escritor fez com essas palavras para fazer rir? Como o escritor passou do tópico frasal, o assunto da piada, para o ângulo e a piada?”

Liam: Estou presumindo que esse tipo de pano de fundo dessas duas coisas se misturando é como você surgiu com isso. É tão específico entre a engenharia por trás dele e a comédia.

Joe: Sim, fui convidado para ensinar redação de comédia e decidi que as pessoas gostariam de me ouvir falar sobre como escrever para programas de comédia noturnos como David Letterman e Jay Leno. Para fazer isso, tive que descobrir como escrevo comédia, como escrevo piadas, peças de escritório e esboços porque, uma vez que soubesse como o fazia, poderia ensinar outras pessoas a fazê-lo. Então, criei um esboço de curso e, no processo de fazê-lo, pensei muito sobre como os humanos escrevem piadas, porque as piadas são os blocos de construção de muitas outras peças de comédia curta em uma conversa de comédia tarde da noite. mostrar. E ninguém tinha realmente feito isso antes. Fiz muita pesquisa, li muitos livros e ninguém tinha um sistema ou receita para escrever o tipo de piada que você teria em um monólogo de comédia noturno.

Então, li muitas piadas e fiz engenharia reversa delas. Olhei para eles e disse: “Tudo bem, o que o escritor fez com essas palavras para fazer rir? Como o escritor passou do tópico frasal, o assunto da piada, para o ângulo e a piada?” E levei em consideração meu próprio processo de escrita de piadas. O que meu cérebro faz quando estou tentando escrever uma piada? Estou lendo as notícias dizendo: “Tudo bem, tenho que inventar piadas porque é para isso que sou pago. Como eu abordo essa tarefa?” Então reduzi esse processo a um monte de receitas. Eu os chamo de criadores de piadas - existem outras técnicas envolvidas - ensinei isso aos alunos e, eventualmente, decidi que poderia haver outras pessoas interessadas no que eu tinha a dizer.

“Eventualmente, decidi que se alguém iria ensinar um computador a ter senso de humor, seria eu”

E então, escrevi um livro, Comedy Writing for Late-Night TV . Todos os algoritmos estão lá. As pessoas estavam comprando e eu me perguntei: quem mais poderia estar interessado no que está no livro? Fiz uma pequena pesquisa e descobri que havia um campo acadêmico chamado 'Humor Computacional'. E eu pensei: “Oh, isso é interessante.” Era um campo relativamente novo. Só existia há cerca de 20 anos. Comecei a entrar em contato com pesquisadores da área, apresentando meu livro e dizendo: “Bem, você pode estar interessado em um livro que explique como os humanos escrevem piadas, porque talvez você possa ensinar um computador a fazer isso”.

Fiz um pequeno progresso, mas não estava se movendo rápido o suficiente. Por fim, decidi que se alguém iria ensinar um computador a ter senso de humor, esse alguém seria eu. Naquela época, as ferramentas de IA estavam começando a se tornar úteis. Anos atrás, o Watson da IBM venceu os humanos no programa de TV Jeopardy, e esse foi um grande marco na inteligência artificial e no que um computador pode fazer com a linguagem. Eu li um artigo sobre isso e decidi que, se o Watson pudesse vencer os humanos em perigo ao realizar essas tarefas, ele poderia escrever uma piada porque usa muitas dessas mesmas tarefas. Isso me deu ânimo. Então, os geradores de texto começaram a aparecer, Word2Vec, incorporação de palavras, espaços vetoriais, e usei todas as ferramentas que tinha para criar uma maneira muito grosseira de gerar uma piada que envolvia jogos de palavras.

Então, as ferramentas de IA ficaram cada vez mais sofisticadas. Conforme eu conseguisse uma ferramenta mais talentosa, eu a incorporaria ao software Witscript. E então, cerca de um ano e meio atrás, o GPT-3 saiu e depois o 3.5, e eu tentei e disse: “Isso é realmente ótimo. Esta é uma maneira muito mais fácil e eficiente de executar as etapas do algoritmo de escrita de piadas do que eu usava antes.” Então, conectei o GPT-3.5 e é isso que o Witscript é agora. É uma maneira de escrever uma piada usando o modelo de linguagem grande mais recente e útil ao qual tenho acesso agora.

Brinque com isso

Liam: Isso é ótimo. Por que os chatbots precisam ser capazes de gerar piadas originais e relevantes quando estão conversando?

Joe: Há uma boa quantidade de pesquisas que dizem que as pessoas se sentem mais à vontade interagindo com tecnologias como chatbots se elas parecerem mais humanas. E uma maneira de tornar um chatbot mais humano é dar a ele um senso de humor, permitir que ele reconheça e improvise uma piada. Portanto, nas situações certas, um chatbot que ocasionalmente pode contar uma piada em um momento apropriado com base em algo que o usuário disse irá relaxar o usuário, torná-lo mais confortável e a experiência mais agradável. E assim, nessa situação, pode ser útil para um chatbot ter senso de humor.

“Você pode fazer com que o chatbot saiba o momento apropriado para contar uma piada? Se houver um usuário irritado gritando com o chatbot, uma piada provavelmente não seria uma boa ideia”

Um sistema como o Witscript também pode ser usado por alguém que só quer escrever piadas – um escritor de comédia ou alguém que vê algo nas redes sociais e quer dizer algo engraçado sobre isso. Essa pessoa não tem necessariamente a habilidade de escrever uma piada rapidamente ou não quer contratar um escritor de comédia para escrever a piada, então ela pode usar o Witscript para criar uma piada e usá-la para o que a pessoa precisar da piada. para fazer um discurso ou talvez criar um slogan para um produto ou algo assim.

Liam: E fora disso, em que áreas você está falando que o Witscript poderia ser aplicado? Algo assim poderia ser usado para chatbots de atendimento ao cliente?

Joe: Definitivamente poderia ser. Você consegue fazer com que o chatbot saiba a hora apropriada para contar uma piada? Se houver um usuário irritado gritando com o chatbot, uma piada provavelmente não seria uma boa ideia. Outro fator é certificar-se de que a piada foi apropriada. Se estiver gerando uma piada sozinha, sem curadoria humana, você deve garantir que haja certas diretrizes e que a piada seja aceitável para o público.

“Se a marca tem uma personalidade divertida, pode-se dizer que o chatbot pode ser melhorado ou mais divertido adicionando um módulo de humor como o Witscript”

Desde que testei o Witscript, nunca apareceu uma piada que envolvesse amar Hitler ou algo assim. O GPT-3.5 é treinado em toda a Internet, livros e Wikipedia, então o que o Witscript pensa sobre o presidente Biden ou Donald Trump é basicamente a média do que todo mundo pensa sobre Biden e Trump, o que torna as piadas que surgem razoavelmente seguro e geralmente aceitável.

Outro fator a considerar é a marca que o chatbot representa. Se a marca tiver uma personalidade divertida, você pode dizer que o chatbot pode ser melhorado ou mais divertido adicionando um módulo de humor como o Witscript.

A receita de Witscript para humor conversacional

Liam: Uma das partes marcantes de qualquer talk show noturno é o monólogo. E as piadas de monólogo são os modelos para as piadas de Witscript. Por que piadas de monólogo para uma conversa?

Joe: Porque a estrutura de uma piada de monólogo é tópico, ângulo e piada. O tópico é a frase na qual a piada se baseia. No caso de um talk show noturno, é a notícia. O ângulo é a direção que a piada toma para chegar à piada, e a piada é a incongruência no final que o público resolve repentinamente. Isso é o que produz o riso.

Um dos insights que levaram ao Witscript foi que essa estrutura é basicamente o que acontece quando você improvisa uma piada em uma conversa. Seu amigo diz algo para você – esse é o assunto de uma possível piada. Tudo o que você precisa fazer como escritor de comédia ou improvisador de piadas é pegar esse tópico e executar as etapas do algoritmo de escrita de piadas que um escritor de comédia noturna usaria para criar uma piada com base nesse tópico. O tópico de notícias em um monólogo para um show de comédia é o mesmo que a configuração que você obteria quando alguém dissesse uma frase para você.

“Quando estou depurando o sistema, estou tentando descobrir: 'Bem, por que essas piadas não são mais engraçadas?' Posso ir e dizer: 'Tudo bem, ele selecionou os identificadores de tópico errados. Eu tenho que ajustar esse prompt '”

Liam: Como o Witscript executa todas essas etapas sobre as quais você está falando no algoritmo básico de escrita de piadas?

Joe: É uma série de sete ou oito prompts. O usuário dá a entrada – pode ser uma notícia ou uma observação engraçada, algo que o Witscript considera como o tópico potencial de uma piada. E então, quase literalmente, o programa tem um prompt para cada etapa do algoritmo humano de escrita de piadas que usei como estrutura para o Witscript. O primeiro passo é selecionar dois handles de tópico, por exemplo. Identificadores de tópico são os dois substantivos ou frases nominais mais importantes no tópico. O primeiro passo para escrever uma piada seria identificá-los – isso é algo que um grande modelo de linguagem pode fazer. Você pode dar um prompt ao GPT-3.5, “Quais são os dois substantivos e frases nominais mais interessantes neste tópico?” e ele executará essa etapa. Esses identificadores de tópico alimentarão a próxima etapa do processo de redação da piada.

O termo geral para esse processo é encadeamento de prompts – a saída de um prompt, que você recebe de volta, torna-se a entrada do próximo prompt. É uma série de etapas, o que permite que o sistema seja muito transparente. Quando estou depurando o sistema, estou tentando descobrir: “Bem, por que essas piadas não são mais engraçadas?” Posso ir e dizer: “Tudo bem, ele selecionou os identificadores de tópico errados. Eu tenho que ajustar esse prompt” ou “As associações que isso gerou para Tom Cruise não eram aquelas nas quais, como escritor de comédia, eu teria me concentrado. Como obtenho melhores associações para esse prompt?” É apenas uma série de projetos rápidos e ajustes e ajustes de todas essas pequenas alavancas.

“Eu poderia contar com o sistema não apenas para gerar as possíveis piadas, mas também para entregar como sua escolha final”

Liam: Isso é interessante. Como o sistema se avalia? Como isso determina o que é uma boa piada?

Joe: O sistema funciona gerando cinco candidatos a piadas. Eu tenho cinco técnicas separadas para criar uma piada em potencial que eu, como humano, uso quando estou escrevendo piadas e agora o Witscript usa. E você pode ver os cinco candidatos a piadas - A, B, C, D, E. Em seguida, ele seleciona os candidatos a piadas que acredita serem os mais engraçados. Isso é apenas algo que pedi ao GPT-3.5 para fazer. O que a máquina acha que será mais engraçado para o usuário? E isso também foi uma grande revelação. Eu poderia contar com o sistema não apenas para gerar as possíveis piadas, mas também para apresentar aquela que deveria ser entregue como sua escolha final. Se estiver em um sistema de conversação, ele não pode recitar cinco piadas em potencial para o usuário e dizer: “Você escolhe uma”, ele deve escolher uma e entregá-la.

Também é interessante olhar para os cinco e dizer: “Ah, interessante. Essa abordagem produziu essa piada.” Muitas vezes, não é uma piada – essa foi a saída desse algoritmo específico. E isso é útil porque, se você é um escritor de comédia, pode não gostar da escolha final que o Witscript oferece. Você pode gostar mais de B do que de E. Ou pode pegar B e mudar essa palavra, e isso será uma ótima piada. O sistema também pode ser um assistente de escrita muito útil para criar suas próprias piadas.

Liam: Sim, eu ia dizer que é perfeito naquela situação em que você pode ajustá-lo um pouco. Você poderia nos dar alguns exemplos de piadas de Witscript? E você já as comparou com piadas que você poderia ter escrito e pedido às pessoas para dizer, cegamente, qual é qual?

Joe: Sim, eu posto piadas que Witscript escreveu todos os dias no Twitter. Deixe-me ler alguns dos mais recentes. Essa é uma que postei ontem. O usuário diz: “É o Dia Nacional do Donut e a Krispy Kreme está oferecendo um donut grátis”. E Witscript diz: “Prepare-se para o Dia Nacional da Diarréia”. Donuts causam diarréia. Na verdade, eu pesquisei isso. E sim, eles fazem por causa da gordura e do açúcar. Outro, “os acionistas da Netflix votaram contra grandes pacotes de remuneração para os principais executivos da empresa”. E Witscript diz: “Bem, acho que eles vão ter que assistir Netflix e relaxar.” As piadas estão diretamente relacionadas e contextualmente relevantes para a entrada.

A caixa de ferramentas de um comediante

Liam: Escrever comédia é tão fascinante. Há uma discussão mais ampla sobre arte e IA, e suponho que isso seja algo que você usaria quando escrevia? Algumas pessoas podem ser resistentes a algo assim.

“Eu poderia facilmente ver um escritor usando o Witscript apenas para inserir as notícias do dia e dizer: 'Tudo bem, me dê algumas ideias'”

Joe: Os escritores de monólogos em um talk show noturno têm um grande trabalho, especialmente trabalhando para Jay Leno no The Tonight Show . Ele faria um monólogo de 30 piadas, o que significa que a equipe de roteiristas tinha que inventar literalmente centenas de piadas todos os dias. Nessa situação, onde quantidade e qualidade são importantes, eu poderia facilmente ver um escritor usando o Witscript apenas para inserir as notícias do dia e dizer: “Tudo bem, me dê algumas ideias”. Algumas das piadas seriam palavras perfeitas, você não teria que mudá-las; eles poderiam simplesmente ir ao ar. Alguns precisariam de um pouco de trabalho do humano, e alguns seriam inúteis, mas você pode simplesmente ignorá-los. Eu pude ver escritores profissionais e certamente escritores não profissionais usando Witscript, mas talvez não admitindo isso. Se você é um profissional, pode não admitir que está recebendo ajuda de uma máquina.

Anos atrás, havia um programa chamado Idea Fisher, e alguns escritores de comédia o usavam. Você basicamente colocou uma palavra como Natal, e isso lhe deu muitas associações. O que você pensa quando pensa no Natal? Canções de Natal, Papai Noel, Pólo Norte, duendes. Parte do processo de escrever uma piada é vincular associações. Uma das 10 principais listas que fizemos no Letterman Show foi “As 10 principais irritações do Papai Noel”. Portanto, seria útil ter uma lista de associações. O que você pensa quando pensa em Papai Noel? E então seria uma piada sobre Rudolph, a Rena do Nariz Vermelho, bolo de frutas natalino ou descer pela chaminé. Esse foi um dos primeiros exemplos de como o software ajudou os escritores profissionais de piadas. E isso é, eu acho, apenas uma extensão disso. Foi assim que fui apresentado à Idea Fisher. Alguém disse: “Oh, aqui está algo que eu uso.” Porque, como humano, você faz isso de qualquer maneira. É apenas uma maneira mais fácil de fazer isso.

Liam: Acho que você teria um dia de campo escrevendo piadas sobre IA e chatbots se estivesse escrevendo um monólogo para um talk show noturno agora.

Jo: Sim. Aqui está um que Witscript escreveu sobre isso. O usuário diz: “Especialistas em tecnologia estão alertando que a inteligência artificial representa um risco de extinção para os humanos”. E Witscript diz: “Se ao menos pudéssemos usar a IA para descobrir como nos livrar da IA”. Aqui está outro: “O presidente da Microsoft diz que espera que o governo dos EUA regule a inteligência artificial este ano”. Witscript diz: “Não se preocupe, o governo regulará a IA tão bem quanto regula todo o resto”. Então, boas piadas. Certamente pitchable, se você está fazendo piadas para um show de comédia.

“Às vezes, escrevo uma piada sobre um tópico, passo o mesmo tópico para o Witscript e o Witscript terá sua própria opinião”

Liam: Com certeza. Onde está o Witscript no momento? E onde você vê seu futuro?

Joe: Ainda estou fazendo alguns testes e ajustes internos. Está em um modo de teste beta limitado. O próximo passo é descobrir a melhor maneira de permitir que os indivíduos tenham acesso a ele, e isso significa encontrar uma maneira de acompanhar os usuários e processar pagamentos e coisas assim. Estou explorando maneiras de fazer isso de forma eficiente para colocá-lo nas mãos de pessoas que possam usá-lo.

Liam: Onde as pessoas podem ir para acompanhar e ler mais sobre isso?

Joe: Você pode acessar witscript.com. Se você quiser ver a saída mais recente do Witscript, acesse o Twitter @witscript. Você pode ver a opinião de Witscript sobre as notícias do dia. Também escrevo piadas e as posto no Twitter. @joetoplyn é meu identificador no Twitter. Às vezes, escrevo uma piada sobre um tópico, passo o mesmo tópico para o Witscript e o Witscript terá sua própria opinião.

Liam: Isso é brilhante. Logo depois disso, estou seguindo você e o Witscript. Todos nós podemos fazer mais algumas piadas em nossos cronogramas a cada minuto. Joe, muito obrigado por se juntar a mim hoje.

Joe: Obrigado, Liam. Tem sido divertido.

Fin lançamento CTA horizontal