Início da conversa: um bate-papo sobre nosso novo e inovador chatbot de IA

O mundo da IA ​​está se movendo rapidamente e aqui na Intercom estamos ajudando a definir esse ritmo. Hoje, temos o prazer de apresentar o Fin, nosso novo chatbot desenvolvido com o GPT-4 da OpenAI e a tecnologia proprietária de aprendizado de máquina da Intercom.

Há apenas algumas semanas, anunciamos nossos primeiros recursos baseados em GPT no Intercom – uma variedade de ferramentas úteis para representantes de atendimento ao cliente – e nossos clientes estão realmente gostando da eficiência extra que esses recursos oferecem.

O grande objetivo, porém, era criar um chatbot com tecnologia GPT que pudesse responder diretamente às perguntas dos clientes. Para fazer isso, precisava ser capaz de aproveitar o poder de grandes modelos de linguagem, mas sem os inconvenientes das “alucinações”. Inicialmente, não tínhamos certeza de quanto tempo levaria para resolver esse problema, mas agora, com o lançamento do GPT-4 da OpenAI, podemos revelar que construímos um chatbot que pode responder de forma confiável às perguntas dos clientes com um alto padrão . Nós o chamamos de Fin.

No episódio de hoje do podcast Inside Intercom, sentei-me com nosso diretor de aprendizado de máquina, Fergal Reid, para discutir nosso novo chatbot de IA, como o construímos, o que ele faz e quais são as próximas etapas para esse avanço notável.

Aqui estão alguns dos principais tópicos:

• Nosso novo chatbot AI pode conversar naturalmente usando a mais recente tecnologia GPT.
• O Fin ingere as informações de seu centro de ajuda existente e usa apenas esse conhecimento, dando a você controle sobre como ele responde a perguntas sobre sua empresa.
• Na Intercom, acreditamos que o futuro do suporte é uma mistura de bots e humanos. A Fin não será capaz de responder a todas as perguntas dos clientes e, nessas situações, pode passar perguntas mais difíceis para as equipes de suporte humano sem problemas.
• Reduzimos as alucinações em cerca de 10 vezes, criando restrições que limitam Fin a consultas relacionadas ao seu negócio, com base em uma base de conhecimento em que você confia.

Se você gosta de nossa discussão, confira mais episódios de nosso podcast. Você pode seguir no Apple Podcasts, Spotify, YouTube ou pegar o feed RSS no player de sua escolha. O que se segue é uma transcrição levemente editada do episódio.

Um bot com qualquer outro nome

Des Traynor: Bem-vindo a um emocionante episódio do podcast Intercom. Mais uma vez, Fergal Reid, nosso Diretor de Aprendizado de Máquina, vai nos contar sobre o lançamento de algo que nos pedem praticamente todos os dias desde o lançamento do ChatGPT.

“Na verdade, este será um bot que você pode usar para o seu negócio, que possui a capacidade de processamento de linguagem natural do ChatGPT, mas responderá a perguntas específicas sobre o seu negócio”

Fergal Reid: Sim, obrigado Des. Desde que o ChatGPT foi lançado, as pessoas diziam: 'Ei, posso usar isso para responder às perguntas de suporte da minha empresa?' E nós sempre pensávamos, 'Oh, nós não sabemos. Não temos certeza sobre as alucinações. Mas hoje acho que estamos muito empolgados em anunciar que estamos muito empolgados com este produto porque achamos que conseguimos. Achamos que construímos algo - na verdade, será um bot que você pode usar para o seu negócio que tem a capacidade de processamento de linguagem natural do ChatGPT, mas responderá a perguntas especificamente sobre o seu negócio e nós o construímos usando o seu centro de ajuda para que não responderá a perguntas aleatórias da Internet nem nada. Você pode controlar o que ele diz. A taxa de precisão aumentou muito. Conseguimos aumentar muito a taxa de precisão usando o novo modelo GPT-4 da OpenAI e ao qual você tem acesso na versão beta. Estou muito animado com isso.

Des: Então a ideia é que o que as pessoas experimentaram e se apaixonaram no ChatGPT, que é efetivamente esse bot ao qual você pode perguntar qualquer coisa e dá uma boa chance de responder. Você pode fazer isso pelo seu negócio?

Fergal: Sim. Tipo de. Então, nós o fizemos deliberadamente para que você não possa perguntar nada. A ideia é construir algo que tenha o mesmo tipo de compreensão conversacional que vimos com o ChatGPT, mas que responda especificamente apenas a perguntas sobre o seu negócio. Você pode perguntar algo selvagem como, quem foi o 22º presidente da América? E será como, 'Ei, estou aqui apenas para responder a perguntas de suporte ao cliente sobre este negócio específico.'

Des: Legal. Então ele realmente sabe o que deve e o que não deve tentar?

Fergal: Sim, exatamente. Essa é a ideia.

Uma descoberta de bot

Des: Eu sinto que sete ou oito semanas atrás você disse que não faríamos isso porque não era possível ou não seria fácil ou algo assim?

“Todo cliente estava nos perguntando sobre isso”

Fergal: Então, seis ou sete semanas atrás, quando começamos a olhar para essa tecnologia, inicialmente, quando olhamos para ela pela primeira vez, pensamos: 'Uau, podemos construir isso? Podemos construir o ChatGPT para o seu negócio?' Isso estava no topo da mente de todos. Cada cliente estava nos perguntando sobre isso. Nós estávamos olhando para isso e estávamos pensando, nossa, isso alucina muito, isso vai te dar resultados imprecisos. Resultados extremamente imprecisos, coisas totalmente inventadas, pensamos 'É uma tecnologia muito empolgante, mas não temos certeza se podemos realmente restringi-la e impedi-la de alucinar o suficiente. E passamos muito tempo jogando com GPT, ChatGPT, GPT-3.5.

“Quando começamos a brincar com ele, pensamos, uau, parece muito melhor. Ainda pode alucinar às vezes, mas alucina muito menos, talvez 10 vezes menos”

Nós nunca poderíamos fazê-lo saber quando ele não sabe alguma coisa. Mas recentemente tivemos acesso a um novo beta da OpenAI de seu novo modelo GPT-4. E uma das coisas que eles nos disseram foi: 'Ei, isso é projetado para alucinar muito menos do que alguns dos outros modelos que vimos no passado.' E então, você sabe, nós pensamos, 'Uau, isso parece muito interessante. Isso parece muito emocionante, GPT-4, o que vai fazer?' E fizemos um esforço para olhar para isso e colocá-lo em alguns de nossos bancos de teste para verificar e examinar alucinações. E quando começamos a brincar com ele, pensamos, uau, parece muito melhor. Ainda pode alucinar às vezes, mas alucina muito menos, talvez 10 vezes menos, algo assim. E então ficamos extremamente empolgados. Nós pensamos, 'Uau, tudo bem, de repente parece que isso é alguma coisa. Isso é bom o suficiente para construir um bot, esta é uma geração à frente do GPT-3.5 que estamos usando. É apenas muito mais adiante, em termos de quão confiável é.

Des: Emocionante. O que o teste faz – existem testes de tortura pelos quais submetemos esses bots para ver exatamente se eles sabem que estão falando besteira, basicamente?

Fergal: Então não estamos tão longe assim. Para nossa geração anterior de modelos, por exemplo, para bot de resolução, tínhamos um conjunto muito, muito bem desenvolvido de benchmarks de teste testados em batalha que construímos ao longo dos anos. Toda essa nova tecnologia tem meses, então não temos tantos princípios assim. Mas identificamos vários casos extremos, apenas coisas específicas. Temos uma planilha onde acompanhamos tipos específicos de modos de falha que estamos vendo com esses novos modelos. E então, quando o GPT-4 apareceu, você pensou, ok, vamos tentar isso. Vamos ver o que acontece quando você faz uma pergunta que não está contida em um artigo ou em uma base de conhecimento. Ou você faz uma pergunta semelhante, mas não totalmente igual ao que realmente está lá.

E você sabe, com o GPT-3.5 e com o ChatGPT, se ele não sabe alguma coisa, é quase como se quisesse te agradar, te dar o que você quer. E então isso apenas inventa algo. E com o GPT-4, eles obviamente trabalharam muito para reduzir isso. E isso é realmente óbvio para nós. Então, quando o colocamos em nossos testes, é possível fazer com que diga 'não sei' ou expressar muito mais incerteza. Isso foi uma verdadeira virada de jogo para nós.

“Na Intercom, acreditamos que o futuro do suporte é uma mistura de bots e humanos”

Des: E se o bot não souber, pode passar para um humano?

Fergal: Com certeza. Na intercom, acreditamos que o futuro do suporte é uma mistura de bots e humanos. Temos muita experiência com o bot de resolução de fazer uma boa transferência do bot para o representante de suporte humano, esperamos obter esse representante de suporte antes da conversa e achamos que ainda precisamos fazer isso com este bot. Sempre haverá problemas em que, digamos, alguém está pedindo um reembolso. Talvez você queira que um humano aprove isso. Portanto, sempre haverá um caminho de aprovação humana. Na Intercom, temos uma plataforma muito boa sobre fluxos de trabalho e você poderá usá-la para controlar quando o bot é entregue e como ele é entregue. Garantiremos que esse novo bot se integre à nossa plataforma existente da mesma forma que nosso bot existente.

Des: E presumo que o bot tenha eliminado a ambiguidade ou qualificado uma consulta de alguma forma, talvez a tenha resumido, mesmo quando a entrega?

Fergal: Não temos nenhum recurso de resumo no momento, mas o bot tentará eliminar a ambiguidade e extrair uma resposta do cliente. Nosso bot de resolução existente faz um pouco disso. Esse novo bot, por ser muito melhor no processamento de linguagem natural, pode fazer isso com mais eficiência. Isso pode significar que o tempo de tratamento diminui para o seu representante, para as perguntas que o bot tocou. Então, sim, muito animado com isso também.

A arte da conversa

Des: Os ouvintes do nosso podcast Intercom On Product sabem que costumo dizer que ter um recurso, mesmo um novo recurso útil, não é suficiente para ter um ótimo produto. Como você envolveu um produto – quais eram seus objetivos? Quais são os objetivos do projeto para a construção de um produto real em torno dessa capacidade GPT-4?

Fergal: Percebemos desde o início que havia realmente um conjunto de objetivos de design que estávamos tentando atingir. Em primeiro lugar, queríamos capturar a compreensão da linguagem natural que as pessoas viram e ficaram muito impressionadas com o ChatGPT. Queríamos chegar uma geração acima do que havia antes. Então, se você fizer uma pergunta bastante complicada ou fizer uma pergunta, faça uma pergunta complementar, que entenda que a segunda pergunta deve ser interpretada à luz da anterior. Nosso bot anterior não fazia isso. E a maioria dos bots por aí, eles simplesmente não fazem isso. Isso foi muito difícil. Você sabe, as conversas são ambientes muito complicados para algoritmos de aprendizado de máquina. Há muita sutileza e interação e uma espécie de conversa de suporte, mas essa nova tecnologia parece se sair muito bem nisso. Portanto, nosso primeiro objetivo é capturar isso.

“Há muita sutileza e interação e uma espécie de conversa de suporte, mas essa nova tecnologia parece se sair muito bem nisso”

Des: Então, como exemplo disso, você pode fazer uma pergunta e dizer 'Você tem um aplicativo para Android? Bem, e quanto ao iPhone?' Gostaria de perguntar: 'E quanto ao iPhone?' não faz sentido, a menos que você o tenha analisado anteriormente com "Você tem um aplicativo para Android?", como exemplo. Portanto, trata-se de juntar as coisas para entender a continuidade e o contexto da conversa.

Fergal: Exatamente. E com isso, flui com mais naturalidade. Nós notamos isso especificamente com o novo bot quando você faz uma pergunta e recebe uma resposta e não é exatamente o que você perguntou, você pode apenas dizer, 'Ah, mas não, eu realmente queria pedir preços.' E meio que entende isso e vai te dar a resposta mais relevante. Sentimos que é uma tecnologia realmente revolucionária.

Des: Pode empurrar para trás em você e dizer, 'Diga mais?' Ele pode fazer perguntas complementares para qualificar suas perguntas? Então, se você pensar em algo vago, como, 'Ei, isso funciona?' Ele tentaria resolver isso? Ou responderia com 'Preciso de mais do que isso'.

“Para realmente construir uma boa experiência de produto, é quase como se tivéssemos muita flexibilidade e muito poder, mas agora o que precisamos é a capacidade de limitar e controlar isso”

Fergal: Então, nativamente, os algoritmos farão uma certa quantidade disso, mas com esse tipo de tecnologia, obtemos essa capacidade muito avançada e, na verdade, o que estamos tentando fazer é tentar restringi-la bastante. Na verdade, estamos tentando dizer: 'Ok, você pode fazer tudo isso imediatamente, mas precisamos de mais controle.' Na verdade – como você mencionou anteriormente – para construir uma boa experiência de produto, é quase como se tivéssemos muita flexibilidade e muito poder, mas agora o que precisamos é a capacidade de limitar e controlar isso. Então construímos experiências assim. Construímos uma experiência de desambiguação onde, se você fizer uma pergunta e não houver informações suficientes, tentamos esclarecer isso, mas controlamos.

Criamos prompts onde você tem aplicativos para fins especiais com a tecnologia para realizar cada tarefa na conversa. Portanto, temos um prompt para que você faça uma pergunta; outro para esclarecer uma questão; outro para verificar se uma pergunta foi totalmente respondida para você. E então começamos com este modelo de linguagem muito poderoso, mas realmente queremos apenas usá-lo como um bloco de construção. Queremos controlá-lo. Alcançamos esse controle dividindo-o em módulos de propósito especial que fazem cada coisa separadamente.

Com um ótimo produto vem uma grande responsabilidade

Des: Então, em um nível fundamental, estamos dizendo que ele pode conversar naturalmente. A maior vantagem disso, na minha opinião, como produto é que você se sentirá confortável em colocá-lo como a primeira linha de solução diante de seus clientes. Eu ia dizer defesa, mas não é uma operação militar. Mas você se sentiria confortável em expor isso como se dissesse: 'Ei, a maioria das conversas acontece aqui'. E o fato de poder ir e vir, manter o contexto, eliminar a ambiguidade significa que está bem equipado para fazer isso. O que mais você adicionou? Não é apenas sentar lá para conversar - então o que mais ele faz?

Fergal: A primeira coisa que eu diria é que diferentes empresas provavelmente terão diferentes níveis de conforto em termos de como implantar isso. Algumas pessoas provavelmente dirão: 'Bem, eu tenho uma ótima central de ajuda', e esse bot que construímos extrai todas as informações da sua central de ajuda. Voltarei a isso. Mas algumas pessoas podem dizer: 'Tenho um centro de ajuda muito bom. É muito bem curado. Eu coloquei muitos artigos lá ao longo do tempo e quero ter o diálogo do bot e responder a todas essas perguntas.' Haverá outros clientes que desejam que o bot entre de forma mais oportunista e se retire [ele mesmo], e estamos trabalhando na criação de configurações para permitir que as pessoas controlem seu nível de conforto com isso.

Des: Algum tipo de limite para quando o bot deve entrar.

“Estamos integrando o bot com todos os nossos fluxos de trabalho existentes para ajudá-lo a obter esse controle sobre quando deseja que ele entre e, mais importante, quando deseja que ele saia, para que possa entregá-lo à sua equipe de suporte existente quando for alcançado. seu fim”

Fergal: Exatamente. E, no momento, temos um grande recurso de fluxo de trabalho que você pode usar. E estamos integrando o bot com todos os nossos fluxos de trabalho existentes para ajudá-lo a obter esse controle sobre quando deseja que ele entre e, mais importante, quando deseja que ele saia, para que você possa entregá-lo à sua equipe de suporte existente quando for alcançado seu fim.

Des: Então, se não houver agentes de suporte online, ou se o usuário estiver livre, basta enviá-los diretamente para o bot. Se for um cliente VIP e os agentes estiverem ociosos, envie-os diretamente ao agente.

Fergal: Exatamente. Então, o que estamos tentando fazer aqui é pegar essa nova tecnologia e integrá-la à nossa plataforma existente, que tem todos os recursos de que as pessoas precisam para criar o que seria considerado implantação de bot padrão do setor.

“O próximo grande objetivo de design que tínhamos era evitar alucinações”

Portanto, o próximo grande objetivo de design que tínhamos era evitar alucinações. Falamos sobre a redução de alucinações e como era um objetivo nosso de design fazer com que o bot conversasse naturalmente. Mas realmente queríamos dar aos nossos clientes controle sobre o tipo de perguntas que ele poderia responder. Agora, esses bots, essa nova tecnologia de IA, você obtém acesso a um grande modelo de linguagem e foi treinado em todo o texto da Internet. Então tem todo esse conhecimento aí. E uma maneira – meio que a maneira mais simples – de implantar isso é: 'Ei, vou fazer com que o bot responda a perguntas usando todas as suas informações sobre a Internet.' Mas o problema com isso é que, se não souber algo, pode inventar. Ou, se ele souber de algo, talvez você não queira que ele fale com seus clientes sobre um tópico potencialmente delicado sobre o qual você sabe que ele possui informações. Você pode pensar: 'Não tenho certeza de como minha empresa ou minha marca se sente sobre, você sabe, qualquer informação que saiu de algum site estranho. Não quero que ele tenha essa conversa com meu cliente.

“Trabalhamos muito para usar o modelo de linguagem grande para conversação; para usá-lo para entender um artigo da Central de Ajuda que você possui; mas para restringi-lo a fornecer apenas informações que estão em um artigo real da central de ajuda que você controla e que pode atualizar, alterar e editar”

Portanto, trabalhamos muito para usar o modelo de linguagem grande para ser coloquial; para usá-lo para entender um artigo da Central de Ajuda que você possui; mas para restringi-lo a fornecer apenas informações que estão em um artigo real da central de ajuda que você controla e que pode atualizar, alterar e editar. E esse foi um dos principais objetivos de design para nós, tentar tornar esse bot confiável, usar os modelos de linguagem grandes, mas construir um bot que seja limitado a usá-los apenas para responder a perguntas sobre sua empresa e sobre o centro de ajuda de sua empresa.

Foi muito trabalho e estamos muito orgulhosos disso. Achamos que temos algo realmente bom porque você consegue aquela parte da conversa. Você obtém a inteligência do modelo de IA para obter uma resposta real de um artigo da central de ajuda, mas é limitado. Portanto, não vai começar a ter conversas aleatórias com os usuários finais.

Esses bots, esses modelos, sempre é possível – se você fizer o jailbreak deles – meio que induzi-los a dizer algo que não é da marca ou que você não gostaria. E isso provavelmente ainda é possível, mas realmente sentimos que chegamos a um ponto em que isso exigiria uma determinada tentativa de hacking para realmente fazer isso funcionar. Não vai sair radicalmente do roteiro em conversas normais.
Acho que uma coisa que é muito importante esclarecer é que esses grandes modelos de linguagem são probabilísticos. As alucinações diminuíram muito e achamos que agora é aceitável para muitas empresas, mas não é zero. Ocasionalmente, eles fornecerão informações irrelevantes. Ocasionalmente, eles fornecerão informações incorretas onde leram o artigo da central de ajuda, não entenderam totalmente e, portanto, responderam a uma pergunta errada. Possivelmente um agente de suporte também cometerá erros…

Des: Os humanos são conhecidos por…

Fergal: Os humanos ocasionalmente cometem erros também. E assim, esses bots, você sabe, é uma nova era da tecnologia. Tem um trade-off diferente do que tínhamos antes. Possivelmente alguns clientes nossos dirão: 'Quero esperar. Não quero implantar isso ainda.' Mas achamos que, para muitos, muitos clientes, isso ultrapassará o limite, onde o benefício de [poder dizer] 'não preciso fazer a curadoria, não preciso fazer a configuração que eu' Eu tive que fazer no passado com o bot de resolução, posso apenas ativar isso, no primeiro dia, e de repente todo o conhecimento que está no meu centro de ajuda, o bot o possui, o bot pode tentar responder a perguntas com ele.' Não vai ficar perfeito, mas vai ser rápido. Achamos que isso será uma troca valiosa para muitas empresas.

Des: Em termos de configuração, se você é um cliente com uma boa base de conhecimento, quanto tempo leva para passar disso para um bom bot? Quanto treinamento está envolvido? Quanta configuração?

Fergal: Muito pouco tempo. Basicamente sem treinamento. Você pode simplesmente pegar o novo sistema que criamos e apontá-lo para o centro de ajuda existente. É um pouco de tempo de processamento em que temos que puxá-lo, raspá-lo e preparar os artigos para servir.

Des: Minutos? Segundos?

Fergal: Ainda estamos trabalhando nisso. Estamos em minutos agora, mas pensamos - talvez quando isso for ao ar - será muito mais baixo do que isso. Não há nenhum gargalo de engenharia difícil para fazer isso muito, muito baixo. E então estamos muito animados com isso.

Um resumo do produto

Des: Em resumo, dê-nos os pontos principais deste produto. O que devemos dizer ao mercado sobre isso?

“Ele vai falar com você de forma natural, como você já viu com o ChatGPT. A segunda coisa é que você, como empresa, pode controlar o que diz”

Fergal: A primeira coisa que eu diria é que ele vai falar com você de uma forma natural, como você viu com o ChatGPT. A segunda coisa é que você, como empresa, pode controlar o que ela diz. Você pode limitar as coisas sobre as quais ele falará ao conteúdo de sua base de conhecimento. A terceira coisa que eu diria é que as alucinações estão bem abaixo de onde estavam. E a quarta coisa que eu diria é que isso é muito fácil de configurar. Você apenas pega isso, aponta para o seu conjunto de conhecimento existente e não precisa fazer um monte de curadoria.

Des: Como somos a Intercom, não é provável que falemos merda e nos envolvamos em muita propaganda sem pelo menos algumas qualificações. Em que áreas ainda estamos trabalhando para melhorar?

Fergal: Acho que a primeira coisa que diria é que a peça de precisão não é perfeita. Este é um novo tipo de tecnologia. É um novo tipo de trade-off de engenharia de software. Então, com o bot de resolução, o bot de resolução às vezes vinha e dava uma resposta irrelevante, mas você sempre conseguia descobrir do que ele estava falando, você poderia dizer: 'Isso não é muito relevante'. Isso é um pouco diferente. Às vezes, isso fornecerá respostas irrelevantes, mas também poderá fornecer respostas incorretas. Pode ter apenas entendido mal as informações em sua base de conhecimento. Um exemplo específico disso é, às vezes, digamos, se você tiver uma lista de vezes que algo pode acontecer e um usuário perguntar [ao bot], pode-se presumir que a lista é exaustiva. Ele pode presumir que essa lista estava todas as vezes e então presumir: 'Ah, não, não estava na lista do artigo. Então eu vou dizer que a resposta é não, isso não pode acontecer. Isso não pode acontecer desta vez.

Des: Então, você pode ter um artigo baseado em conhecimento que cita exemplos de quando não reembolsaremos seu pagamento, com uma lista de dois ou três exemplos. E o modelo de linguagem lerá isso e concluirá que há três condições sob as quais isso acontece. E está cometendo um erro, ao não ver que são apenas exemplos demonstrativos, e não a lista exaustiva. É isso que você quer dizer?

Fergal: Exatamente. Seu conhecimento geral e sua compreensão geral ainda são um pouco limitados aqui. Assim, ele pode olhar para listas de coisas e fazer suposições que estão próximas de serem boas, mas não totalmente certas. Sim. Então, na maioria das vezes, quando o vemos cometer um erro, o erro parece bastante razoável, mas ainda errado. Mas você precisa estar bem com isso. Isso é uma limitação. Você precisa estar bem com a ideia de que às vezes pode dar respostas que estão um pouco erradas.

“Estamos construindo essa experiência em que você pode usar sua central de ajuda existente e obter acesso muito rápido a uma demonstração do bot, pré-compra, para testar você mesmo e entender como isso funciona bem para sua central de ajuda específica”

Des: É quantificável? Meu palpite é que não é porque vai ser diferente por pergunta, por base de conhecimento, por cliente, por aceitabilidade... Então, quando alguém diz: 'Ei, o bot é bom?', qual é a melhor resposta?

Fergal: A melhor coisa a fazer é jogar com uma demonstração em seu próprio centro de ajuda. Estamos construindo essa experiência em que você pode usar sua central de ajuda existente e obter acesso muito rápido a uma demonstração do bot, pré-compra, para testar você mesmo e entender como isso funciona bem para sua central de ajuda específica.

Des: E você sugeriria, digamos, reproduzir as últimas 20 conversas que você teve ou suas consultas de suporte mais comuns? Como qualquer indivíduo toma uma decisão informada? Porque tenho certeza que vai fazer o todo, 'Alô? Você é um robô?' 'Sim, eu sou' coisa.

Fergal: Achamos que, apenas interagindo com ele, você pode rapidamente ter uma ideia do nível de precisão. Se você fizer suas 20 perguntas principais, o tipo de perguntas que as pessoas fazem todos os dias... você as investiga, pede esclarecimentos. Você tem uma boa noção de onde isso é bom e onde estão os pontos de ruptura. Para nós, este é um novo produto incrível e estamos muito entusiasmados com ele – mas ainda é a primeira geração. Agora vamos melhorar todas as peças de aprendizado de máquina. Também melhoraremos todas essas peças de medição ao longo do tempo.

Des: Com o bot de resolução um, nosso bot anterior, você o treinaria – então diria: 'Ei, essa é a resposta errada. Aqui está o que eu quero que você diga', etc. Você não está fazendo isso desta vez. Portanto, se você detectá-lo dando uma resposta imprecisa ou acha que poderia fazer melhor, qual é a melhor coisa a fazer? Você escreve um artigo melhor? Você olha para a sua fonte?

Fergal: Ainda é cedo aqui e provavelmente iremos construir recursos para permitir que você tenha um controle mais preciso sobre isso. Mas agora, a resposta para essa pergunta é: 'Ei, você pode tornar seu artigo de base de conhecimento mais claro?' Na verdade, desenvolvendo este bot, vimos que existem muitos artigos ambíguos baseados em conhecimento no mundo, onde alguns detalhes poderiam ser mais claros.

Evolução

Des: Que outras áreas você acha que vão evoluir nos próximos meses?

Fergal: Há muito trabalho a fazer da nossa parte. Temos a versão um no momento. Para melhorá-lo, queremos colocá-lo ao vivo com os clientes, queremos obter feedback real, com base no uso. Qualquer produto de aprendizado de máquina em que já trabalhei, sempre há muitas iterações e muitas melhorias a serem feitas ao longo do tempo. Também queremos melhorar o nível de integração com nosso bot de resolução existente. Nosso bot de resolução existente requer essa curadoria, mas se você fizer essa curadoria, será excelente. Ele pode fazer coisas como realizar ações. Você pode conectá-lo à sua API para que ela perceba que alguém está perguntando sobre a revenda de uma senha e realmente acionará a redefinição de senha.

“A última coisa que me deixa extremamente empolgado é a ideia de que podemos pegar essa nova tecnologia de IA e usá-la para gerar muito mais conteúdo de suporte do que conseguimos no passado. Muito rapidamente, esse novo bot, se o conteúdo estiver na sua central de ajuda, ele poderá responder usando o seu conteúdo”

É muito importante para nós que esse tipo de bot de próxima geração seja capaz de fazer todas essas coisas também. Então, inicialmente, será como, 'Ei, responda a perguntas informativas de sua base de conhecimento.' Zero setup no primeiro dia – coloque ao vivo, é ótimo. Mas eventualmente – e vimos isso em todas as pesquisas que fizemos – você quer chegar ao próximo nível. Depois disso, as pessoas vão querer a capacidade de usar essa tecnologia e capacidade que já temos para realizar ações para resolver consultas. E estamos entusiasmados por podermos ver muito mais construído nesta plataforma baseada em linguagem de próxima geração.

Então, a última peça que me deixa extremamente empolgado é a ideia de que podemos pegar essa nova tecnologia de IA e usá-la para gerar muito mais conteúdo de suporte do que conseguimos no passado. Muito rapidamente, esse novo bot, se o conteúdo estiver na sua central de ajuda, ele poderá responder usando o seu conteúdo. E achamos isso ótimo. Há muitas pessoas que são capazes de escrever artigos do centro de ajuda que teriam ficado paralisadas tentando selecionar bots ou intents no passado. Então, estamos muito animados com isso. Mas achamos que há novas ferramentas para criar aqui, para tornar muito mais fácil escrever o conteúdo do artigo da Central de Ajuda. Por exemplo, pegar suas conversas de suporte e usar essa IA de última geração para inicializar esse processo.

Des: Então, uma visão sobre a qual falamos, talvez apenas dois meses atrás, era a ideia de que a equipe de suporte responderia a perguntas que são... Acho que, na época, eu disse, para responder às suas perguntas pela primeira vez e pela última vez . Portanto, se uma pergunta surge, é porque nunca a vimos antes. E uma vez que o vimos, não o vemos novamente. É assim que você vê isso acontecendo?

“Achamos que podemos ver um caminho para isso, onde podemos ter uma experiência de curadoria simples o suficiente para que um representante de suporte em uma caixa de entrada possa terminar de responder a uma conversa e dizer: 'Sim, aprovei esta resposta para entrar no bot '”

Fergal: Acho que, pela primeira vez, vejo um caminho para isso. Quando mudamos para o bot de resolução 1.0, a solicitação de recurso que sempre recebíamos era: 'Ei, posso receber meu representante de suporte na caixa de entrada? Posso fazer com que eles respondam a uma pergunta e depois apenas colocar essa pergunta no bot?' E sempre que tentávamos fazer isso, não funcionava porque colocar uma pergunta e selecionar uma pergunta para ser bom o suficiente para criar uma intenção dava muito trabalho. Em todo o setor, existem muitos bots de suporte diferentes. Eu nunca vi ninguém que conseguiu acertar isso e fazer isso realmente funcionar. Mas agora, com os modelos avançados de linguagem grande, achamos que podemos ver um caminho para isso, onde podemos ter uma experiência de curadoria simples o suficiente para que um representante de suporte em uma caixa de entrada possa terminar de responder a uma conversa e dizer: 'Sim, eu aprovou esta resposta para entrar no bot.'

Tem que haver alguma aprovação humana porque não pode ser que Fergal pergunte ao bot: 'Ei, qual é o número do cartão de crédito de Des? O bot será como, 'Bem, eu sei a resposta para isso porque foi nessa outra conversa em que Des está.' Isso seria inaceitável. Tem que haver alguma etapa de aprovação entre conversas privadas e conhecimento de suporte durável. Mas achamos que vemos um caminho para um processo de aprovação muito melhor do que nunca. E potencialmente um mundo onde talvez não todos os problemas, mas para muitos problemas, eles possam ser respondidos apenas uma vez. Achamos que vem algo legal por aí.

Des: Incrível. Bem, é um lançamento empolgante – está disponível para todos?

Fergal: Isso está apenas caminhando para o beta privado no momento, com o novo lançamento do GPT-4 da OpenAI.

Des: Emocionante. Bem, vou verificar em algumas semanas e ver como está indo.

Fergal: Sim. Tempos emocionantes.