O efeito GPT: uma nova era de atendimento ao cliente

Avanços recentes com grandes modelos de linguagem excederam todas as nossas expectativas. Reunimos especialistas do setor para uma conversa sobre o GPT e como ele moldará o futuro do atendimento ao cliente.

Não podemos dizer que nos pegou de surpresa. Durante anos, o setor elogiou o potencial da IA ​​e do aprendizado de máquina para transformar radicalmente a maneira como trabalhamos, especialmente porque os avanços no poder de computação e no armazenamento de dados possibilitaram o treinamento de modelos cada vez maiores. Mas não esperávamos a rapidez com que os avanços recentes no ChatGPT da OpenAI revelariam novas possibilidades.

Na Intercom, sempre embarcamos para aprender. Somente enviando novos recursos rapidamente podemos obter feedback adequado, aprender com ele e iterar repetidamente para atender melhor nossos clientes. E então, naturalmente, foi isso que fizemos com esta nova tecnologia. Nos últimos meses, enviamos alguns recursos baseados em IA para 160 clientes. E, embora ainda seja muito cedo para dizer como esses grandes modelos de linguagem (LLMs) vão funcionar em nossas vidas, acreditamos que atingimos um ponto de inflexão crucial – especialmente quando se trata de atendimento ao cliente.

E assim, na semana passada, organizamos um webinar para nos aprofundar um pouco mais nos casos de uso comercial da GPT. Essa onda de inovação é diferente das ondas anteriores? Isso transformará a maneira como trabalhamos e a maneira como as empresas interagem com clientes atuais e atuais? Pode desencadear uma nova geração de startups? Para lhe dar um pouco mais de visão, convidamos alguns figurões da cena de inicialização para opinar.

No episódio de hoje, você ouvirá:

• Ethan Kurzweil, membro do conselho da Intercom e sócio da Bessemer Venture Partners
• Fergal Reid, nosso próprio Diretor de Machine Learning
• Krystal Hu, VC e repórter de startups na Reuters
• Talia Goldberg, sócia da Bessemer Venture Partners

Eles falarão sobre grandes modelos de linguagem como o ChatGPT, como as empresas estão incorporando essa tecnologia e como ela moldará o futuro do setor de atendimento ao cliente.

Pouco tempo? Aqui estão alguns tópicos importantes:

• Estamos começando a ver os casos de uso complicados de grandes modelos de linguagem – há um grande potencial para aumentar o atendimento ao cliente devido à regularidade e ao uso de linguagem natural.
• Por enquanto, espera-se que grandes modelos de linguagem aumentem as capacidades humanas em vez de substituí-las, pois podem ajudar a tornar os profissionais mais produtivos e eficientes em seu trabalho.
• Embora ainda seja muito cedo para medir o sucesso do experimento beta da Intercom, a adoção e o uso dos mais recentes recursos baseados em IA têm sido enormes e o feedback inicial é muito promissor.
• Modelos de linguagem grandes podem ficar muito caros muito rapidamente. Ainda assim, com o tempo, eles se tornarão mais baratos e onipresentes, permitindo mais experimentação e descoberta.
• Embora ainda haja problemas com alucinações, você pode configurar e restringir esses modelos para torná-los mais confiáveis ​​quando a situação exigir um maior grau de confiança.
• Os modelos não são de tamanho único. É provável que, no futuro, as empresas executem uma mistura sob medida de diferentes modelos personalizáveis ​​que atendam a diferentes problemas de negócios.

Se você gosta de nossa discussão, confira mais episódios de nosso podcast. Você pode seguir no Apple Podcasts, Spotify, YouTube ou pegar o feed RSS no player de sua escolha. O que se segue é uma transcrição levemente editada do episódio.

A ascensão do ChatGPT

Krystal Hu: Muito obrigado por todos que dedicaram seu tempo para participar. Sou Krystal Hu e cubro empreendimentos e startups para a Reuters. Como muitos de vocês sabem, a IA e a onda do ChatGPT entraram em cena nos últimos meses, e grande parte do meu trabalho é descobrir a tecnologia e como ela está mudando diferentes aspectos da vida. No tópico de hoje, focaremos em como o ChatGPT moldará o futuro do atendimento ao cliente. Discutiremos exatamente o que são ChatGPT e modelos de linguagem grande, como essa tecnologia será usada, o impacto que terá nas tecnologias existentes e futuras, como as startups estão incorporando essa tecnologia e como novas empresas estão sendo construídas.

Temos um grande painel hoje conosco. Dois investidores incríveis da Bessemer: Talia Goldberg e Ethan Kurzweil. A Talia está sediada em São Francisco, investe em negócios de software e internet para consumidores e trabalha com empresas como ServiceTitan e Discord. Ethan Kurzweil também mora em San Francisco e lidera investidores em uma variedade de verticais, incluindo plataformas de desenvolvedor, nova infraestrutura de dados, aplicativos digitais para consumidores e criptografia.

E então, teremos o diretor de aprendizado de máquina da Intercom, Fergal Reid, nos dando uma visão interna sobre como a Intercom está incorporando essa tecnologia em suas ofertas mais recentes – incluindo alguns recursos de assistente de IA. Estou ansioso para ouvir suas ideias e ouvir o que eles estão vendo na frente de startups e empreendimentos e as mudanças que o GPT pode trazer. Ao longo do processo, se você tiver alguma dúvida, sinta-se à vontade para fazer sua pergunta no chat, e depois teremos cerca de 15 a 20 minutos no final da conversa para responder às perguntas.

Acho que vou começar com você, Fergal, porque você é o tecnólogo da sala e está na linha de frente para incorporar o GPT às ofertas da Intercom. Talvez você possa começar nos dando um pouco de experiência e explicando o que é GPT e ChatGPT, e como surgiu para você incorporar essa tecnologia?

“Não vou codificar regras e não vou dizer especificamente: 'Aprenda a prever X versus Y'”

Fergal Reid: É um momento muito emocionante na tecnologia. Eu vou presumir que muitas pessoas provavelmente já viram o ChatGPT neste momento porque ele acabou de fazer uma grande onda. Mas, do ponto de vista da tecnologia, da minha visão estreita do mundo, estou na Intercom há cerca de cinco anos e dirijo a equipe de aprendizado de máquina. E as coisas de aprendizado de máquina que fizemos estão usando algoritmos que já existem há algum tempo - usando algoritmos de aprendizado supervisionado, algoritmos que aprendem a diferenciar as coisas. Você pode dizer: “Ei, vamos prever se alguém vai pedir uma coisa ou outra”. Com esses sistemas de aprendizado de máquina, você fornece a eles muitos dados de treinamento: “Ei, este é um exemplo se alguém lhe fizer uma pergunta e este é um exemplo se alguém lhe fizer outra pergunta”.

E o que há de novo e diferente nessa última onda de IA generativa é que, em vez de apenas ensinar um modelo a prever uma coisa ou outra, você está dizendo: “Ei, modelo. Aprenda a gerar novos dados desse tipo. Aprenda a gerar uma imagem.” Você dá algum texto e ele aprende a gerar uma imagem que mapeia para esse texto, ou, com o ChatGPT, você apenas fala com ele e dá algum texto, e ele fica muito bom em gerar mais texto em resposta a isso.

“Temos um modelo realmente grande, fazemos perguntas em inglês, dizemos para fazer as coisas em inglês e é muito bom apenas fazer o que mandamos”

É apenas uma maneira diferente de fazer aprendizado de máquina. Não vou codificar regras e não vou dizer especificamente: “Aprenda a prever X versus Y”. Em vez disso, vou pegar uma quantidade muito grande de dados de treinamento, criar um modelo muito bom para tentar prever esses dados de treinamento e, com sorte, conseguir fazer coisas úteis gerando novos exemplos.

Com o ChatGPT, você pergunta algo, fornecendo algum texto e dizendo: “Gere o que vem a seguir”. E, surpreendentemente, isso é bastante útil. Você pode dizer: “Ei, aqui está uma conversa de suporte ao cliente e este é o resumo da conversa de suporte” e, em seguida, entregá-la ao ChatGPT, que gerará o que acontece a seguir ou o que esperaria ver a seguir. E talvez você diga: “Este é o resumo”, e então um resumo aparece. E isso é muito útil. É uma maneira muito geral de criar recursos e sistemas. Em vez de codificar um novo sistema de aprendizado de máquina para cada pequena coisa, temos um modelo realmente grande, fazemos perguntas em inglês, dizemos para fazer as coisas em inglês e é muito bom apenas fazer o que mandamos. E assim, na Intercom, tentamos usar isso para criar recursos de produto.

Uma virada de jogo para o atendimento ao cliente

Krystal Hu: Quero trazer Talia e Ethan para o palco como investidores prolíficos no espaço. Você viu algumas ondas tecnológicas. Como é diferente este sobre IA generativa e quais são as áreas de aplicativos que o entusiasmam?

Talia Goldberg: Claro, obrigada por me receber. Essa foi uma ótima visão geral do que é IA generativa. É engraçado, pouco antes desta reunião, eu estava olhando para um artigo que publicamos em nosso blog no verão passado, talvez oito ou nove meses atrás, e isso foi alguns meses antes do lançamento do ChatGPT, mas estávamos começando a ver muito impulso e motivo para estar animado com o que estava acontecendo com grandes modelos de linguagem em particular, e o potencial da IA ​​e da IA ​​generativa como essa nova onda realmente poderosa de inteligência artificial.

E tínhamos uma previsão: “Hoje, menos de 1% do conteúdo online é gerado usando IA e, nos próximos 10 anos, prevemos que pelo menos 50% serão gerados ou aumentados por IA”. E estávamos debatendo isso, e pensamos que era uma coisa louca de se dizer, mas caramba, subestimamos a rapidez com que a IA pode transformar muitas das informações que vemos. Eu diria que pode ser 50% nos próximos dois anos de nossas interações online, conteúdo e mídia. As implicações disso, penso eu, são vastas em muitas informações e trabalho de conhecimento, incluindo suporte ao cliente.

“Você vê imediatamente os casos de uso complicados em que a tecnologia está pronta para interromper, melhorar, aumentar e melhorar, e o suporte ao cliente está no caminho certo para isso”

Krystal Hu: Ethan, você trabalha com a Intercom há algum tempo. Este é o momento que você acha que o atendimento ao cliente estava esperando? Porque sinto que a tecnologia e a oportunidade são de ouro para aplicativos de atendimento ao cliente como o Intercom.

Ethan Kurzweil: Sim, sinto que talvez seja a aplicação de ponta de grandes modelos de linguagem e o que eles podem fazer. Se você recuar e pensar sobre as mudanças de tecnologia e mudanças de plataforma, como o momento do smartphone, o momento do iPhone e coisas assim, o que acontece desde o início é que há toda essa empolgação e muitos desenvolvedores e criadores correm para um espaço e, em seguida, você tem esse washout onde você vê quais são os aplicativos de ponta onde ele gruda primeiro e aqueles em que não o deixa um pouco desiludido. Acho que provavelmente ainda estamos um pouco adiantados nessa curva, mas você vê os casos de uso complicados imediatamente, onde a tecnologia está pronta para interromper, melhorar, aumentar e melhorar, e o suporte ao cliente está no caminho certo para isso.

Trabalho com a Intercom há quase oito anos e meio, e a Intercom tem sido uma equipe que sempre esteve na vanguarda da adoção de novas tecnologias quando elas estavam prontas. E eu me lembro que há dois ou três anos as pessoas diziam: “Automação, automação, automação”. E a liderança de produtos da Intercom sempre dizia: “Ainda não é bom o suficiente. Podemos fazer isso, podemos colocá-lo de forma que possamos marcar uma caixa em algum formulário de solicitação de recurso, mas isso não levará a um fluxo humano realmente bom. A Intercom sempre foi fundada em torno dessa ideia de tornar os negócios na Internet pessoais. E se você tem um bot que não parece pessoal, isso é ortogonal a isso.

O fato de a Intercom estar usando isso com tanto sucesso em seu fluxo mostra que a tecnologia está pronta e que essa é uma das muitas, muitas coisas que veremos impactar. Nem tudo de uma vez, mas com o tempo, veremos muito mais impacto ao dar a uma máquina a capacidade de conversar de maneira humana.

“Você olha para a curva e a taxa de melhoria, e vai ser ainda melhor daqui a alguns meses, alguns trimestres a partir de agora e alguns anos a partir de agora”

Talia Goldberg: Se posso acrescentar uma coisa, acho que o suporte ao cliente é a área inicial perfeita para a IA começar a ter impacto. E uma das razões para isso é que ele usa linguagem natural. Você pode se comunicar com a IA usando o inglês e ela responderá em inglês. Você não precisa codificar – ele gera informações. E é assim que o atendimento e o suporte ao cliente são – gerando ótimas experiências humanas que podem ser personalizadas, solucionando reclamações e melhorando cada vez mais com o tempo. Portanto, você também obtém esse ótimo ciclo de feedback ao usá-lo no suporte ao cliente.

Embora possa haver alguns desafios e coisas difíceis hoje em dia, a tecnologia e o potencial já são realmente grandes, como disse Ethan. Você olha para a curva e a taxa de melhoria, e vai ser ainda melhor daqui a alguns meses, alguns trimestres a partir de agora e alguns anos a partir de agora. É uma das categorias que mais nos entusiasma e achamos que todas as empresas podem aproveitá-la e precisam pensar nisso.

Krystal Hu: Fergal, este é o momento certo para você nos dar uma visão geral do recente lançamento de recursos na Intercom e como você incorporou o ChatGPT a ele.

Fergal Reid: Com certeza. E apenas para ecoar os sentimentos de Talia e Ethan aqui, há tanta estrutura no domínio, há tantas coisas que um agente de suporte ao cliente faz onde eles estão fazendo a mesma coisa que fizeram no último dia novamente, ou que talvez um de seus colegas de equipe já fez antes, e há tanta regularidade e estrutura que parece realmente maduro para um sistema que aprende e usa IA para tornar as pessoas mais rápidas.

“Sentimos que o melhor lugar para começar era com um humano no circuito. Alguém está embrulhado na caixa de entrada e queremos torná-lo mais rápido, mas eles ainda podem verificar e aprovar”

Quando o ChatGPT foi lançado, ao mesmo tempo, o OpenAI lançou este novo modelo para uso dos desenvolvedores, text-davinci-003. Temos um relacionamento com o OpenAI há muito tempo e sentimos, quando olhamos para aquele modelo, que ele estava realmente ultrapassando um limite de utilidade e que poderíamos construir com ele. E assim, fizemos alguns benchmarks iniciais. As pessoas passam muito tempo na caixa de entrada e uma coisa que precisam fazer muito é escrever resumos da conversa que acabaram de ver antes de entregá-la. Essa tecnologia parecia ser realmente ótima para resumir conversas e pensamos: “Podemos criar um recurso que faça isso e disponibilizá-lo para nossos clientes beta?” A Intercom tem esse princípio de “enviar para aprender”. Acreditamos no envio de novos recursos com extrema rapidez para os clientes, para que possamos saber se isso resolveu um problema ou se é mais uma curiosidade.

E assim, basicamente, no início de dezembro, iniciamos um projeto para ver se poderíamos enviar rapidamente alguns recursos que funcionariam com os representantes de suporte ao cliente na caixa de entrada real para torná-los mais rápidos. Um deles era o resumo, com outros recursos para ajudá-los a compor o texto mais rapidamente. E realmente sentimos que era o lugar certo para começar com essa tecnologia porque a IA generativa tem um lado negativo. Nem sempre é tão preciso quanto você imagina. É fácil olhar para o ChatGPT, fazer uma pergunta, ele lhe dá uma resposta e você pensa: “Isso é incrível”. E então você lê com um pouco mais de detalhes e, na verdade, às vezes, as coisas ficam erradas. Sentimos que o melhor lugar para começar era com um humano no circuito. Alguém está envolvido na caixa de entrada e queremos torná-lo mais rápido, mas eles ainda podem verificar e aprovar. Foi um ótimo ponto de partida.

Agora, vejo pessoas perguntando nos comentários: “Ei, e quanto a bots e coisas que podem responder a perguntas por conta própria?” Achamos que está chegando e pode estar chegando em breve, mas ainda estamos explorando. O grande problema para nós é a precisão. Achamos que está maduro agora ter um humano no loop, onde isso torna o representante de suporte mais rápido. E provavelmente, em breve, são coisas que descem na próxima etapa. Essa é uma área muito interessante.

Ethan Kurzweil: Para falar sobre isso, estamos recebendo algumas perguntas prospectivas interessantes, como: "Isso fará com que meus dias sejam contados como redator?" Acho que não. Onde essa tecnologia está e provavelmente permanecerá por um tempo é no aumento das capacidades humanas e da inteligência humana, tornando você mais produtivo como redator, mas não necessariamente substituindo você porque, em primeiro lugar, a tecnologia ainda não existe e, em segundo lugar, a barra para o incrível suporte ao cliente ou qualquer comunicação com uma empresa vai subir cada vez mais, pois temos esses recursos. Embora a tecnologia possa lidar com alguns casos de uso de redatores e respostas de suporte por conta própria, a barreira para o que será uma cópia realmente boa e um suporte realmente bom e assim por diante aumentará à medida que tivermos acesso a essas tecnologias . O ideal é que você tenha acesso a essas tecnologias para ser mais produtivo, mas elas não vão te substituir tão cedo.

Talia Goldberg: Sim. Eu amo como Wyatt acabou de dizer que é um multiplicador de habilidades. Falamos muito internamente sobre o exemplo do Copilot, que é como o autocompletar para codificação, e já está tornando os engenheiros significativamente mais eficientes. Não substitui os engenheiros ou a engenharia, mas pode aumentá-los. Um exemplo muito básico disso pode ser a calculadora. Antigamente, costumávamos fazer matemática à mão. Agora usamos calculadoras, mas a matemática ainda é muito importante – todos nós precisamos aprendê-la, e os matemáticos são muito importantes neste mundo. Indiscutivelmente, sua função pode se tornar ainda mais importante porque, à medida que o custo para criar conteúdo diminui e há uma enxurrada de conteúdo e informações diferentes, a criação de conteúdo e informações que podem se destacar e superar será ainda maior prêmio nos próximos anos.

Experimento da Intercom com GPT

Krystal Hu: Já se passaram algumas semanas desde que a Intercom lançou seus recursos assistidos por IA. Qual é o feedback inicial que você viu? Como você mede o sucesso da incorporação dessa tecnologia?

“Estamos vendo muita adoção, muita empolgação e muito uso”

Fergal Reid: Serei muito transparente sobre isso – ainda não tenho uma resposta totalmente satisfatória para essa pergunta. O que posso dizer é que agora estamos no ar, temos milhares de clientes usando-o regularmente – tivemos muita adoção. Provavelmente tentaremos medir se isso realmente tornou as pessoas mais produtivas, porque, digamos, para nossa própria equipe de CS, podemos coletar telemetria sobre: ​​"Você é mais rápido se usar esses recursos?" e montar alguma forma de experimento controlado para isso. Sempre gostamos de tentar obter alguma forma de dados reais sobre isso em algum momento, mas ainda não chegamos a esse ponto. Provavelmente teremos alguns números sobre isso ou mais uma compreensão disso, pelo menos internamente, em um mês ou dois, eu acho.

O que posso dizer no momento é que estamos vendo muita adoção, muita empolgação e muito uso. Definitivamente, existem alguns recursos, como o resumo, que os clientes nos dizem que economizam um tempo substancial. Tivemos clientes que nos disseram coisas como: “Ei, para algumas conversas, pode levar tanto tempo para escrever o resumo de uma transferência quanto para resolver o problema do usuário final”. E então, nós definitivamente nos sentimos bem com isso.

Em alguns de nossos outros recursos, você escreve uma abreviação, um pouco como o GitHub Copilot. Nós fomos inspirados pelo Copilot, e no Copilot, se você for um programador, você pode escrever um comentário ou abreviar, e então ele preencherá o código. Um de nossos recursos é “expandir”, onde você escreve uma abreviação e a transforma em uma mensagem de suporte mais longa. Às vezes, isso funciona e economiza tempo das pessoas, mas ainda não temos dados sobre isso. O que temos ao vivo no momento é apenas uma versão da Geração 1 disso. E temos protótipos de uma versão da Geração 2. No momento, você escreve a taquigrafia e o modelo de linguagem grande expande isso. Em vez disso, o que estamos tentando fazer é dizer: “Ei, vamos ver a última vez que você respondeu a uma pergunta como essa. Vamos extrair macros que sejam relevantes para isso.” E temos alguns protótipos internos que estão funcionando muito bem. Ainda estamos inovando e fazendo coisas que realmente moverão a agulha, mas ainda não temos métricas. Breve.

“Tenho um gráfico no Tableau de nossos gastos diários com OpenAI que mantemos sob vigilância nervosa”

Krystal Hu: Para acompanhar isso, como você mede o custo disso? Pelo que entendi, você provavelmente envia perguntas para a OpenAI e eles cobram, eu acho, dois centavos por mil caracteres ou algo assim. E acho que, à medida que sua adoção aumenta, essa conta também aumenta. Você tem algum aprendizado ou observação para compartilhar sobre a incorporação dessa tecnologia?

Fergal Reid: Eu tenho um gráfico no Tableau de nossos gastos diários com OpenAI que mantemos uma vigilância nervosa. É definitivamente uma consideração. Eu mencionei o recurso de resumo, e nós o construímos de uma maneira muito humana em loop, onde você precisa solicitar o resumo antes de entregar a pergunta. E uma coisa que nossos clientes nos dizem é: “Ei, por que tenho que pedir esse resumo? Por favor, apenas mantenha um resumo o tempo todo na barra lateral para que eu nunca precise pedir por isso.” E isso ficaria muito caro porque se tivéssemos que pagar dois centavos toda vez que alguém dissesse algo novo na conversa e o resumo mudasse, isso ficaria extremamente caro. Temos absolutamente que levar em consideração o custo de uma forma que não fazemos com os modelos de aprendizado de máquina mais tradicionais.

Dito isso, a OpenAI acaba de anunciar sua API ChatGPT, e acho que surpreendeu muita gente porque era 10 vezes mais barato que os modelos anteriores semelhantes dessa série. É possível que o custo caia rapidamente e esses recursos sejam amplamente adotados. E quanto a outras startups ou empresas que estão construindo nesta área? O conselho que damos na Intercom é tentar entrar no mercado rapidamente porque há um valor real aqui para seus clientes que você pode construir e desbloquear. E o custo provavelmente cairá porque os modelos ficarão mais baratos à medida que fornecedores como a OpenAI descobrirem como torná-los mais eficientes ou porque você descobrirá maneiras mais eficientes de usá-los. Você descobrirá maneiras de dizer: “Ei, posso usar um modelo generativo mais barato para a primeira parte da conversa e, então, quando tiver essa tarefa muito mais difícil que requer mais precisão, usarei o mais caro. .” Ethan e Talia provavelmente têm uma visão muito mais ampla disso do que eu, e eu adoraria ouvir seus pensamentos.

“Você nunca tem certeza do que os desenvolvedores farão com uma nova tecnologia até que eles a tenham – e onde eles não pagam dois centavos toda vez que fazem uma chamada de API”

Ethan Kurzweil: Bem, é um bom exemplo do que às vezes você vê com essas tecnologias de ponta. No início, os casos de uso de alto valor os obtêm e você está descrevendo a atualização desse princípio. Na Intercom, esse é o recurso de resumo quando solicitado hoje. Mas com o tempo, a tecnologia será muito mais onipresente e mais barata. E é aí que pode proliferar em mais casos de uso em que o custo marginal de fazê-lo é proibitivo hoje, e isso permite que os desenvolvedores descubram outras aplicações de grandes modelos de linguagem nesse tipo de IA, onde não estamos realmente prevendo.

Na Bessemer, Talia e eu tentamos criar roteiros de onde pensamos que a tecnologia irá, mas como um investidor voltado para desenvolvedores, um dos principais primitivos em que sempre penso é que você nunca tem certeza do que os desenvolvedores farão com uma nova tecnologia, uma nova plataforma, um novo acesso a algo até que eles tenham – e tenham isso onde não estão pagando dois centavos toda vez que fazem uma chamada de API – e podem fazer riffs e fazer coisas que parecem absurdas a princípio.

Estou animado com a tecnologia chegando ao ponto em que há apenas uma tonelada de experimentação. Tenho certeza de que no roteiro de produtos da Intercom, não hoje, mas daqui a um ano, haverá algumas coisas que não previmos, mas que têm um valor muito alto para os clientes. E haverá algumas startups que surgiram porque criaram uma maneira particular de usar texto generativo e criaram uma experiência de usuário realmente ótima para alguém.

Talia Goldberg: Há um exemplo divertido que acho que pode enfatizar parte do potencial humano para aumentar as experiências relevantes para o suporte. Se estou falando, digamos, com alguns membros da equipe da Intercom com forte sotaque irlandês, e eles provavelmente pensam que tenho um sotaque ocidental maluco, às vezes é difícil para nós nos entendermos quando estamos superanimados e falando muito rápido. Parece um idioma diferente, embora todos falem inglês. A IA pode, em tempo real, mudar um pouco o sotaque de uma pessoa para torná-la mais compreensível em ambos os sentidos. Portanto, se eu tiver um sotaque irlandês ou britânico, isso se traduzirá em um sotaque da Califórnia, e isso pode realmente melhorar a experiência de algumas maneiras, diminuindo as barreiras de comunicação.

Ethan Kurzweil: É um bom exemplo porque a tecnologia está entrando no meio da comunicação direta, mas tornando-a mais humana, o que soa como um oxímoro, mas se bem implantado, pode fazer você se sentir mais conectado em um contexto de mensagens ou comunicação.

Talia Goldberg: Esta é a promessa da internet – nos unindo e quebrando barreiras. Eu realmente acredito muito no potencial de sobrecarregar isso.

O quociente de confiança

Krystal Hu: Acho que muitas pessoas estão tendo dúvidas sobre como garantir que tudo esteja correto em termos de fluxo de informações e que seja preciso. A aposta é diferente em diferentes casos de uso, mas, em geral, você não deseja fornecer informações erradas aos seus clientes. Como você garante isso?

“Não é que você, como humano, nunca consiga ver essas coisas porque isso seria impossível – é que você é capaz de filtrar adequadamente. É assim que penso sobre grandes modelos de linguagem”

Talia Goldberg: Talvez apenas um comentário, e então acho que vou deixar Fergal responder mais especificamente sobre Intercom. Os modelos são treinados em enormes quantidades de dados – muitos bilhões e bilhões de pontos de dados e informações. E assim, não importa o quanto você tente enganar os dados ou inserir dados falsos, ainda é uma pequena porção dos dados gerais. Isso é algo que você deve ter em mente ao pensar sobre como esses modelos são criados.

A outra coisa são as entradas de dados. Sei que existe uma preocupação sobre se ele é treinado com dados incorretos e, não me interpretem mal, certamente há desafios com alucinações e outras áreas, portanto, há muito a melhorar. Mas em sua vida, não é que você ande por aí e não veja coisas que podem estar erradas, tendenciosas ou mesmo desinformadas. Você encontra isso, mas usa seu julgamento e mente, e há muitos outros dados bons. E assim, não é que você, como humano, nunca possa ver essas coisas porque isso seria impossível – é que você é capaz de filtrar adequadamente. É assim que penso sobre grandes modelos de linguagem. Haverá alguns casos em que há dados e informações que não são o que você deseja no conjunto de treinamento, mas a capacidade dos modelos de linguagem de filtrá-los e obter a resposta certa deve ser cada vez melhor com o tempo.

“Esse pode ser um dos parâmetros: 'Quanta confiança você tem nessa resposta?' Se não for bom o suficiente, não dê”

Ethan Kurzweil: Existem algumas questões interessantes sobre privacidade e precisão dos dados. A outra coisa a ter em mente sobre a questão da precisão dos dados antes de chegarmos à parte da privacidade é que, no futuro, e em alguns modelos de linguagem grandes, você pode definir um quociente de precisão. É como quando uma IA foi programada para vencer o Jeopardy – ela tinha um intervalo de confiança de que sabia a resposta para uma pergunta com 90% de confiança ou 60% de confiança. E nesse contexto, onde você perde alguns pontos com uma resposta errada, eles definem o intervalo bem baixo em 40% ou algo assim. Se você tem 40% de certeza ou mais, que diabos, vá e tente responder à pergunta.

Pode haver algum contexto em que você deseja precisão em nível humano, você a define lá e, muitas vezes, quando a IA não consegue chegar ao percentil 99, ela passa para um humano ou algo assim. Pode haver algum contexto mesmo nas forças armadas, mesmo em setores altamente regulamentados, onde você tem mais tolerância para um palpite educado assistido por IA. E esse pode ser um dos parâmetros: “Quanta confiança você tem nessa resposta?” Se não for bom o suficiente, não dê.

Fergal Reid: Só para entrar nisso, Ethan, essa é definitivamente uma forte crença de produto que temos internamente na Intercom, que é bastante provável que haja uma variedade de tolerâncias aqui. Haverá alguns clientes com uma tolerância bastante alta para: “Dê-me a sugestão; tudo bem se a sugestão estiver errada ocasionalmente.” E haverá outros clientes com uma tolerância muito baixa. Esperamos precisar ter algum grau de configuração em torno disso.

“Temos essa nova tecnologia que pode fazer previsões muito melhores e fazer as coisas com muito mais rapidez. Como podemos pegar isso e torná-lo confiável o suficiente, ou pelo menos permitir que os clientes escolham?”

Apenas para mergulhar nas ervas daninhas com algumas das coisas que veremos no futuro, digamos que você tenha algo que tente consumir um artigo e responder a uma pergunta sobre esse conteúdo. Um exemplo é você restringi-lo a dizer: "Você só pode responder com uma citação exata disso". E pode colocar essa citação no contexto, mas a citação tem que estar lá. Essa é uma maneira conservadora de usar esses novos modelos de linguagem grandes para fazer um trabalho melhor ao entender sua consulta e recuperar as informações, mas restringindo o que eles podem realmente dizer. Outro exemplo é você pegar um modelo generativo e permitir que ele seja generativo sob o capô, mas ele só pode interagir com um usuário final por meio de uma série predefinida de ações ou coisas que ele pode dizer.

Existem muitas técnicas para pegar o poderoso motor e tentar torná-lo mais seguro, confiável e restrito. E acho que você verá muitas pessoas trabalhando com essa técnica. Temos essa nova tecnologia que pode fazer previsões muito melhores e fazer as coisas muito mais rapidamente. Como podemos pegar isso e torná-lo confiável o suficiente, ou pelo menos permitir que os clientes escolham? Acho que você verá muito movimento neste espaço nos próximos meses.

Personalização em massa em todos os setores

Krystal Hu: Falando nisso, Ethan, Talia, além do atendimento ao cliente, há algum outro aplicativo que você está vendo neste espaço que o deixa particularmente animado?

Ethan Kurzweil: Eu posso ir primeiro. Olhando para alguns aplicativos de consumo, estamos entusiasmados com jogos. Se você pensar sobre o que torna os jogos divertidos, muitas vezes, isso é a taxa de atualização de novos conteúdos, e isso requer constantemente ter ideias criativas. Estamos começando a ver as pessoas pensando: “E se cada experiência para cada jogador puder ser nova?” You couldn't have a personal copywriter writing that much content for each person, but an AI could do it. And it could get down to a level where each decision you make generates a new experience based on whatever temporal inputs you want to give the system.

“We went from handcrafted goods to mass-produced goods to mass personalization in a way we've probably never seen before”

Media applications as well. Earlier in my career, I used to work at the Wall Street Journal , and the parent company of the Wall Street Journal was Dow Jones. They had a sister news department called Dow Jones Newswires , which was about getting financial news mainly to traders and folks that needed to act very quickly on that information as fast as possible through terminals and things like that. I think about what an AI could do to augment news or get news to the end user more quickly. Again, I don't think it's replacing journalists at all, I think it's augmenting the amount of information and the targeting we can provide to folks much more quickly.

I think about entertainment use cases. This promise of personalized television and premium content services has always been out there, but when you get to the long tail of internet content and user-generated content, it tends to be pretty low-quality. Could you have a high-quality, personalized content delivery service? I think AI could impact that equation in the future.

Talia Goldberg: I love the concept of personalization and everyone having their own experience. We went from handcrafted goods to mass-produced goods to mass personalization in a way we've probably never seen before. This is a totally new experience for everyone, which is super cool. I'll share one of the areas that I think is going to be wildly impactful and really promising, which is in life sciences and biotech.

“The AI is seeing something that we, as humans, have never before been able to see”

Applying AI to drug discovery and development using huge amounts of data to look at molecules and protein structures and genomic data can be really transformative. I read this study that I think was in Nature a month ago, and it described how some researchers gave an AI a bunch of images of a human retina, and the AI, with 90% accuracy, said which retina belonged to either a male or a female. That seems very basic – who cares? But what's really crazy about that is that no researcher, scientist, or AI expert has ever been able to find any sign of a retina correlating to gender of any form. The AI is seeing something that we, as humans, have never before been able to see.

You think about that, and then you apply that to cancer and different cells and otherwise, and the potential is just massive and really exciting. And we're already seeing a lot of applications. AI's going to transform a whole bunch of things – health, software, business applications, logistics, consumer… We could make a long list, but there are a ton of reasons to be super optimistic.

Mix and match

Krystal Hu: When I talk to startups, when they're incorporating this kind of technology into their offerings, one choice they have to make is which model they work with. Do they only work with one type of model, or do they diversify their vendors to work with other companies besides OpenAI? I'm sure, Fergal, you've spent some time thinking about that. What was the experience like at Intercom?

Fergal Reid: With new technology, being right in the forefront, our head tends to go first to customer value. We're happy to use the most expensive or newest model to try and figure out, “Okay, can we really build a transformative experience for a customer with this that is a core part of the workflow and makes something valuable for them?” And once we do that, we're like, “Okay, now, how can we make it cost-effective?” And we're probably going to end up with a large mix of different models from, say, OpenAI, and we've also looked at other vendors like Anthropic, which are doing some really interesting work in this space too.

“It's highly likely that everyone's going to end up running a bespoke mix of many different models. It's going to get complex pretty fast”

It's an exploding space with many different people training large language models, and I think you'll have different large language models that are better and worse and have different trade-offs in terms of cost and latency and performance. Performance won't be one-size-fits-all. Some models are better at dealing with hallucinations, some are better at generating creative content, and I think we're already seeing that.

Our focus is to get whatever models we can, try them out, think if we can use these to build transformative value, get it live with our customers, and then figure out how to optimize that. Once we know it's delivering value, let's optimize it in terms of price and cost and work. It's highly likely that everyone's going to end up running a bespoke mix of many different models. You could have three different models in one customer interaction. So yeah, it's going to get complex pretty fast.

“There'll probably be a new set of metrics that everyone coalesces around that measure the effectiveness of your AI and your particular business problem”

Ethan Kurzweil: I think that's an interesting point that actually ties the question from before: how do you measure the success of this? Because I think lots of companies will try a model or many, and the question will be, “All right, which is best?” And that's such an oversimplification because you have to figure out what you are trying to achieve. Are you trying to achieve engagement with users? Are you trying to achieve a quick resolution?

I think there'll probably be a sort of metricization of this where people come to a standard, like the way Google Search created a new industry, AdWords, and the way we measure click-through rates and conversion rates and things like that. There'll probably be a new set of metrics that everyone coalesces around that measure the effectiveness of your AI and your particular business problem.

Fergal Reid: Yeah, even before these more recent language models, we've had bots that process natural language using pretty big neural networks, although not as big. And whenever we would do something like upgrade our bots, we would conduct a large-scale A/B test framed in terms of end-user metrics such as self-serve rate. Then, we would find edge cases for particular customers or domains where it performed less well, really dig into those, and make sure nothing was broken. I think there's probably a well-understood playbook, like Ethan's referring to, of metrics for given domains. A lot of the same things will apply to this new type of technology.

perguntas e respostas

Krystal Hu: I'd love to get to the Q&A. I think we were able to address some of the questions during our discussions, but there are a bunch about the potential roadmaps from, I assume, Intercom's customers or companies working with Intercom who want to know what could be the next AI-aided feature that may come out, both in the short-term and long-term, and also how that will affect the pricing strategy.

Fergal Reid: Cool. Do you want to call out one particular question?

Krystal Hu: I think there was a question about your roadmap for the features for the next six months versus 12 to 18 months, and then the other person asked about the pricing strategy.

Fergal Reid: We have some things coming up that unfortunately, I can't talk about at the moment. I would say that six months is a really long time in this space. I expect you'll see a lot of movement in this space over the next two or three months. We will continue to sweat and invest in these features in our Inbox to make support reps more efficient. I've already talked about how we've got a Generation 1 version of features here at the moment, with summarization and expansion features to help edit a text, and we're definitely working on Generation 2 versions of those features.

We've also met two other exciting features in this space that we're really excited about, but unfortunately, I can't share any details at the moment – it's just a little bit too early to announce and launch those things. I can promise you're going to see a lot of action and excitement from us, and I'm sure from other companies in this space as well, over the next six months.

“Right now, there's a bit of a context limit for each interaction with an AI in a large language model, but there's a lot of exciting research pushing the boundaries”

Krystal Hu: Talia and Ethan, do you have any expectations or hopes on how fast the space could move?

Talia Goldberg: Well, it's moving a lot faster than we even anticipated. The space is moving really quickly in part because there are a whole bunch of technological advances happening at the same time as the hardware that these models are trained on gets better and improves at a Moore's Law rate, and there are new architectures and ways of scaling on that hardware. We're getting better and better at creating new experiences and models.

I don't have an exact prediction of how quickly we'll see different things, but one of the biggest areas that we're watching closely and expect to see a lot of advances in over the next six to 12 months is around personalization and being able to create far more personalized experiences. Right now, there's a bit of a context limit for each interaction with an AI in a large language model, but there's a lot of exciting research pushing the boundaries of those context windows, coming up with new frameworks to create far more personalized experiences and remember each person, each user, each customer, and tons of data points about that person to create a better experience.

“I would encourage everyone that's building new products to ride the ups and the downs”

Ethan Kurzweil: I completely agree with Fergal and Talia. We're going to see predictable and unpredictable applications of this over the next six months. There'll be some unsuccessful ones too, and then the narrative will quickly shift to, “Oh, that didn't do everything we thought it was going to do as quickly as we thought.” Right now, we're into the peak of momentum and euphoria and, dare I say, a little hype in the space. But over time, it'll become as big a deal as we thought.

I would encourage everyone that's building new products to ride the ups and the downs. Don't ride the up as high as it may be feeling like you should right now, but when the narrative changes a little bit, because it will – all new technologies have that “Oh, that wasn't as impactful as quickly as we thought” moment – I would encourage everyone to keep building through that as well.

Krystal Hu: Yeah, I'll definitely take that from you as a crypto investor.

Ethan Kurzweil: It's the same thing. Right now, there's clearly a trough of disillusionment for crypto. And good builders are figuring out, “Okay, what of this technology is applicable? What makes sense?” And we'll see those things come to market over the next couple of years.

Krystal Hu: One common question I saw in the Q&A is: how will this impact human jobs like human agent jobs? I'm curious to hear your thoughts on this specific case.

Ethan Kurzweil: Ever since the advent of the computer, there's been this prediction that it would be a massive replacement for human work at all levels. It does change the nature of work, and this will certainly change in some ways, but it's not going to be a wholesale replacement for humans in any broad way.

“Guess what? Every year, we need way more engineers. It's like Jevon's Paradox. The more that AI is available and the cost goes down, the more demand there is”

Just as Talia alluded to the example of Copilot and people, I've read many articles saying this was going to put all developers out of business over the next two to three years, and that's complete BS. Everyone knows that's not true. But it may allow for more productivity and for the cycle time on software to speed up. It may allow for different skills to be more important. I think it just makes us more productive. It's not that it won't have an impact and won't shift the nature of work in some ways. I don't mean to minimize that because that's very real. But looking at the whole, you'll see we come out ahead.

Talia Goldberg: At least until we reach the singularity, I'm pretty convinced of the need for more and more engineers. You could have gone back 10 years and been like, “Ah, there are all these cool developer tools now that are coming out and making it way easier to integrate things,” or, “Oh gosh, there are these self-serve products like Zapier that make it easy for non-technical people to connect products and integrate things.” And guess what? Every year, we need way more engineers. There's a shortage. It's like Jevon's Paradox. The more that AI is available and the cost goes down, the more demand there is. And I think, in a lot of areas, that paradigm will hold true. But as Ethan said, the exact skills and the way it looks may shift.

Krystal Hu: Yeah, that makes a lot of sense. I saw some interesting observations and questions about whether you should tell people that they are talking to an AI versus a real person. It's an interesting question because it presumes we wouldn't be able to tell.

Ethan Kurzweil: It's a good existential question. If you're talking to a person assisted by an AI, who are you talking to, and what disclosure do you have to make in that case? I don't have any answers to these questions, but they're great ones for us to debate.

Talia Goldberg: I find that AI can sometimes generate responses that are so detailed and so good that there's just no way that a human did it anyway. It's like the reverse of the Turing test.

Krystal Hu: Outra pergunta sobre a funcionalidade de segurança. Acho que também abordamos isso anteriormente, mas há uma pergunta específica: “Qual é a importância da integração vertical da funcionalidade de segurança com o provedor do modelo? Por exemplo, quão importante é usar a API de moderação da OpenAI com a saída do modelo ChatGPT versus misturar e combinar com a API de perspectiva do Jigsaw?” Fergal, você pode ter alguns pensamentos ou experiências para compartilhar sobre isso.

Fergal Reid: Sim, não estou familiarizado com a API de perspectiva do Jigsaw, então não conheço especificamente. Todo o pessoal da OpenAI e Tropic e quem quer que esteja treinando grandes modelos de linguagem se preocupam muito em torná-los utilizáveis, seguros e alinhados, e se preocupam muito em evitar alucinações. E eles vão continuar a trabalhar nessas áreas para tornar mais fácil para empresas como a Intercom implantá-las de maneira confiável. Não estou convencido de que precisamos integrar isso verticalmente. Não sei se a Intercom precisa estar no negócio de treinar seus próprios modelos de linguagem enormes para que possamos lidar com a produtização e torná-los confiáveis ​​o suficiente. Acho que veremos muito movimento neste espaço de qualquer maneira.

Esse tipo de IA generativa dá muita liberdade ao usuário para tentar descobrir como implantar o modelo. Existe esse campo emergente de engenharia de prompts, e minha equipe está fazendo muito disso, editando prompts e tentando descobrir: “Ok, como faço para perguntar ao modelo o que quero da maneira certa para obtê-lo me dê o resultado que estou procurando?” Isso vai melhorar, pelo menos por um tempo, vai ficar mais poderoso e os modelos vão ficar mais fáceis de controlar.

Acho que poderemos ver empresas na posição da Intercom gerar muito valor e descobrir muitos aplicativos e design. Ainda estamos aprendendo a projetar produtos com base nessa nova tecnologia. Existem tantos graus de liberdade para as pessoas em nossa posição usarem isso.

“Há sempre essa tensão: você apenas pega carona na coisa geral? Quão melhor o modelo geral fica em relação ao ajuste fino?”

Krystal Hu: Também houve perguntas sobre a construção de seu próprio modelo pela Intercom. Como você mencionou anteriormente, talvez haja oportunidades de fazer uma combinação de qual modelo funciona melhor para seus casos de uso ao criar uma API ou algo assim?

Fergal Reid: Sim, com a escala em que esses modelos são treinados no momento, não parece fazer sentido econômico para todas as empresas do tamanho da Intercom treinarem por conta própria. Mas, novamente, há um espectro aqui. Desenvolveremos experiência em projetar em torno deles e saber o que pedir ao modelo. E provavelmente veremos funcionalidades emergentes em empresas como os modelos de ajuste fino da Intercom. Muitos desses novos modelos são treinados com aprendizado por reforço com feedback humano. O custo de fazer isso provavelmente diminuirá com o tempo e poderemos personalizá-los mais para nossos casos de uso específicos.

Há sempre essa tensão: você apenas pega carona na coisa geral? Quão melhor o modelo geral fica em comparação com o ajuste fino e a execução de coisas específicas? Teremos que ver como esse espaço se desenrola, mas acho que haverá muitos graus de liberdade para as empresas pegarem esses modelos e personalizá-los e produzi-los para sua área. Estamos nos primeiros dias da produção dessa tecnologia. Vai mudar muito e vai ficar muito mais fácil priorizar.

Krystal Hu: Estamos quase chegando ao fim de nossa maravilhosa conversa, mas podemos tirar mais duas perguntas. Uma delas é sobre como as empresas adotam e extraem valor do ChatGPT. Você viu empresas começando a integrar isso em suas ofertas e, por outro lado, acho que empresas, especialmente bancos altamente regulamentados, estavam se perguntando sobre o serviço de informações e questões de privacidade e proibindo seus funcionários de brincar nos laptops da empresa. Estou curioso para ouvir os pensamentos de Talia e Ethan sobre esta questão.

Talia Goldberg: Em todo o nosso portfólio, muitas empresas de software que podem nem estar em categorias como Intercom, que estão realmente na vanguarda, estão pensando: “Ei, como isso é importante para o meu negócio e quais são as maneiras pelas quais eu pode integrar alguns desses modelos ou APIs ChatGPT em meu produto?” Tarefas altamente repetitivas podem ser realmente ótimas para uma IA ajudar a automatizar ou simplificar. Uma de nossas empresas recebe muitas informações contábeis de seus clientes e precisa reconciliar e sinalizar se houver algum erro ou algo errado. E eles tiveram esses sistemas baseados em regras no passado, mas você pode aplicar IA e ter uma precisão muito melhor. Outro exemplo interessante está relacionado à peça de resumo. Se um cliente falar com um agente de call center ou representante de vendas, você poderá resumir essa conversa e criar materiais de marketing personalizados apenas para essa pessoa.

Krystal Hu: Uma última pergunta para Talia e Ethan. As pessoas perguntavam o que você procurava ao investir em startups pré-semente ou, eu acho, startups em geral.

“Tentamos resumir a pergunta-chave: 'Isso realmente move a agulha para algum papel ou tipo de pessoa em particular?'”

Ethan Kurzweil: Essa é uma ótima pergunta. Há tantas respostas diferentes para isso. A pré-semente é um pouco mais cedo do que costumamos investir, para colocar esse aviso - geralmente, estamos investindo em uma semente posterior ou série A ou B. Mas nossa filosofia é procurar modelos de hipercrescimento onde quer que possamos encontrar eles. E, geralmente, a maneira como dividimos isso é tentar pré-diagnosticar por meio do mapeamento de estradas, e Talia foi quem impulsionou muito nosso pensamento em torno da IA ​​e suas aplicações para várias coisas diferentes, e criamos esses roteiros de diferentes áreas temáticas que achamos bastante interessantes. Eles podem ser muito amplos, como a computação em nuvem ou a consumerização da saúde, ou restritos, como o impacto da IA ​​no atendimento ao cliente.

Eu encorajaria as pessoas a olhar, porque publicamos muito em nosso blog e mídia social de nossa tese ativa, para ver se o que você está construindo está alinhado com alguma coisa. E então, de um modo geral, estamos procurando: “Isso tem o tipo de impacto que mudará a maneira como trabalhamos ou fazemos entretenimento ou algo que poderia ser uma mudança de paradigma em algum processo de negócios ou necessidade do consumidor?” Isso é o que nós dividimos. Percebemos que sempre que você tem uma mudança de comportamento de base ampla, isso leva a empresas de hipercrescimento e oportunidades para startups interromperem a forma como trabalham ou se divertem ou o que quer que tenha sido feito antes. E então tentamos decompô-lo para a questão-chave de "isso realmente move a agulha para algum papel ou tipo de pessoa em particular?"

Krystal Hu: Esse é o fim da nossa conversa. Para aqueles que ainda não tiveram a chance de experimentar os novos recursos do Intercom, eu o encorajo a brincar com o resumo e alguns outros recursos. E se você estiver interessado no espaço de risco, definitivamente dê uma olhada no site da Bessemer. Como todos disseram, daqui a seis meses, estaremos olhando para trás e algumas das previsões se tornarão realidade, e talvez algumas sejam totalmente diferentes. Espero que tenhamos outro tempo para voltar e cobrir mais questões. Obrigado novamente, Talia, Ethan e Fergal, pelo seu tempo hoje.

Ethan Kurzweil: Obrigado por nos receber.

Talia Goldberg: Tchau.

Fergal Reid: Muito obrigado a todos. Bye Bye.