Aumentando a produtividade: saiba como a IA aumenta a produtividade da equipe de atendimento ao cliente em 14%, de acordo com pesquisadores de Stanford e MIT

O que acontece quando a IA generativa encontra o local de trabalho? Neste episódio especial, mergulhamos em um estudo inovador sobre como humanos assistidos por IA redefinem os limites da produtividade.

A IA generativa pode ter atraído atenção considerável do público e, no entanto, até agora, suas implicações econômicas no mundo real permanecem amplamente inexploradas. Apesar dos sinais promissores em cenários de teste, qualquer benefício imediato do ponto de vista comercial parecia fora de alcance, até agora.

Pesquisadores da Universidade de Stanford e do MIT realizaram um estudo de um ano para medir o impacto no mundo real da IA ​​generativa entre mais de 5.000 agentes de atendimento ao cliente em uma empresa de software da Fortune 500, e os resultados estão disponíveis. A produtividade do funcionário do atendimento ao cliente aumentou 14% em média, com um salto impressionante de 35% entre os trabalhadores mais novos ou com desempenho mais baixo.

O sistema de IA, que combinou o modelo de aprendizado de idiomas GPT da OpenAI com algoritmos de aprendizado de máquina, analisou as conversas entre os de alto desempenho e as comparou com as de baixo desempenho. Em seguida, gerou sugestões em tempo real sobre como responder aos clientes, o que acabou diminuindo o tempo de atendimento do chat, aumentando as taxas de resolução do chat e melhorando a satisfação do cliente. Na verdade, os agentes de atendimento ao cliente recém-contratados poderiam, com a ajuda da IA, ter um desempenho tão bom quanto os agentes com seis meses de experiência trabalhando sem IA.

No episódio de hoje, tivemos a oportunidade de bater um papo com o MIT Ph.D. candidato Lindsey Raymond, um dos pesquisadores por trás do estudo inovador, sobre seu trabalho e o impacto transformador da IA ​​no local de trabalho.

Pouco tempo? Aqui estão alguns tópicos importantes:

• A IA generativa prospera com dados abundantes, o que torna o suporte ao cliente, com sua riqueza de dados de texto, um setor privilegiado para o desenvolvimento de ferramentas de IA.
• A lacuna de produtividade entre os agentes de suporte de alto e baixo desempenho, bem como a crescente dependência de centros de atendimento, são os principais impulsionadores de melhorias no setor de atendimento ao cliente.
• Trabalhadores com pouca qualificação se beneficiaram mais com a ferramenta de IA, pois ela os ajudou a adotar práticas recomendadas que ainda não haviam descoberto por conta própria.
• Os ganhos significativos de produtividade possibilitados pela IA, como resolução de problemas aprimorada e satisfação do cliente, podem até apoiar o aumento da semana de trabalho de quatro dias.

Se você gosta da discussão, confira mais episódios do nosso podcast. Você pode seguir no Apple Podcasts, Spotify, YouTube ou pegar o feed RSS no player de sua escolha. O que se segue é uma transcrição levemente editada do episódio.

Fazendo ondas no suporte ao cliente

Liam Geraghty: Olá e bem-vindo ao Inside Intercom. Eu sou Liam Geraghty. É meio louco pensar que o ChatGPT da Open AI foi lançado apenas alguns meses atrás. A velocidade com que a IA se tornou parte de nossas vidas é algo que ninguém poderia prever. Já está começando a transformar o espaço de atendimento e suporte.

“Um humano mais uma máquina é melhor que uma máquina, que por sua vez é melhor que um ser humano. Acho que é isso que vejo nesse mundo de apoio”

O co-fundador da Intercom, Des Traynor, falou sobre como ele acredita que o futuro do CS é automação e humanos, bots e cérebros trabalhando juntos, em um episódio recente de nosso podcast.

Des Traynor: Um humano mais uma máquina é melhor que uma máquina, que por sua vez é melhor que um humano. Acho que é isso que vejo neste mundo de apoio. Eu acho que você terá humanos controlando a inteligência que a IA funciona.

Liam Geraghty: Muitos líderes de suporte ao cliente mergulharam direto na IA e estão nadando em suas águas geradoras. Mas outros, enquanto entusiasmados, estão apenas mergulhando o dedo do pé, sentindo-se um pouco assustados.

Bem, para qualquer um de vocês, você pode estar interessado em ouvir sobre um novo estudo de pesquisadores da Universidade de Stanford e do Instituto de Tecnologia de Massachusetts, tudo sobre IA generativa no trabalho, com algumas descobertas realmente interessantes. O estudo foi conduzido por Eric Brynjolfsson, Danielle Li e Lindsey Raymond.

Insights da IA ​​generativa no local de trabalho

Lindsey Raymond: Eu sou Lindsey Raymond. Eu sou um estudante de pós-graduação no MIT.

Liam Geraghty: Lindsey e seus colegas estudam o impacto das ferramentas generativas de IA na produtividade de uma empresa da Fortune 500. É a primeira vez que o impacto dessas ferramentas no trabalho é medido fora de um ambiente de laboratório.

Lindsey Raymond: A própria ideia de IA generativa é bastante nova. Em termos do que as pessoas estudaram, houve algum trabalho sobre como essas ferramentas funcionam em coisas como o exame da ordem.

Liam Geraghty: AI esmagou o exame da ordem.

Lindsey Raymond: Ou exames de codificação, exames muito baseados em laboratório das capacidades. E o nosso é o primeiro que diz o que acontece quando você estuda o que essas ferramentas podem fazer em um local de trabalho real e por um longo período de tempo porque nosso estudo ocorre ao longo do ano.

Liam Geraghty: Então, sobre o que exatamente era o estudo?

Lindsey Raymond: Analisamos uma ferramenta generativa baseada em IA projetada para ajudar os profissionais de suporte técnico quando estão resolvendo os problemas de suporte técnico das pessoas.

Liam Geraghty: Parece familiar!

Lindey Raymond: Dizendo a ambos o que dizer, como resolver o problema específico de suporte técnico e também orientação sobre como eles devem comunicar isso ao cliente.

“A IA generativa precisa de muitos dados para funcionar muito bem. Se você olhar para um setor da economia onde há alta penetração em relação a qualquer outro lugar, o suporte ao cliente é essa área”

E fazemos uma análise de diferença em diferença – uma implantação muito lenta dessa ferramenta entre as pessoas ao longo do tempo, para que possamos tentar obter o efeito causal da ferramenta. Estamos procurando trabalhadores que fornecem suporte técnico para uma empresa da Fortune 500 que faz software para pequenas empresas e contabilidade principalmente para pequenas empresas sediadas nos Estados Unidos.

Liam Geraghty: Eles analisaram muitos resultados diferentes, como a rapidez com que as pessoas resolveram as chamadas, quantos problemas foram capazes de resolver, a satisfação do cliente, bem como algumas coisas que são mais mudanças organizacionais.

Lindsey Raymond: Como isso afeta a rotatividade de funcionários? Como isso afeta a frequência com que eles conversam entre si ou com seus gerentes?

Liam Geraghty: Você deve estar se perguntando por que, de todas as áreas potenciais de IA generativa, Lindsey e seus colegas escolheram o suporte ao cliente para se concentrar.

“Existem diferenças enormes de produtividade entre seus agentes de atendimento ao cliente de melhor desempenho e os de pior desempenho”

Lindsey Raymond: A IA generativa precisa de muitos dados para funcionar muito bem. Se você olhar para um setor da economia onde há alta penetração em relação a qualquer outro lugar, o suporte ao cliente é essa área. Tem havido uma quantidade surpreendente de atividade para o lançamento e desenvolvimento dessas ferramentas. E isso porque há muitos dados nessa área, principalmente dados de texto.

Muito disso é automaticamente associado a resultados – com que rapidez aquele trabalhador resolveu esse problema? E também há muito espaço para melhorias. É um fato bem conhecido que existem enormes diferenças de produtividade entre os agentes de atendimento ao cliente de melhor desempenho e os de pior desempenho. É também uma área em que houve uma grande mudança para fazer mais com centros de contato nos últimos dois anos. E, portanto, é uma área em que há uma grande necessidade de negócios para melhorar nisso.

De zero a herói

Liam Geraghty: Então, ao longo de um ano, eles estudaram tudo isso usando dados de 5.179 agentes de suporte ao cliente. E o que eles descobriram é intrigante.

Lindsey Raymond: O número principal é que, em média, o acesso à IA melhorou a produtividade em 14%, mas isso esconde muita heterogeneidade. Para os trabalhadores menos experientes e menos qualificados, na verdade melhorou 35%. Os trabalhadores mais experientes e produtivos quase não veem efeito.

Liam Geraghty: Então, os ganhos se acumulam desproporcionalmente para os trabalhadores menos experientes e menos qualificados. Por que isso ocorre?

Lindsey Raymond: Acho que essa é provavelmente a parte mais interessante do estudo. Qualquer ferramenta baseada em aprendizado de máquina usa um conjunto de dados de treinamento e procura padrões nos dados. Então você, como programador, não diga: “Bem, eu sei que esta frase funciona bem, então faça isso, e eu sei que esta é a solução comum para este problema, e esta é a solução comum para aquele problema” e você coloca essa informação em seu programa. Não é assim que o ML funciona.

“São os trabalhadores que são muito novos ou que estão no final do ranking de produtividade que realmente se beneficiam dessas sugestões porque são coisas que eles ainda não descobriram como fazer”

Em nosso cenário, especificamente, a ferramenta analisa as conversas dos de alto desempenho e as compara com as de baixo desempenho. Ele procura diferenças entre o que os funcionários de alto e baixo desempenho estão fazendo que estão associados a resultados bem-sucedidos. Qual é a maneira como eles cumprimentam os clientes? Quais são as soluções que propõem? Como eles começam a fazer perguntas de diagnóstico? Então, ele pega todas essas coisas e as transforma em sugestões que gera para todos. Os trabalhadores altamente qualificados estão fornecendo o conteúdo para a IA – essas são principalmente coisas que eles já estão fazendo porque é de onde a IA tem aprendido isso. Quando você tem uma ferramenta sugerindo que você faça coisas que já está fazendo, provavelmente não verá grandes efeitos de produtividade com o acesso a essa ferramenta. São os trabalhadores que são muito novos ou estão no final do ranking de produtividade que realmente se beneficiam dessas sugestões, porque essas são as coisas que eles ainda não descobriram como fazer. São os trabalhadores de baixa qualificação que mudam muito e começam a se aproximar da comunicação como trabalhadores de alta qualificação.

O que achamos que está acontecendo é essa difusão das melhores práticas possibilitadas pela IA. E é por isso que vemos esses aumentos de produtividade realmente grandes para os trabalhadores pouco qualificados e inexperientes e não tanto para os trabalhadores altamente qualificados. E isso, pensamos, é apenas uma função da maneira como o aprendizado de máquina funciona.

“Em qualquer estudo em que você vê aumentos de produtividade de 35%, isso é bastante chocante. Você pode imaginar uma semana de trabalho de quatro dias com esses efeitos”

Liam Geraghty: Você ficou surpreso com os resultados?

Lindsey Raymond: Essa é uma ótima pergunta. Em qualquer estudo em que você vê aumentos de produtividade de 35%, isso é bastante chocante. Você poderia imaginar uma semana de trabalho de quatro dias com esses efeitos. Eu acho que foi bastante surpreendente logo de cara. O fato de termos visto efeitos não apenas nos trabalhadores que atendem às chamadas um pouco mais rápido, mas também melhorando a parcela de problemas que eles resolvem, que é mais um resultado baseado em conhecimento, está permitindo que eles resolvam problemas que não estavam poder resolver antes. E então, vemos grandes aumentos na satisfação do cliente. Esses foram, eu acho, todos surpreendentes.

Liam Geraghty: Você acha que a IA será capaz de entrar e fazer esses tipos de estudos?

Lindsey Raymond: Provavelmente, sim. Tenho certeza de que existe uma IA generativa que pode escrever artigos econômicos melhor do que eu.

Liam Geraghty: Lindsey, muito obrigado por falar comigo hoje.

Lindsey Raymond: Sim, com certeza. Foi um prazer.