O novo amanhecer do Machine Learning

Já estivemos aqui antes. Entre o burburinho da mídia, afirmações exageradas e o trabalho em campo, às vezes é difícil distinguir fantasia da realidade ao lidar com Machine Learning. À medida que as redes neurais amadurecem e se destacam, a tecnologia pode corresponder ao hype?

Nos últimos cinco anos, vimos a tecnologia de rede neural realmente decolar. O GPT-3 pode criar texto semelhante ao humano sob demanda, e o DALL-E, um modelo de aprendizado de máquina que gera imagens a partir de prompts de texto, explodiu em popularidade nas mídias sociais, respondendo às perguntas mais urgentes do mundo, como “o que Darth Vader parece pesca no gelo?” ou “como seria Walter White se ele estivesse em Animal Crossing?”

Queríamos saber o que está acontecendo com esse aumento, então perguntamos ao nosso Diretor de Aprendizado de Máquina, Fergal Reid, se podemos escolher seu cérebro para o episódio de hoje. Apesar do trabalho ainda ser um ato de equilíbrio entre o que é possível e o que é viável, as coisas, ao que parece, estão apenas começando a ganhar escala. O cenário da tecnologia está mudando, os aplicativos de negócios estão (potencialmente) mudando o jogo e, alerta de spoiler, Fergal acredita muito no hype.

No episódio de hoje do Intercom on Product, Paul Adams, nosso Chief Product Officer, e eu nos sentamos com Fergal Reid para falar sobre o recente burburinho em torno das redes neurais, como o aprendizado de máquina está impulsionando os negócios e o que podemos esperar da tecnologia no próximos anos.

Aqui estão alguns dos nossos tópicos favoritos da conversa:

• As redes neurais fizeram progressos significativos nos últimos cinco anos e agora são a melhor maneira de lidar com dados não estruturados, como texto, imagens ou som em escala.
• No CX, as redes neurais provavelmente serão usadas com métodos mais tradicionais de aprendizado de máquina para escolher ações que proporcionem a melhor interação possível com o cliente.
• Construir produtos de ML requer equilíbrio – é inútil começar com o problema se a solução for inatingível, mas você não deve começar com a tecnologia se ela não puder atender às necessidades reais do cliente.
• A IA foi bastante exagerada no passado. Embora seja provável que reivindicações mais realistas fechem menos contas, isso compensa na retenção de clientes.
• As equipes de ML tendem a investir uma boa parte dos recursos em pesquisas que nunca são entregues. Combine-o o máximo possível com projetos que tenham um impacto real na experiência do cliente.
• Se você deseja investir em ML, contrate alguém com experiência tanto no lado técnico quanto no operacional para que eles possam começar a trabalhar com a equipe de produto desde o primeiro dia.

Se você gosta de nossa discussão, confira mais episódios do nosso podcast. Você pode seguir no iTunes, Spotify, YouTube ou pegar o feed RSS no player de sua escolha. O que se segue é uma transcrição levemente editada do episódio.

O hype contra-ataca

Des Traynor: Bem-vindo ao Intercom On Product, episódio 18. Hoje, temos um tópico interessante para discutir. É tudo sobre inteligência artificial e aprendizado de máquina. Estou acompanhado, como sempre, pelo Diretor de Produtos da Intercom, Sr. Paul Adams. Paulo, como você está?

Paul Adams: Estou bem, Des. Obrigada.

Des Traynor: E hoje temos um convidado especial, Sr. Fergal Reid, que é nosso Diretor de Machine Learning. Fergal, como vai?

Fergal Reid: É bom, Des. Estou muito feliz por estar no podcast hoje. Ansioso para entrar nele.

Des Traynor: Excelente. Eu acho que você é nosso primeiro ou segundo convidado, então você deve se sentir muito, muito grato.

Fergal Reid: Eu me sinto muito privilegiado, de fato.

“Vimos o progresso sustentado de algo novo e empolgante – tecnologia orientada por rede neural – realmente começando a se destacar e a ser útil”

Des Traynor: Bem, vamos começar pelo final, de certa forma. Parece que a máquina de hype da IA ​​está mais uma vez no limite. Isso acontece a cada poucos anos do meu ponto de vista, mas o que posso ver genuinamente acontecendo são pessoas criando muita arte. A geração DALL-E começou e algumas das imagens criadas são de tirar o fôlego. Outro dia, vi que havia um mercado para prompts DALL-E onde você pode literalmente comprar prompts que criam imagens para você, o que é o mais meta possível. Em um sentido mais prático, o copiloto do GitHub agora pode aumentar seu código enquanto você escreve, o que é incrível; Joguei com o GPT-3 da OpenAI, fiz as perguntas e deixei que ele criasse pequenos parágrafos e histórias para mim, e tem sido bastante impressionante. Se aumentarmos um pouco o zoom, o que realmente está acontecendo? Aconteceu alguma coisa nos últimos tempos? Isso tem a ver com alguma cadeia particular de eventos? E aí?

Fergal Reid: É uma coisa complexa de descompactar – há muita coisa acontecendo. Há muito investimento nessa área de IA e aprendizado de máquina nas empresas, por isso é difícil descompactar exatamente o que está acontecendo. Se você olhar para o arxiv, onde as pessoas colocam seus papéis de aprendizado de máquina, há uma torrente de coisas novas todos os dias. Então, é difícil trilhar uma narrativa através disso. Na minha opinião, nos últimos cinco anos, vimos o progresso sustentado de algo novo e empolgante – tecnologia orientada por rede neural – realmente começando a se destacar e a ser útil. Você mencionou GPT-3, OpenAI, e isso é o que chamamos de modelo de linguagem grande, que é uma grande rede neural tentando prever a próxima palavra e uma sequência de palavras que ela vê. E eles estão apenas aumentando isso. Eles apenas adicionaram mais e mais computação a ele, e ele começou a fazer coisas incríveis.

Des Traynor: Então, talvez apenas algumas definições de dicionário. Então, adicionando mais computação, isso é mais poder de CPU?

Fergal Reid: Sim, exatamente. Voltando a um longo caminho, as CPUs em nossos computadores, o cérebro de nossos computadores, eram muito, muito rápidos em fazer coisas de propósito geral. E talvez em meados dos anos noventa, impulsionado principalmente por videogames e outras coisas, tivemos esse mercado de massa de adoção dessas GPUs, ou unidades de processamento gráfico.

Des Traynor: Tipo placas de vídeo e coisas assim?

Fergal Reid: Em placas de vídeo e sua placa 3dfx e tudo mais. E eles eram muito bons em fazer gráficos para jogos de computador. Então, no início dos anos 2000, as pessoas diziam: “Ah, o tipo de operação que fazemos para videogames é muito bom para matriz e multiplicação”. E acontece que esse tipo de coisa também é muito útil para as operações que você precisa fazer quando está treinando uma rede neural. E assim, depois de muito tempo, o valor do estoque de vídeo dispara porque há uma revolução de IA e mineração de criptomoedas.

A ascensão das redes neurais

Des Traynor: Você fez referência a uma nova aceitação do trabalho em redes neurais. Sinto que ouvi falar deles quando estava na faculdade, no passado. Apenas houve mais trabalho colocado neles? Eles surgiram como a principal maneira de fazer aprendizado de máquina? Existe uma alternativa da qual nos afastamos?

Fergal Reid: Sim, eu diria que há uma alternativa da qual nos afastamos. Agora, não quero exagerar nas redes neurais. As redes neurais são a novidade, e quase todos os avanços que você viu nos últimos cinco anos são de redes neurais. No entanto, essa é uma subseção do aprendizado de máquina. Na equipe de aprendizado de máquina aqui da Intercom, as redes neurais são talvez 30% do que fazemos, usando o mesmo material de progressão logística para prever o que alguém fará a seguir.

Quando há dados não estruturados, como massas de texto, imagens ou sons, as redes neurais agora são definitivamente a melhor maneira de lidar com esses dados. Para os avanços que você está vendo – o material visual, o material sonoro, a síntese de texto – você precisa de um modelo enorme que possa realmente capturar muitas dependências nesses dados, e as redes neurais são a principal maneira de fazer isso. As pessoas investiram muito em torná-los escaláveis, e você pode executá-los muito maiores. Alguns dos modelos sobre os quais você está lendo podem custar US$ 10 milhões em computação apenas para treinar esse modelo.

“No passado, para qualquer texto não estruturado ou dados de imagem, nós olhávamos de uma perspectiva de aprendizado de máquina e pensávamos: 'Não sei o que fazer aqui'”

Há uma série de coisas acontecendo. Estamos melhorando em treiná-los em escala. Estamos melhorando em expressar o problema de uma maneira que podemos progredir e entender. Em vídeo, continuamos a melhorar o desempenho. Então, houve muitas revoluções tecnológicas. É uma confluência de um monte de tendências diferentes.

Des Traynor: Para fazer a transição para o aspecto do produto, o que é possível agora que não era antes? DALL-E pode receber um prompt e produzir uma imagem; O GPT-3 pode produzir texto gerado com aparência bastante realista. Se você quiser analisar uma carga de texto e descobrir o que ele está dizendo, reduzi-lo ou simplificá-lo ou verificar o sentimento ou qualquer outra coisa, existe algum tipo de lista de recursos que temos agora? A razão pela qual estou perguntando é que estou tentando aproximar isso de como os PMs devem pensar sobre isso.

Fergal Reid: Sim, existem algumas maneiras diferentes de pensar sobre isso. No passado, para qualquer texto não estruturado ou dados de imagem, nós olhávamos de uma perspectiva de aprendizado de máquina e pensávamos: “Não sei o que fazer aqui. O tamanho disso e o número de possíveis parágrafos de texto que poderiam estar no meu documento são muito altos. Não sei como lidar com isso com o aprendizado de máquina tradicional.” E você pode fazer coisas como extrair recursos, digamos: “Vou dividir isso em um pacote de palavras e extrair coisas”. Mas o que é diferente agora é que seus métodos para trabalhar com esses dados vão funcionar muito melhor do que no passado. E você não precisa de tanta engenharia manual de recursos. Você pode usar uma rede neural.

Estamos começando a ver etapas intermediárias, camadas intermediárias emergindo. Existe essa coisa que chamamos de embeddings, onde você pode pegar uma dessas grandes redes neurais que foram treinadas em uma tonelada de dados de texto e, em seguida, elas seriam lançadas pelo Google ou por um dos grandes players, que gastam US $ 10 milhões em treinamento, e você pode usar isso para pegar qualquer texto que você der para convertê-lo em um vetor de números. Então, você pode fazer coisas com esse vetor de números. Então, houve uma tecnologia inovadora, mas deu blocos de construção com os quais as startups podem realmente trabalhar para fazer produtos.

“Se você está em qualquer ecossistema de startup lidando com muitos dados não estruturados, particularmente grandes volumes, onde talvez esteja tentando tomar decisões com eles, definitivamente deve prestar atenção”

Des Traynor: Então, o primeiro X por cento é feito para você pelas empresas maiores?

Fergal Reid: Exatamente. Ou consórcio aberto, também. Tem gente formando um consórcio que junta muito dinheiro para treinar algo grande que depois é lançado.

Des Traynor: Então, se o seu produto envolve muito texto escrito por humanos, seja criando respostas, escrevendo, analisando ou entendendo, você deve assumir que o chão mudou sob seus pés nos últimos dois anos?

Fergal Reid: Sim, acho que é uma suposição justa. Se você está em qualquer ecossistema de startup lidando com muitos dados não estruturados, particularmente grandes volumes, onde talvez esteja tentando tomar decisões com eles, definitivamente deve prestar atenção. O cenário de capacidades mudou. 10 anos atrás, não havia nada com que você se preocupasse, mas agora, talvez haja algo legal que você possa construir que não podia antes. Estamos começando a ver uma mudança em coisas tão simples quanto a pesquisa. Seis, sete anos atrás, você obteria o Elasticsearch ou algo parecido e usaria esses algoritmos testados e comprovados para lidar com sua pesquisa. Agora você pode usar a pesquisa neural. E estamos começando a ver tecnologias e produtos emergentes nesse espaço.

Em busca da próxima melhor ação

Paul Adams: Uma coisa que eu adoraria perguntar a você é sobre os produtos que prometem a próxima melhor ação. Acho que isso é importante para as equipes de produto por dois motivos. Uma é apenas produtos nesse espaço – se você tem um produto de comunicação com o cliente ou um produto para equipes de vendas, há muitas promessas em dizer ao vendedor qual é a próxima melhor ação. E as equipes de produtos geralmente tentam fazer com que seus clientes e usuários façam mais e se envolvam mais, então é uma ferramenta para impulsionar o crescimento. Quanto disso é hype? Quanto é verdadeiro?

Fergal Reid: Sempre há um problema com esses produtos de aprendizado de máquina, e digo isso como alguém que constrói produtos de aprendizado de máquina para viver, o que é muito difícil dizer o quanto é hype e quanto é real do lado de fora. Não posso falar sobre produtos específicos a menos que os tenha analisado e comparado. Eu diria que o próximo melhor material de ação é, na verdade, menos provável de ser redes neurais. Ou se eles estiverem lá, eles estarão lá como um componente disso. Para colocá-lo em um contexto de intercomunicação, pegarei o texto da conversa que está acontecendo entre o representante de suporte e o usuário final e usarei embeddings para tentar entender isso. Mas então, provavelmente vou juntar isso com vários outros sinais sobre o que está acontecendo, talvez o valor da conta ou onde o cliente está em sua jornada do cliente, e usar um classificador ou regressor de aprendizado de máquina mais tradicional para tentar e prever: "Ok, qual é a próxima melhor coisa que eu poderia fazer?"

“À medida que a precisão aumenta, aumenta, aumenta, ela cruza um limite crítico em que é como, 'Nem sempre está certo, mas é útil, e eu não preciso pensar. Ajuda '”

E esse material funciona muito bem. Temos recursos em nossos produtos que usam métodos de aprendizado de máquina mais tradicionais que tentam prever, digamos, o que alguém está prestes a perguntar quando acessa um site e abre o mensageiro. Fazemos isso com base em todos os dados e sinais que temos sobre esse usuário, e isso funciona muito bem. Se você pode fazer boas previsões com isso, é um pequeno passo para algo mais geral que é a próxima melhor ação.

Aposto que esse material funciona muito bem. Eu teria expectativas razoáveis ​​de precisão. Todas essas coisas funcionam bem quando estão aumentando e ajudando alguém. Se a precisão for muito baixa, é como, “Oh, isso é irritante. É uma porcaria. Não vale a pena prestar atenção nisso.” Mas então, à medida que a precisão aumenta, aumenta, aumenta, ela cruza um limite crítico onde é como, “Nem sempre está certo, mas é útil, e eu não tenho que pensar. Eu posso apenas olhar para isso e reconhecer que isso ajuda.” É isso que buscamos com esses produtos, e tenho certeza de que há pessoas na indústria que têm coisas assim.

Des Traynor: Sim. Sinto que o preenchimento automático do Gmail atravessou aquele penhasco de percepção em que eu não desativaria esse recurso. Você está digitando uma resposta, ele adivinha as próximas duas coisas que você vai dizer, e você pode clicar em tab, e talvez você mude uma frase ou uma palavra ou algo assim, mas é direcionalmente mais valioso do que não.

“Vejo um futuro em que podemos aprender quais sugestões levam ao comportamento dos colegas de equipe que proporcionam melhor CSAT ou melhor valor ao longo da vida do cliente de maneira ganha-ganha”

Paul Adams: Mas é engraçado. Acho que muda o comportamento. Eu olho para a sugestão e digo: “Eu não diria isso, mas está perto o suficiente”. Tab, tab, tab. Entre, envie.

Fergal Reid: Eu me pergunto se eles fazem experimentos onde medem as sugestões e o sentimento das sugestões que produzem, e como elas mudaram o mundo real. O Facebook infame fez alguns experimentos como esse no passado. Se você olhar para algo como o Intercom, vejo um futuro em que começaremos a fazer recomendações de respostas inteligentes na caixa de entrada. Vejo um futuro em que podemos aprender quais sugestões estimulam o comportamento dos colegas de equipe que proporcionam melhor CSAT ou melhor valor ao longo da vida do cliente de uma maneira ganha-ganha. Esses comandos de baixo atrito. Eu penso nisso sempre que escrevo “eu te amo” para minha esposa. Às vezes, recebo a sugestão de “eu te amo” e fico tipo “estou digitando isso sozinho”.

Des Traynor: Sim. Há algo mais colonial nisso – moldamos nossas ferramentas e nossas ferramentas nos moldam. Você pode imaginar que um representante de CS recém-integrado a uma equipe que usa o Intercom acabará falando e digitando muito como seus colegas com base no fato de que o Intercom está dizendo a eles que esse é o comportamento que parece ter melhor desempenho. É quase como uma escola de suporte ao cliente.

Fergal Reid: Conversamos com alguns clientes que adoraram a ideia de uma rampa de treinamento de baixo atrito para novos representantes, o que parece ser a melhor prática. Isso é o que o sistema o estimula a fazer de uma maneira boa.

Problema vs. tecnologia

Des Traynor: Se voltarmos um nível, sinto que muito da narrativa, mesmo quando, digamos, DALL-E foi lançado, os tópicos mais populares sobre ele eram coisas como: "Alguém pode citar um bom caso de uso para isto?" Ou “Aqui está minha melhor ideia”. Obviamente, a mente de todos pensa: “Ah, você poderia construir uma empresa de camisetas”, ou qualquer outra coisa. Minha melhor tentativa para o que isso poderia ser útil é a capacidade de anotar um livro de histórias infantil. Imagine uma ferramenta em que há uma história do tipo infantil e as imagens parecem aumentá-la. Você também pode ver como poderia ser um plugin para Squarespace ou Mailchimp para substituir a fotografia de arquivo. Keynote ou Google Slides seriam semelhantes.

Eu sinto que estamos nos aproximando disso para trás, no entanto. Estamos dizendo: “Já que agora podemos pegar texto e produzir imagens, vamos construir uma empresa com isso”, que não é de onde vêm as melhores empresas. Normalmente, eles tendem a querer resolver um problema no mundo. Qual a melhor forma de um fã ou PM pensar neste espaço? De um modo geral, eles provavelmente ficam obcecados com um problema, não com uma peça específica de uma nova tecnologia neural.

Fergal Reid: Esta é uma questão muito complexa. Na maioria das vezes, o conselho padrão é que, se você está construindo uma nova startup de tecnologia, nunca quer ser uma solução procurando um problema. Você quer encontrar um problema real e concreto e, em seguida, abordar uma solução. Eu acho que geralmente é um bom conselho. Na Intercom, temos um princípio para começar com o problema. Mas acho que há exceções para isso. Com tecnologia genuinamente disruptiva, em que você pensa: “Algo está mudando o mundo, está mudando o cenário, há uma nova capacidade aqui e não sei para que serve, mas sei que será revolucionariamente bom para alguma coisa, ” Acho que não há problema em começar com a solução e depois procurar os problemas.

“Não adianta começar com o problema se você está tentando construir uma solução de tecnologia que ainda não é capaz”

Eu acredito no hype sobre ML e IA no momento. Eu diria que desta vez é real e, portanto, é justo dizer: “Olha, temos uma capacidade revolucionária aqui. Onde estão todas as grandes oportunidades onde isso pode ser aplicado?” Então, obviamente, há uma interação. Quando você acha que encontrou uma oportunidade, provavelmente quer ir e começar com o problema.

A equipe de aprendizado de máquina aqui na Intercom é um pouco incomum em comparação com outras equipes. Nós nos adaptamos aos princípios do produto um pouco mais do que outras equipes porque temos que estar nesse espaço cinza entre começar com o problema e a tecnologia. Não faz sentido começar com o problema se você está tentando construir uma solução de tecnologia que ainda não é capaz. Então, nós temos que começar um pouco com a tecnologia, fazer alguns protótipos, ter uma ideia do que é possível, e então ir e realmente suar o problema e perguntar: “É útil ou não?”

Des Traynor: É quase como se você tivesse que analisar tanto o lado da demanda quanto o da oferta da inovação, de certa forma. De todos os problemas que podemos resolver e das capacidades que temos, onde está uma boa empresa em interconexão? Se pegarmos nosso produto Resolution Bot, como você articularia isso como um par de problema/solução?

“Com o Resolution Bot, não usamos redes neurais nem nada para nossa versão um, mas tínhamos a convicção de que era possível construir algo bom aqui”

Fergal Reid: Quando começamos, estávamos cientes de que havia uma mudança na tecnologia e no cenário de produtos em que os bots eram muito ruins, e eles estavam começando a oferecer experiências atraentes em circunstâncias muito limitadas, onde: “Ok, há algo aqui .” E então foi como, “Ok, podemos pegar nosso domínio específico, podemos conversar e conversar e ver se há esse casamento, essa correspondência entre o problema e a tecnologia que proporcionará ótimas experiências ao cliente?”

Com o Resolution Bot, não usamos redes neurais nem nada para nossa versão um, mas tínhamos a convicção de que era possível construir algo bom aqui. Construímos um investimento mínimo em tecnologia, validamos que um protótipo mal feito na verdade ajudaria os clientes e que as pessoas realmente o desejariam, eliminamos o risco disso, e então iteramos e iteramos e iteramos. Estamos agora na versão três ou na versão quatro de nossa tecnologia, e ela usa redes neurais muito modernas e sofisticadas e obtém o melhor desempenho e precisão da categoria. Mas a primeira versão foi o Elasticsearch pronto para uso apenas para validar que isso realmente ajudaria as pessoas.

Você quer guiar essa busca. Você quer dizer: “Eu sei que há algo bom nessa direção geral do espaço do produto”. Não vou acabar com uma demanda validada por um produto que é impossível de entregar. Você não quer estar lá. Você também não quer ficar tipo, “Eu tenho um algoritmo incrível que definitivamente moverá a agulha para algo com o qual ninguém se importa”. Você tem que iterar em ambos os lados dessa equação e encontrar alguma zona de pouso no meio.

Muito bom para ser verdade?

Paul Adams: Na verdade, há uma terceira perna do banco. Há um problema, há uma solução, e então há a história, ou o que você pode dizer sobre isso. Uma das coisas com as quais tenho lutado quando se trata de IA e aprendizado de máquina é o que você se sente bem em dizer externamente e o que outras pessoas estão dizendo externamente. Na pior das hipóteses, é uma tragédia de comunicações em que todas as empresas saem e fazem grandes reivindicações, e as pessoas que realmente sabem do que estão falando dizem: “São alegações ridículas”. “Mas existe esse dilema competitivo. Se o nosso concorrente diz 80%, e não achamos que eles consigam isso, mas o nosso é 50, o que você acha disso? O que você acha sobre as alegações que você pode fazer e o equilíbrio entre o problema, a solução e a história?

“Eu me deparo com produtos no mercado e avalio suas alegações, e penso: 'Isso realmente funciona? Como você avalia isso?'”

Fergal Reid: Quero dizer, é muito difícil. Acho que separaria o desenvolvimento interno do produto do sucesso no mercado. Com o desenvolvimento interno de produtos, e isso é verdade na Intercom, se eu vier e disser: "Ei, pessoal, tenho certeza de que podemos oferecer uma experiência de produto boa o suficiente", sou pelo menos responsável se isso for Não é o caso de forma alguma. Então, internamente, você tem que trabalhar com as pessoas e explicar bem as coisas, mas pelo menos os incentivos estão alinhados.

Externamente, quando as pessoas estão competindo no mercado com produtos de aprendizado de máquina, é muito difícil. Eu me deparo com produtos no mercado e avalio suas alegações, e fico tipo, “Será que isso realmente funciona? Como você avalia isso?” Mesmo que eu veja um novo trabalho de pesquisa prometendo algo incrível, e tenha exemplos de “nós dissemos isso para a IA, e isso é o que ela disse de volta”, minha primeira pergunta é sempre como: “Bem, isso foi escolhido a dedo? exemplo? Faz isso 9 vezes em 10 ou uma vez em 10? Porque é muito diferente dependendo de cada um. Há sempre esse implícito, “bem, qual é a performance, na verdade?” Você não pode realmente dizer a menos que você faça algum tipo de confronto direto onde você se senta e brinca com ele. Nossos clientes estão fazendo mais provas de conceito e avaliações diretas, e eu adoro isso. Isso é maravilhoso. É isso que queremos ver.

“Você definitivamente pode prometer demais, cumprir menos e depois assistir à perda da conta”

Em termos de espaço em geral, acho que você está vendo as pessoas tornarem as demos publicamente disponíveis cada vez mais. As pessoas vão para o DALL-E 2 e obtêm acesso a pesquisadores independentes mais cedo. Ou eles escrevem coisas nos jornais dizendo: “isso é o que produz em uma corrida em um prompt padrão”. Isso ajuda as pessoas a entenderem isso.

Des Traynor: Há uma questão de que tipo de receita você quer, porque você definitivamente pode prometer demais, entregar menos e depois ver a conta chutar. Ou você pode dizer: "Aqui está o que achamos que podemos fazer por você", arriscar perder o negócio, mas saiba que, se eles converterem, receberão o que converteram. Eu acho que é um mundo perigoso para se estar – pegar a estrada principal versus a estrada inferior; pegar os clientes que vão conseguir exatamente o que eles pensavam que conseguiriam versus muitos clientes irritados no mês 11, porque eles não chegaram nem perto do que esperavam. É um desafio.

Fergal Reid: É um desafio, e há muitas facetas nesse desafio. Temos que gerenciar as expectativas também. O aprendizado de máquina está ficando muito melhor, mas ainda não é perfeito. Às vezes, temos clientes que compram nosso Resolution Bot, e é bom, o melhor da classe, mas ainda comete erros. Todo produto de software ainda comete erros. Então você tem que gerenciar as expectativas de todos os lados para ter esse relacionamento positivo.

Des Traynor: Como você pensa sobre recursos de aprendizado de máquina? Na Intercom, temos uma equipe liderada por você, separada de todas as equipes e parceiras para fornecer a funcionalidade de aprendizado de máquina. Você acha que vai ficar assim? Você acha que as equipes deveriam ter engenheiros de ML incorporados? Cada equipe da Intercom tem seu próprio designer – não temos uma equipe de design flutuando à procura de pedaços de design para adicionar. Faz sentido do jeito que está? Para nossos ouvintes lá fora, como eles mergulhariam o dedo do pé? Eles começariam com um tipo de pod de ML dedicado ou teriam uma pessoa? Como as startups devem começar a trazer o ML?

Fergal Reid: Tenho uma forte opinião de que uma equipe centralizada de aprendizado de máquina é melhor para organizações do nosso tamanho ou menores neste momento do desenvolvimento da tecnologia. Estamos lidando com tecnologia imatura aqui. A tecnologia é difícil de usar e fácil de dar errado. Há um conjunto de habilidades que se sobrepõem às habilidades de engenharia de software, ciência de dados ou análise, mas não são iguais. Acho que faz muito sentido ter uma equipe centralizada que possa trabalhar e aprimorar esse conjunto de habilidades e aprender as armadilhas porque os produtos de aprendizado de máquina têm armadilhas únicas. Eles são probabilísticos. Como mencionamos, às vezes eles erram. E assim, quando você está projetando ou construindo um produto de aprendizado de máquina, você precisa realmente suar. A taxa de precisão é boa o suficiente para proporcionar uma boa experiência ao cliente? Isso é difícil.

“Acho que um modelo centralizado que ajuda a cada projeto é o modelo certo no momento”

Quando você fala com um designer, uma coisa que muitas vezes vemos é que é difícil para eles no início entenderem a ideia de que você não pode simplesmente pensar no caminho dourado onde tudo dá certo. Você tem que considerar todos os caminhos onde as coisas dão errado e os erros podem se acumular. Isso é difícil.

Estamos nessa estranha interseção da engenharia de software e precisamos ser capazes de implantar esses produtos com ciência de dados ou pesquisa. Temos que administrar uma equipe de produto. Temos que ser enxutos e eficientes, mas também temos que funcionar um pouco como uma equipe de pesquisa onde criamos espaço para inovação. Passou duas semanas trabalhando em algo e não deu em nada? Isso é bom. Temos que estar dispostos a investir nisso. Então, eu acho que um modelo centralizado que vai ajudar em uma base de projeto por projeto é o modelo certo no momento.

Mantendo a realidade

Des Traynor: Como você lida com o fato de alguém como Fergal dizer: “Ei, Paul, vamos tentar um produto que pode transformar a natureza do nosso produto de suporte ao cliente, mas pode não funcionar, e você pode não ver nada no primeiro lado de tudo isso.” Ao mesmo tempo, alguém como eu está dizendo: “Ei, precisamos acertar os roteiros e precisamos dizer à empresa o que estamos construindo e dizer à equipe de vendas o que vender”. Como você resolve essa complexidade?

Paul Adams: Como alguém que trabalhou por anos em produtos que nunca foram lançados, tenho cicatrizes profundas sobre qualquer cheiro de algo que não será lançado o mais rápido possível, o mais pequeno possível.

Des Traynor: Este seria seu antigo empregador, para ser claro, certo?

Paulo Adams: Sim. No meu antigo emprego, sim. Mas desde o primeiro dia na Intercom, Des e eu sempre fomos obcecados por enviar e começar pequeno. Somos obcecados em definir o escopo e obter algo o mais rápido possível, a menor solução mais rápida para o problema que identificamos. Então eu tenho um desejo que é sempre o caso.

“Eu venho da academia, e quem já teve tempo na academia provavelmente já viu tantos projetos que prometiam a lua no palito e depois nunca fazem nada”

Agora, obviamente, isso é diferente. Uma pergunta que eu adoraria que Fergal respondesse – um pouco de observação, mas acho importante – quando você estava respondendo a pergunta de Des anteriormente sobre como você conta com uma equipe de aprendizado de máquina, você está falando sobre os engenheiros de ML . Para quase toda a história da nossa equipe de ML aqui, foram os engenheiros de ML. Mas recentemente contratamos um designer de ML. Você pode nos contar brevemente sobre isso também? Porque eu acho que isso é uma parte importante da resposta aqui. O que o designer de ML faz e qual é a diferença?

Fergal Reid: Então, essa é uma pergunta difícil. Este é o início de sua terceira semana, então eu não quero falar no podcast sobre o que ela vai fazer antes de falar com ela…

Des Traynor: Em um nível mais alto. O que você acha do design de aprendizado de máquina versus design regular?

Fergal Reid: Deixe-me inverter a ordem novamente, e eu voltarei a isso. Eu odeio trabalhar em coisas que não são enviadas. Eu tenho um Ph.D., venho da academia, e qualquer um que tenha tido tempo na academia provavelmente já viu tantos projetos que prometiam a lua no palito e depois nunca fazem nada. E parte disso é desperdício necessário, certo? Você tem que tentar muitas coisas porque é muito arriscado. Mas parte disso nunca iria funcionar. E então separar essas duas coisas é absolutamente fundamental aqui. Quero que a equipe de aprendizado de máquina seja o mais exploratória e arriscada possível e não mais exploratória e não mais arriscada do que o necessário.

Tentamos trilhar dois mundos aqui. Tentamos manter esses princípios extremamente firmes da Intercom: se você vai falhar, falhe rápido; comece com o problema; comece pequeno, mova-se em pequenos passos. Nós nos esforçamos muito para seguir esses princípios. Mas fazemos a pesquisa e as coisas arriscadas quando precisamos, se estivermos bastante convencidos de que alguém gostaria disso. Queremos ser muito, muito claros sobre o risco que estamos tentando eliminar em cada fase do desenvolvimento. Então, sim, é assim que operamos. Eu diria que somos mais pesquisadores do que a equipe média da Intercom, mas provavelmente mais ponderados sobre avançar em pequenos passos e exatamente sobre o risco que estamos tentando reduzir do que a grande maioria das equipes de ML no mundo. Certamente muito mais do que uma equipe de laboratório de pesquisa tenderia a ser.

With that in mind, we've recently hired a designer for the first time in the five years we've had a machine learning team. That's partly because the team is getting a bit bigger and can kind of support that, and since our team has grown, our work is touching more and more parts of the Intercom product, and we can do better than handling the product design ourselves and having a ML engineer figure out the product design envelope. We'll be able to increase the scope of things we can interact with less with disruption to the teams in whose area we're operating.

“Even when you're doing something as simple as testing a ML system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity”

Des Traynor: Is it a different type of design?

Fergal Reid: There is definitely a certain type of design specific to ML and ML products. And we can see this when we're interviewing or interacting with designers in this space. There's sort of a product design or a systems design, and a lot of the time, its aspects are closer to API design than UI design. And obviously, there's a big spectrum here. We have a great design team at Intercom. We have people used to working in all different parts of that spectrum. But there's definitely a difference.

And also, you're looking for quantitative skills to make progress in this space. It's very immature technology. There will come a time, I'm sure, in five, 10 years, I don't know, when Amazon and Google and everyone will have figured out the best API. And it's going to have really nice docs and explain to you all the premises of that space, but we're not there yet. We're a very, very long way away from there. There are just so many trade-offs. Even when you're doing something as simple as testing a machine learning system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity. Some designers are great at that, but for other designers, that wouldn't be how they'd like to work. And so, you're looking for something that treads all those needles at once.

The future of conversations

Des Traynor: We're coming towards the end here. I would like to try a little quick-fire round that I haven't prepared you for at all.

Fergal Reid: Sounds good.

Des Traynor: Here's my proposal. I name a product or a product space, and you tell me something that you think is possible that people don't think about.

Fergal Reid: Oh my God. OK. This is going to be futuristic and speculative and wrong, but let's do it.

Des Traynor: Let's start. Issue tracking.

Fergal Reid: A lot like customer support. You can probably do a lot more with clustering issues and detecting when a bunch of issues have one root cause. You can probably do much better in terms of the next best action about suggestions and resolutions for common issues you've seen before.

“We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent”

Des Traynor: Cool. This is going well. Project management apps. Say Basecamp or Asana or something like that.

Fergal Reid: Project management apps. Probably an insights layer, and you can build on top of that stuff. People always say that. It's always easy to say and extremely difficult to make an insights product work, but it's probably an insights layer. There's probably a lot you can do with unstructured assets that are part of the project you're tracking, and you can start to make sense of those that you couldn't in the past. Definitely field research, but there's probably something there.

Des Traynor: Cool. Paul, do you have any?

Paul Adams: Well, one hot space we mentioned earlier is communication products. I'm thinking about Gmail, for example. Gmail was the same for the best part of a decade. And now, suddenly, it feels like there's an explosion in all sorts of cool things happening in Gmail.

Fergal Reid: This is going to sound very self-serving, but I think that the sort of domain we're in at Intercom is going to drive a lot of extremely exciting innovation that is going to percolate out to broader, more horizontal products like Gmail. To give an example of why I think this: if you look at our customers as they use Intercom, they're having so many of the same conversations again and again. There's so much structure in that domain. It's this mix of unstructured texts that they're writing, but then there's so much structure to the conversation, whereas Gmail is broad and horizontal. If you look at my inbox, any email could be completely different than the last. So, I feel that companies like us working in areas like customer support are going to be in a great position to innovate because there's just so much structure to take advantage of there. You're going to have suggestions, recommendations, and automation. And I think that will percolate out. That will go out to these broader, more horizontal products after it has proven its business value. We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent. It's starting to scratch that direction, and we're going to see more and more of that.

Paul Adams: It's easy for me to imagine a world where a WhatsApp exchange between any one of us is literally just tap, reply. Tap, reply. Tap, reply.

Des Traynor: We're trying to go for dinner. Here are four places. Bang. What time? Bang.

Paul Adams: But literally, you're just inserting the recommended content.

“If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface”

Fergal Reid: Now, is the future of the inbox something where you're sitting almost looking at this dashboard of a conversational tree unfolding and your job is to guide the AI to answer questions for you? Maybe the future of coms and conversations looks a lot less like typing on a keyboard. You're still going to do that sometimes, but maybe 80% of what you do will be much more structured, like guiding the branches on a tree.

Des Traynor: The AI stops augmenting you, you start augmenting it.

Fergal Reid: Exactly, which is good. It's almost like you're managing somebody who's answering your conversations. And that's always my number one thinking tool for AI disruption. Imagine you had a very well-paid, smart human doing the task, and you told them what to do. What would that look like? People were like, “Oh, there'll never be software that automatically programs, or it will never have visual programming. We've tried it a whole bunch of times.” Well, I used to do programming competitions, and if you have a highly skilled developer, you don't say the exact keystrokes. You say, “Oh, now flip the list around. OK. And then filter out those two things.” If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface. That's a great starting point for where AI could take us.

Des Traynor: That's fascinating. Okay, last question. You mentioned that AI is a disruptive force. If our listeners haven't already embarked upon an AI, ML journey, and let's say they have the budget for a couple of heads, what's the best thing to do?

Fergal Reid: Like any disruptive tech change, the first question is always: Is it still worth ignoring? And how long can you ignore it for? And I'm not saying to race and do something now. Maybe you're in a space where you should continue to ignore this as it matures for another few years. If you can't ignore it, or if you want to do something in this space, I would say to concentrate your resources and your budget and get someone who's got some deep experience at the tech end and enough of a product head on their shoulders that they can go and work with your product team productively. And start exploring opportunities from there. Start building relationships with the designers and the company. Start sketching and figuring out, “Okay, what would be possible to design here?” And start mocking up some designs. Do they look exciting? Do they look good? Show them to your customers. Get customer feedback and take it from there.

After that, you're into the standard product development – how do you know how to resource something or not? But yeah, concentrate your resources and get someone who knows what you're doing as much as possible, and then have them pair with your existing organizational assets. Don't go and say, “We're going to do some blue sky thinking. We're going to start a new lab and put it off-site, and they're going to go and build nothing for two years, and it'll be very impressive.” No, definitely tread that balance. That's what it's all about. It's about marrying and balancing technology and design.

Des Traynor: Fergal Reid, thank you very much for joining us. Thank you, Paul. And we'll see you all again for Intercom on Product. Take care, everyone.