Uma nova era de UX: evoluindo sua abordagem de design para produtos de IA

Antes do ChatGPT entrar em cena, há um ano, a inteligência artificial (IA) e o aprendizado de máquina (ML) eram ferramentas misteriosas de especialistas e cientistas de dados – equipes com muita experiência de nicho e conhecimento de domínio especializado. Agora, as coisas são diferentes.

Você provavelmente está lendo isto porque sua empresa decidiu usar o GPT da OpenAI ou outro LLM (modelo de linguagem grande) para construir recursos generativos de IA em seu produto. Se for esse o caso, você pode estar animado (“É tão fácil criar um novo recurso excelente!”) ou sobrecarregado (“Por que obtenho resultados diferentes a cada vez e como faço para que ele faça o que quero?”)Ou talvez você esteja sentindo os dois!

Trabalhar com IA pode ser um novo desafio, mas não precisa ser intimidante. Esta postagem resume minha experiência de anos passados ​​projetando abordagens “tradicionais” de ML em um conjunto simples de perguntas para ajudá-lo a avançar com confiança ao começar a projetar para IA.

Um tipo diferente de design UX

Primeiro, algumas informações básicas sobre como o design AI UX é diferente do que você está acostumado a fazer. (Observação: usarei IA e ML de forma intercambiável nesta postagem.) Você deve estar familiarizado com o modelo de design UX de 5 camadas de Jesse James Garrett.

Diagrama de elementos de experiência do usuário de Jesse James Garrett

O modelo de Garrett funciona bem para sistemas determinísticos, mas não captura os elementos adicionais de projetos de aprendizado de máquina que afetarão as considerações de UX posteriormente. Trabalhar com ML significa adicionar uma série de camadas adicionais ao modelo, dentro e ao redor da camada de estratégia. Agora, além do que você está acostumado a projetar, você também precisa de um conhecimento mais profundo sobre:

• Como o sistema é construído.
• Quais dados estão disponíveis para seu recurso, o que eles incluem, quão bons e confiáveis ​​são.
• Os modelos de ML que você usará, bem como seus pontos fortes e fracos.
• As saídas que seu recurso irá gerar, como elas irão variar e quando irão falhar.
• Como os humanos podem reagir a esse recurso de maneira diferente do que você esperaria ou desejaria.

Em vez de se perguntar “Como podemos fazer isso?” em resposta a um problema conhecido e com escopo definido, você pode se perguntar: “Podemos fazer isso?”

Especialmente se você estiver usando LLMs, provavelmente estará trabalhando de trás para frente a partir de uma tecnologia que desbloqueia recursos inteiramente novos e terá que determinar se eles são apropriados para resolver problemas que você conhece ou mesmo problemas que você nunca considerou solucionáveis. antes. Talvez você precise pensar em um nível mais alto do que o normal – em vez de exibir unidades de informação, você pode querer sintetizar grandes quantidades de informações e apresentar tendências, padrões e previsões.

“Você está projetando um sistema probabilístico que é dinâmico e que reage às entradas em tempo real”

Mais importante ainda, em vez de projetar um sistema determinístico que faça o que você manda, você está projetando um sistema probabilístico que é dinâmico e que reage às entradas em tempo real – com resultados e comportamentos que às vezes serão inesperados ou inexplicáveis. e onde pesar as compensações pode ser um exercício obscuro. É aqui que entra em jogo o meu conjunto de cinco perguntas-chave – não para lhe fornecer respostas, mas para ajudá-lo a dar o próximo passo face à incerteza. Vamos mergulhar.

1. Como você garantirá dados confiáveis?

Os cientistas de dados adoram dizer “Entra lixo, sai lixo”. Se você começar com dados ruins, geralmente não há como acabar com um bom recurso de IA.

Por exemplo, se você estiver construindo um chatbot que gera respostas com base em uma coleção de fontes de informação, como artigos em uma central de ajuda online, artigos de baixa qualidade garantirão um chatbot de baixa qualidade.

Quando a equipe da Intercom lançou o Fin no início de 2023, percebemos que muitos de nossos clientes não tinham uma noção precisa da qualidade de seu conteúdo de ajuda até começarem a usar o Fin e descobrirem quais informações estavam ou não presentes ou claras em seu conteúdo. O desejo por um recurso útil de IA pode ser uma excelente função para forçar as equipes a melhorar a qualidade de seus dados.

Então, o que são bons dados? Bons dados são:

• Preciso: os dados representam corretamente a realidade. Ou seja, se eu tenho 1,7m de altura, é o que consta no meu prontuário de saúde. Não diz que tenho 1,9m de altura.
• Completo: os dados incluem os valores necessários. Se precisarmos da medição da altura para fazer uma previsão, esse valor estará presente em todos os registros de saúde dos pacientes.
• Consistente: os dados não contradizem outros dados. Não temos dois campos para altura, um com 1,7m e outro com 1,9m.
• Fresco: os dados são recentes e atualizados. Seu registro de saúde não deve refletir sua altura aos 10 anos de idade se você for adulto – se mudou, o registro deve mudar para refletir isso.
• Único: os dados não são duplicados. Meu médico não deveria ter dois registros de pacientes para mim, ou eles não saberão qual é o correto.

É raro ter muitos dados de alta qualidade, então talvez você precise fazer uma troca entre qualidade e quantidade ao desenvolver seu produto de IA. Você pode criar manualmente uma amostra menor (mas esperançosamente ainda representativa) de dados ou filtrar dados antigos e imprecisos para criar um conjunto confiável.

Tente iniciar seu processo de design com uma noção precisa de quão bons são seus dados e um plano para melhorá-los, caso não sejam bons no início.

2. Como você ajustará seu processo de design?

Como sempre, é útil começar com uma exploração de baixa fidelidade para determinar a experiência de usuário ideal para o problema que você espera resolver. Você provavelmente nunca verá isso em produção, mas esta estrela do norte pode ajudar a alinhar você e sua equipe, deixá-los entusiasmados e também fornecer um ponto de partida concreto para investigar até que ponto isso realmente é viável.

“Passe algum tempo entendendo como o sistema funciona, como os dados são coletados e usados ​​e se o seu projeto captura a variação que você pode ver nos resultados do modelo”

Depois de fazer isso, é hora de projetar o sistema, os dados e as saídas de conteúdo. Volte para a sua estrela do norte e pergunte “O que eu projetei é realmente possível? Quais são algumas variações caso X ou Y não funcione bem?”

Passe algum tempo entendendo como o sistema funciona, como os dados são coletados e usados ​​e se o seu projeto captura a variação que você pode ver nos resultados do modelo. Com a IA, um resultado ruim é uma experiência ruim. No exemplo do chatbot, isso pode parecer uma resposta que não fornece detalhes suficientes, responde a uma pergunta tangencial ou não esclarece a pergunta quando deveria.

Dois exemplos de como a saída de um chatbot de IA pode ser exibida

Na ilustração acima, o exemplo à esquerda é semelhante a muitos resultados iniciais que vimos ao desenvolver nosso chatbot Fin, que eram precisos, mas não muito informativos ou úteis porque se referiam ao artigo original em vez de indicar a resposta in-line. O design ajuda você a chegar ao exemplo à direita, que tem uma resposta mais completa com etapas e formatação claras.

Não deixe o conteúdo do resultado para seus engenheiros – a experiência disso deve ser projetada. Se você estiver trabalhando em um produto baseado em LLM, isso significa que você deve experimentar a engenharia imediata e desenvolver seu próprio ponto de vista sobre qual deve ser a forma e o escopo do resultado.

Você também precisará considerar como projetar um novo conjunto de possíveis estados de erro, riscos e restrições:

Estados de erro

• Problema de inicialização a frio: os clientes podem ter poucos ou nenhum dado quando usam seu recurso pela primeira vez. Como eles obterão valor desde o início?
• Sem previsão: o sistema não tem resposta. O que acontece depois?
• Previsão ruim: o sistema apresentou um resultado ruim. O usuário saberá que está errado? Eles podem consertar isso?

Riscos

• Falsos positivos , como quando a previsão do tempo prevê chuva, mas não chove. Haverá um resultado negativo se isso acontecer com o seu produto?
• Falsos negativos , como quando a previsão do tempo não prevê chuva, mas há chuva torrencial. Qual será o resultado se isso acontecer com o seu recurso?
• Riscos do mundo real , como quando os resultados do BC influenciam ou impactam diretamente a vida, os meios de subsistência e as oportunidades das pessoas. Eles são aplicáveis ​​ao seu produto?

Novas restrições

• Restrições do usuário , como modelos mentais incorretos sobre como o sistema funciona, expectativas ou medos irrealistas em relação ao seu produto ou a chance de complacência ao longo do tempo.
• Restrições técnicas , como API ou custo de armazenamento e computação, latência, tempo de atividade, disponibilidade de dados, privacidade de dados e segurança. Estes são principalmente um problema para seus engenheiros, mas também podem ter um impacto direto na experiência do usuário, portanto, você deve compreender as limitações e possibilidades.

3. Como funcionará quando o ML falhar?

Quando, nãose. Se você está surpreso com a forma como seu produto de IA falha na produção, é porque você não fez testes suficientes de antemão. Sua equipe deve testar seu produto e resultados durante todo o processo de construção, e não esperar até que você esteja prestes a enviar o recurso aos clientes. Testes rigorosos lhe darão uma ideia sólida de como e quando seu produto pode falhar, para que você possa criar experiências de usuário para mitigar essas falhas. Aqui estão algumas maneiras de testar seu produto com eficácia.

Comece com seus protótipos de design

Protótipo com dados reais, tanto quanto possível. “Lorem ipsum” é seu inimigo aqui – use exemplos reais para testar seu produto. Por exemplo, ao desenvolver nosso chatbot Fin de IA, foi importante testar a qualidade das respostas dadas às perguntas reais dos clientes, usando artigos reais da central de ajuda como material de origem.

Um exemplo de como dois designers podem abordar o projeto de um chatbot que forneça respostas geradas por IA

Nesta comparação, podemos ver que o exemplo colorido à esquerda é mais atraente visualmente, mas não dá detalhes sobre a qualidade da experiência de geração de respostas. Possui alta fidelidade visual, mas baixa fidelidade de conteúdo. O exemplo à direita é mais informativo para testar e validar se as respostas da IA ​​são realmente de boa qualidade, pois possui alta fidelidade de conteúdo.

Os designers costumam estar mais familiarizados com o trabalho na faixa de fidelidade visual. Se estiver projetando para ML, você deve tentar trabalhar de acordo com o espectro de fidelidade do conteúdo até ter validado totalmente que os resultados são de qualidade suficiente para seus usuários.

O design colorido do Fin não o ajudará a avaliar se o chatbot pode responder às perguntas bem o suficiente para que os clientes paguem por ele. Você obterá um feedback melhor mostrando aos clientes um protótipo, por mais básico que seja, que mostra resultados reais de seus dados reais.

Teste em larga escala

Quando você achar que obteve resultados consistentemente de boa qualidade,faça um backtest para validar a qualidade de seus resultados em uma escala maior.Isso significa que seus engenheiros voltem e executem o algoritmo com base em mais dados históricos onde você conhece ou pode avaliar com segurança a qualidade do resultado. Você deve revisar os resultados quanto à qualidade e consistência – e para revelar quaisquer surpresas.

Aborde seu produto mínimo viável (MVP) como um teste

Seu MVP ou versão beta deve ajudá-lo a resolver quaisquer questões restantes e encontrar mais surpresas em potencial. Pense fora da caixa para o seu MVP – você pode construí-lo no produto ou pode ser apenas uma planilha.

“Faça com que os resultados funcionem e, em seguida, construa o envelope do produto em torno deles”

Por exemplo, se você estiver criando um recurso que agrupa grupos de artigos em áreas de tópico e depois define os tópicos, você vai querer garantir que obteve o cluster certo antes de construir a UI completa. Se seus clusters forem ruins, talvez seja necessário abordar o problema de maneira diferente ou permitir diferentes interações para ajustar os tamanhos dos clusters.

Você pode querer “construir” um MVP que seja apenas uma planilha de resultados e tópicos nomeados, e ver se seus clientes encontram valor na maneira como você o fez. Faça com que os resultados funcionem e, em seguida, construa o envelope do produto em torno deles.

Execute um teste A/B ao lançar seu MVP

Você desejará medir o impacto positivo ou negativo do seu recurso. Como designer, você provavelmente não será responsável por configurar isso, mas deve procurar entender os resultados. As métricas indicam que seu produto é valioso? Há algum fator de confusão na UI ou UX que você possa precisar alterar com base no que está vendo?

“Você pode usar a telemetria do uso do seu produto combinada com feedback qualitativo do usuário para entender melhor como seus usuários estão interagindo com seu recurso e o valor que eles obtêm dele”

Na equipe da Intercom AI, executamos testes A/B sempre que lançamos um novo recurso com um volume de interações alto o suficiente para determinar a significância estatística dentro de algumas semanas. Para alguns recursos, porém, você simplesmente não terá volume – nesse caso, você pode usar a telemetria do uso do seu produto combinada com feedback qualitativo do usuário para entender melhor como seus usuários estão interagindo com seu recurso e o valor que eles obtêm. isto.

4. Como os humanos se enquadrarão no sistema?

Existem três estágios principais do ciclo de vida de uso do produto que você deve considerar ao construir um produto de IA:

1. Configurando o recurso antes de usar .Isso pode incluir a escolha de um nível de autonomia sob o qual o produto operará, a curadoria e a filtragem de dados que serão usados ​​para previsões e a definição de controles de acesso. Um exemplo disso é a estrutura de automação de veículos autônomos da SAE International, que descreve o que o veículo pode fazer sozinho e quanta intervenção humana é permitida ou necessária.
2. Monitorando o recurso enquanto ele está em operação.O sistema precisa de um ser humano para mantê-lo sob controle enquanto funciona? Você precisa de uma etapa de aprovação para garantir a qualidade? Isso pode significar verificações operacionais, orientação humana ou aprovações em tempo real antes que um resultado de IA seja enviado ao usuário final. Um exemplo disso poderia ser um assistente de redação de artigos de IA, que sugere edições em um rascunho de artigo de ajuda que um redator deve aprovar antes de colocá-lo no ar.
3. Avaliando o recurso após o lançamento.Isso geralmente significa relatar, fornecer ou agir com feedback e gerenciar mudanças de dados ao longo do tempo. Nesta fase, o usuário analisa o desempenho do sistema automatizado, comparando-o com dados históricos ou analisando a qualidade e decidindo como melhorá-la (por meio de treinamento de modelo, atualizações de dados ou outros métodos). Um exemplo disso pode ser um relatório detalhando quais perguntas os usuários finais fizeram ao seu chatbot de IA, quais foram as respostas e sugestões de alterações que você pode fazer para melhorar as respostas do chatbot a perguntas futuras.

Você também pode usar essas três fases para ajudar a informar seu roteiro de desenvolvimento de produto. Você pode ter vários produtos e várias UIs baseadas na mesma tecnologia de back-end de ML ou muito semelhante e apenas mudar onde o humano está envolvido. O envolvimento humano em diferentes pontos do ciclo de vida pode mudar completamente a proposta do produto.

Você também pode abordar o design de produtos de IA em termos de tempo: construir algo agora que possa precisar de um ser humano em um determinado momento, mas com um plano para removê-los ou movê-los para um estágio diferente assim que seus usuários finais se acostumarem com os resultados e a qualidade do recurso de IA.

5. Como você construirá a confiança do usuário no sistema?

Ao introduzir IA em um produto, você está introduzindo um modelo com agência para atuar no sistema, quando antes apenas os próprios usuários tinham essa agência. Isso adiciona risco e incerteza para seus clientes. O nível de escrutínio que seu produto recebe aumentará compreensivelmente e você precisará conquistar a confiança dos usuários.

Você pode tentar fazer isso de algumas maneiras:

• Ofereça um “lançamento obscuro” ou experiência lado a lado onde os clientes podem comparar ou ver os resultados sem expô-los aos usuários finais. Pense nisso como uma versão voltada para o usuário do backtesting que você fez anteriormente no processo – o objetivo aqui é dar aos seus clientes confiança na variedade e na qualidade dos resultados que seu recurso ou produto fornecerá. Por exemplo, quando lançamos o chatbot Fin AI da Intercom, oferecemos uma página onde os clientes podiam fazer upload e testar o bot com seus próprios dados.
• Inicie o recurso primeiro sob supervisão humana. Depois de algum tempo com bom desempenho, seus clientes provavelmente confiarão que ele funcionará sem monitoramento humano.
• Facilite a desativação do recurso se ele não estiver funcionando. É mais fácil para os usuários adotarem um recurso de IA em seu fluxo de trabalho (especialmente um fluxo de trabalho de negócios) se não houver risco de que eles possam bagunçar algo e não conseguirem impedi-lo.
• Crie um mecanismo de feedback para que os usuários possam relatar resultados ruins e, idealmente, faça com que seu sistema atue de acordo com esses relatórios para fazer melhorias no sistema. No entanto, certifique-se de definir expectativas realistas sobre quando e como o feedback será aplicado, para que os clientes não esperem melhorias instantâneas.
• Crie mecanismos de relatórios robustos para ajudar seus clientes a entender o desempenho da IA ​​e qual ROI eles estão obtendo com ela.

Dependendo do seu produto, você pode tentar mais de um deles para incentivar os usuários a ganhar experiência e se sentirem confortáveis ​​com seu produto.

Paciência é uma virtude quando se trata de IA

Espero que essas cinco perguntas ajudem a guiá-lo em sua jornada para o novo e dinâmico mundo do desenvolvimento de produtos de IA. Um último conselho: seja paciente ao lançar seu produto. Pode ser necessário um esforço significativo para colocar um recurso de ML em funcionamento e ajustado à maneira como a empresa gosta de trabalhar e, portanto, a curva de adoção pode parecer diferente do que você imagina.

“Depois de criar alguns recursos de IA, você começará a ter uma noção melhor de como seus clientes específicos reagirão a novos lançamentos”

É provável que demore um pouco até que seus clientes vejam o valor mais alto ou antes que possam convencer suas partes interessadas de que a IA vale o custo e deve ser lançada de forma mais ampla para seus usuários.

Mesmo os clientes que estão realmente entusiasmados com seu recurso ainda podem levar algum tempo para implementá-lo, seja porque precisam fazer um trabalho de preparação, como limpar seus dados, ou porque estão trabalhando para desenvolver confiança antes de lançá-lo. Pode ser difícil prever qual adoção você deve esperar, mas depois de criar alguns recursos de IA, você começará a ter uma noção melhor de como seus clientes específicos reagirão a novos lançamentos.