Chatbots de teste A/B: como começar (e por que você deve)

"Ei

Eu sou um Bottybot!

Como posso ajudá-lo?"

Eu não sei quais sites você vai visitar hoje… mas você vai acabar visitando pelo menos um onde você vai ouvir um som *Pop* e um bot vai começar a “falar” com você.

… Oferecendo suporte pré-venda.

Ou ajudá-lo com suas perguntas pós-venda.

Ou simplesmente oferecendo suporte.

Todos os dias, os chatbots têm milhões dessas conversas com usuários; trazendo resultados de negócios reais e tangíveis, como mais leads, mais vendas e maior fidelidade do cliente. E eles são bastante populares, com impressionantes 80% das empresas previstas para usá-los até 2020.

Como os chatbots geram receita, eles podem – como qualquer outro canal de receita – ser otimizados para obter melhores resultados.

Otimizando Chatbots com Testes A/B (e outros experimentos)

Dependendo de como você usa chatbots em sua estratégia de marketing, vendas e suporte, realizar experimentos com eles pode oferecer muitos benefícios.

Por exemplo, experimentos de chatbot podem ajudar você a identificar:

• Sequências de pré-venda que geram mais e melhores leads
• Mensagens de teste que convertem mais leads em clientes
• Experiências de integração que convertem melhor
• Sequências de sucesso do cliente que resultam em maior satisfação (e fidelidade) do cliente
• …. E suporte a sequências que resultam em menos tickets

Resumindo: se você é uma empresa que usa chatbots, pode melhorar seu ROI do canal com testes A/B.

Algumas soluções de chatbot vêm com funcionalidades nativas de teste A/B que permitem que as empresas executem experimentos para encontrar as mensagens, sequências, gatilhos e muito mais com melhor desempenho.

Mas, para executar experimentos CRO significativos para chatbots, você deve usar o processo de otimização correto.

Chatbots de teste A/B: o processo

Antes de começar a criar seus experimentos de chatbot, primeiro escolha as métricas que deseja melhorar.

Por exemplo, se você estiver usando um chatbot para marketing, sua métrica pode ser o número de leads que optam por participar após uma interação bem-sucedida do chatbot .

Como alternativa, se você estiver usando um chatbot para aumentar as vendas, sua métrica pode ser o número de leads de teste cuja pontuação de engajamento melhora devido à interação com o chatbot .

Por fim, se você estiver usando um chatbot para oferecer suporte, sua métrica pode ser a diminuição percentual no número de tickets de entrada .

Seja o que for, depois de identificar a métrica (ou métricas) para otimizar, você está pronto para começar a trabalhar em seu experimento de chatbot.

Aqui estão três etapas simples para configurar e executar testes A/B de chatbot vencedores:

Passo #1: Elaboração de Hipóteses

Assim como os experimentos regulares de sites ou aplicativos, os experimentos de chatbot também começam com uma hipótese clara.

Por exemplo, quando a Magoosh, uma empresa de preparação para testes online, decidiu realizar um experimento de integração, começou com uma hipótese clara:

Se enviarmos aos clientes de teste uma mensagem de boas-vindas quando eles fizerem login pela primeira vez em um produto Magoosh, eles estarão mais propensos a comprar contas premium no futuro.

Embora o Magoosh não tenha testado exatamente um chatbot, ele testou se o envio de uma mensagem automatizada de boas-vindas no chat de integração do cliente poderia ajudar com mais conversões.

Em sua estratégia de teste de chatbot, sua hipótese pode se tornar “Oferecer assistência automatizada de chatbot para novas inscrições de teste resultaria em… ”

Você entendeu a ideia, certo?

Recursos úteis:

Ferramentas para escrever hipóteses para seus experimentos: Estas são cinco ferramentas CRO muito legais que ajudarão você a escrever uma hipótese vencedora para testes A/B de seus chatbots.

Como criar uma hipótese de teste A/B vencedora: Este webinar divide o processo de escrever uma hipótese vencedora em cinco etapas simples. Um must-watch se você está apenas começando com experimentos.

Geração de Hipóteses de Teste A/B Complexo: Este é outro excelente tutorial sobre como escrever hipóteses para seu experimento. Essas táticas hipotéticas se aplicam perfeitamente a experimentos de chatbot.

Etapa 2: projetando os experimentos

Assim como você faria em um teste A/B regular ou experimento CRO, em sua segunda etapa, você precisa “criar” seus experimentos de chatbot.

Nesta etapa, você precisa traduzir sua hipótese em uma “mudança” (ou um conjunto de mudanças) para testar.

Por exemplo, se você levantou a hipótese de que um chatbot “mais de marca” obterá melhores resultados para sua equipe de marketing, nesta etapa, você terá que ver quais elementos de sua caixa de bate-papo poderiam ter uma marca melhor. Pode ser a voz ou o tom do seu chatbot ou simplesmente a interface visual.

Enquanto você está nesta etapa, confira este guia do pessoal incrível de Alma. Será muito útil para projetar seus experimentos. Por exemplo, neste experimento de branding, basta visitar a seção de personalidade deste guia de teste de chatbot e você verá algumas perguntas que mostrarão os itens de branding com os quais você pode realmente experimentar. Veja a captura de tela abaixo para se inspirar:

Depois de saber quais elementos/elementos você testará (com base em sua hipótese), determine a duração do seu experimento de chatbot e o tamanho da amostra.

Recursos úteis:

Ferramentas para calcular a duração e o tamanho da amostra de seus experimentos: aqui estão algumas das melhores ferramentas de CRO para calcular o tamanho e a duração ideais da amostra para seus experimentos de chatbot.

Calculadora de duração do teste A/B do Convert: Basta inserir seus dados nesta calculadora e você saberá por quanto tempo seu teste ou experimento de chatbot deve ser executado. Calculadora de duração do teste A/B do Convert: Basta inserir seus dados nesta calculadora e você saberá por quanto tempo seu teste ou experimento de chatbot deve ser executado.

Etapa 3: Aprendendo com as Experiências

Depois que seu experimento terminar e os dados estiverem disponíveis, é hora de analisar suas descobertas.

Normalmente, existem apenas três resultados para qualquer experimento de otimização, incluindo os que você executará para seus chatbots. Estes são:

• O controle perde. Aqui, sua hipótese é validada e sua mudança traz um impacto positivo nos números. Um exemplo de tal resultado seria obter 1000 opt-ins em vez de 890, alterando a imagem do perfil do seu chatbot de um desenho animado para um mascote.
• O controle vence. Aqui, sua hipótese precisa ser rejeitada, pois sua mudança traz um impacto negativo nos números. Por exemplo, a nova foto do perfil do mascote está recebendo inscrições muito mais baixas do que a foto normal dos desenhos animados.
• O teste é inconclusivo. Estes são geralmente os resultados mais comuns e muitas vezes mais frustrantes, porque você não obtém significância estatística para ter um vencedor claro.

Então, uma vez que você tenha os resultados do seu teste, você precisa voltar para a etapa 1 da sua experiência: a etapa da hipótese.

Ou você pode iniciar um novo experimento para testar uma nova hipótese ou ir com testes iterativos, o que significa voltar a uma hipótese que não foi validada (por causa de um teste perdedor ou inconclusivo), melhorá-la e, em seguida, re-validar. executando o teste.

Ao fazer testes iterativos, certifique-se de gastar tempo para entender por que seu teste falhou na primeira tentativa.

Acho:

Estava escolhendo um segmento de teste errado?

Foi uma hipótese ruim o tempo todo?

Sua logística de teste foi ruim? A ideia aqui é aprender tudo o que puder com suas vitórias, derrotas e até mesmo seus experimentos inconclusivos de chatbot, porque é assim que você otimiza – com aprendizado contínuo.

Embrulhando-o …

Se você é mais experiente em tecnologia, pode levar seus experimentos de chatbot a um nível totalmente novo testando com o conteúdo que você alimenta seu chatbot (ou sua “base de conhecimento”).

Ou você também pode tentar um algoritmo de aprendizado diferente.

Os chatbots estão aqui para ficar e, à medida que o aprendizado de máquina amadurece, eles estarão à frente e no centro, atuando como o primeiro ponto de contato com grandes segmentos de seus clientes em potencial.

Faz sentido embarcar no teste A/B de seu desempenho.