Como criar um sistema de comunicação para sua equipe de teste A/B

Podemos executar os melhores testes do mundo e ter os dados mais precisos, mas, a menos que seja aplicado, torna-se inútil.

Resultados de testes vitais que podem mudar a cara de uma empresa podem ficar ignorados e perdidos no barulho ou pior: debatidos contra opiniões, mesmo quando a prova está bem na sua frente.

Pode ser incrivelmente frustrante e a ruína de muitas equipes de testes A/B. Uma coisa é clara embora. Se queremos superar isso, precisamos aprender a nos comunicar melhor:

• Para agilizar a comunicação com as partes interessadas,
• Para obter ações tomadas a partir de resultados,
• Para coletar novas ideias de teste de toda a equipe,
• E muito mais.

Felizmente, é exatamente isso que vamos abordar no guia de hoje. Por que a comunicação é importante para testes A/B, como melhorá-la e como estruturar a entrega dessas informações dependendo de com quem você está falando na empresa. (Observação: este guia é voltado para empresas que realizam seus testes internamente. Se você trabalha com uma agência, pode se beneficiar da leitura deste guia completo.)

Então vamos mergulhar…

O que é uma cultura de experimentação e por que ela depende da comunicação?

À medida que um programa de teste A/B 'amadurece', ele se afasta do simples teste de melhorias e começa a evoluir. O objetivo final idealmente é se tornar uma empresa orientada por dados. Uma empresa que toma suas decisões com base em dados e informações e longe de opinião.

Isso pode ajudar a empresa a crescer e fazer ofertas com base no que seu público e mercado desejam, e é uma metodologia fundamental para muitos líderes de mercado.

Uma grande parte dessa evolução está deixando de simplesmente testar mais conversões e até mesmo pensando em experimentação em um departamento e, em vez disso, movendo-se em direção a uma cultura de experimentação . É aqui que toda a empresa adota a mentalidade e as práticas de experimentação . (Onde o teste é democratizado e usado em todas as equipes e departamentos.)

Isso não apenas ajuda a obter adesão (porque todos estão aplicando os princípios de teste), mas você ficará surpreso com quantas melhorias poderá encontrar em toda a sua empresa ao adotar essas novas formas de pensar. O aumento em uma página de vendas é ótimo, mas imagine se seu departamento de devoluções percebesse uma nova maneira de diminuir o churn, simplesmente testando A/B seus processos de comunicação?

A realidade, porém, é dura. Querer essa cultura e construí-la não é tão simples quanto todos concordarem com a ideia.

Erros comuns que fazem com que as empresas falhem na construção de uma cultura de experimentação

Os programas de teste sofrem quando a comunicação falha. Na verdade, todos os projetos podem falhar quando a comunicação falha.

Em um estudo do Project Management Institute, eles descobriram que 56% dos projetos que falharam resultaram de má comunicação.

Enquanto 86% dos executivos e funcionários em um estudo de Pumble afirmaram que achavam que a comunicação ruim era a causa de grandes falhas. Curiosamente, no mesmo estudo, eles descobriram que as equipes com boa comunicação tiveram um aumento de 25% na eficiência. (Eles também descobriram que 80% dos projetos concluídos geralmente tinham um plano de comunicação em vigor).

Como você pode ver, aprender a se comunicar melhor é vital. Mas quando olhamos para problemas de comunicação em programas de CRO, geralmente encontramos os seguintes problemas principais…

Problema nº 1: as informações ficam presas em silos e não são compartilhadas entre todas as equipes que podem usar isso para ajudar seus departamentos

Em um estudo de Speero, as empresas que vêm experimentando há mais tempo compartilham suas descobertas entre departamentos e hierarquias (67%), enquanto os recém-chegados não fazem isso com frequência ou em alguns casos (94%).

Questão #2: Coloque o band-aid de ter uma pessoa encarregada de conduzir a mudança de mentalidade para uma cultura de experimentação

Não deixe uma pessoa arcar com a mudança. Deixe-os responsáveis ​​pela comunicação, mas não espere que eles obtenham recursos para o programa ou sejam o principal impulsionador de seu sucesso. Isso só pode ocorrer como resultado da conscientização de toda a organização.

Dito isto, a pessoa certa pode causar um grande impacto, mas geralmente nunca é o testador, mas sim um executivo…

Questão nº 3: As partes interessadas executivas se comprometem apenas com o aumento do orçamento e não criam exemplos de cima para baixo para outros seguirem, causando falta de mudança e adoção em toda a empresa

Se você quer construir uma cultura, então ela precisa vir de cima para baixo.

Problema nº 4: relatórios apenas sobre receita, não sobre insights

Ser orientado por dados significa entender todas as áreas do seu negócio e seu impacto. A mudança para uma cultura de experimentação começa com COMO você apresenta os dados. Nem sempre pode ser de um foco apenas de ROI. Aproveite a oportunidade para definir a narrativa de assumir riscos e aprender desde o primeiro dia.

Problema nº 5: Não se comunicar de forma eficaz

Ou pode ser tão simples quanto lutar para obter e fornecer as informações necessárias. Ou é difícil de acessar ou as pessoas não estão consumindo.

O fato é o seguinte: até que você possa estabelecer linhas claras de comunicação, você terá dificuldades para dimensionar seu programa de teste e construir a cultura de teste que deseja.

Então, vamos mostrar como melhorar.

Como Estruturar a Comunicação em um Programa de Experimentação?

Para entender isso melhor, vamos recomendar a matriz de atribuição RACI. Este é um gráfico de atribuição de responsabilidades que o ajudará a planejar cada um dos principais objetivos, marcos, tarefas e responsabilidades em seu projeto, para cada uma das pessoas ou 'partes interessadas' envolvidas.

Identifique as partes interessadas em seu programa de experimentação

O objetivo da matriz RACI é ajudá-lo a criar um fluxo de comunicação, além de garantir que as tarefas sejam concluídas.

Você pode usar sua sigla para ajudá-lo a planejar quem são seus stakeholders e onde todos se encaixam em seu projeto:

• Responsável . Quem é responsável por completar as tarefas ou tomar decisões? Geralmente é um grupo de pessoas.
• Responsável . Quem assinará as tarefas e garantirá que os marcos sejam concluídos? Quem irá atribuir tarefas aos responsáveis ​​por completá-las? Geralmente é o líder do projeto e é um papel singular para que ele possa dar a decisão final.
• Consultado . Quem precisa ser consultado sobre as tarefas do projeto? Quem precisa dar entrada em uma tarefa para ajudá-la a ser concluída?
• Informado . Quem precisa ser informado sobre o status do projeto? Quem precisa de atualizações sobre o progresso, mas não precisa de informações diárias?

Às vezes, essas pessoas podem desempenhar várias funções e podem precisar participar de diferentes reuniões ou canais de comunicação, mas é melhor deixar claro quem faz o quê e onde incluí-los. Dessa forma, você pode decidir como comunicar e transferir informações entre essas posições.

Quando se trata de um programa de teste A/B, sua lista usual de partes interessadas inclui:

• Visão geral do C-suite (informado)
• Líder de equipe/Gerente de projeto (Responsável)
• Testadores (Consultado, Responsável)
• Desenvolvedores (Responsáveis)
• Designers (Responsáveis)
• Pesquisadores de QA (Consultado, Responsável)

Agora, obviamente, nem toda equipe de teste é a mesma, então aqui está a melhor maneira de identificar seus stakeholders e criar sua própria matriz RACI.

• Comece mapeando cada uma das tarefas necessárias para concluir este projeto. Para simplificar, você pode apenas adicionar os principais marcos no início. Tenha estes como uma coluna descendente no lado esquerdo.
• Em seguida, vá em frente e identifique cada uma das partes interessadas neste projeto. Coloque-os como uma linha na parte superior da matriz.
• Em seguida, comece a preencher cada uma das células com um Responsável, Responsável, Consultado ou Informado. Você não precisa preencher suas tarefas exatas ainda, esta é apenas uma diretriz por enquanto.
• Certifique-se de que cada tarefa tenha pelo menos um stakeholder definido como responsável por ela!
• Ao mesmo tempo, certifique-se de que apenas UM stakeholder seja responsável por cada tarefa. Dessa forma, você não terá conclusão conflitante ou perdida de tarefas.
• Depois de ter esse esboço, você pode usá-lo para conversar com seus stakeholders e preencher as tarefas específicas para cada marco e confirmar que todos concordam com essa avaliação.

Observação:

Nem todas as células precisam ser preenchidas. A chave é ter certeza de que alguém é responsável, alguém é responsável, apenas aqueles que precisam ser consultados são, e as pessoas não estão sendo informadas sobre tudo o que elas não precisam ser.

Decida antecipadamente as ferramentas de comunicação do seu programa de experimentação

As duas principais decisões são decidir quais ferramentas usar e como sua equipe irá operar. Sua comunicação será presencial, síncrona ou assíncrona?

Com o aumento do trabalho remoto e das equipes internacionais, formar hábitos assíncronos desde o início pode beneficiar até mesmo as equipes no local. (Vamos cobrir alguns deles à medida que avançamos, mas o Zapier tem alguns guias fantásticos para gerenciamento de equipe assíncrona aqui.)

Então você precisa decidir sobre suas ferramentas e COMO você irá usá-las.

Certificar-se de que todos usem as mesmas ferramentas com antecedência e planejar como integrá-las ajudará a evitar mensagens perdidas ou problemas de comunicação ruins.

Na verdade, não ter clareza sobre isso é uma das principais causas do fracasso dos planos de comunicação. Em um estudo da Citrix e do Economic Times, eles descobriram que os funcionários gastam quase 25% do tempo procurando informações para fazer seu trabalho quando não há comunicação clara ou infraestrutura de informações.

Com isso dito, aqui está uma lista das minhas 5 principais ferramentas para equipes de teste :

• Slack para comunicação do dia a dia
• Asana para gerenciamento de projetos
• Zoom, Skype ou Meet para chamadas
• E-mail para agendar reuniões do calendário, enviar mensagens e interagir com outras equipes que podem não fazer parte de seus projetos Slack ou Asana.
• Um banco de dados de teste/repositório de aprendizado para acompanhar o que você tentou até agora, os resultados do teste A/B, o que funcionou e o que não funcionou, aprendizados e insights. Ele não apenas cria um backup de todo o seu trabalho, mas também pode ajudar a integrar novos testadores E é uma maneira fantástica de salvar testes e usá-los para relatórios para C-suite, equipes e até mesmo para toda a empresa (mais sobre isso abaixo) .

Os 4 tipos de comunicação diferentes para essas partes interessadas

Agora que você identificou quem são seus stakeholders e onde eles se encaixam em seu gráfico RACI, é hora de decidir apenas COMO você vai se comunicar com eles, o que você precisa cobrir e com que frequência.

Eu montei um gráfico RACI rápido abaixo com base em minhas recomendações, mas você pode alterá-lo para atender às suas necessidades.

Existem 4 objetivos principais de comunicação e cada um deles se alinha com o modelo RACI:

• Visão e Missão (Informado)
• Roteiro (Responsável)
• Processo (Consultar, Responsável)
• Resultados, Aprendizados e Vitórias (Informado)

1. Visão e Missão

Esse tipo de comunicação visa levar todos a bordo com o objetivo final. Geralmente feito apenas uma vez no início do projeto, mas sinta-se à vontade para recapitular cada trimestre e realinhar o esforço e a ação.

Em teoria, isso pode ser limitado à equipe executiva, ao líder do projeto e à equipe de teste, mas acredito que, se você deseja construir uma cultura de experimentação, deve definir sua visão para esse projeto e obter a adesão de toda a empresa incluindo-os em sua visão de projeto de experimentação.

Em um estudo da TradePress, eles descobriram que 85% dos funcionários afirmam estar mais motivados quando atualizados sobre as informações da empresa, mas 74% sentem que estão perdendo essas informações.

Portanto, compartilhe sua visão de experimentação com toda a organização. Isso não apenas ajuda a criar essa cultura e alinhar as pessoas, mas você também pode encontrar outras equipes que podem ajudar com seu objetivo que você talvez não tenha pensado.

Exemplo

Recentemente, comprei um seguro de carro de nível básico da AA.

Eu não pensei muito na capa, eu só queria cobrir um carro novo o mais rápido possível. 24 horas depois, decidi que queria atualizar para o pacote mais abrangente, que funcionava quase 55% a mais por mês, portanto, uma grande diferença no ROI.

A questão é que foi muito difícil começar a pagar mais dinheiro. Vejamos os pontos de atrito e onde um membro da equipe fora do teste pode nos ajudar (especialmente se eles tiverem uma mentalidade de experimentação).

Ponto de atrito #1 . Não houve atualização de um clique (embora eu pudesse obter uma segunda cotação).

Ponto de atrito #2. O bate-papo on-line me disse que a única maneira de atualizar era ligar diretamente.

Ponto de atrito #3. Não havia opção para isso durante a chamada. Fui enviado para a lista de espera genérica por 25 minutos.

Se o objetivo de AA fosse mais membros em seus planos abrangentes, um webmaster poderia identificar facilmente os problemas com um clique. (Tenho que imaginar que isso acontece com frequência, pois não havia dados claros sobre o que cada nível cobria e, portanto, espero que muitas pessoas obtenham o plano básico o mais rápido possível para que possam dirigir o veículo imediatamente antes de olhar mais detalhadamente mais tarde.)

Uma ideia legal pode ser que, se alguém preencher outra cotação para um veículo que já está sob sua cobertura em um nível diferente, isso também pode ser um gatilho para contatá-los diretamente, talvez?

O call center parecia estar lidando com todas as chamadas, incluindo cancelamentos, reclamações e atualizações. Isso significa que eles são operadores amplamente treinados, mas não há um caminho rápido para atualizar e gastar mais dinheiro! (Não pressione a opção X para conversar sobre a atualização.)

Um testador pode não pensar em analisar isso porque quando foi a última vez que você executou o controle de qualidade em suas linhas telefônicas e bate-papo ao vivo, certo? Mas alguém nessa função específica pode identificar problemas comuns, linguagem e reclamações e enviar isso de volta para a equipe de testes – e é por isso que a cultura de toda a empresa é tão importante e por isso acho que você deve incluí-los em sua visão e missão.

2. Comunicação do Roteiro

Este é o seu plano de ataque. Ele deve definir o objetivo final, os principais marcos nesse caminho e, em seguida, as tarefas associadas a esses marcos.

As equipes executivas vão querer saber dos principais marcos atingidos e do progresso mensal e trimestral.

Os líderes de equipe vão querer o mesmo, mas também relatórios semanais. Dessa forma, eles podem ter certeza de que estão no alvo para cumprir as tarefas e se comunicar com os membros da equipe de acordo.

As equipes de otimização precisam estar cientes dos principais marcos e seus OKRs para atingi-los. Eles devem fornecer relatórios semanais e, em seguida, reunir-se para reuniões mensais + trimestrais com o líder da equipe para garantir que tudo esteja no caminho certo.

3. Comunicação do Processo de Teste A/B

O objetivo aqui é garantir que tudo esteja no caminho certo para atingir os marcos do roteiro.

Aqui, você pode detalhar os experimentos que estão sendo executados e como eles se relacionam, solicitar recursos e alocar orçamento, etc. Se o roteiro era a lista de receitas, então este é o 'como' de como fazer o bolo.

Acompanhar isso garante que os projetos sejam concluídos no prazo, ajuda a concentrar o esforço, remove tarefas duplicadas ou problemas de tarefas perdidas e mantém a adesão de nível C se apresentado em uma data posterior. Novamente, isso pode ser coberto em chamadas mensais e trimestrais.

4. Resultados, Aprendizados e Vitórias do Teste A/B

É aqui que você vê e compartilha o impacto que está causando. Dependendo da parte interessada, todos devem ver isso até certo ponto. O líder do projeto e a equipe de teste são aqueles que reúnem essas informações e as compartilham com o C-Suite e com toda a empresa.

Existem 3 áreas principais onde você pode compartilhar isso:

• Um boletim informativo,
• Seu repositório de aprendizado,
• E se você está realmente tentando construir uma cultura de experimentação, um canal de aprendizado no Slack.

Então, vamos ver como você pode usá-los.

Newsletter Suas Vitórias e What Ifs

O objetivo deste boletim interno é obter adesão e construir uma cultura de experimentação.

Deve apresentar testes atuais e seus resultados, juntamente com insights e aprendizados. Isso ajuda a manter todos envolvidos e ver o poder da experimentação em ação. Não apenas isso, mas os resultados de testes específicos também podem ajudar a adicionar mais informações que afetam várias funções.

Você também pode obter mais buy-in anunciando os próximos testes para o próximo mês e realizando um teste de 'adivinhe o teste'.

Esse método pode ajudá-lo a gamificar e construir uma cultura de testes onde as pessoas possam se divertir tentando adivinhar qual versão vencerá e por quê. Ele ajuda todas as partes interessadas a se envolverem, mas também pode remover opiniões sobre testes quando eles veem os dados por trás dos resultados, ajudando a cultivar uma abordagem que prioriza os dados em vez de ' sempre foi feito dessa maneira '.

É uma ideia simples, mas funciona muito bem.

Seu repositório de aprendizado

Seu repositório é mais um banco de dados de todos os seus testes ganhos e reprovados, seus insights de cada teste, o que você tentou e imagens de cada teste.

Na realidade, seu principal objetivo é ajudar a não repetir ideias de teste por acidente, mas também ajudar a treinar novos experimentadores.

Dito isso, ter isso acessível em toda a empresa também pode ajudar a obter mais interesse e envolvimento de sua empresa, especialmente se você vincular os resultados dos testes realizados no repositório do seu boletim informativo!

Dê um passo adiante e adicione um pouco de diversão e elegância à forma como você apresenta essas informações:

Você não precisa de miniaturas sofisticadas, mas pode simplesmente sugerir o resultado do teste do mês passado, adivinhar o teste no boletim informativo e enviá-los ao repositório para obter todas as informações.

Aqueles que querem a resposta podem encontrar o resultado, e aqueles que ficam viciados em experimentação podem olhar mais longe no que você está testando!

Socialize e incentive sua experimentação

Por fim, você pode obter ainda mais engajamento compartilhando suas vitórias em um canal Slack completo, dedicado a vitórias e aprendizados.

É exatamente isso que o Specsavers faz:

Specsavers não só têm reuniões semanais e mensais, mas também têm um canal de 'aprendizado' para qualquer pessoa envolvida em otimização compartilhar o que descobriu. Isso ajuda a criar um diálogo enquanto agiliza novas ideias.

Quer dar um passo adiante ainda?

Use esse mesmo canal para incentivar sua comunicação e testes. Você ficará surpreso com a inovação e as ideias que surgem quando sua equipe pode obter benefícios pessoais diretos ao aprimorar novas ideias de teste!

Isso muitas vezes pode levar a mais compartilhamento de ideias e insights e ter um efeito indireto em outras equipes e membros.

Com que frequência você deve se comunicar com seus stakeholders?

Como regra geral, a frequência da comunicação depende do stakeholder e de suas funções/objetivos nos diferentes métodos de comunicação e também de qual objetivo de comunicação você está tentando cumprir.

Nem todos precisam ser comunicados o tempo todo, então vamos dividir cada grupo de partes interessadas de uma ordem de comunicação mais frequente para a menos e o que você deve cobrir.

Como acertar cada tipo de comunicação com as partes interessadas?

O principal é olhar para cada parte interessada através das lentes de sua designação RACI.

Equipe de Experimentação + Líder (Responsável, Responsável, Consultado)

• Visão inicial e reunião de roteiro e plano de processo.
• Comunicação diária disponível, se necessário. (O Slack é ótimo para isso.)
• Progresso semanal do que eles têm trabalhado. Não para microgerenciar, mas para ter uma ideia do que está funcionando e do processo em direção às metas do roteiro. Asana funciona muito bem para isso. Também pode fazer check-in com testes e projetos que terminaram naquela semana e quaisquer marcos atingidos.
• Análise mensal de testes e aprendizados a serem discutidos, juntamente com novos planejamentos de testes/testes iterativos. Reunião mensal do roteiro para garantir que todas as equipes estejam no caminho certo.
• Planejamento trimestral e análise de roadmap. Use isso para decidir manter o processo atual ou editar e ajustar.

Equipe de Produto (Consultado)

• Visão inicial e reunião de roteiro e plano de processo (especialmente se estiver tentando construir uma cultura de experimentação em toda a empresa).
• Relatórios de progresso semanais se estiverem trabalhando em projetos juntos.
• Caso contrário, análises mensais e trimestrais e relatórios de aprendizado a serem compartilhados entre as equipes para que elas também possam agir sobre as descobertas.

C-Suite (Informado)

• Visão inicial e reunião de roteiro e plano de processo.
• Roadmap mensal e trimestral e relatórios de progresso do processo, juntamente com testes e aprendizados. Certifique-se de fornecer informações com base em seus objetivos (mais sobre isso mais tarde).

Resto da Empresa (Informado)

• Visão inicial e reunião de roteiro e metas. Eles não precisam de todos os detalhes, mas o objetivo final e os principais marcos os ajudarão a entender o plano. “Nosso objetivo é aumentar o ROI melhorando nosso processo de vendas e também reduzindo o churn no segundo trimestre, antes de analisar as vendas repetidas no terceiro trimestre etc.”
• Relatórios mensais de boletins informativos sobre testes, aprendizados e vitórias para ajudar a mantê-los engajados e construir cultura. Cobrir testes executados, descobertas e insights, o que funcionou e o que falhou. Como bônus, você pode discutir novos testes que estão por vir e questionar toda a empresa sobre o que eles acham que será melhor.

Uma coisa importante a entender é que você deve definir e decidir sobre essas cadências e frequência de comunicação com antecedência antes de iniciar seu projeto , para que cada parte interessada conheça suas responsabilidades e quando esperar ou fornecer informações.

Como comunicar os resultados do teste A/B ao C-Suite?

Como a comunicação com o C-suite é um problema comum que os programas de teste têm, e como ter sua adesão e suporte é uma parte importante para manter seu programa de teste funcionando sem problemas, eu queria apenas recapitular as melhores práticas aqui.

Escrevemos sobre isso em detalhes em outro guia aqui, mas aqui está uma visão geral rápida:

• Esteja ciente da cadência e frequência que você concordou.
• Certifique-se de focar a comunicação no objetivo específico. É uma reunião de roteiro, um check-in de processo ou é uma atualização dos aprendizados?
• Leve-os a bordo com as realidades do projeto desde o primeiro dia.
• Tente envolvê-los compartilhando seus aprendizados e campanhas de 'adivinhe o teste'. Lembre-se de que a adoção de cima para baixo funciona melhor para culturas de experimentação.
• Apresente as informações da forma mais simples possível . O que você aprendeu antes e como chegou à ideia do teste. O que você testou. Mostre o controle, as variações e o vencedor. Como funcionou em um nível micro e macro. Inclua os resultados.
• Faça com que pareçam bons. Não se concentre apenas em compartilhar a receita, mas apresente os resultados com o que eles se importam primeiro. Em seguida, compartilhe mais insights e vincule-os a como isso os ajudará a atingir seus objetivos.
• Não coloque a culpa em opiniões . Se os testes falharem, descubra por que e como isso ajuda você e eles. Talvez você tenha economizado uma pequena fortuna ao não fazer uma mudança de design ao vivo? A chave é que você não quer que eles se sintam ameaçados ou acusados. A experimentação é sobre aprender com o fracasso para encontrar o que funciona.
• Se o teste vencer, forneça os efeitos de ROI e MRR, juntamente com a métrica real focada. Pode ser que seu teste não tenha sido em uma página que afeta diretamente a receita, mas tente fornecer informações sobre os modelos do aumento específico e como isso afeta os negócios como um todo. (Mais leads, menor rotatividade, mais tempo na página, o que leva a um ROI maior.)
• Você pode receber críticas nos resultados, especialmente de pessoas cujo ego ou papel está diretamente ligado a um teste. (Talvez eles sejam especialistas em X, mas para o seu público, seus conselhos têm um desempenho ruim). Reconheça que os resultados podem estar errados, mas enquadre-os como “Sim, pode estar errado, mas e se estiver correto? Como isso pode nos afetar?”. Dessa forma, você transfere a importância deles para a situação.

Conclusão

Então aí está. Nosso guia detalhado para melhorar a comunicação em equipes de teste A/B, para que você possa criar uma cultura de experimentação.

Você atingirá algumas curvas de aprendizado, mas mantenha-se firme. Quanto mais você se comunicar, maiores serão suas chances de passar por isso e ver os benefícios!