Você precisa de um repositório de aprendizado de teste A/B para executar experimentos informados pela experiência (dizem os especialistas)

Seu programa de testes parece que está faltando estrutura ou impacto?

Você está executando testes sem plano de ataque e sem saber o que priorizar ou onde trabalhar a seguir?

Talvez você se perca tentando lembrar quais testes você já tentou antes, o que funcionou e o que falhou?

Ou talvez você tenha acabado de ingressar em um programa existente e não tenha ideia do que eles já executaram, como foi executado ou por onde começar?

Pode ser fácil se perder no meio do mato durante os testes A/B, mas felizmente existe uma maneira simples de resolver tudo isso.

Recentemente, entrevistamos 5 CROs profissionais e uma coisa ficou imediatamente clara: se você deseja executar experimentos informados pela experiência e aumentar sua cultura de teste, precisa ter um repositório de insights centralizado.

O que é um repositório de aprendizagem?

Simplificando, é um local único para armazenar todas as informações sobre testes anteriores que você executou.

• A página de destino,
• A hipótese e o que você implementou,
• Os elementos de teste e variantes,
• Os resultados,
• Seu impacto em métricas importantes, etc.

Pode ser tão básico quanto uma pasta em um laptop ou um projeto Asana, mas um repositório de aprendizado é muito mais do que apenas um sistema de arquivamento glorificado…

Um 'repositório de aprendizado experimental' permite que os negócios e as partes interessadas em geral vejam quais experimentos foram conduzidos até o momento e quais aprendizados foram obtidos. O repositório fornece ao leitor a capacidade de consumir o conteúdo em seu próprio tempo e velocidade, o que é importante em um negócio global.

– Max Bradley, Gerenciando a experimentação da Web no Zendesk

Isso significa acesso fácil a toda a sua equipe de todos os seus testes anteriores, o que pode realmente ajudá-lo a construir essa cultura de teste.

Como?

Quanto mais pessoas estiverem envolvidas em testar e ver os testes serem executados, mais rápido elas adotam a mentalidade.

Ao ver quais testes já foram executados e seus resultados, pode gerar novas ideias e ângulos para quem tiver acesso a essas informações. Isso pode levar a um aha! momento em diferentes áreas da empresa fora da equipe de teste, que eles podem testar por si mesmos ou apresentar à equipe de teste.

Por exemplo, se o departamento de anúncios pagos identificou a linguagem mais eficaz que obteve um aumento nos testes de página, eles podem tentar isso em sua cópia do anúncio, pesquisa paga ou mídia social, pois isso claramente ressoa com o público.

O acesso a testes anteriores não apenas abre novas ideias com membros externos da equipe, mas também reduz o tempo gasto tentando encontrar informações importantes.

Há mais em um repositório de aprendizado do que apenas acesso em toda a empresa e economia de tempo:

Os aprendizados são o princípio central da construção de produtos significativos e eficazes, e a única maneira de coletar aprendizados significativos e validados é executando experimentos e coletando todos esses aprendizados em um repositório central. Os aprendizados neste repositório podem ser usados ​​em muitos exercícios como por exemplo: árvores de oportunidades/soluções, onde você trabalha para um determinado objetivo do usuário com várias abordagens de solução diferentes.

A chave para a execução de experimentos informados pela experiência é ter um repositório central que seja acessível, estruturado, pesquisável e atualizado/gerenciado adequadamente. Fazer isso com sucesso pode ter um efeito exponencial na produtividade e na qualidade do resultado geral do programa de experimentação .

– Matthias Mandiau, especialista em experimentação e análise de dados do Grupo H&M

Como diz Matthias, quanto mais entendermos nosso público, melhor poderemos oferecer produtos e serviços para eles.

Podemos não obter o insight imediatamente, mas ele pode nos colocar no caminho certo e, a partir daí, podemos melhorar ainda mais e oferecer o melhor produto e experiência do usuário.

Melhor ainda?

Continuar aprendendo e gerenciando os resultados de nossos testes pode nos ajudar a evitar erros dispendiosos…

Você fez experimentos, agora evite esses erros

Ter um local para armazenar e acessar dados anteriores é ótimo, mas não é o único benefício.

Na verdade, durante nossas entrevistas, encontramos uma série de erros comuns em programas de teste comentados repetidas vezes – quase todos foram corrigidos por ter um repositório de aprendizado.

Não respeitar os dados “caros” da empresa

Um dos argumentos mais convincentes para um repositório de aprendizado é o simples fato de que todos os dados dos testes são propriedade da empresa.

Você está gastando tempo e dinheiro valiosos coletando esses dados. A última coisa que você quer fazer é não armazená-lo ou usá-lo, ou pior, nunca mais voltar a ele para ajudá-lo a planejar novos testes e aprender com os anteriores:

Por que investir tanto dinheiro em um programa de experimentação quando a principal saída dele (aprendizado) não está sendo atendida?

Uma boa visão geral é fundamental para entender o que já foi trabalhado, qual deve ser o foco agora e o que deve ser trabalhado em breve. Também desta forma o conhecimento não depende das pessoas, porque as pessoas vêm e vão nas empresas.

Além disso, permite melhor compartilhamento de conhecimento, melhor integração, preparação de melhores casos de negócios, melhor pesquisa…

– Matias Mandiau

Ter uma visão ampla do seu programa de testes pode ajudá-lo não apenas a testar melhor, mas também a treinar novos funcionários ou até líderes de equipe. (E ignore a questão de perder todos os insights quando o gerente de CRO deixa a empresa).

Como?

Bem, agora os novos membros podem ver o que foi tentado antes, o que funcionou e talvez o que tinha potencial para funcionar, mas não foi implementado corretamente ou poderia ser iterado ainda mais…

Perder o desenvolvimento de um “instinto instintivo” em toda a empresa que seja informado por experiência (e dados)

Não há nada de errado em usar seu instinto para ter ideias de teste. Às vezes, você simplesmente tem uma intuição a partir de dados ou experiências que podem ajudá-lo a formar uma hipótese e concluir um teste inicial.

No entanto, você precisa estar atento para sempre confiar nesse instinto o tempo todo e não prestar atenção à pesquisa e aos dados.

Uma coisa que eu digo à minha equipe (na Bouqs) é… quando você não tem dados (aprendizado/artefatos registrados de testes), você tem que tomar decisões com base no seu instinto ou no instinto das partes interessadas. Um banco de dados de aprendizados cria um
gut para todos nós que podemos usar como um teste de intestino, mas que não é apenas nosso ou tendencioso.

– Natalia Contreras-Brown, vice-presidente de gerenciamento de produtos da The Bouqs

As maiores empresas com os programas de CRO mais maduros são quase todas orientadas por dados. Eles fazem escolhas com base no que os dados dizem que é mais importante e muitas vezes é por isso que eles se tornam líderes de mercado.

Não se torne culpado de testar apenas escolhas e opiniões instintivas, e não se concentre apenas em métricas. Aproveite o tempo para encontrar a visão contextual de cada resultado de teste. Siga as informações e, o mais importante, rastreie e salve o que aconteceu e por que você acha que aconteceu, para não cometer o erro de esquecer o que tentou e por que funcionou.

Repetindo testes que foram executados antes

Já sugerimos isso, mas sem rastrear o que você está fazendo, fica muito fácil executar novamente uma ideia de teste que você já tentou ou perder uma ideia de teste porque você acha que ela já foi executada.

Um repositório de aprendizado ajuda a evitar a repetição de experimentos que foram conduzidos anteriormente. Também reduz o tempo gasto respondendo a consultas sobre resultados e aprendizados das partes interessadas para a equipe de experimentação.

– Max Bradley

Seja legal consigo mesmo e com sua futura equipe e mantenha um registro do que você tem feito e de todos os detalhes de cada teste.

Pode ser que você queira executar algo semelhante, mas sem os detalhes do que você tentou antes, pode ser fácil perder ou gastar mais 30 dias obtendo dados que você deveria ter salvo.

Má comunicação ou falta de acesso à informação

Uma das maiores diferenças em equipes de CRO maduras é sua capacidade de se comunicar ou acessar informações de forma rápida e fácil. Não apenas na facilidade de acesso, mas na eficiência com que eles podem fornecer as informações corretas.

Ter um repositório de aprendizado bem documentado e organizado pode reduzir as barreiras de comunicação e até ajudar a não deixar de lado os fluxos de trabalho de teste, enquanto você procura informações e coloca as coisas em pausa.

(Um repositório de experimentação) é um sistema de gerenciamento de conhecimento que mantém todos os dados em um grau detalhado e é acessível pela equipe em geral, mas o mais importante facilita a produção de artefatos de comunicação (camada de comunicação) para as pessoas certas no formato certo no momento. tempo certo.

É a 'camada de dados' no fluxo de trabalho de teste, como visto aqui:

– Ben Labay, Diretor Administrativo / CRO & Experimentação @ Speero by CXL

Deixando o aprendizado (e o dinheiro) na mesa

Não se esqueça que a maioria dos testes falha. É somente por meio da iteração e do aprendizado de testes anteriores que você melhora e obtém essas vitórias que afetam o ROI.

Sem acompanhar o que você executou e onde esteve, fica muito difícil seguir em frente e ver o progresso, ou até mesmo se sentir confiante em seu processo de teste.

Stefan Thomke disse bem “apesar de estar inundado de informações vindas de todas as direções, os gerentes de hoje operam em um mundo incerto, onde faltam os dados certos para informar decisões estratégicas e táticas”. A experimentação valida e a validação nos ajuda a aprender . É vital reunir esses aprendizados em um repositório que seja facilmente acessível para revisar esses aprendizados para decisões futuras.

– David Mannheim, vice-presidente de CRO, BrainLabs

Aqui está uma representação visual do processo ideal de Ruben de Boer:

Aprender e melhorar a partir de cada teste que você executa é incrivelmente importante. Não apenas está diretamente ligado ao sucesso de seus testes futuros, mas também pode ajudá-lo a expandir os ganhos atuais para outras áreas ou até mesmo outros sites.

Quase todos os outros experimentos que realizamos na H&M em nossa equipe de produto são apoiados por um aprendizado documentado de um experimento anterior ou outra metodologia de pesquisa.

– Matias Mandiau

Esse hábito de aprender e reiterar surge repetidas vezes com quase todos que entrevistamos.

Na Brainlabs, cerca de 40 a 50% de nossos experimentos com a Flannels, uma conhecida loja de roupas masculinas, foram iterações uma da outra. Isso demonstrou o poder do aprendizado em um único experimento e como isso pode evoluir para outra coisa; porque estamos sempre aprendendo como o estímulo prático pode impactar uma variável .

– David Manheim

Vamos dar outro exemplo.

Digamos que você tenha uma página de captura de leads e o layout que você usa funcione bem para uma página. Você pode então adaptá-lo a outras pessoas em seu site para ver se ele aumenta o aumento lá também.

E se você for uma agência com vários clientes em nichos semelhantes?

Insights e vitórias de uma empresa podem levar a ideias e designs que também podem funcionar para seus outros clientes…

O que funcionou uma vez, tem uma boa chance de não ter sido totalmente explorado ainda:

• Pode voltar a funcionar com maior intensidade (para o mesmo cliente)
• Pode funcionar novamente em outro lugar (para o mesmo cliente)
• Pode funcionar novamente para alguém completamente diferente

Em outras palavras, as vitórias passadas têm potencial preditivo que pode acelerar a otimização (mais vitórias, maior probabilidade de sucesso, maior magnitude de efeitos).

– Jakub Linowski, GOODUI.org

A Drip Agency fez exatamente isso com 2 de seus clientes.

Eles pegaram designs de layout de página vencedores de um cliente e os testaram em outro para aumentar imediatamente as conversões.

GoodUI fez algo semelhante. Eles pegaram ideias e informações de teste vencedoras de um cliente e as usaram como base para testar outras páginas do site.

Isso deu a eles um aumento de 42% nas conversões!

Eles então deram um passo adiante.

Em vez de apenas implementar designs vencedores para um cliente, eles realizaram um estudo de caso para ver se você pode prever testes vencedores com base em campanhas anteriores em vários sites.

A teoria é que certos designs de UX podem funcionar em outros setores.

E assim eles executaram 51 testes usando layouts de design vencedores anteriores e alcançaram uma taxa de sucesso de 71% ao usar vencedores anteriores para ajudar a projetar novos testes em outros sites.

Bem legal, certo?

Bem, aqui está outra razão pela qual um repositório de aprendizado é tão útil e é por isso que bons testadores analisam os vencedores anteriores.

Se você pensar bem, GoodUI é basicamente um tipo de repositório de aprendizado, pois é um banco de dados de testes anteriores e vencedores em vários sites e setores.

O problema é que eles geralmente verão designs reutilizados em outros sites e perceberão que padrões específicos fornecerão impulso. Talvez outra pessoa tenha feito o teste, mas funcionou, etc.

Sendo os cookies inteligentes que são, GoodUI usa esses padrões específicos como inspiração para testes a serem executados para novos clientes…

E faz sentido, certo? Depois de corrigir problemas técnicos e decidir sobre uma página para testar, não faz mal examinar os elementos de teste anteriores em páginas semelhantes e o que funcionou.

Você pode usar outros sites como inspiração ao começar, mas todos os especialistas concordam. Você precisa começar a construir seu próprio repositório o mais rápido possível.

Invista em um repositório de experimentação

Jakub Linowski disse no LinkedIn que, se você olhar para profissões como médicos, engenheiros, atletas e militares, verá que a maioria de seus sucessos e crescimento são construídos sobre os aprendizados que geraram em experimentos anteriores.

Com essa imagem mental, você pode imaginar o quão rápido o campo CRO pode crescer como um todo quando os experimentos nem sempre precisam começar do nível 0. Mas sem um repositório de aprendizado, esse é exatamente o caso.

E muitas equipes internas de CRO são culpadas disso.

Se você aproximar essa ideia de casa, fica claro como desenvolver o que você já sabe é uma maneira sólida de aumentar os esforços de seu programa de experimentação.

Repositório = Maior chance de sucesso do experimento

Somente quando você tem a mentalidade de aprender testes (e testes anteriores) você realmente valoriza o que a experimentação oferece, ou seja, uma ideia do que funciona e do que não funciona, dado o contexto e as circunstâncias.

20 “boas decisões” em UX, UI, Produto, Marketing (graças à experimentação) podem ajudar a flexionar os músculos da tomada de decisões e aguçar o instinto. Quanto mais você vê suas opiniões derrubadas ou validadas, mais uma bússola você tem para descobrir o que funciona e o que seu público precisa.

Aqueles que testam por causa das taxas de conversão perdem essa visão geral. Trata-se de aprender o que seu público precisa, e não de estar certo.

Vamos mostrar como:

Como estruturar seu repositório de aprendizado

Um repositório de aprendizagem destina-se a eliminar silos de dados, promover a colaboração e fortalecer a comunicação.

Se o seu não estiver estruturado adequadamente, será extremamente difícil atender a esses requisitos básicos. Mas a questão de estruturar seu repositório de aprendizado é que existem opções. Eles funcionam de forma diferente para diferentes organizações.

Isso não é um problema porque descreveremos os 3 modelos para você e então você poderá imaginar qual se alinharia perfeitamente com sua equipe, departamento ou organização. Melhor ainda, os especialistas recomendam um modelo específico.

Parece haver um vencedor em termos de estrutura de equipe de experimentação: Centro de Excelência.

1. Um Centro de Excelência (CoE) capacita e equipa equipes de experimentação específicas do departamento

Nesse modelo, a equipe de experimentação é o CoE para todo o programa de experimentação da organização.

Então, eles são uma espécie de concierge para qualquer pessoa em outros departamentos que queira realizar experimentos. Você passa por eles e eles ajudam a configurar.

Em seguida, eles supervisionam a integridade desses experimentos e mantêm tudo alinhado com as amplas metas de experimentação da organização.

Estruturar desta forma hoje removerá os problemas de downline amanhã. Porque tudo é mantido no mesmo caminho, fácil de monitorar e construir um repositório de aprendizado dessa maneira é fácil de coordenar.

O principal desafio aqui é que não seria tão acessível quanto um modelo descentralizado.

2. Unidades descentralizadas ficam em todos os departamentos e fazem com que todos participem

Unidades descentralizadas estão em vários departamentos e executam os testes reais. Essa é uma ótima estratégia porque eles têm mais know-how de seus próprios loops e métricas de crescimento, portanto, estão na melhor posição para projetar e executar experimentos de alto impacto.

Nesse modelo, todos podem executar testes — independentemente de seu departamento e nível de experiência com experimentação. Quando combinado com CoE, atrai alguns admiradores…

Sou um grande fã de experimentação descentralizada, trabalhando ao lado de um centro de excelência para controle de qualidade e evangelização de testes AB. Na minha experiência, essas estruturas funcionam melhor para as culturas que realmente abraçam o poder da experimentação. Em termos de repositório de aprendizagem, isso deve seguir o exemplo; os membros da equipe devem ser capacitados para realizar experimentos e destacar os aprendizados dos frutos de seu trabalho .

– David Manheim

A responsabilidade de manter o repositório de aprendizagem, portanto, também segue o exemplo.

3. Gerenciado por uma pessoa para coletar e manter aprendizados de experimentação

No entanto, ao contrário do modelo CoE sozinho, o repositório de aprendizado do modelo descentralizado é mais difícil de coordenar.

Ajuda ter uma função designada responsável por documentar e manter os aprendizados. E há algo benéfico nisso:

Gerenciado pelo gerente do programa/projeto (mantendo o controle) e o estrategista de teste primário (que insere as 'histórias), mas se feito corretamente, pode ter entradas em todos os estágios, pois as entradas chegam como entradas de formulários, como formulários de problemas, novos rastreadores de campanha, novas ideias de solução de teste, etc.

– Ben Labay , Diretor Administrativo / CRO & Experimentação @ Speero by CXL

Matthias Mandiau concorda com Ben.

Eu prefiro um híbrido entre centralizado/descentralizado:

O repositório precisa estar sempre acessível (nuvem).

Precisa ser capaz de combinar diferentes metodologias de pesquisa para criar hipóteses fortes.

A configuração e gerenciamento do repositório e a propriedade devem ser com 1 equipe/gerente (centralizado). Bom para acompanhar o KPI de desempenho de experimentos macro de alto nível no nível central.

Toda equipe de produto que trabalha com experimentação deve ter um stakeholder (analista de dados/CRO) que tenha a responsabilidade de cuidar adequadamente de todos os aprendizados coletados que são carregados no formato correto para o repositório central. Também é bom acompanhar o KPI de desempenho de microexperiências no nível da equipe de produtos dentro da equipe descentralizada. Pode ser um painel vinculado ao GA ou ao repositório, por exemplo .

No Zendesk, um gerente é responsável pela manutenção do repositório, mas as entradas vêm dos “proprietários dos testes”:

Atualmente, temos o repositório gerenciado por uma equipe dentro da empresa, com uma pessoa assumindo a propriedade geral. Os “proprietários” do teste são solicitados a adicionar os aprendizados após a conclusão do teste na respectiva área do repositório.

– Max Bradley

E é assim que uma pessoa (ou uma pequena equipe) gerenciando um modelo do tipo descentralizado pode manter o repositório de aprendizado de experimentação eficiente e com qualidade garantida.

É semelhante ao que a GoodUI está fazendo - aproveitando os aprendizados de verticais e clientes para criar um excelente recurso de insights de experimentação.

Portanto, mesmo que você ainda não tenha um repositório de aprendizado, você tem um poço de conhecimento para extrair. Os planos da Convert vêm com uma assinatura com desconto GoodUI.

Como documentar seus aprendizados

Assim como qualquer sistema de arquivamento organizado, seu repositório de aprendizado não pode ser um local para despejar dados. É preciso haver uma maneira definida e adequada de documentar os aprendizados para que seja útil para todos.

Isso significa uma representação visual intuitiva de dados, histórias de dados sem jargões e um método fácil de localizar testes específicos quando necessário.

Aqui está como.

Capture e registre todos os metadados dos testes

O primeiro passo óbvio é coletar os dados dos testes. Mas quais dados você coleta? É fácil dizer colete tudo, mas isso pode facilmente se tornar esmagador – e desanimador.

Então, quais são os dados a serem incluídos em seu repositório de experimentos?

São os metadados completos de um conceito de teste. E deve principalmente rastrear entradas com base nas perguntas que precisam ser feitas, que são padrão nas categorias:

• Tipos de teste
• Páginas
• Pontos de toque
• Públicos-alvo
• Áreas de superfície de crescimento

Mas não é padrão DENTRO dessas categorias, por exemplo, o público será diferente dependendo da empresa, mas todas as empresas testarão em diferentes segmentos de público.

– Ben Labay

E como isso se parece?

Vamos explorar cada uma dessas categorias para que você tenha uma visão mais clara:

• Tipos de teste

Que tipo de teste foi? Teste A/B? MVT? Testes A/B/n?

• Páginas

Aqui você especifica a página ou páginas em seu site onde o teste ocorreu. É a página inicial? Uma página de produto específica? A página de preços da sua marca SaaS?

• Pontos de toque

Os pontos de contato são áreas na jornada do cliente em que eles interagem com sua marca. Pode ser um anúncio, catálogo de produtos, postagem de blog, e-mails de marketing, seu aplicativo etc.

• Públicos-alvo

Quem é o seu público-alvo para o teste? Você está segmentando segmentos específicos com base em algum critério? Dados comportamentais? Metas? Fonte do visitante? Geolocalização? Ou eles são todos selecionados aleatoriamente?

• Áreas de superfície de crescimento

Isso se refere a uma interação ou recurso que incentiva os usuários a permanecer em seu site ou aprofundar seu relacionamento com sua marca. Então, é uma espécie de gancho que aumenta o valor de cada visitante. Esta pode ser uma oferta de avaliação gratuita ou uma demonstração.

Para enriquecer seus metadados, você também deve incluir:

• datas
• URL/Regex
• Iteração no teste anterior — link para um teste anterior que é a base do teste sobre o qual você está relatando.

E você sela isso com informações mais impactantes. Incluir…

• Capturas de tela de A e B
• Isolado ou não (nº de alterações)
• % de impacto com intervalos de confiança
• Tipo de métrica

-Jakub Linowski

Quanto mais melhor. Mas mantenha-o relevante e útil.

Aqui está outro exemplo de Max Bradley do Zendesk:

Para um relatório ou repositório básico de rastreamento, o relatório do Convert também mostrará o vencedor e o que você testou.

Respeite os diferentes estilos de aprendizagem enquanto preserva as informações

Você precisa apelar para as várias maneiras pelas quais as pessoas preferem consumir informações ao armazenar dados de experimentação.

Há certas coisas a ter em mente ao fazer isso…

Nós tentamos muitos métodos diferentes. Como agência, estamos lidando com várias partes interessadas de diferentes negócios a qualquer momento. Aí está o desafio – as pessoas absorvem o conhecimento e aprendem de forma diferente. Eles são aprendizes visuais, auditivos ou cinestésicos? Onde eles estão na chave de Myers-Briggs? Como se comunicar com seus stakeholders é quase tão importante quanto o conteúdo no qual você está se comunicando. Pela minha experiência, aprendi que um repositório de aprendizado deve ter duas coisas para ter sucesso:

• Tematicamente e memorando para que seja facilmente filtrado
• Sucinta para aprendizados escaneáveis.

– David Manheim

Você pode fornecer o máximo de informações possível sobre o experimento relatado. E fazê-lo em vários formatos. É por isso que você precisa das capturas de tela, gravações de vídeo e uma história para contextualizar todos os números.

Lembre-se de mantê-lo relevante, conciso e escaneável .

Marque seus testes para maximizar os aprendizados

Marcar seus testes mantém tudo fácil de alcançar.

Também ajuda você a entender rapidamente o objetivo de um teste.

Se o seu repositório estiver crescendo de forma consistente, um dia você terá milhares de testes registrados e centenas de pessoas usando-o para passar ideias, extrair insights e informar decisões.

Os aprendizados serão mais úteis se as pessoas puderem ter uma noção da posição de cada teste no espectro de soluções da sua organização.

Como comunicar seus aprendizados para o máximo efeito

Seu repositório de aprendizado só vai beneficiar seu programa de experimentação quando as pessoas realmente o usarem.

Portanto, além de torná-lo acessível, apresente-o ao restante de sua equipe e organização de uma forma que faça sentido e desperte o interesse pela experimentação.

Mas como você faz isso? Esses são números e alguns termos específicos do setor que podem ser mal interpretados. Como você faz com que as pessoas de várias disciplinas apreciem os aprendizados que você coletou?

A comunicação de testes A/B pode ser complicada, mas se você seguir essas etapas, derrubará essas barreiras e aproveitará ao máximo seu repositório de aprendizado.

Faça disso um hábito

Em primeiro lugar, se a experimentação é um conceito estranho onde você está, criar o hábito de passar por aprendizados pode levar algum tempo. Então, leve um pouco de paciência com você nesta jornada.

Sua tarefa aqui é tornar isso parte de suas atividades semanais habituais. Pode ser parte da inspiração do brainstorming ou de um jogo que você joga para fechar reuniões. Por exemplo, sua própria versão de “qual teste ganhou?”

Faz parte do grande quadro de construção de uma cultura onde experimentar é uma norma…

Crie o hábito de percorrer os aprendizados com a equipe de maneira consistente, divertida e inspiradora. Ele precisa ser parte do negócio como de costume. Pelo menos uma vez por semana deve haver uma reunião para analisar hipóteses e resultados de experimentos. Cada sprint deve conter pelo menos 1 ou 2 experimentos e tornar a experimentação um hábito cria uma cultura positiva.

– Matias Mandiau

Além de apresentá-lo em reuniões de equipe, os testes de repositório também são muito fáceis de compartilhar em boletins de aprendizado. Ter o hábito de adicioná-los aqui também facilita a adoção de experimentação em todo o site.

Seja humilde e transparente para construir confiança

Pode parecer legal convencer as pessoas de que a experimentação tem todas as respostas, mas isso será enganoso. Ajude seus colegas a entender como tudo funciona, o que os números representam e quanta confiança você pode depositar em um determinado insight que você extraiu.

Não apresente insights como se eles tivessem 100% de certeza. Em vez disso, mostre a eles que essa é uma das melhores maneiras de tomar decisões, em oposição à “intuição” e às melhores práticas.

Fazer o contrário fará com que eles percam a confiança no repositório de aprendizado que você construiu e ele poderá ser abandonado para acumular poeira.

Aqui estão mais algumas dicas de Ben Labay da Speero sobre como comunicar resultados:

Não esconda testes que perderam. Em vez disso, use isso como uma oportunidade para mostrar o benefício duplo dos testes.

Se você tiver uma vitória, terá uma visão do que funciona. Se perdeu, você aprendeu o que não funciona para evitar fazer uma mudança que prejudique as principais métricas.

Em ambos os casos, você aprendeu sobre algo que pode ser melhorado.

Ao apresentar, estruture-a em uma história que mostre a aplicação real dos insights e convide as partes interessadas a participar da redação da história, exatamente como Max faz:

Apresentamos os aprendizados mais recentes quinzenalmente para nossa equipe mais ampla e mensalmente para o negócio em geral. Tentamos ser o mais transparentes possível apresentando testes que perderam tanto quanto os que ganharam. Além disso, pedimos que todos os revisores enviem suas ideias ou tirem suas dúvidas em nosso canal dedicado do Slack. Sempre que possível, também procuramos demonstrar o benefício em termos reais, além do aumento percentual, o que o torna mais impactante para os leitores.

– Max Bradley

Não bloqueie o aprendizado, envolva todos

A experimentação não é apenas para equipes de marketing, otimização, produção e/ou crescimento. Ser uma organização orientada por dados significa saturar a maior parte dos processos de tomada de decisão com insights extraídos de testes bem feitos.

E seu repositório de aprendizado fica bem no meio de toda a missão.

Então, leve todos a bordo.

Sim, as pessoas terão níveis variados de experiência na área, mas não deixe que isso prejudique o programa. Contanto que cada equipe tenha alguém ou pessoas com experiência mais profunda com experimentação, você tem alguma coisa acontecendo.

Também é encorajador ter algumas pessoas na equipe que estão mais familiarizadas com a experimentação e outras que têm menos experiência com ela. Ter pelo menos 2 ou 3 pessoas na equipe com experiência em experimentação faz uma grande diferença .

– Matias Mandiau

A influência se espalha naturalmente dessa maneira.

Invista em um novo par de olhos e na polinização cruzada de ideias

Às vezes, uma perspectiva diferente lhe dará ideias sobre as quais você não pensou. Portanto, não deixe seus aprendizados de experimentação ficarem em uma bolha.

Esteja disposto a compartilhá-lo com outros especialistas em seu campo e veja o que você pode aprender com o feedback deles.

Talvez haja algo que não funcionou em um segmento de clientes, mas há uma versão ligeiramente diferente que pode funcionar em outro?

Ou talvez você tenha se deparado com algo sobre o qual todo mundo está debatendo e agora pode participar da conversa para saber mais?

Você ficará entusiasmado com o que poderá descobrir quando envolver outros especialistas em CRO. Até mesmo as ligações de coaching podem fazer parte da sua estratégia para obter um ponto de vista diferente.

Coaching – www.goodui.org/coaching – uma ou duas ligações mensais com equipes de experimentação para: revisar planos de teste, fornecer feedback sobre projetos de teste e mostrar o que funcionou para outras pessoas.
-Jakub Linowski

Torne o aprendizado compartilhável

Algumas pessoas usam o Notion, outras usam o Google Slides e alguns especialistas em CRO sugerem o uso de quadros Miro, mas o objetivo é o mesmo…

Comunicar dados de teste e insights com o restante da equipe (ou qualquer outra parte interessada) para garantir que os aprendizados tenham alcance suficiente.

Quando você usa ferramentas on-line como Notion, Google Slides, Miro e qualquer outra que ache interessante para sua equipe, você facilita o acesso ao repositório de qualquer dispositivo e de qualquer lugar.

Isso é ótimo para equipes remotas e para obter o novo par de olhos sobre o qual falamos anteriormente.

É portátil e pode ser facilmente compartilhado. Agora você está realmente dando asas aos seus aprendizados de experimentação para causar um impacto total.

Use insights para planejar testes

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

Então vamos destrinchar tudo...

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

Suas características incluem:

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• Progress reports
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

Por quê?

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

Comece o repositório a partir do dia 1. Comece a educar as partes interessadas que a experimentação é sobre validação e aprendizado, não necessariamente dinheiro. Quanto mais você demonstrar “aprendemos X com este teste” ou “Y com esse teste”, mais alinhados você e seus stakeholders estarão.

– David Manheim

3. Construir buy-in com prova

Se ninguém ou apenas algumas pessoas estiverem documentando seus testes e compartilhando insights entre departamentos, você precisará mostrar por que todos os outros precisam participar do esforço.

Demonstrar com sucesso os benefícios de um repositório de aprendizado para o suporte dos C-suites é apenas o primeiro passo. A próxima coisa que você terá que fazer é comunicar esses benefícios também a outras partes interessadas.

Matthias compartilhou uma maneira fantástica de fazer isso:

Comece pequeno, enxuto e ágil. Faça experimentos em execução, colete aprendizados e faça um bom esforço para documentá-los. Faça um relatório decente após cada experimento e também tenha saídas frequentes (mensal, trimestral, anual). Concentre-se nos experimentos com grandes peixes com impacto positivo e fortes aprendizados no início. Resultados positivos motivam as pessoas a começar.

Depois de coletar alguns aprendizados de forte impacto, também pode ser útil mostrar resultados negativos e explicar qual impacto negativo teria ocorrido se implementássemos isso sem experimentos. Em seguida, explique a importância desses aprendizados para os negócios e para a tomada de melhores decisões sobre produtos.

4. Quando estiver funcionando, comece a procurar ferramentas específicas (aprenda e aja primeiro, compre depois)

Depois de configurar um repositório simples no Apresentações Google ou em qualquer plataforma gratuita que você escolher e concluir as etapas 2 e 3, poderá investir dinheiro em uma ferramenta.

Não se precipite e injete dinheiro em um repositório de aprendizado até ter certeza de que há um ROI encorajador a ser alcançado.

Conclusão

Se há uma grande lição que você tira deste artigo é que você deve começar a ver os aprendizados de experimentação como um ativo da empresa. Este ativo vai lhe poupar tempo e dinheiro. E isso impulsionará um programa de otimização mais orientado a dados em sua organização.

Não basta fazer um teste, obter uma vitória ou reprovação e depois correr para sua próxima ideia. Dedicar um tempo para comunicar e estruturar o que você descobriu em seu repositório de aprendizado dará estrutura à sua jornada de experimentação.

Além disso, é a maneira mais tranquila de passar o bastão, avaliar o impacto dos testes e promover uma cultura de experimentação empolgante.

E como você começa a receber tudo isso?

Faça como os especialistas dizem: comece simples.