Como apresentar as métricas da Shopify em um relatório de teste A/B para fornecer um valor claro

A criação de um excelente relatório de teste A/B da Shopify tem duas facetas principais: escolher as métricas certas e saber como apresentá-las.

Sua escolha de métricas afeta a saída do teste e define o foco de todo o programa de otimização.

PS Não escolha muitas métricas. Use a regra Cachinhos Dourados: nem muitos e nem poucos. Muitos e você encontrará um “vencedor” em cada experimento. Muito poucos e você perderá o aprendizado potencial e possivelmente afetará negativamente outras métricas importantes.

E quando se trata de apresentar essas métricas em seu relatório da Shopify, pense de forma abrangente, mas simplificada. Combine visuais com números para que as principais mudanças e as tendências ou padrões de métricas que levam à mudança sejam destacados.

Sem um relatório que apresente descobertas significativas para a liderança, pode ser difícil obter adesão para mais experimentação ou provar o ROI dos testes A/B.

Talvez seu aprendizado tenha sido todos os riscos que você evitou ao não lançar ideias ruins ou insights que você ganhou quando perdeu uma variação, mas um segmento mostrou-se promissor ou uma métrica mudou de maneira inesperada. E agora você precisa entender por que isso aconteceu por meio de um experimento e provar a causa.

Conclusão: crie um relatório que seja fácil de interpretar e ajude a equipe de experimentação a transmitir o valor dos esforços – vitórias reais, aprendizado e insights – para as partes interessadas com clareza.

Principais métricas da Shopify para rastrear em testes A/B e o que elas significam

Embora as métricas que você deve acompanhar dependam da sua hipótese, aqui estão algumas métricas da Shopify que você deve considerar manter abas

• Total de pedidos : o número de pedidos feitos

• Total de vendas: O valor total é categorizado pelo canal de vendas
  Fórmula : Vendas brutas – descontos – reembolsos + frete + impostos

• Principais páginas de destino: mostra a página em que os clientes iniciam uma sessão.
  
• Valor médio do pedido : o valor médio de todos os pedidos (menos cartões-presente) dividido pelo número total de pedidos.

• Taxa de conversão da loja online: a porcentagem de sessões que resultaram em um pedido
  
  
  • Adicionado ao carrinho: o número e a porcentagem de sessões em que os clientes adicionaram pelo menos um item ao carrinho.
    Fórmula : ((Sessões com item do carrinho visualizado) / (total de sessões))*100
  • Check-out alcançado: o número e a porcentagem de sessões em que os compradores adicionaram pelo menos um item ao carrinho, chegaram ao checkout e realizaram uma ação.
  • Sessões convertidas: o número e a porcentagem de sessões em que os compradores adicionaram pelo menos um item ao carrinho, chegaram ao checkout e fizeram uma compra.
• Taxa de carrinho abandonado: a porcentagem de carrinhos que os clientes abandonam antes de chegar ao checkout.
  Fórmula : (1 – (Número de compras concluídas / Número de vendas iniciadas))*100

• Taxa de rejeição: a porcentagem de sessões de engajamento único
  Fórmula: Total de sessões de uma página / Total de visitas de entrada

Você também pode acompanhar novos clientes, clientes recorrentes, canal de referência (SEO, mídia social, direto ou e-mail) e vendas por localização.

Perguntamos a mais de 50 otimizadores do Shopify por meio do HARO sobre as métricas que eles preferem rastrear e surgiram alguns favoritos claros:

• Taxa de conversão (CR)
• Taxa de cliques (CTR)
• Valor de conversão
• Tempo na página
• Taxa de rejeição
• Profundidade de rolagem
• Engajamento em páginas específicas – como a página de catálogo/categoria
• Profundidade de navegação do site
• Visualizações de página
• Visualizações do elemento
• Adicionar ao carrinho
• Compras Líquidas
• Tempo para check-out
• AOV
• NPS (Pós Compra)
• Receita média por visitante
• Taxa de carrinho abandonado
• Lucro líquido

A realidade é que, quando se trata de acompanhar métricas, não há uma resposta única. A métrica mais importante a ser monitorada varia de acordo com suas metas e objetivos específicos.

Para algumas lojas da Shopify, pode ser assim:

Alguns dos meus objetivos favoritos para rastrear nas lojas Shopify são

1. Gere cliques em anúncios.
2. Aumentar as vendas de produtos específicos.
3. Melhore a navegação da página principal.

Jessica Kats, especialista em comércio eletrônico e varejo da Soxy

Shopify Analytics: as 3 métricas às quais você deve prestar mais atenção

Na Convert, pedimos aos lojistas da Shopify que prestem atenção extra a 3 métricas:

1. Taxa de conversão (CR) – Correndo o risco de afirmar o óbvio, sua taxa de conversão pode ser um bom indicador do sucesso ou fracasso de sua experimentação. Em última análise, você quer mais vendas e aumento de receita. Mas essa pode não ser a melhor métrica se você não estiver tentando medir como suas ações afetam as pessoas que realizam uma ação em seu site.
   
   Continue lendo para descobrir qual métrica é a mais importante!

2. Valor médio do pedido (AOV) : Embora o AOV não seja a métrica mais completa, você ainda deve considerar monitorá-lo. É uma indicação de lucratividade em diferentes segmentos – uma métrica ampla que quantifica o quanto as pessoas compram de várias categorias.
   Ao usá-lo como sua principal métrica de comércio eletrônico, certifique-se de:
   
   
   • O AOV é monitorado em SKUs
   • Você rastreia pedidos de distribuidores e pedidos em massa porque isso pode prejudicar o AOV
   • O AOV não indica lucro porque não subtrai o custo das mercadorias vendidas, que é uma despesa significativa.

3. Receita média por visitante (ARPV): Ao contrário do AOV, que tem pedidos como sua unidade de randomização, dificultando o teste adequado, o ARPV usa os visitantes como a unidade de randomização que é prática.
   
   O ARPV é a métrica mais importante para rastrear porque consiste em CR e AOV.

E Alex Birkett, cofundador da Omniscient Digital, concorda:

O objetivo do experimento é extremamente importante para o design do experimento e para o que você realmente aprende com o experimento.

Em muitas empresas, a métrica de proporção simples de “taxa de conversão” é o objetivo universal do experimento. Isso é bom se você quiser saber se sua intervenção aumenta a proporção de pessoas que realizam uma ação, como comprar *qualquer coisa* em seu site, mas se não é isso que você está tentando aprender ou se não é a agulha que você está procurando tentando se mover, não é a melhor métrica.

Muitos dos sites da Shopify com os quais trabalhei queriam
a) aumentar o tamanho da compra (ou valor médio do pedido – AOV) para quem compra ou
b) aumentar o valor médio dos visitantes em um conjunto de páginas.

Para o primeiro, você desejará configurar o AOV e o rastreamento de receita. Eles exigem integração com seu carrinho de compras, mas a maioria das ferramentas de teste, incluindo o Convert, possui integrações nativas com Shopify.

O Convert também tem um guia completo para otimizar o AOV que você pode conferir.

Quando otimizo para AOV, também acompanho a taxa de conversão para garantir que não estou prejudicando essa métrica.

Mas eu vejo isso como uma métrica de guardrail.

Se eu puder aumentar o AOV enquanto mantenho minha taxa de conversão de linha de base, envio o experimento para produção. Também posso calcular o valor marginal caso a taxa de conversão caia um pouco, mas o valor médio do pedido compensa isso aumentando a receita média por visitante do experimento.

Isso me leva à minha segunda ferramenta de relatórios post-hoc para Shopify: receita média por visitante.

Isso, alguns argumentam, é a melhor métrica de otimização de conversão de loja de comércio eletrônico, pois é uma métrica composta que pode ser influenciada pelo aumento das conversões ou pelo aumento do valor de cada conversão (ou seja, o valor médio do pedido).

O valor médio do pedido e a receita média por visitante devido apresentam algumas complexidades adicionais nos relatórios.

A taxa de conversão é uma métrica binária e pode ser tratada como uma variável categórica (passa/reprova, converte ou não) e pode ser analisada usando algo como um teste qui-quadrado.

O valor médio do pedido é uma variável contínua e geralmente é influenciada por valores discrepantes (por exemplo, alguém chega e compra 10 vezes o volume de uma compra normal – o que você faz com esse valor atípico?).

A receita média por visitante também é influenciada por valores discrepantes e é uma variável contínua, mas as premissas subjacentes do modelo tendem a se equilibrar em tamanhos de amostra maiores.

Essas duas métricas são subestimadas nos relatórios de experimentação da Shopify, mas apresentam alguns novos desafios para análise fora dos simples aumentos da taxa de conversão.

A maioria das ferramentas de teste A/B pode levar isso em consideração, no entanto, e você não terá muitos problemas com a inferência.

Dica de ferramenta: Use a calculadora de análise de pré-teste do Convert para avaliar seus requisitos de tamanho de amostra para sua tolerância ao risco e o efeito que eles desejam detectar nas métricas importantes listadas acima.

Quais elementos e insights um ótimo relatório de teste A/B da Shopify deve incluir?

Então, como é um excelente relatório de teste A/B do Shopify? Chegaremos a isso em um segundo.

Primeiro, mergulhe isso em:

Você pode criar um relatório de teste bom e valioso somente se tiver iniciado seu teste a partir de uma boa hipótese

Andra Baragan, Fundadora da ONTRACK Digital

Se você quiser algumas dicas sobre como criar uma hipótese sólida, nós o cobrimos.

Agora que temos nossas bases cobertas, aqui estão mais conselhos de Andra Baragan sobre como construir um teste A/B:

Qualquer novo teste A/B deve começar respondendo a estas perguntas:

Problema : qual é o problema que você está tentando corrigir?

Oportunidade : como sua solução resolverá o problema?

Trilha de otimização : como isso está ajudando nosso cliente a atingir seus objetivos? Fonte : Quais fontes de dados você usou para criar sua solução?

Por fim, na hora de reportar, Andra recomenda voltar e responder a essas perguntas com números.

Em qualquer relatório de teste, incluímos o seguinte:

• Duração do teste : (quantos dias o teste foi executado)
• Intervalo de teste: (período de tempo em que foi executado)
• O que testamos: (explique o que você mudou)
• Insights : (1-2 linhas sobre por que você testou, o que você observou que fez você querer testá-lo)
• O que você aprendeu com o teste? Quais são os próximos passos agora?
• O teste é algo que precisa ser implementado no site ao vivo? Deseja reiterar a variação e testar novamente? Qual é a ação necessária após este relatório?

Sempre obtemos nossos resultados de teste do Google Analytics – criamos segmentos personalizados dos usuários para cada variação e, em seguida, podemos executar esses segmentos em todos os relatórios relevantes – isso nos dá uma visão incomparável do impacto do teste no comportamento do usuário.

Observação : se você tirar suas análises do painel da Shopify e compará-las com o Google Analytics, haverá algumas discrepâncias devido à forma como as métricas são calculadas. Aqui estão mais informações sobre por que isso acontece.

Estruturando o Relatório

A estrutura do seu relatório pode variar de acordo com quem você o está apresentando – os executivos não precisam de tantos detalhes quanto sua equipe de teste. Mas, seu relatório normalmente deve incluir estes aspectos:

• Slide 1: O objetivo do teste -Por que você fez o teste e qual foi a sua hipótese que o levou a projetar esse teste específico?
  
  Para as partes interessadas e sua organização mais ampla, você pode manter esse nível bastante alto. Ao apresentar para sua equipe de teste, inclua o contexto de testes anteriores (se aplicável) e mergulhe profundamente nas métricas que você esperava mover.

• Slide 2: Os detalhes do teste – Mostre as diferentes variações do teste e adicione uma breve nota para explicar as diferenças. Inclua quando você executou os testes, por quanto tempo eles foram executados e uma visão geral da contagem de visitantes por variação.
  
  Ao apresentar para a liderança ou outras equipes, você pode deixar de fora detalhes que não sejam relevantes para os aprendizados ou insights. Para sua equipe de teste, você pode expandir este slide ou página para cobrir todos os pequenos detalhes.

• Slide 3: Os resultados do teste – Mostre a porcentagem de aumento ou perda, as taxas de conversão de diferentes variantes e a significância estatística dos testes.
  
  As partes interessadas se preocupam com os resultados, tornando essa uma das facetas mais importantes do seu relatório. Destaque as vitórias e os KPIs que se moveram da maneira certa. Remova os outliers que não são relevantes para o resultado. Lembre-se, você tem que apelar para o interesse próprio deles. Dê-lhes algo que eles podem fazer com que pareçam bons.
  
  Para sua equipe de teste, você pode gastar mais tempo com as perdas e quais métricas não funcionaram da maneira que você esperava.

• Slide 4: As lições aprendidas com o teste – Se o teste não teve vitórias claras, esta é sua chance de usar os dados para contar uma história. Explique às partes interessadas o que significam os números em seu relatório, quais insights você obteve ao executar esses testes e como planeja gerar novas hipóteses para testes futuros.
  
  Isso também é muito importante para sua equipe de testes. As lições que você aprende com as falhas podem determinar os próximos passos para a equipe.

• Slide 5: O impacto na receita : Se puder, tente quantificar os aumentos percentuais que você mostrou anteriormente com o impacto da receita projetada ano a ano.
  
  Lembre-se de que para os stakeholders executivos se interessarem pela experimentação, você precisa mostrar a eles o impacto nos resultados da empresa. Se você não tiver nenhuma receita projetada para mostrar, certifique-se de que seus aprendizados incluam um plano para executar testes futuros que possam causar impacto.
  
  

Como não há uma maneira de fazer isso direito, pedimos a alguns especialistas que compartilhassem como eles estruturaram seus relatórios e foi isso que eles disseram:

Eu tenho um método muito padrão de estruturar relatórios que inclui:

1. Visão geral
   
   Um resumo rápido e em linguagem simples do que testamos, por que fizemos, o que observamos e o que pretendemos fazer em seguida.

2. Conceito de teste
3. Criativo experimental
4. Datas e duração
5. Métricas
6. Páginas
7. Hipótese
8. Análise
9. Resultados
   
   Na minha opinião, é imperativo que cada relatório inclua os resultados brutos completos para permitir que sejam interrogados por outros e também para benefício da posteridade.
   
   Podemos assumir que podemos acessar os resultados em nossa ferramenta de teste A/B agora, mas e daqui a um ano? Dois anos? Três?

10. Próximos passos
    
    Com base no que vimos neste experimento, o que faremos a seguir?

Oliver Palmer, consultor CRO da Oliver Palmer

Nossos relatórios de teste A/B sempre incluem os seguintes elementos:

1. Uma descrição clara das mudanças que foram feitas em cada versão;

2. Os resultados do experimento, incluindo qual versão teve melhor desempenho; e

3. Recomendações para novas experiências com base nos resultados do teste A/B

Esses relatórios nos ajudam a entender o que funciona melhor para nossa loja e tomar decisões informadas sobre como melhorar nossa taxa de conversão.

Luke Lee, CEO da PalaLeather

1. “ Experiência visualizada (página) – Quantas pessoas viram a experiência?
2. Experimento visualizado (elemento) – Se o experimento for mostrado apenas na rolagem, quantas pessoas o viram?
3. Experimento parado – Na área de trabalho, o cursor do usuário pairou sobre a área do experimento?
4. Interação do experimento – O usuário interagiu com o experimento? (Acompanhe cada elemento individualmente)
5. Tempo na página
6. Hora de finalizar a compra ”

Alex Halliday, fundador e CEO da AirOps

Aqui está um exemplo rápido de como é um dos relatórios de atividade da ONTRACK Digital:

( Você pode usar isso como um modelo para seu relatório.)

Diapositivo 1:

• Marca
• Nome do relatório
• Período de tempo

Diapositivo 2:

Destaques da prova

• Número de testes concluídos
• Número de testes bem sucedidos
• Recursos implementados
• Número de testes em andamento
• Resumo de todos os testes com atualização de status

Diapositivo 3:

Visão geral do Google Analytics para um período específico

• Receita e taxa de conversão
• Transações
• AOV

Slide 4:

Testes em execução

• Instantâneo dos testes atualmente em andamento
• Visual do software de teste A/B para mostrar qual deles está emergindo como vencedor
• Métricas do Google Analytics para apoiar o progresso do teste

Diapositivo 5:

Visão geral de testes futuros

• Todos os testes sendo planejados

Você pode ter um slide para explicar cada teste acompanhado de um visual.

Cobrindo Metas e KPIs

Metas e KPIs vão na seção “detalhes do teste” para que você possa explicar o objetivo do experimento.

Certifique-se de adicionar uma nota para explicar sua escolha. Você pode ser questionado sobre por que escolheu um objetivo ou KPI específico para rastrear em detrimento de outros.

Precisa de ajuda para identificar quais metas e KPIs acompanhar? Pegue nosso Guia definitivo para usar metas em testes A/B.

Também pedimos a alguns especialistas que comentassem quais metas eles rastreiam:

Meu objetivo favorito para testar nas lojas Shopify é aumentar o engajamento na página do catálogo. Nossos produtos definem a receita de vendas e o crescimento de clientes dentro do canal. Concentrar-se nesse objetivo e nos testes nos dá insights engenhosos sobre se a página está sendo visitada o suficiente. Se o engajamento for baixo, os testes nos ajudam a descobrir as áreas em que nos faltam, levando à reformulação dos esforços de marketing.

Aviad Faruz, CEO da Faruzo

Em termos de rastreamento de metas, geralmente escolho uma métrica principal da lista abaixo e uso as outras como métricas de integridade ou métricas de contador. É bom ficar de olho em vários números em caso de consequências não intencionais.

1. Taxa de rejeição
2. CVR (aumento geral da taxa de conversão)
3. AOV (valor médio do pedido)
4. Receita média por visitante (combinação das duas opções acima)
5. NPS ou similar

Também gosto de segmentar usuários por:

1. fonte UTM
2. Tipo de dispositivo
3. Localização
4. Novo vs visitante recorrente”

Alex Halliday, fundador e CEO da AirOps

Em termos de metas, normalmente haverá um indicador principal que estamos tentando influenciar diretamente (por exemplo, páginas de produtos visualizadas ou interações com um filtro de tamanho/cor) e quase sempre Conversão e Receita por visitante. As metas rastreadas devem estar diretamente relacionadas à hipótese e aos objetivos comerciais do experimento, portanto raramente é útil rastrear mais de três ou quatro no máximo.

Oliver Palmer, Consultor CRO na Oliver Palmer

Geralmente, acompanhamos duas metas em nossos testes A/B: taxa de conversão e valor médio do pedido . No entanto, dependendo da natureza da experiência, também podemos rastrear outras metas, como taxa de cliques ou tempo no site. Geralmente depende do experimento. Outros usuários e empresas podem ter critérios diferentes para rastrear seus respectivos objetivos.

Nossos objetivos favoritos para testar nas lojas Shopify são a taxa de conversão e o valor médio do pedido. Achamos que essas são as métricas mais importantes para nossa loja e fornecem os maiores insights em termos de como podemos melhorar nossa loja. No entanto, cada loja é diferente e você pode descobrir que outros objetivos são mais importantes para o seu negócio. Isso realmente depende do que você está procurando otimizar.

Luke Lee, CEO da Palaleather

Adicionando criativos para narrativa visual

A maioria dos softwares de teste A/B que você usa oferece tabelas e gráficos ou modelos prontos de algum tipo que você pode usar ao exportar relatórios. Você pode adicionar esses gráficos ao seu relatório (se forem relevantes, é claro) e considerar a criação de alguns dos seus próprios.

Seus números contam uma história. Basta usar os criativos para representá-lo visualmente. O truque é usar visualizações fáceis de entender, de preferência de uma só vez.

Annemarie Klaassen e Ton Wesseling da CXL seguiram esse caminho tentando métodos diferentes para chegar a uma solução que funcionasse. Aqui está um resumo rápido de seus conselhos:

Dica 1: Se não tiver certeza, siga a norma — planilhas do Excel

Você pode ver o elevador e o impacto imediatamente. Além disso, você pode codificar com cores o vencedor para que todos possam ver qual variante ganhou facilmente.

Dica 2: Adicione um gráfico

Você pode observar a taxa de conversão por dia ao longo do tempo e adicionar o limite inferior e superior da variação padrão.

No entanto, isso não lhe dará uma resposta clara sobre qual variante ganhou e como os KPIs foram impactados; apenas mostram que há um efeito estável que não é interessante para as partes interessadas.

Dica 3: Emule estatísticos

Outra maneira (possivelmente mais precisa) é replicar o que os estatísticos fazem: 2 curvas de sino, um valor crítico e uma área sombreada. Mas o problema é que é muito difícil explicá-lo com clareza.

Então Annemarie e Ton vieram com isso:

Dois pontos claros para mostrar a taxa de conversão de ambas as variantes. A linha pontilhada representa os intervalos de confiança.

“Se a taxa de conversão da variação B estiver fora do alcance do intervalo de confiança de A, a variação B é significativamente melhor. A área sombreada em verde acentua isso. Um ponto na área vermelha significaria que a variação está tendo um desempenho significativamente pior.”

Eles levaram mais algumas tentativas para acertar. O que eles conseguiram foi uma versão mais consolidada que fez sentido para sua equipe e eles conseguiram automatizar a produção dos criativos.

Você pode ler o post completo para ver o que eles acabaram com no final.

PS Você não precisa complicar demais isso. Certifique-se de ter criativos que respaldem seus resultados e aprendizados e garanta que seja fácil o suficiente para todos entenderem.

Cobrindo a segmentação e o design do experimento

Como você projetou um experimento e qual segmento de público foi direcionado é tão importante quanto o que você aprendeu com ele, especialmente porque você precisa usar esses insights para construir testes futuros.

Estes vão na seção "detalhes" também. Você pode querer abstrair algumas informações que não são relevantes para o C-suite ou apresentar uma versão resumida delas.

Veja como os especialistas abordam a segmentação e a segmentação:

Diferentes experiências segmentarão diferentes segmentos de usuários, como clientes recorrentes ou indivíduos que viram sua página principal do produto. Você pode segmentar clientes britânicos com inglês do Reino Unido se tiver usuários de toda a Anglosfera. Ao segmentar seu público, você pode expor sua experiência apenas ao número específico de visitantes que atendem aos seus critérios, excluindo aqueles que não atendem.

Antes de executar testes A/B em sua loja, você precisa descobrir qual seção do seu público é adequada para sua hipótese. A segmentação garante que o experimento correto seja exibido para os clientes corretos.

Lulu Albanna, cofundadora – WRC Media

Explique por que você fez essas escolhas específicas. Foi o resultado de um experimento anterior? Ou você chegou a uma certa hipótese com base na pesquisa de conversão?

Paul Somerville, gerente técnico do Electric Scooter Guide, também recomenda compartilhar onde o teste foi acionado e por que isso é importante:

Realizamos vários testes A/B para recursos como bate-papo ao vivo, botões de call-to-action, fotos de produtos, posicionamento de vendas, páginas de destino, menus de navegação e muito mais como uma empresa da Shopify.

Por exemplo, os testes A/B nos ajudaram a estabelecer o equilíbrio certo entre vendas cruzadas e vendas adicionais sem aborrecimentos ou atritos na experiência do cliente.

Percebemos que nosso público gostou de sugestões altamente relevantes imediatamente nas páginas de produtos, em vez das apresentadas durante a finalização da compra, depois de fazer vários experimentos e, como resultado, aumentamos o valor médio da transação.

Zerando na segmentação

Todos os testes não começam com um segmento de público em mente. Muitas vezes, o objetivo do teste é descobrir qual segmento responde melhor a uma mudança.

Portanto, se você pretende definir segmentos de público após a conclusão do teste, certifique-se de incluir suas descobertas nas seções “resultados” e “aprendizados” do relatório.

Algumas segmentações comuns que você deseja incluir em seu relatório:

• Geográfico
• Comportamental
• Tempo
• Tecnográfico

Tudo isso ajudará você a refinar os resultados para entender melhor seu público e projetar testes superiores.

No entanto, você deve ter em mente que a pós-segmentação pode se deparar com três problemas comuns – ter um tamanho de amostra muito pequeno, comparar vários segmentos e focar nos completamente errados.

Observação : você também pode avançar com sua pós-segmentação – segmente públicos com base em cookies, sua camada de dados ou até mesmo listas do HubSpot.

Transmitindo o valor dos testes A/B da Shopify, internamente e aos clientes

Agora que você sabe como deve ser o seu relatório de teste A/B da Shopify, aqui estão alguns conselhos de nossos especialistas:

• B2C vs. B2B – Mostre a eles o caminho certo
  Os ciclos de compra no B2C são muito mais curtos e há muito mais tráfego, então você idealmente tem potencial para executar muitos testes. Mas você descobrirá que a maioria das marcas ainda está focada nos canais “experimentados e testados” para aquisição que estão se tornando insustentáveis ​​devido a novas atualizações de privacidade que resultam em dados ruins. O resultado? Um aumento impressionante no custo de aquisição de clientes. Explique aos seus clientes/partes interessadas que você não pode gastar mais do que todos os seus concorrentes.

• Jogar para os interesses da liderança
  O valor real do teste A/B está nos insights que você obtém da experimentação. Mas estes não são úteis para o fundador e outras partes interessadas. Eles são menos propensos a ficarem impressionados com os aprendizados e mais interessados ​​em “vitórias”.

• Não crie expectativas erradas
  Claro, você deve tentar mostrar o impacto na receita, mas a frase-chave aqui é: quando possível. Não projete a receita com base em um aumento nas taxas de conversão ou no valor médio do pedido.
  Em vez disso, concentre-se no que foi testado:
  
  
  • Seja específico sobre o que você fez e crie relatórios visuais e pertinentes.
  • Quais foram os aprendizados? Isso pode vir de uma métrica como CR ou ARPV em movimento. Fixe não no movimento, mas se a hipótese foi comprovada. Em caso afirmativo, o que a relação causal revela sobre seus segmentos de público?
  • O que você vai fazer com esse insight? Você refinará o posicionamento? Ou talvez melhorar o design do site?
  • O que isso significa para o negócio como um todo? E pode levar a marca um passo mais perto de atingir os objetivos de negócios?

• Adicione contexto aos números que você apresentou
  Você tem que deixar as pessoas saberem, em termos inequívocos, o que elas estão vendo. Isso pode significar codificação por cores, adição de benchmarks do setor, exibição de médias, segmentos de público ou até mesmo de quanto custam canais diferentes.

Seguir essa abordagem garante que você não esteja sempre sob pressão para obter vitórias rápidas.

Você pode redirecionar sua atenção para o que é a experimentação – aprender. Mas a chave não é priorizar uma coisa sobre a outra.

As melhores agências de experimentação se concentram no interesse e na adesão tanto quanto no que estão testando. Um verdadeiro ato de equilíbrio entre entusiasmo (sim! Experimentos podem expandir negócios) e estabelecer expectativas imprecisas (nossa receita dobrará).

O caminho a seguir é (*tambor, por favor*) educação. Pegue uma cópia de “Experimentation Works” – uma leitura sem jargões que o guiará para executar testes melhores e compartilhar insights acionáveis.

E se você estiver procurando por uma ferramenta de teste A/B que possa ajudar a compartilhar sua carga, experimente o Convert. É grátis por 15 dias, sem necessidade de cartão de crédito.