Lutando para provar o ROI dos testes A/B? Deixe-nos ajudar

Qual é o valor do seu programa de teste A/B? Quais benefícios ele traz para sua empresa?

Você já sabe que o teste A/B ajuda a otimizar as taxas de conversão e aumentar a receita. Mas como exatamente você pode provar que o teste A/B afeta seus resultados?

Nas palavras de Matt Gershoff,

O teste A/B pode mitigar as mudanças de comportamento que levam a danos ou perdas

Mas tudo isso pode não impressionar o C-suite da sua empresa, que deseja números tangíveis que mostrem o ROI do seu programa de testes A/B. Provar os benefícios de seus testes A/B pode ganhar o apoio de executivos em tempos de turbulência, como agora.

Veja como você pode provar o valor do seu programa de experimentação!

Calculando o ROI do seu programa de testes A/B

Usando a receita, você pode calcular o ROI do seu programa de teste A/B. O pessoal da Peak Activity tem uma ótima fórmula para calcular seu ROI. Aqui estão algumas métricas que você deve conhecer:

Receita por sessão (RPS)

Calcule o RPS para seu controle e variante. Essa é a receita total dividida pelo número total de sessões para seu controle e variante.

RPS = (Receita Total ÷ Total de Sessões)

Aumento médio de vendas

Isso envolverá o RPS de seu controle e variante. Essa métrica deve ser estatisticamente significativa.

Aumento médio de vendas = (RPS da sua variante – RPS do seu controle) – 1

Custo de execução do seu teste A/B real

Esta é a receita de controle multiplicada pelo aumento médio de vendas.

Custo do teste A/B = (receita de controle * aumento médio de vendas)

Multiplicador para divisão de tráfego

Primeiro, calcule o total de sessões adicionando o total de sessões para o controle e a variante. Em seguida, use esse valor para calcular a distribuição de tráfego para o controle e a variante.

Total de sessões = (sessões de controle + sessões de variantes)

Distribuição de tráfego para Controle = (Tráfego de controle ÷ Total de sessões) * 100

Distribuição de tráfego para variante = (tráfego de variante ÷ total de sessões) * 100

Valor da Mudança de Variante

Isso é calculado multiplicando o custo de execução de testes A/B por 2. Isso ocorre porque os testes A/B padrão tendem a ter dois tratamentos. Essa figura difere para testes multivariados em que você tem vários tratamentos.

Valor da mudança = (Custo de execução do teste * 2)

Valor obtido com a duração do teste

Este é basicamente o custo de execução do teste A/B removido do valor da mudança de variante.

Valor do período de teste = (Custo de execução do teste - Valor da alteração)

Previsão de receita incremental se a variante for lançada

Para encontrar a média de vendas por dia, divida o valor da alteração na variante pelo número de dias em que os testes foram executados.

Vendas médias por dia = (Valor da mudança de variante ÷ Duração do teste)

A previsão de receita será a média de vendas por dia, multiplicada pelo número de dias em seu período de previsão. Lembre-se de prever o suficiente para que os efeitos da sazonalidade, campanhas de vendas, comportamento do cliente, etc. sejam diminuídos.

Valor geral do programa de testes A/B

Agora você pode calcular o ROI do seu programa de teste A/B:

Programa de teste A/B = (testes vencedores + testes perdedores + custo)

Nota: os testes perdedores precisam apenas das 3 primeiras etapas, enquanto os vencedores precisam de todas as etapas.

Pedimos a várias empresas que têm um programa de teste A/B maduro para compartilhar como calculam o ROI de seus testes.

Aqui está o que eles disseram.

Ian Kelly, vice-presidente de operações da NuLeaf Naturals compartilhou:

O primeiro passo é descobrir o custo total do experimento. Isso inclui o custo das ferramentas usadas para o teste A/B e o tempo necessário para realizar o teste. O valor do tempo é igualado multiplicando-se o tempo total gasto pelos funcionários no projeto pelo salário-hora. Além disso, adicione o custo de oportunidade caso o teste resulte em menos conversões. O custo de oportunidade é o dinheiro extra que você poderia ganhar se não tivesse conduzido o experimento.

O segundo passo é ter um funil claro que termina na venda de um produto. EveryTrack cada etapa do funil. Use uma ferramenta como o Mixpanel para fazer isso. Em um teste A/B, haverá duas variações do mesmo funil. As alterações podem ser direcionadas ao público, cores usadas ou até mesmo a cópia usada. Ambas as variações devem ser rastreadas separadamente e comparadas.

Assim que todos os dados acima estiverem disponíveis, será muito fácil comprovar o ROI do seu programa de testes A/B. É melhor calcular o ROI no final de cada trimestre. Alguns experimentos falharão, enquanto outros serão bem-sucedidos. A melhoria geral na receita deve ser maior que o custo do seu programa de testes A/B. Se não for esse o caso, reconsidere suas estratégias de teste em vigor

George Pitchkhadze, CMO da Thrive Cuisine, descreve o processo de sua empresa abaixo:

Calcule o custo do seu experimento.

Para calcular o ROI, você precisa conhecer seus custos. Isso deve incluir custos diretos e indiretos, por exemplo:

-O custo do software/serviços utilizados.

-O custo das horas-homem utilizadas.

-Os custos diretos (por exemplo, o custo de alugar uma lista de e-mail ou anúncios PPC).

Por exemplo, digamos que eu esteja testando A/B em duas plataformas de anúncios. Eu deveria analisar nossos custos de anúncios PPC, mas também quantas horas leva para executar cada conjunto de anúncios e o preço dos serviços de análise que estamos usando para informar nossos anúncios.

Calcule seu retorno

Esta parte é direta. Calcule os retornos diretos que vêm de um esforço. O que importa aqui é usar ferramentas analíticas modernas para conectar vendas e receita com coisas como e-mails enviados, conjuntos de anúncios no FB/Google etc.

Calcular ROI

Agora que você tem uma ideia precisa de retornos e investimentos, pode calcular facilmente o ROI. Apenas lembre-se: calcule o custo do experimento detalhadamente e conecte os retornos a campanhas e mensagens específicas implantadas

Outras maneiras de medir o impacto do teste A/B

Existem outras maneiras de medir o ROI do seu programa de teste A/B.

A diretora de integrações, privacidade de dados e segurança da informação da Convert, Dionysia Kontotasiou, compartilhou mais 4 métodos para avaliar o impacto de seus testes A/B.

1. Quantos experimentos estão sendo concluídos?

Se uma alta porcentagem dos experimentos de uma empresa for inconclusiva, pode ser um sinal de que eles estão configurando os experimentos incorretamente. Talvez eles estejam escrevendo hipóteses ambíguas como “ Esta mudança tornará o aplicativo melhor ” em vez de explícitas como “ Esta mudança aumentará as inscrições mensais em cinco por cento ”.

2. Feedback da equipe do produto

A equipe de produto tem mais informações e dados do usuário do que antes? Seus lançamentos de produtos estão crescendo com mais sucesso? Se sim, este é um bom sinal de que os testes A/B realizados são bem-sucedidos.

3. Velocidade do experimento

A velocidade de teste é a medida de quantos testes você está realizando em um determinado período de tempo. Esta é uma referência operacional para avaliar a rapidez com que você pode projetar, desenvolver, testar, analisar e iniciar seus testes. Embora alguns testes maiores levem mais tempo e sejam importantes para produzir um impacto maior nos resultados, os ' ganhos rápidos ' menores não devem ser descontados.

4. Custos projetados versus reais para executar o programa

Acompanhe horas ou orçamento dedicado à execução de seu programa. Você também pode monitorar seu orçamento projetado versus seu gasto real em seus projetos de teste para avaliar o valor de seu programa de teste A/B.

Se você estiver usando o Convert Experiences para seu programa de teste A/B, terá acesso a relatórios complexos (como na captura de tela abaixo) que incluem suas metas e o desempenho de cada variação de teste - para que você possa não apenas maximizar o ROI, mas também provar!

Conclusão

O valor do teste A/B está tanto em encontrar melhorias que levem a um aumento de receita ou proporcionem uma melhor experiência para seus clientes em seu site quanto em mitigar riscos que possam surgir. Usando receita e outras medidas, você pode provar conclusivamente o ROI do seu programa de testes A/B para o C-Suite da sua empresa.

Como você pode aumentar seu ROI com testes A/B?

Reserve uma demonstração com o Convert para descobrir.

Solicite sua demonstração