A pilha de teste A/B recomendada para profissionais de marketing digital avançado

O conceito por trás do teste A/B é simples. Você compara duas versões de conteúdo entre si para determinar qual delas tem melhor desempenho.

Como resultado da execução de testes A/B, sua empresa e seu site se beneficiarão de mais leads e taxas de conversão mais altas.

Meu nome é Lars Lofgren e antes de começar a administrar uma empresa na Quick Sprout, comecei minha carreira na Growth. Como diretor de crescimento da KISSmetrics e I Will Teach You To Be Rich, fui pessoalmente responsável por atingir nossas metas de liderança e executei nossos programas de teste A/B para melhorar as conversões em cada site.

Conduzi centenas de testes A/B ao longo da minha carreira.

Em ambas as empresas, dupliquei e tripliquei as taxas de conversão. Mais especificamente, quadrupliquei o fluxo mensal de leads na KISSmetrics e construí uma máquina de geração de leads gerando 40.000 leads por mês na I Will Teach You To Be Rich.

Durante minha carreira de marketing, experimentei praticamente todos os softwares relacionados a testes disponíveis. Alguns foram incríveis e outros não. Se eu fosse acelerar um programa de teste A/B novamente, essas são as 11 ferramentas em que eu confiaria.

As melhores ferramentas para testes A/B

Existem alguns tipos diferentes de ferramentas que você precisará para o teste A/B. Vai muito além de uma única ferramenta para execução de testes. Vamos passar por todas as categorias aplicáveis.

E-mails transacionais e personalizados

Para testar corretamente os e-mails transacionais, você precisará ter controle total sobre a criação e a análise de seus e-mails. O SendGrid oferece esse tipo de controle. Ferramentas de e-mail mais populares, como MailChimp, simplesmente não são robustas o suficiente, mesmo muitas das ferramentas de automação de marketing não são flexíveis o suficiente. É melhor ter uma ferramenta de e-mail que seus desenvolvedores possam controlar completamente.

O Sendgrid possui alguns testes A/B integrados, mas é limitado:

A magia do Sendgrid não vem dos recursos integrados. Isso vem de seus desenvolvedores serem capazes de testar e-mails e funis inteiros A/B, pois eles têm controle total. Quando você tem controle total, pode executar qualquer teste que desejar.

Primeiro, eu pessoalmente nunca me preocupo em testar linhas de assunto ou taxas de cliques. Eles não têm um impacto material sobre os negócios. Em segundo lugar, testar o conteúdo é bom, mas prefiro testar funis de e-mail completamente diferentes. Foi aí que encontrei minhas maiores vitórias. É por isso que ignoro a interface do usuário de teste integrada e uso o Sendgrid para emails inteiros.

A maioria dos meus testes de e-mail A/B são, na verdade, testes de espera. Envie seu e-mail para 50% do grupo de teste, não envie nada para os outros 50%. Você poderá ver o verdadeiro impacto desse e-mail.

pesquisas

SurveyMonkey é o padrão da indústria para pesquisas online. Quase todos vocês que estão lendo isso responderam a uma pesquisa por meio de sua plataforma em um ponto ou outro.

Eu gosto do SurveyMonkey porque é muito fácil de usar. Como quase todo mundo está familiarizado com ele, os usuários se sentem à vontade para responder a pesquisas fornecidas por seu software.

Você pode estar se perguntando: “Por que considero as pesquisas como parte da minha pilha de testes A/B?”

As respostas da pesquisa alimentam os insights que levam às vitórias nos testes A/B. Antes de executar qualquer teste, começo com uma pesquisa qualitativa. Quanto melhor eu entender os clientes, maiores serão as chances de encontrar um vencedor com os testes A/B.

Para coletar insights qualitativos valiosos, lembre-se destas dicas:

• Não complique demais suas pesquisas. Concentre-se em fazer de 5 a 10 perguntas que você realmente precisa saber.
• Concentre a maior parte de suas perguntas nos problemas que os clientes estão tendo.
• Comece com perguntas abertas até ter uma boa intuição para o entrevistado.

Para obter mais orientações, há várias ótimas dicas de pesquisa aqui.

testes de usuário

Outra ótima maneira de encontrar insights qualitativos para vitórias em testes A/B é com testes de usuários. A melhor ferramenta para esses experimentos é o UserTesting.

A primeira coisa que você precisa fazer é selecionar seu público. Você pode usar seu próprio público ou se conectar com um alvo específico através do painel do UserTesting. A plataforma permite que você seja preciso com dados demográficos e outros fatores para encontrar os melhores usuários para seus experimentos.

Em seguida, selecione 5 ou 10 usuários para passar pelo processo de integração ou outras ações convencionais de fluxo de usuários em seu site. O UserTesting fornecerá vídeos desses usuários interagindo com seu conteúdo. Como resultado, você pode identificar os principais pontos de atrito para obter vitórias no teste A/B.

Esta é uma mina de ouro para vitórias em testes A/B. Eu recomendo executar alguns deles em seus fluxos de inscrição ou integração. Sempre encontro um grande ponto de atrito que leva a grandes vitórias mais tarde. Na KISSmetrics, aprendemos como era difícil para as pessoas mapear todos os dados que precisavam rastrear. Em seguida, renovamos nossa integração, tornando-a mais estruturada e conduzindo as pessoas por cada peça de dados passo a passo.

Inteligência de negócios

Para aqueles que desejam um programa de teste A/B sério, você precisará trazer todos os seus dados e relatórios internamente. Para fazer isso de forma eficaz, você precisará ter algum tipo de data warehouse. Uma vez configurado, você pode implementar a melhor ferramenta (na minha opinião) para relatórios de inteligência de negócios - Tableau.

Prefiro o Tableau porque ele me dá controle total e gera qualquer relatório que você desejar. Como conheço as consultas, relatórios e visualizações exatas de que preciso, posso criar tudo da maneira que desejo.

No entanto, a triste notícia é que alguém deve gerenciá-lo e criar os relatórios de que você precisa, o que é um trabalho em tempo integral. Você também precisará de experiência no nível executivo para saber quais relatórios são necessários. Um analista de BI tradicional pode criar os relatórios, mas não saberá quais relatórios e métricas são mais importantes para os negócios. Tudo isso fica caro rapidamente.

Esta solução não é para todos. Siga esse caminho apenas se tiver experiência e orçamento para garantir que seja executado corretamente.

Calculadora de significância estatística

Dependendo do seu nível de habilidade, duas ferramentas são recomendadas para cálculos de significância estatística.

Calculadora fácil
A Calculadora de Significado A/B de Neil Patel é sua opção mais direta. Tudo o que é necessário é inserir manualmente o número de visitantes e conversões para cada variação:

A calculadora então determina se o teste foi significativo o suficiente para tirar conclusões.

calculadora avançada
Para uma opção mais avançada, a calculadora AB Testguide é sua melhor solução. Esta ferramenta fornece mais parâmetros para incluir no cálculo.

Com esta calculadora, você pode escolher uma hipótese e selecionar seu nível de confiança. Até os resultados do teste são mais avançados. A ferramenta não apenas mostra um gráfico, mas também outros dados estatísticos, como poder observado, valor p, pontuação z e erro padrão da diferença:

É um monte de detalhes extras que só fazem sentido se você já fez muitos testes ou tem experiência em estatística. Se isso for muito complicado, opte pela calculadora mais simples.

Por que eu uso isso?

A maioria das ferramentas de teste não calcula a significância estatística?

Se há uma lição que aprendi, é não confiar cegamente em novas ferramentas. Verifique novamente os cálculos de significância estatística até ter certeza de que uma ferramenta de teste A/B pode ser confiável. Existem muitas maneiras de calcular a significância estatística e também é fácil confundir essas coisas.

Portanto, sempre que estou trabalhando com um novo software de teste, sempre uso uma das calculadoras acima até ter certeza de que seus cálculos são sólidos.

análise da web

Não procure mais, o Google Analytics, o rei da análise de tráfego.

Para fazer um teste A/B em um site, você precisará entender a dinâmica do tráfego, em particular:

• Quais páginas recebem mais tráfego?
• Quais fontes de tráfego estão crescendo ou diminuindo?
• Quais páginas trazem mais tráfego?

Mesmo que você use o Google Analytics apenas para confirmar se tem tráfego suficiente nas páginas que pretende fazer o teste A/B, vale a pena instalar. Também é totalmente gratuito e uma ferramenta de classe mundial.

Há uma razão pela qual ele está instalado em quase todos os sites por aí. A qualidade dos dados, o volume de relatórios e insights e o fato de ser totalmente gratuito fazem do Google Analytics um negócio imbatível.

Anteriormente, eu costumava personalizar muito os perfis do Google Analytics. Atualmente, porém, raramente toco nas configurações e confio nos relatórios integrados. Então eu sugiro que você faça o mesmo.

Análise do usuário

Por que obter uma segunda ferramenta de análise? O Google Analytics não é suficiente?

Mesmo depois de todos esses anos, o Google Analytics se destaca na análise de tráfego. Sim, ele tem rastreamento de usuário agora, mas nunca foi projetado para isso. Você precisa ser um usuário avançado do Google Analytics para usá-lo para uma verdadeira análise do usuário.

Para isso, minha ferramenta favorita para análise de usuários e dados do cliente é o Amplitude, porque você pode rastrear facilmente os funis do usuário:

A maioria dos programas de teste A/B normalmente se concentra em funis de inscrição e integração. Não apenas há muito volume para testar, mas pequenas melhorias nesses funis podem ter um grande impacto nos negócios.

À medida que você testa seus funis, convém monitorá-los todos os meses para garantir que eles melhorem constantemente. Os testes A/B podem relatar um resultado, mas seus KPIs mensais não corresponderão perfeitamente.

Se você decidiu usar um data warehouse e uma ferramenta de inteligência de negócios como o Tableau, pode pular totalmente a ferramenta de análise do usuário. Acho que uma ferramenta de análise do usuário é uma boa etapa intermediária quando uma empresa não está pronta para construir toda a infraestrutura.

Páginas de destino pós-clique

Para cliques pós-anúncio, você vai querer uma solução dedicada especializada em experiências de página de destino – não um software completo que tenha “teste A/B” ou um “construtor”. Isso é especialmente verdadeiro quando cada campanha merece uma página de destino pós-clique exclusiva e um teste A/B de cada página no processo. O Instapage não apenas ajuda você a dimensionar a produção de páginas de destino para cada campanha, mas também possui testes A/B integrados. Quando você encontrar vitórias, poderá lançá-las imediatamente:

Meus programas de marketing sempre acabam com toneladas de páginas de destino. Se você não está testando A/B nas páginas com mais tráfego, está deixando a receita na mesa.

Mapas de calor

Na pesquisa com clientes, há um conselho comum: “não foque no que as pessoas dizem, foque no que elas fazem”. É por isso que os mapas de calor são outro excelente recurso de coleta de dados para insights qualitativos. Os mapas de calor são perfeitos para ter uma ideia melhor de como as pessoas se comportam. Além disso, eles são super fáceis de entender.

Saber no que as pessoas clicam, até onde elas rolam e para onde o mouse se move estimula todos os tipos de ideias para otimização — é outra mina de ouro de ideias para testes A/B.

O Instapage possui mapas de calor integrados em sua plataforma que podem fazer todos os três para páginas de destino pós-clique (a imagem abaixo é apenas o mapa de cliques):

Você também deseja executar mapas de calor em seu site principal. Nesse caso, eu recomendaria o Crazy Egg:

Execute mapas de calor em suas páginas iniciais, páginas de preços e fluxos de integração. Procure coisas que recebam muitos cliques que você não esperava e itens que você pensou que receberiam mais atenção, mas não recebem. Em seguida, crie ideias de teste que destaquem o que as pessoas desejam e, ao mesmo tempo, desenfatizem as coisas com as quais não se importam.

O CXL tem muitas dicas excelentes sobre como usar mapas de calor aqui.

teste A/B

E quanto à própria ferramenta de teste A/B? Qual é a melhor opção para testar páginas iniciais, fluxos de integração e produtos? Na minha opinião, VWO:

A VWO tem um sólido produto de teste A/B que começa em US$ 199/mês. Em comparação com outras ferramentas que podem facilmente custar dezenas de milhares de dólares por ano, o VWO é muito mais acessível. O valor por dólar é excepcionalmente alto.

Com o VWO, você poderá executar vários testes A/B simultaneamente. Há também um editor visual que permite executar testes A/B sem editar nenhum código. Perfeito para testar elementos como manchetes. Você também pode usar o editor de código para fazer alterações mais avançadas em seus testes. O editor de código é uma grande melhoria.

Teste A/B do WordPress

O WordPress é o CMS mais popular do mundo, mas executar testes A/B em um site WordPress inteiro pode ser uma dor de cabeça. A plataforma definitivamente não foi projetada para isso.

É por isso que você deve usar um plugin como o Nelio para testes A/B do WordPress:

Esteja avisado; você deseja colocar seu site em ordem antes de fazer este teste. Se você não limpar tudo, terá inúmeros conflitos de plug-in e seu site não poderá servir variantes de teste rápido o suficiente para testes válidos. Como o WordPress nunca foi projetado para testes em todo o site, é fácil que os testes A/B entrem em conflito com plugins, temas e sites mal construídos.

Primeiro, certifique-se de obter um bom host. A última coisa que você deseja é um host lento que atrasará a exibição da variante, para que o usuário perceba a alteração. Em seguida, limpe seu tema do WordPress e remova todos os plugins desnecessários. Isso reduzirá quaisquer conflitos de plug-in e servirá seus testes com rapidez suficiente para evitar ser notado.

Depois que seu site WordPress estiver limpo e tiver um tempo de carregamento rápido, instale o Nelio e use-o para executar testes A/B em todo o site. Eu costumava fazer muitos testes em nosso blog para aumentar as conversões em assinaturas de e-mail.

Conclusão

Um verdadeiro programa de teste A/B precisa de um conjunto de ferramentas para ser executado com eficiência. Depois de testar centenas de ferramentas em várias empresas e centenas de testes, prefiro a pilha acima porque elas se concentram em diferentes áreas do marketing digital, e nenhuma é a “melhor” em todas as categorias.

Se houver alguma ferramenta nova e interessante que você esteja considerando, sinta-se à vontade para trocar uma delas. Minha regra geral é experimentar com frequência ferramentas fáceis de iniciar e interromper, como ferramentas de gravação ou pesquisa do usuário. Mas para ferramentas de infraestrutura, como análises, escolho aquela que é confiável e da qual poderei depender por anos.

Sobre o autor
Lars é atualmente o CEO da QuickSprout. Antes disso, ele foi Diretor de Crescimento da I Will Teach You To Be Rich e da KISSmetrics.