Como fazer teste A/B em sites de baixo tráfego

Aviso de gatilho:

Sabemos que há muito debate em torno da significância estatística, a marca mítica de 95% (ou não?), testes e tráfego e muito mais.

Se você é um otimizador que se sente fortemente sobre essas coisas, você pode ser acionado. Bem, os comentários estão abertos e podemos ter uma conversa realmente esclarecedora.

Vamos começar!

O teste não funciona para sites de baixo tráfego.

Isso é certeza.

Como para obter insights estatisticamente significativos, você precisa mostrar as variantes do seu experimento para (pelo menos) milhares de usuários.

Na verdade, na Convert Experiences, geralmente recomendamos que nossos usuários executem testes A/B — que são os experimentos CRO mais simples — somente se puderem enviar cerca de 10 mil visitantes para cada variante.

Além disso, sugerimos registrar cerca de 1.000 conversões para obter evidências conclusivas da superioridade do controle ou variante.

Isso meio que explica por que o CRO não é um tipo de mercado de um milhão de clientes, pois existem apenas alguns sites (ou empresas) de 100 mil com o passo para testar com algum sucesso e os orçamentos para as soluções de otimização caras (que rapidamente se tornam "empresas") !

Sites de baixo tráfego devem descartar testes?

Dado que uma pequena empresa média recebe apenas algumas centenas de visitantes por dia em seu site, os experimentos de teste A/B não fazem sentido para eles.

Mas:

Isso não significa que uma pequena empresa não possa executar experimentos.

Na verdade, existem muitos experimentos que até mesmo uma pequena empresa pode executar.

E há muitos benefícios em executá-los.

Por exemplo, se você possui uma pequena empresa, a execução de experimentos o ajudará a sair da tomada de decisões baseada no instinto para a tomada de decisões baseada em dados. Isso vai forçá-lo a olhar para os dados... e com números na sua cara, você vai parar de usar como padrão as estratégias * eu acho *. Essa abordagem baseada em dados por si só transformará a forma como você cria e expande seus negócios.

A execução de experimentos também ensinará você a aprender tentando, em vez de aceitar o status quo. Isso irá inspirá-lo a ver se os princípios que acredita funcionar realmente funcionam para você.

Por fim, a execução de experimentos irá prepará-lo para um CRO “real” quando você tiver tráfego “suficiente” , pois ajuda a desenvolver a mentalidade certa para testes – um pré-requisito para um CRO eficaz.

Portanto, comece a executar todos os experimentos que puder nos canais de marketing que você usa. Aqui estão algumas de suas opções.

Testando com e-mail

Surpreendentemente, o email marketing é um canal que permite que você experimente ideias diferentes, sem precisar de toneladas de assinantes (ou “contatos”).

"Quem disse?"

Diz que todos os provedores de software de marketing por e-mail, desde MailChimp, ConstantContact e Campaign Monitor até HubSpot (que oferece suporte a marketing por e-mail em seu software de automação de marketing).

Vamos começar com o HubSpot.

Portanto, se você deseja executar um teste A/B usando a plataforma de e-mail da HubSpot, tudo o que você precisa são 1.000 contatos: 1.000 contatos também é nossa referência para executar testes A/B em amostras de envios de e-mail. — HubSpot

O Campaign Monitor também diz que você pode executar testes A/B mesmo com pequenas listas de emails. Aqui está a matemática por trás disso:

Agora, você pode estar pensando: “O tamanho da minha lista é de apenas 500 assinantes, como você espera que eu faça um teste bem-sucedido?” Minha resposta é que você precisará definir suas vistas em um MDE maior [Efeito Mínimo Detectável (MDE)]. Quando você aumenta o MDE, o tamanho de amostra necessário diminui. Portanto, em vez de precisar de 592 assinantes por variação para detectar um efeito relativo de 20%, você precisaria apenas de 94 assinantes por variação para detectar um efeito relativo de 50%. Observe que a taxa de conversão da linha de base também desempenha um papel no tamanho da sua amostra – quanto menor a sua taxa de conversão (neste caso, aberto %), mais assinantes você precisará para realizar um teste preciso. - Monitor de campanha

Portanto, se você tem cerca de 500 ou 1.000 assinantes, é bom testar, desde que tenha um banco de dados responsivo que esteja interessado no que você tem a dizer.

No entanto, alguns provedores de email marketing recomendam uma base de contatos um pouco maior.

Por exemplo, o provedor de soluções de marketing por e-mail ConstantContact recomenda um tamanho de amostra maior com o dobro do tamanho mínimo permitido pela HubSpot. Ele sugere que, para testes A/B significativos, o tamanho da amostra deve ser de pelo menos 1.000 contatos. Então, se você tem 2.000 assinantes, você deve ser bom para testar (com suas versões A e B recebendo cada uma 50% do total de contatos como tráfego de teste).

Para teste de linha de assunto, recomendamos testar cada linha em um tamanho de amostra de pelo menos 1.000 contatos, se possível. 1.000 usuários para cada versão normalmente é uma boa referência para qualquer teste A/B, mas se você não tiver contatos ou visitantes suficientes para atingir esses números, ainda vale a pena fazer o teste. —Contato Constante

MailChimp também recomenda listas um pouco maiores para executar testes A/B. Ele sugere que você deve ter pelo menos 5.000 contatos para executar testes. Mas como muitas bases de contatos de pequenas empresas são muito menores do que isso, recomenda testar ideias em toda a lista:

Recomendamos que você envie combinações para pelo menos 5.000 contatos inscritos para obter os dados mais úteis do seu teste. Se o tamanho da sua lista ou segmento não permitir 5.000 assinantes em cada combinação, considere testar toda a sua lista e use os resultados da campanha para informar futuras decisões sobre o conteúdo da campanha. — MailChimp

Embora seja verdade que ter um tamanho de amostra grande ajudará você a alcançar a significância estatística muito mais cedo (e com muito mais confiança), mas você também pode começar a testar com sua pequena lista!

Aqui estão mais de 150 ideias de teste de divisão de e-mail para suas campanhas de e-mail.

Além disso, aqui está um guia rápido sobre testes A/B de e-mail.

Testes com redes sociais

A mídia social é outro canal que permite testar suas ideias, não importa quão pequeno seja o número de seguidores nas redes sociais. Além disso, de certa forma, nas redes sociais, nada limita seu alcance.

Assim, por exemplo, no Convert Experiences, mesmo não temos dezenas de milhares de seguidores, mas nosso incrível Social Seller continua experimentando elementos de nossa cópia de mídia social, como hashtags, imagens e muito mais.

E seus testes trazem grandes vitórias para nós. Por exemplo, seu experimento usando um certo conjunto de hashtags nos rendeu um retuíte do Google Analytics!

Agora, isso é alguma exposição de mídia social, não é?

Você pode dizer que é fácil descartar vitórias rápidas como (talvez) acaso, MAS quando você vê um conjunto de hashtags rotineiramente ganha mais exposição do que as outras com as quais você o testa, você tem mais do que um resultado de teste … o que você tem é uma tendência .

Você pode executar uma série de testes A/B de mídia social para descobrir essas tendências e aumentar seu desempenho de mídia social. Publicamos uma ótima cartilha sobre testes A/B de mídia social aqui. Leia-o para saber como você pode começar com o teste A/B de mídia social, os diferentes testes A/B de mídia social que você pode executar e as principais práticas recomendadas de teste A/B de mídia social que você deve ter em mente.

Teste A/B com anúncios pagos (PPC)

Assim como os canais de marketing por e-mail e mídia social, o canal de marketing PPC também permite que você experimente suas cópias de anúncios e todos os outros elementos de suas campanhas publicitárias.

Seja o Google Adwords ou os anúncios do Facebook, a maioria das redes pagas suporta experimentos para que você possa obter o maior ROI.

Mas para obter resultados estatisticamente significativos de seus experimentos de PPC, você precisa de alguns milhares de impressões de cada cópia do anúncio. O Google recomenda testar grupos de anúncios que recebam pelo menos 5.000 impressões/semana.

Então, quanto custam alguns milhares de impressões de anúncios?

Depende muito da plataforma e do setor (entre outros fatores), mas existem dados para te ajudar a fazer o orçamento.

Por exemplo, o AdStage analisou mais de 110 milhões de impressões de anúncios (no Google Adwords) no primeiro trimestre de 2018 e descobriu que, em média, você precisa de US$ 116,91 para obter mil impressões (CPM) no Google Ads. No ano passado, foi cerca de 13% mais barato .

Redes de mídia social como o Facebook também oferecem opções acessíveis de CPM.

Dados da pesquisa da Statista afirmam que o CPM médio (custo por mil ou custo por 1.000 impressões) para o Facebook é de US$ 1,26. Outras estimativas de custo médio de CPM do Facebook do AdExpresso e WordStream ficam na faixa de US$ 7 a US$ 10.

A questão é que você pode começar a testar cópias de anúncios mesmo com um orçamento limitado.

Uma maneira (quase) “à prova de tráfego” de experimentar: personalização

Personalizar ou personalizar a experiência do site de um visitante com base no que você sabe sobre eles é outra forma comum de experimentação.

A melhor parte da personalização é que mesmo sites de baixo tráfego podem trabalhar com eles, pois as restrições de tráfego que se aplicam aos testes de CRO não se aplicam à personalização.

A razão por trás disso é que, com a personalização, o objetivo final não é otimizar as taxas de conversão. Em vez disso, seu objetivo é oferecer uma experiência de usuário mais relevante que leve a mais conversões ou maior satisfação e retenção do cliente.

Por exemplo, você pode criar diferentes versões da página do seu produto para mostrar a seus clientes e não clientes (ou leads).

Na página do seu produto para seus clientes, você pode mostrar conteúdo como guias e vídeos do produto, links rápidos para acessar o suporte e muito mais, para que eles tenham uma experiência de produto mais gratificante. Enquanto a versão que você mostra aos seus leads – por exemplo, aqueles que se inscreveram para uma avaliação – pode se concentrar nos recursos do seu produto ou estudos de caso para ajudá-los a converter.

Cerca de 93% das empresas veem melhores conversões com a personalização.

E você pode começar com a personalização imediatamente.

Além disso, com uma ferramenta como o Convert Experiences, você pode configurar experiências personalizadas no site em poucos minutos. Basta definir as regras de segmentação e você poderá exibir mensagens personalizadas para seus diferentes segmentos de público, levando cada segmento a passar para o próximo estágio de sua jornada de compra.

Embrulhando-o …

Embora o baixo tráfego do site possa impedi-lo de realizar experimentos CRO substanciais, isso não pode impedi-lo de “aprender”.

E é isso que é importante - porque uma vez que você mude seu foco para aprender tentando em vez de aceitar a norma, você começará a desenvolver a cultura de experimentação, um pré-requisito para um CRO eficaz.

Não importa em que estágio de crescimento você esteja, você pode investir no desenvolvimento de uma cultura de testes. Será útil quando você realmente tiver tráfego suficiente em seu site para fazer experimentos de CRO hardcore e definitivos.