Teste multivariado: como executar os melhores testes para obter os melhores resultados

O teste A/B é uma das maneiras mais fáceis de encontrar ideias de otimização para suas páginas de destino pós-clique, mas nem sempre é a maneira mais eficiente.

Antes de começar a testar duas, três ou quatro páginas por vez, descubra como testar ainda mais e descubra a melhor combinação de elementos para converter seus visitantes.

O que é teste A/B?

O teste A/B, também conhecido como teste de divisão, permite comparar duas versões diferentes de uma página da web para determinar qual converte melhor os visitantes.

Essas duas páginas podem ser:

• Ligeiramente diferente

Se você tem um design de alta conversão e deseja descobrir como melhorar um único elemento, pode testar duas páginas diferentes com apenas uma diferença. Se você quiser ver se uma curiosidade ou manchete com foco em notícias tem melhor desempenho, você pode testar manchete versus manchete. Se você quiser ver se um vídeo ou um gif impacta mais as conversões, você pode testar um em cada página.

Depois de direcionar tráfego igual para cada um, aquele que gerar mais conversões é o vencedor. E o motivo pelo qual uma gerou mais conversões é claro, já que há apenas uma diferença entre as duas páginas.

• drasticamente diferente

Você também pode testar duas páginas diferentes de várias maneiras. Sua página original pode ter um título diferente, imagem em destaque e botão de call-to-action diferente da sua variação. Testá-lo pode ser algo como isto:

Depois de direcionar tráfego igual para a página original (A ou “controle”) e a página de variação (B), aquela que converte melhor é a vencedora. Mas, ao contrário de quando você altera apenas um elemento por teste, quando você testa páginas drasticamente diferentes, não há como determinar o motivo pelo qual uma determinada página venceu.

Tomando os resultados do exemplo acima, saberíamos apenas que a versão “b” é melhor que a versão “a”, mas não o motivo pelo qual ela é melhor, pois há várias causas a que isso pode ser atribuído. As conversões podem ter vindo do ajuste da barra de navegação da esquerda para a direita ou do formulário de inscrição de cima para baixo. Tudo o que você pode dizer com certeza quando faz um teste A/B de designs drasticamente diferentes é que uma página é melhor que a outra.

Porém, há um tipo diferente de teste que você pode executar para determinar como as alterações em vários elementos interagem entre si. É chamado de teste multivariado.

O que é teste multivariado?

O teste multivariado é o processo usado pelos otimizadores para comparar duas páginas da Web diferentes. O método se concentra na comparação de mudanças sutis entre vários elementos e, em seguida, na medição de como esses elementos interagem entre si, com o objetivo de encontrar o melhor desempenho.

A diferença entre teste A/B e teste multivariado

Você provavelmente já leu muitos estudos de caso de teste A/B que encontram uma página vencedora comparando um título com outro, ou uma imagem em destaque versus um vídeo, ou uma frase de chamariz versus uma ligeiramente diferente. Embora possam ser usados ​​para fazer isso com precisão, de acordo com os otimizadores da Widemile, há uma maneira mais ideal de usar o teste A/B:

O uso ideal para o teste A/B, dizem eles, é “testar duas ou mais páginas radicalmente diferentes”. Em termos de teste, é melhor fazer um teste A/B para encontrar o que é chamado de “máximo global” e um teste multivariado para refinar em direção ao “máximo local”.

O máximo global e o máximo local

Por mais difícil que seja, imagine por um segundo que você nunca comeu uma bola de sorvete na vida e está em uma sorveteria tentando decidir qual dos 30 sabores diferentes deseja comprar .

Existem 10 tipos diferentes de chocolate, 10 variedades diferentes de baunilha e 10 variações diferentes de morango. Você vai experimentar todos os 30 sabores antes de decidir qual deles você quer uma colher?

Provavelmente não. Você provavelmente vai experimentar um de cada sabor drasticamente diferente - um de chocolate, um de morango e um de baunilha - para definir qual variedade você mais gosta. Se você descobrir que gosta de chocolate em vez de baunilha e morango, começará a experimentar sabores como “massa de biscoito com gotas de chocolate” e “manteiga de amendoim com chocolate” e “fudge de chocolate” para decidir qual dos chocolates você mais gosta.

Em termos estatísticos, chamaríamos a variedade que você mais gosta (chocolate, baunilha ou morango) de máximo global. Este é o sabor que mais lhe agrada entre os três tipos drasticamente diferentes. O sabor específico da variedade (fudge de chocolate, massa de biscoito com gotas de chocolate, manteiga de amendoim com chocolate) seria o máximo local. É a melhor versão da variedade que você escolheu.

Como otimizador, você deseja abordar o teste de maneira semelhante. Você deseja encontrar a página que melhor converte seus visitantes (máximo global) e, em seguida, ajustar os elementos específicos nessa página para melhorá-la para a página de maior conversão possível (máximo local). O que você está procurando determinará qual teste você usará.

Quando usar o teste A/B e quando usar o teste multivariado

Os testes A/B são os melhores para testar o máximo global. Eles são os melhores para descobrir em qual página seus visitantes desejam converter. Veja este exemplo da MarketingExperiments, que usou um teste A/B para ajudar a Investopedia a aumentar as conversões de seu boletim informativo, Investopedia Advisor.

A oferta era simples - um boletim informativo gratuito com dicas sobre ações - e, portanto, a página original refletia isso. Não era longo, complicado ou confuso com muitos elementos. Apresentava um formulário de captura de leads de um campo, uma cópia com marcadores e um infográfico:

Mas, apesar da valiosa oferta gratuita, estava convertendo apenas 1,33%. A equipe da MarketingExperiments decidiu reformular completamente a página. Eles mudaram o título, o layout, o botão CTA e adicionaram alguns emblemas, entre outras coisas. Em seguida, eles testaram A/B a nova página em comparação com a original e descobriram que a nova converteu 89,4% mais. Aqui está o que parecia:

É importante lembrar que, com esse teste A/B, os experimentadores não descobriram exatamente por que a nova página converteu melhor do que a antiga, mas encontraram uma nova com maior conversão. Em outras palavras, eles encontraram um novo máximo global. Nesse ponto, se desejarem, eles podem refinar esta página com testes multivariados para determinar qual combinação de elementos converte mais visitantes.

Isso é exatamente o que os testadores neste exemplo hipotético da Optimizely querem fazer, por exemplo. Eles querem descobrir qual combinação de título e imagem converte mais visitantes.

Então, eles criam várias páginas com diferentes combinações de títulos e imagens para ver qual tem o melhor desempenho.

Qualquer uma dessas quatro versões que surja do teste com a maior taxa de conversão é a vencedora. Se as duas versões com a lâmpada tiverem um desempenho melhor do que as duas com a engrenagem, você pode concluir que a imagem da lâmpada tem o maior impacto nas conversões. A partir daí, você veria qual título acompanhante produziu mais conversões e usaria essa página.

Como conduzir um teste multivariado

Alguns anos atrás, quando o fundador da VWO, Paras Chopra, quis aumentar os downloads em sua página da web, ele usou testes multivariados para descobrir como. Se estiver familiarizado com as etapas para realizar um teste A/B, você reconhecerá a maioria das etapas neste exemplo de teste multivariado.

1. Identifique um problema

Antes de começar a melhorar sua página da Web, é melhor pesquisar os dados e descobrir como os visitantes estão interagindo com ela. O que ele descobriu foi que as pessoas não estavam clicando em seu botão “download” tanto quanto ele esperava, então ele pesquisou a página para descobrir o porquê.

2. Formule uma hipótese

Depois de um exame minucioso, ele percebeu que o link para download era bastante imperceptível. Então ele criou uma hipótese para melhorar a página:

Uma solução óbvia para fazer com que os visitantes percebam o link de download é tornar a seção de download a parte mais proeminente da página. No design da página, o tamanho e a cor do cabeçalho “Download” combinavam bem com o restante da página, o que fazia com que as pessoas perdessem o link de download.

Ao tornar o link “Download” mais perceptível, ele acreditava que seria capaz de aumentar as conversões. Aqui está como ele decidiu fazer isso.

3. Crie variações

Agora era hora de criar páginas de variação para o teste. Segundo Pará:

Para o teste multivariado, selecionei dois fatores na página para criar variações: o cabeçalho “Download” na barra lateral e o link de download “PDFProducer” abaixo dele. O foco do teste foi observar o efeito da palavra “grátis” e o efeito de destacar a seção de download.

Veja como ele decidiu tornar a seção de download mais visível e atraente.

Para o link “Download” original, ele testou três variações diferentes:

• “Baixar” em vermelho
• “Baixe de graça” em vermelho
• “Download” na cor padrão, mas um tamanho de fonte maior

Para o link original “PDFProducer”, ele testou duas variações diferentes:

• “PDFProducer” na cor padrão, mas um tamanho de fonte maior
• “PDFProducer” em vermelho

Isto é o que todas as combinações pareciam:

Com quatro versões do link para download (incluindo o original) e três versões do texto “PDFProducer” (novamente, incluindo o original), foram formadas 12 variações diferentes para realizar um teste fatorial completo. Um fatorial completo testa todas as combinações, ao contrário de um fatorial fracionário que testa apenas as mais impactantes.

Embora existam vários métodos de análise multivariada - fatorial completo, fatorial fracionário e Taguchi - a maioria dos otimizadores recomenda executar um fatorial completo para sua precisão, afirma Alex Birkett da CXL.

4. Determine o tamanho da sua amostra

Antes de começar a direcionar o tráfego para suas páginas, você precisa determinar o tamanho da amostra – o número de visitantes que cada página precisa gerar antes que você possa tirar conclusões sobre os resultados do seu teste.

Esta calculadora da VWO ajudará você a descobrir quantos visitantes e quanto tempo você precisa para executar seu teste com base no tráfego do site, quantas variações você tem e sua significância estatística.

Para saber mais sobre como alcançar a significância estatística e tudo o que você precisa digitar na calculadora, confira esta postagem no blog.

5. Teste suas ferramentas

Teste tudo antes de começar a executar o tráfego. Sua página de destino pós-clique tem a mesma aparência em todos os navegadores? Seu botão CTA está funcionando? Todos os links em seus anúncios estão corretos?

Antes de começar a executar qualquer coisa, é importante fazer o controle de qualidade de todos os aspectos de sua campanha para garantir que nada prejudique seus resultados.

6. Comece a direcionar o tráfego

Agora que você criou suas variações e sabe quanto tráfego precisará gerar para cada uma delas, é seguro começar a direcionar tráfego para elas. A maior desvantagem dos testes multivariados é a quantidade colossal de tráfego necessária antes de concluí-los, portanto, você precisará ser paciente.

Quando você faz um teste A/B, há apenas duas páginas para as quais você precisará direcionar um tráfego significativo. Mas em um teste multivariado, como o de Paras, por exemplo, existem 12 páginas diferentes que precisam coletar um grande tamanho de amostra antes que você possa chamar o teste.

Fique atento às ameaças à sua validade e não se esqueça de contabilizar o aumento da taxa de resultados falsos positivos, diz Leonid Pekelis:

“Você está essencialmente executando um teste A/B separado para cada interação. Se você tem 20 interações para medir e seu procedimento de teste tem uma taxa de 5% de encontrar falsos positivos para cada uma, de repente você espera que cerca de uma interação seja detectada significativa completamente por acaso. Existem maneiras de contabilizar isso, geralmente chamadas de correções de testes múltiplos, mas, novamente, o custo é que você tende a precisar de mais visitantes para ver resultados conclusivos.”

7. Analise seus resultados

Depois de fazer seu teste por quatro semanas, foi isso que Paras descobriu:

Você pode observar que o título “Download de graça” em vermelho elevou a taxa de conversão de download de 39% para 63%, um aumento impressionante de 60%. Ter “Download” em tamanho de fonte grande (combinado com a cor do link como vermelho) também teve uma melhoria positiva (43%) em relação ao padrão. De todos os resultados, os três primeiros são estatisticamente significativos com 95% ou mais de nível de confiança.

Paras poderia ter implementado sua nova página e esquecido deste teste, mas em vez disso, ele enfatiza uma importante etapa final:

8. Aprenda com seus resultados

Cada um de seus testes deve ser usado para aprender algo sobre suas páginas da web e seus visitantes que você pode usar para informar testes futuros.

Ele aprendeu que, em sua página da web:

• A palavra “Grátis” ressoou com os visitantes de seu site.
• A natureza gratuita da oferta é melhor anunciada no call-to-action ou próximo a ele.
• A cor vermelha chamou a atenção dos visitantes.
• Um call-to-action maior atraiu mais visitantes.

Mas lembre-se, estes são os resultados de seu teste. Embora a palavra “grátis” seja sempre boa para usar em qualquer página da web que anuncie uma oferta gratuita, a melhor localização, tamanho e cor do seu CTA podem ser diferentes em suas páginas da web. A única maneira de saber com certeza é testando.

Você já tentou testes multivariados?

Você se desviou dos testes multivariados porque achou muito complicado? Inscreva-se hoje mesmo para uma demonstração do Instapage Enterprise.