Teste A/B x teste multivariado x teste de várias páginas

Quando se trata de executar experimentos CRO, você pode escolher entre quatro tipos de testes: testes A/B, testes divididos, testes multivariados e testes de várias páginas.

Cada um desses testes tem seus próprios pontos fortes e limitações.

E, a menos que você escolha o teste certo para seu experimento, pode ser difícil tomar decisões conclusivas de CRO baseadas em dados.

Então, vamos entender o que são essas diferentes técnicas de teste de otimização e como elas se comparam umas com as outras... e como você pode ter certeza de escolher o teste certo toda vez que fizer um experimento.

Aqui vai.

O que é teste A/B

O teste A/B é uma maneira de testar alterações em um ou mais elementos em uma página.

Com o teste A/B, você pode adicionar um elemento a uma página ou removê-lo ou alterá-lo e ver como a adição, eliminação ou alteração afeta a taxa de conversão da página.

Esses elementos podem ser quaisquer itens gráficos ou de texto da página – por exemplo, seu CTA ou cópia do título ou a imagem principal.

No teste A/B, você cria uma ou mais cópias exatas da página original com os únicos elementos não idênticos sendo os elementos a serem testados.

E quando você testa essas cópias (chamadas de desafiantes ) contra a original (chamada de controle ), você pode ver como as alterações afetam a taxa de conversão.

Teste de URL dividido

Há outra forma de teste que geralmente é associada ao teste A/B, mas é fundamentalmente diferente dos testes A/B.

Eles são conhecidos como testes de URL dividida ou testes divididos.

No teste de divisão, o tráfego que uma página recebe é dividido ao meio e direcionado para duas versões completamente diferentes da mesma página para identificar a versão com melhor desempenho em relação à meta especificada.

Geralmente, essas versões são hospedadas em URLs diferentes, mas o objetivo final é aumentar as conversões para uma ação específica, como preencher formulários ou adicionar ao carrinho.

O teste de URL dividido costumava testar designs ou versões totalmente diferentes de uma página.

Aqui o objetivo é encontrar aquele que tem o melhor desempenho.

Portanto, se você deseja testar duas ideias radicalmente diferentes, deve optar pelo teste de URL dividido. Por exemplo, se você deseja testar dois designs de página inicial, essa seria a técnica certa a ser usada.

Um exemplo de teste A/B

A BestSelf Co, líder em vendas de ferramentas de produtividade, percebeu que as vendas de seu principal produto poderiam ser melhoradas com o CRO. Por isso, contratou uma agência de CRO (SplitBase) para analisar como isso poderia acontecer.

A SplitBase conduziu sua pesquisa e levantou a hipótese de que adicionar um título direcionado a benefícios à página de destino (que originalmente não tinha título) poderia ajudar a gerar mais vendas.

O SplitBase decidiu executar um teste A/B e testar uma página com um título em relação à página original. A SplitBase também decidiu testar duas versões do título.

Assim, seu experimento usando um teste A/B simples acabou com três versões:

• Versão A (o controle sem título)
• Versão B (o desafiante com um título)
• Versão C (o desafiante com uma variação do título)

O tráfego foi dividido igualmente em todas as três versões (~ 33% cada) para ver qual versão obteve mais vendas.

Como você pode ver, um experimento de teste A/B pode muito bem se tornar um experimento de teste A/B/C/D…n.

Casos de uso de teste A/B

O teste A/B tem um caso de uso muito específico:

Testando projetos muito semelhantes (exceto pela mudança nos elementos de teste).

Esse é o caso de uso mais comum de testes A/B em que você experimenta apenas um elemento e vê como a alteração afeta a taxa de conversão.

Se você levantar a hipótese de que um determinado elemento pode ter um impacto positivo na taxa de conversão, você deve usar essa técnica de teste. Por exemplo, você pode usar essa técnica de teste de otimização para ver o impacto de uma alteração no CTA da sua página inicial.

As vantagens do teste A/B

• Os testes A/B são simples de implementar: se você testar duas experiências muito semelhantes ou duas totalmente diferentes, configurar um teste A/B é bastante simples. Eles geralmente não consomem muito tempo ou recursos.
• Testes A/B precisam de menos tráfego (em comparação com testes multivariados) para produzir resultados definitivos: se você tem um site em que recebe tráfego suficiente para enviar cerca de 10 mil visitantes para cada variante, deve ser capaz de usar testes A/B para encontrar resultados estatisticamente significativos para fazer alterações de design, interface do usuário ou cópia em seu site. Isso é especialmente verdadeiro quando você executa testes A/B apenas com o controle e um desafiante (ou, digamos, dois desafiantes), pois ainda é possível enviar bons volumes de tráfego de teste para cada um.
• Os testes A/B não precisam de muito tempo para serem executados . Normalmente, os testes A/B podem produzir resultados estatisticamente significativos em 2-3 semanas e não precisam ser executados por meses e meses a fio.

As limitações dos testes A/B

• Os testes A/B geralmente oferecem insights limitados: os testes A/B de experiências semelhantes (em que apenas um elemento é variado) geralmente executam duas versões. O que significa que o máximo que um profissional de marketing pode aprender com o experimento é qual das três versões (1 original + 2 desafiantes) se saiu melhor. Isso é tudo – insights sobre apenas três possibilidades. Se você quiser testar mais variantes (por exemplo, se quiser testar 5 versões do botão CTA), precisará de tráfego suficiente para produzir decisões estatisticamente significativas, mesmo depois de dividir o tráfego para tantas variações.
• Os testes A/B são principalmente adequados apenas para tomar decisões de alto nível no site: como os testes A/B são ótimos para dar respostas objetivas sobre qual versão é a melhor, eles funcionam muito bem para tomar decisões de alto nível. Assim, você pode decidir sobre a abordagem que deseja adotar com o design ou a interface do usuário do seu site ou página de destino ou copiar com testes A/B. MAS, se você quiser ajustar os elementos mais granulares de design, interface do usuário ou cópia, provavelmente precisará executar vários testes A/B, o que pode ser demorado e trabalhoso.

Ferramentas de teste A/B

O Convert Experiences é uma solução CRO poderosa que você pode usar para potencializar todos os seus experimentos de teste A/B e descobrir os botões de CTA mais eficazes, cópias de títulos, imagens principais, esquemas de cores, posicionamentos de logotipos e muito mais para usar em seu site.

O Convert permite testes A/B/n convencionais e testes de URL divididos por meio de seu editor Visual e do editor de código mais robusto.

O que é Teste Multivariado (MVT)

O teste multivariado ou MVT é uma maneira de testar mais de uma variante em relação ao controle .

Em testes multivariados, você pode adicionar, excluir ou alterar um grupo de elementos em uma página, criando várias versões com vários ajustes e ver como a adição, eliminação ou alteração no grupo de elementos afeta a taxa de conversão.

Um grupo de elementos em testes multivariados DEVE compreender pelo menos dois elementos. E cada elemento deve ter duas variantes. O que significa que em testes multivariados, você terá pelo menos quatro versões para testar.

Aqui está o detalhamento de um teste multivariado simples:

Grupo de elementos a testar: Elemento 1, Elemento 2.

Variantes do Elemento 1:

Elemento 1 Variante A

Elemento 1 Variante B

Variantes do Elemento 2

Elemento 2 Variante A

Elemento 2 variante B

A matemática do teste multivariado:

O número de versões a testar = O número de elementos em um grupo * O número de variantes de cada elemento

Casos de uso de teste multivariado

As empresas geralmente usam testes multivariados como uma técnica de otimização para obter mais granularidade com seus testes. Vamos esclarecer logo de cara. É por isso que o ciclo de experimentação é prolongado.

Mas, graças ao fato de que você pode fazer alterações em clusters de elementos para cada variante, você pode identificar um problema/bloqueio de conversão maior (o que você faz com o teste A/B) para ajustar a experiência do visitante para uma página específica.

Um exemplo de teste multivariado/estudo de caso

Vamos criar uma extensão de teste multivariada hipotética do exemplo de estudo de caso acima.

Agora, como esta loja de comércio eletrônico já usou um teste A/B para encontrar uma versão vencedora de sua página de produto principal, agora ela pode seguir com uma rodada de testes multivariados para experimentar diferentes combinações dos elementos no design vencedor para ainda mais melhorar sua taxa de conversão.

Assim, por exemplo, em seu teste multivariado, ele poderia criar múltiplas variações alterando a cor do botão CTA, a imagem do herói e a cópia do botão CTA e executá-lo contra o original para encontrar uma combinação “mais” vencedora.

As vantagens dos testes multivariados

• Testes multivariados são ótimos para tomar decisões de microconversão: com testes multivariados, você pode experimentar várias combinações de design, interface do usuário e alterações de texto. O que significa que você pode tirar todas as suposições do processo de “fazer ajustes” no seu site para obter melhores taxas de conversão. Você pode realmente validar até mesmo suas escolhas mais minuciosas.
• Testes multivariados fornecem insights mais profundos sobre como os elementos funcionam juntos: como o teste multivariado permite testar combinações de elementos, você pode ver como suas diferentes combinações afetam as escolhas de seus usuários (em vez de apenas testar elementos independentes como no caso de A/ testes B). Com testes multivariados, o efeito observado é sempre maior quando há várias alterações aplicadas a uma variante, em oposição a apenas uma alteração. Isso é chamado de efeito de interação .

As limitações dos testes multivariados

• Testes multivariados precisam de muito tráfego: se você observar a matemática dos testes multivariados, verá que o número de versões a serem testadas fica enorme dependendo do número de elementos a serem testados e suas variações. Por exemplo, se você quiser usar um teste multivariado e testar as diferentes combinações de um botão CTA (em três cores: um controle e dois desafiantes e três cópias: um controle e dois desafiantes), precisará criar 3*3, ou seja, nove versões. Ter tráfego suficiente para dividir entre tantas versões é um desafio mesmo para sites de alto tráfego.
• Testes multivariados podem ser difíceis de planejar: planejar um teste multivariado significativo é complicado devido ao grande número de combinações (dos diferentes elementos em sua página) que você pode testar. Escolher entre combinações como um título, uma imagem de herói e o CTA da área de herói ou o título, USP e o cabeçalho pode exigir muito esforço. Além disso, testar muitos elementos em um teste multivariado pode distorcer os resultados.
• O teste multivariado não é adequado para tomar decisões definitivas de alto nível: como o teste multivariado testa combinações de elementos, nem sempre você pode dizer conclusivamente por que uma determinada combinação venceu. O que significa que nem sempre é possível tomar uma decisão radical de CRO com testes multivariados. Isso reduz os testes multivariados para potencializar apenas as decisões de CRO mais granulares, como testar posicionamentos/gráficos/cópia dos elementos na versão que você já sabe que funciona bem.

Ferramentas de teste multivariadas

Com o Convert Experiences, você pode configurar facilmente testes multivariados em seu site e ver como as diferentes combinações dos elementos afetam sua taxa de conversão.

Ainda não tem certeza de qual ferramenta de teste multivariada escolher? Confira este detalhamento completo das melhores ferramentas de Teste Multivariado.

Testes multivariados versus testes divididos: qual você deve usar?

Confira a tabela de comparação de teste multivariado versus teste de base dividida (ou teste A/B) abaixo para ver quando você deve usar uma das duas técnicas.

O que é teste de várias páginas e teste de funil

O teste de várias páginas é uma forma de experimentação em que você testa alterações em elementos específicos em várias páginas.

Há duas maneiras de fazer isso.

Você pega todas as páginas do seu funil de vendas e cria novas versões de cada uma. Esse novo conjunto de páginas torna seu funil de vendas “desafiador” e você o executa no funil de vendas original (ou no “controle”). Isso é chamado de “teste de funil”.

Ou você pode testar como a presença/ausência de elementos recorrentes, como crachás de segurança, pode afetar as conversões em um funil inteiro. Este é um teste de várias páginas clássico ou convencional.

Casos de uso de teste de várias páginas e teste de funil

Com o teste de várias páginas, você tem a liberdade de avaliar o impacto das alterações feitas nos elementos em toda a jornada do comprador.

As empresas que optam por investir em testes de funil geram muitos insights de alto nível.

Por exemplo, você pode usar o teste de funil para encontrar o mais eficaz:

• Você pode executar testes de funil para testar diferentes vozes e tons em suas páginas - por exemplo, se você for um provedor de serviços antivírus, poderá testar uma cópia inspiradora em seu funil de vendas contra sua cópia neutra ou inspiradora de confiança - e veja quais mensagens ressoam melhor com seus visitantes e geram mais vendas.
• Filosofias de projeto. Você pode experimentar diferentes teorias de design e ver qual delas funciona melhor.
• Estratégias de vendas/suporte. Você pode criar uma versão desafiadora do funil de vendas em que oferece suporte ao chat ao vivo em algumas páginas selecionadas do seu funil e ver como o funil habilitado para chat ao vivo se compara ao funil de vendas normal (sem suporte ao chat ao vivo). Da mesma forma, você pode testar uma série de estratégias de vendas/suporte e ver como pode ajudar mais conversões em seu funil de vendas.

Um exemplo de teste/estudo de caso de várias páginas

Novamente, vamos construir uma extensão hipotética para o mesmo exemplo de estudo de caso acima.

Agora, como esse site em particular é uma loja online, seu funil de vendas mais básico é:

A página do produto > A página adicionar ao carrinho > A página de checkout

Portanto, para executar um teste de várias páginas, essa loja precisaria criar uma variação para cada uma dessas páginas e criar um funil desafiador, como:

A versão A da página do produto > A versão A da página adicionar ao carrinho > A versão A da página de checkout

Em seu funil de desafios, o varejista eletrônico pode decidir testar como a adição da legenda “Confiado por 10.000 profissionais” se traduz em conversões para cada etapa da jornada do comprador. Ou pode optar por mostrar páginas muito diferentes (semelhante ao teste de divisão com duas páginas totalmente exclusivas).

Se eles estão se sentindo ambiciosos, eles podem fazer testes de funil e realmente brincar com copy, uma estratégia de abandono de carrinho e muito mais.

Você entendeu a ideia, certo?

Os prós do teste de várias páginas

• O teste de funil de várias páginas ajuda a detectar vazamentos no funil de vendas: se seus dados do Google Analytics mostrarem grandes desistências em determinadas páginas do seu funil de vendas, você poderá configurar um teste de várias páginas para descobrir o que pode reduzi-las e obter mais conversões.
• Testes de várias páginas podem fornecer insights mais profundos sobre o comportamento do usuário: com testes de várias páginas, você pode identificar os diferentes elementos de seus funis de controle e desafiantes com os quais seus usuários mais se envolvem. Você pode usar esses insights para tomar decisões ainda mais informadas sobre design, cópia e experiência do usuário.

Os contras do teste de várias páginas

• Experimentos de várias páginas podem durar meses. Como o B2B tem longas jornadas de compra (geralmente estendidas ao longo de meses), os testes de várias páginas B2B podem ser executados por meses a fio.
• Obter insights dos resultados de um teste de várias páginas pode ser complicado: se a versão do seu desafiante experimentar muitas variáveis ​​(por exemplo, se você experimentar o design e copiar em um desafiante), talvez não seja possível dizer se o design causou mais conversões ou a cópia. Criar vários desafiantes (por exemplo, um para testar o design e outro para testar a cópia) exigirá que você divida seu tráfego em três. A menos que você receba milhares de visitantes em seu site, talvez você não tenha tráfego suficiente para obter resultados estatisticamente significativos quando executar muitas dessas variações.

Ferramentas de teste de várias páginas

Com o Convert, você pode configurar facilmente testes de várias páginas ou experimentos de funil e ver como diferentes alterações afetam as conversões nas páginas.

Teste A/B x teste multivariado x teste de várias páginas

Teste A/B

O que é isso:

No teste A/B, você testa duas versões muito semelhantes da mesma página/anúncio/recurso para encontrar a variante com melhor desempenho.

Quando usar:

Em sua essência, o teste A/B é o método que os otimizadores usam para identificar os maiores obstáculos à conversão. Você precisa criar uma hipótese que identifique o motivo (suposto) das baixas conversões e teste como alterar/ajustar um elemento pode mitigar o problema.

Por meio de testes A/B, você pode tomar decisões de design e cópia de alto nível.

Por exemplo, uma alta taxa de rejeição de uma página inicial geralmente indica o fato de que os visitantes não obtêm o “valor” que o produto ou solução oferece. Testes A/B com diferentes versões de um título de proposta de valor são comuns.

Facilidade de obter insights:

Os testes A/B precisam de cerca de 10 mil visitantes para cada variante e cerca de 1.000 conversões para gerar insights. Mas eles são relativamente mais rápidos de realizar quando comparados aos testes multivariados.

Testes multivariados

O que é isso:

No teste multivariado, você testa mais de uma variante em relação ao controle (que você já sabe ter um bom desempenho).

Quando usar:

Testes multivariados podem ser usados ​​para tomar decisões mais granulares. Por exemplo, se você tiver uma página inicial de alto desempenho que deseja otimizar ainda mais, poderá usar testes multivariados para experimentar variações mais fundamentalmente diferentes de um grupo de elementos em sua página inicial.

Pense nisso como tapar os vazamentos menores após o dilúvio ter sido contido por testes A/B.

Facilidade de obter insights:

Testes multivariados são extremamente complicados devido à inclusão de vários elementos em várias variantes. Assim, tanto as necessidades de tráfego quanto o tempo para chegar a um resultado conclusivo são compostos.

Teste de várias páginas

O que é isso:

No teste de várias páginas, você testa diferentes jornadas de compra para encontrar a mais ideal. O teste de várias páginas é semelhante a executar vários testes A/B/N e multivariados juntos em várias páginas no funil de vendas.

Quando usar:

Testes de várias páginas ou testes de funil podem ser usados ​​para tomar decisões de alto nível em toda a jornada de vendas.

Por exemplo, você pode testar uma jornada de vendas personalizada em relação a uma jornada regular.

Facilidade de obter insights:

Testes de várias páginas com versões limitadas (digamos, 2) podem produzir resultados significativos com relativa rapidez.

Comparação de testes A/B, testes multivariados e de várias páginas

Um experimento pode fornecer resultados definitivos somente quando usa o formato de teste correto.

Como sinopse, é isso que você deve ter em mente:

• Testes A/B – Você geralmente testa pelo menos um elemento significativo que foi identificado como um obstáculo de conversão em sua hipótese em uma outra versão (variante).
• Testes divididos – Os testes divididos se concentram em hospedar duas páginas e experiências completamente diferentes para visitantes em dois URLs separados, avaliando-os para o mesmo objetivo de conversões. Por meio de testes A/B, você pode testar duas configurações completamente diferentes – como plataformas de hospedagem e temas entre si.
• Testes Multivariados ou Testes A/B/N – MVTs são normalmente realizados em vencedores de testes A/B. No teste multivariado, você faz alterações em clusters de elementos de uma página, cada cluster exclusivo ou ajustado tornando-se uma variante ou versão própria. É difícil atribuir conversões mais altas para uma variante MVT a um elemento específico, mas os otimizadores podem testar modificações granulares para copiar e projetar.
• Testes de várias páginas – Executar um teste de várias páginas é semelhante a executar vários testes A/B/N juntos em várias páginas do funil de vendas. Como alternativa, você pode testar experiências de funil de vendas totalmente diferentes (por exemplo, enviar metade do tráfego para a versão de controle Página 1> Página 2> Página 3 e enviar a outra metade para a versão desafiadora Página 1 variante> Página 2 variante > Página 3 variante com o desafiante sendo bastante diferente do controle.)

Escolher o teste certo para um experimento depende em grande parte de acertar a hipótese. Aqui estão algumas ferramentas de CRO para ajudá-lo a escrever uma hipótese clara toda vez que você executar um experimento.

Além disso, quando estiver pronto para começar com testes A/B, multivariados ou de várias páginas para seus experimentos, confira Converter. O Convert Experiences pode lidar com todos os experimentos de otimização que você possa imaginar com facilidade para sites de alto tráfego, mesmo em setores sensíveis à privacidade de dados.

Dê ao Convert Experiences uma avaliação gratuita completa de 15 dias sem obrigações e repense como os testes podem melhorar seus KPIs.