O guia completo para testes multivariados em 2022

O teste multivariado (MVT) não é apenas vários testes A/B sendo executados ao mesmo tempo?

Não. Esse é um dos mitos mais populares sobre o MVT. É muito mais sutil do que isso.

Testes multivariados são como testes A/B, mas você está testando seu controle contra várias variantes, não uma. Você vê, não é apenas A contra B, é também contra C, D, E e assim por diante. E é uma maneira eficiente de sites de alto tráfego encontrarem a combinação de alterações que apresenta o melhor desempenho.

Então…

• Quando você deve usar MVTs em vez de testes A/B?
• O teste multivariado é o mesmo que o teste A/B/n?
• Quais são alguns exemplos de testes multivariados?
• Como você pode executar um para obter resultados confiáveis?

Responderemos às suas perguntas sobre testes multivariados, aprimorando suas habilidades de experimentação e CRO no processo para que, ao final deste guia, você possa implantar o seu em 30 minutos.

Se você deseja levar suas habilidades de experimentação para o próximo nível, este guia é para você.

Soa bem? Vamos começar…

O que é teste multivariado?

Imagine que você queira testar diferentes versões de vários elementos em uma página da Web ao mesmo tempo para saber como eles funcionam juntos, teste multivariado é o teste que você executa.

O teste multivariado (teste MVT) é uma técnica para testar várias variáveis ​​em uma página da Web em diferentes combinações. Essas combinações possíveis criam mais de uma variante da página, daí o “multi”.

Portanto, o teste multivariado é semelhante ao teste A/B/n porque estamos testando duas ou mais variações em relação ao controle. A diferença é que os testes A/B/n são univariáveis, enquanto os testes multivariados testam uma combinação de mudanças em tandem.

Por exemplo, se você quiser testar dois títulos diferentes, duas imagens e cores de dois botões na página, seu teste MVT ficará assim:

No teste MVT acima, você está testando diferentes elementos (títulos, cores e imagens) de uma só vez em diferentes combinações para encontrar o melhor.

Mas isso não significa que não seja possível fazer mais do que duas variações de um único elemento. Você pode ter 3, 4 ou mais e testá-los ao mesmo tempo. As pessoas preferem apenas uma mudança para que possam rastrear o aumento na taxa de conversão de volta a ela.

Outra coisa importante a ser observada é que o teste MVT não é o mesmo que o teste simultâneo . O teste simultâneo executa vários experimentos no mesmo conjunto de amostras ao mesmo tempo. E isso pode causar interferência.

Um teste simultâneo pode ser assim: executar um teste A/B para encontrar o melhor título entre duas versões e executar um teste MVT para encontrar a melhor combinação de título, imagem principal e CTA ou botão de ação na mesma página de destino no mesmo tempo.

Nos testes A/B/n (ou multivariados), estamos trabalhando com várias variantes que atendem à mesma hipótese de comportamento do usuário. Imagine muitos testes A/B nessa página de destino sendo executados ao mesmo tempo para responder a uma pergunta. Tipo, “Qual versão deste lote nos dá o melhor impulso?”

Teste multivariado versus teste A/B: qual é a diferença?

Pode parecer que o teste MVT é uma forma mais avançada de teste A/B para o olho não treinado. Mas ambos os tipos de teste são muito diferentes.

A diferença entre o teste A/B e o teste multivariado está no número de variantes sendo testadas ao mesmo tempo. O teste A/B terá uma única variante testada em relação ao controle, enquanto o teste multivariado terá duas ou mais.

O teste A/B testa um elemento. Por exemplo, você está testando a adição de uma imagem à sua página da web. Seu experimento pode ter esta aparência:

• Controle = Sem imagem
• Variação 1 = Imagem

Nesse caso, você está apenas testando a imagem em seu site, então é um teste A/B.

Nos testes A/B/n, como nos testes multivariados, você pode ter várias variações. Mas a diferença é que, em um teste A/B/n, você está testando apenas um elemento (ou variável), enquanto em um teste multivariado, você está testando vários elementos em cada variante.

Aqui está um excelente exemplo da iProspect, uma Convert Partner Agency. A agência realizou um teste que apresentava informações da página de preços. Seu experimento contou com:

• Um controle sem informações de preços,
• Variação 1 com preço inicial baixo,
• Variação 2 com preço inicial alto.

Você consegue adivinhar que tipo de teste é esse?

Nesse caso, estamos testando apenas um elemento, adicionando informações de preços, portanto, temos um tipo de teste A/B/C (ou A/B/n).

Quando se trata de qual é melhor entre testes A/B e testes multivariados, isso depende do que você está tentando alcançar. Há momentos em que os MVTs são mais eficientes que os testes A/B.

Se você quiser testar diferentes elementos em uma página (e seus efeitos de interação), é mais fácil usar MVTs em vez de testes A/B. Com os testes A/B, você precisa criar vários testes consecutivos para variações de elementos. Enquanto isso, o multivariado lida com eles de uma só vez.

Quando executar testes multivariados?

Quando você quiser medir o desempenho de uma variante em comparação com a original, use o teste A/B. Isso funciona se você estiver alterando um elemento, por exemplo, um título diferente ou uma cor de botão diferente. Contanto que essas mudanças caiam em uma variante e você obtenha A vs B.

Quando você tiver mais de uma variante testada em relação ao controle, mas alterar apenas um elemento por vez, use o teste A/B/n.

Vamos ilustrar: você quer testar se adicionar um título à sua página de destino melhorará as conversões. Você pode fazer um teste A/B/n como Split Base, uma Convert Partner Agency. Eles fizeram um teste para determinar se a adição de um título direcionado a benefícios aumentaria as conversões.

P.S.: Foi! Aumentou o resultado final em 27%.

Você usa testes multivariados quando tem mais de uma variante e mais de uma variável. Digamos que você tenha mais 2 ideias de título e opções de CTA e isso resulte na criação de variantes C e D, o MVT é a maneira mais eficiente de ver como essas alterações interagem.

“E se eu usasse o título 2 com a cor do botão 3? Como isso afetará o número de inscrições?” Esses são os tipos de perguntas que os MVTs respondem — o efeito no desempenho causado pelas alterações de elementos da página quando eles trabalham juntos ao mesmo tempo.

O teste multivariado vai além de testar um título e testar mais variações dessa página. É mais complexo projetar e executar, portanto, deve valer a pena escolhê-lo em vez do teste A/B.

Muitas vezes, o teste A/B é suficiente para fornecer as respostas que procuramos. O MVT é muito mais adequado para casos em que você acredita que uma ou mais variantes têm chance de vencer seu A e B.

Algumas dessas instâncias são:

1. Você tem um alto volume de tráfego e deseja reunir mais aprendizado em um período mais curto de tempo. O teste multivariado oferece aos sites de alto tráfego a oportunidade de testar uma combinação de ideias em menos tempo, mas essas ideias precisam ser de alta qualidade para não desperdiçar recursos.
2. Você precisa saber qual combinação de elementos resultou em um aumento de conversão. Porque uma sequência de vários testes A/B será redundante.

É difícil implantar uma variante que tenha todas as mudanças desejadas incorporadas a ela. Talvez sua plataforma de testes não permita esse nível de liberdade. Esta é uma maneira de contornar isso. Mas se for impossível codificar essas alterações posteriormente, você não poderá usar os resultados do teste.

Os benefícios dos testes multivariados

O teste multivariado tem um impacto inegável nas taxas de conversão e na receita. Pense nisso. Se não, ninguém falaria em usá-lo!

Um benefício do teste MVT é que ele permite que você descubra como as alterações no seu site afetam as taxas de conversão. E o teste multivariado permite medir o efeito da interação entre essas mudanças. Você pode medir o efeito composto de diferentes pequenas mudanças e ver como isso afeta sua taxa de conversação.

As desvantagens dos testes multivariados

Existem razões pelas quais apenas sites com uma grande quantidade de tráfego e grandes orçamentos executam testes multivariados. Vamos falar sobre as desvantagens de executar um teste MVT.

1. Requer um grande tamanho de amostra

Quanto mais mudanças de elemento você estiver testando, mais variações você terá. Cada uma dessas variantes precisa receber tráfego suficiente para alcançar o stat sig, então você terá que esperar mais tempo para obter resultados precisos. É por isso que muitos sites não podem executar testes de MVT porque não têm tráfego para isso.

2. Os testes MVT levam tempo

Como mencionamos acima, cada variante precisa de tráfego e muito. Quanto mais combinações você estiver testando, mais variações diferentes e mais tempo você terá que esperar.

Mas isso se justifica na maioria dos casos de CRO. Porque se você dividir um teste MVT em uma sequência de testes A/B, você gastará mais tempo e tráfego.

3. Custa mais para executar

Você precisará de tempo extra (e dinheiro) para desenvolver e controlar o controle de qualidade de cada variante. É por isso que sua decisão de executar esses testes em testes A/B mais simples precisa ser por razões sólidas, caso contrário, o ROI do teste será afetado.

4. Você está mais propenso a erros

Ao executar testes A/B/N, você não aplica as mesmas estatísticas usadas para testes A/B. As variantes extras exigem um ajuste de testes de significância estatística. O aumento da taxa de erro familiar (FWER) significa que é mais provável que você cometa um erro do tipo I e marque a variante errada como vencedora.

Exemplos de testes multivariados que mostraram grande impacto

1. A Microsoft executou um teste multivariado em seu site SMB e obteve uma variante que aumentou a conversão em 40%!

2. Em 2009, o YouTube executou um MVT em sua página inicial para que mais pessoas se inscrevessem em uma conta. Eles chamam isso de “experimento de 1.024 receitas”. Uma variante ganhou com um aumento de 15,7%.

3. Booking.com é conhecido por testes. Eles usam testes multivariados para aprender como os novos recursos são usados ​​com um público menor antes de lançá-los.

4. HawkHost queria ver o aumento em sua página inicial e eles conseguiram. Eles testaram seu título, subtítulo e imagem principal em um teste multivariado que resultou em um aumento de 204% nas vendas. Aquilo é enorme.

5. O layout da página de destino da Amazon é resultado de testes multivariados. Eles o usaram junto com o aprendizado de máquina para encontrar o layout ideal que impulsionou a conversão e atingiu um ponto ideal que aumentou a taxa de compra em 21% em 7 dias.

Fonte

Estatísticas de Testes Multivariados: Introdução à Análise Multivariada

Se você está curioso sobre como o teste multivariado funciona sob a sofisticada interface do usuário das ferramentas de teste e os princípios por trás dele, vamos empolgá-lo:

A análise multivariada (MVA) é um tipo de análise estatística em que mais de uma variável dependente é analisada juntamente com outras variáveis ​​ao mesmo tempo. Baseia-se em como o mundo real funciona: mais de um fator é responsável por um determinado resultado.

Ele não é usado apenas em marketing digital (ou seja, otimização da taxa de conversão), como parte da análise exploratória de dados, é aplicado em vários campos, como saúde, manufatura, transporte, etc. como no governo.

Embora seja complexo, é uma maneira precisa de analisar a relação entre variáveis ​​dependentes e independentes.

MVT e tráfego: como calcular o tamanho da amostra para um teste multivariado?

A melhor maneira é usar nossa ferramenta de calculadora de tamanho de amostra. Isso fornecerá tudo o que você precisa para começar a projetar um teste multivariado saudável.

Quando parar um teste multivariado?

Interromper um teste cedo demais pode levar a erros, pois os dados coletados não seriam suficientes para fazer uma análise precisa.

Você pode ter ouvido algumas pessoas dizerem que você deve parar quando houver um vencedor claro ou interromper uma variação se sua taxa de conversão cair abaixo de 10% e mover seu tráfego para os de melhor desempenho – tenha certeza, isso irá contaminar significativamente os resultados.

Você nunca deve interromper um teste multivariado antes de:

1. Coletando um tamanho de amostra grande o suficiente para cada variante. Portanto, deixe-o funcionar por mais tempo para coletar conversões suficientes para serem relevantes.
2. Executar 1 ou 2 ciclos completos de venda para equilibrar o tráfego e os períodos de compras ao longo de 30 a 60 dias.
3. Alcançando significância estatística. Isso significa que, quando colocado em operação, deve ser capaz de replicar seus resultados com 95% de precisão.

Como projetar um teste multivariado?

O teste A/B e o teste multivariado são semelhantes na forma como são projetados e conduzidos.

Descrevemos uma metodologia de teste passo a passo para executar um MVT abaixo. Mas aqui está uma rápida tomada:

1. Identifique um problema e formule uma meta: ao analisar seus dados, tente entender o que os visitantes do site experimentam e encontre um problema. Formule uma hipótese (uma solução com um objetivo) e baseie seu teste nisso.
2. Decida o que testar: sua hipótese envolverá uma combinação de elementos da página da web. Descubra o que você faria com eles para atingir o objetivo. Crie variantes disso para ir contra o original.
3. Estime o prazo e o tamanho da amostra: você não precisa fazer isso sozinho. Use nossa calculadora de tamanho de amostra de pré-teste. Ele vai ajudá-lo a descobrir os números essenciais que você precisa.
4. Construa o teste: em sua plataforma de teste, configure suas variações em suas combinações.
5. Certifique-se de que funciona: execute testes de garantia de qualidade em cada novo tratamento para garantir que funcionem conforme o esperado.
6. Faça seu teste: comece a direcionar o tráfego para eles.

Agora, vamos dar uma olhada em cada etapa — da coleta de dados ao controle de qualidade:

Coleta de dados para testes multivariados

Como os dados são coletados durante o teste multivariado? Existem duas abordagens principais para prestar atenção:

1. Fatorial Completo

Veja como funciona: Cada variante do seu MVT recebe quantidades iguais de todo o tráfego que chega ao seu site. Se você tiver 5 variantes, cada uma delas receberá 20% do tráfego que chega ao seu site.

Obviamente, para alcançar significância estatística, esse método exigirá muito tráfego e terá que ser executado por um longo tempo. Mas essa característica também faz com que o fatorial completo seja a opção mais precisa.

2. Fatorial Fracionário

Ao contrário de sua contraparte “completa”, o fatorial fracionário testa apenas um subconjunto de suas variantes. É por isso que há “fração” em seu nome.

Se você tiver 10 variantes, ele testará 5 delas e, com base nos resultados, preverá o desempenho das 5 que não testou.

Por causa disso, ele é executado mais rápido que o fatorial completo, mas é significativamente menos preciso. Seu benefício é que você tem um vislumbre de como será o teste completo antes de se comprometer.

E o método Taguchi? Alguns dizem que é outro nome para fatorial fracionário. É complexo de usar. Portanto, a maioria das ferramentas não oferece isso.

Geração de hipóteses para testes multivariados

Você deve criar sua hipótese de teste multivariável com base em dados qualitativos e quantitativos precisos.

Você não quer adivinhar ou usar ideias de teste comuns encontradas em um blog para executar seus testes. Escolha algo relevante, como resolver um problema que você encontrou enquanto vasculha seus dados ou testa uma ideia que você acha que pode gerar impulso.

Isso servirá como o objetivo do seu teste. Você pode usar nosso gerador de hipóteses para ajudá-lo a criar uma hipótese sólida.

Garantia de qualidade para testes multivariados

Sem garantia de qualidade, qualquer teste pode induzir em erro. Avançar sem controle de qualidade é arriscado e pode causar erros caros. Antes de confiar nos insights do seu teste, passe por vários checkpoints:

• Configuração de controle de qualidade: onde você decidir sobre a configuração a ser usada para seu processo de controle de qualidade, identifique casos de uso especiais para testar a experiência do usuário nos dispositivos e navegadores que você fará o controle de qualidade etc.
• Fatores externos: reconheça fatores que você não pode controlar e que podem afetar o teste, como eventos ou feriados, outros testes executados ao mesmo tempo, eventos e tráfego do site.
• Configuração do experimento: verifique a qualidade da formulação da hipótese, alocação de tráfego, se a oscilação afetará o teste, outros atrasos e erros, etc.
• Entre navegadores e dispositivos: você precisa verificar a tipografia, as fontes e o esquema de cores em todos os dispositivos e resoluções de tela, verificar margens e preenchimentos, verificar a usabilidade, o desempenho dos elementos da página em vários dispositivos e muito mais.

E outras discrepâncias que você pode ter detectado: É necessário compartilhar a palavra sobre isso com sua equipe para correções.

Como você executa um teste multivariado? Implantando um teste multivariado em experiências de conversão.

Criar um teste multivariado no Convert Experiences leva apenas 4 etapas simples. Aqui está o que fazer:

1. Dê um nome à sua experiência
   
   Em Convert Experiences, selecione “New Experience”, depois “Multivariate” e nomeie sua experiência:

   

2. Faça a variação
   
   Depois que o URL da página que você usa para o teste for carregado, a primeira variação estará pronta para ser editada. Você pode editar a cópia, adicionar novos visuais, você escolhe. No exemplo abaixo, temos:
   
   – Clicou em um elemento para alterar (está destacado em laranja)
   – Selecionou uma ação no menu, ou seja, alterando a fonte da imagem

   

3. Nomeie a variação
   
   Isso é bem autoexplicativo. Você vai querer escolher algo que vai se destacar para você em relatórios mais tarde.
4. Defina os objetivos e o público
   
   Acesse o Resumo da experiência e configure suas metas de público e experiência.
   
   Aí está! Sua experiência está funcionando.

Agora que você entende o que é teste multivariado e como configurar um teste multivariado com sucesso, vamos detalhar algumas plataformas diferentes que você pode escolher. Muitas das principais ferramentas de teste A/B do mercado oferecem testes multivariados e testes A/B em um software. Então, qual é o mais adequado às suas necessidades?

Se o método de teste multivariado for um fator decisivo para você, você está no lugar certo. A lista abaixo apresenta os 9 melhores jogadores para testes multivariados no mercado.

Quais são as melhores ferramentas de teste A/B e multivariadas disponíveis?

Aqui está uma olhada nas ferramentas de teste multivariadas preferidas pelos especialistas em CRO, juntamente com os métodos de teste multivariados que eles oferecem:

• Converter Experiências – Fatorial Completo
• AB Tasty – Fatorial Completo
• Google Optimize & Optimize 360 ​​– Abordagem híbrida que não é Full Factorial nem Fractional
• Adobe Target – Fatorial Completo e Taguchi
• Kameleoon – Fatorial Completo e Fatorial Fracionado
• Optimizely – Fatorial Completo, Parcial e Taguchi
• Sitespect - Fatorial Completo e Fatorial de Fração
• VWO – Fatorial Completo
• Webtrends Optimize – Fatorial Completo e Fatorial Fracionado

Ainda não tem certeza de qual ferramenta de teste multivariada escolher? Confira este detalhamento completo das melhores ferramentas de Teste Multivariado.

Principais erros de testes multivariados a serem evitados em 2022

Esses testes só podem ajudar você a atingir suas metas de otimização se você os estiver usando da maneira certa.

Mas então somos humanos e nossas ferramentas não são perfeitas, então erros acontecem. Você pode reduzir as chances de arruinar seus testes evitando estes:

1. Não testar sua ferramenta MVT quanto à precisão

Crie variações da sua página, mas não altere nada. Mantenha-o igual e execute o resto. Como as pessoas estão vendo a mesma coisa, os resultados devem ser os mesmos.

2. Não começar com uma hipótese sólida

Executar um teste sem uma linha de base e o que esperar é executar às cegas. Isso não ajuda você ou o site em que você está testando. Gere uma hipótese primeiro.

3. Copiando seus concorrentes

Sua organização é única e seus objetivos são diferentes. Copiar seus concorrentes não é benéfico. Não apenas muitos de seus testes não se aplicam ao seu caso, mas eles podem não saber o que estão fazendo.

4. Execução de testes durante eventos sazonais ou grandes eventos de site/plataforma

Se o seu teste não for destinado a um evento, você não deve executar um teste multivariado durante um. Os resultados não refletirão o desempenho preciso de um dia normal.

5. Espreitar

A tentação é difícil de resistir. Você só quer ver como está indo. Você talvez até tenha feito uma aposta em uma variante e queira ver qual está ganhando. Não.

Você não apenas terá expectativas imprecisas, mas também poderá tomar decisões erradas com base nelas. Você pode verificar se eles estão rodando ou se há algum erro, e pronto.

6. Não executar seus testes por tempo suficiente

Testes multivariados precisam ser executados por um longo tempo. Pense nisso como testes A/B separados que precisam obter tráfego suficiente para atingir significância estatística. Deixe seus testes multivariados durarem o suficiente para que você possa obter resultados precisos e significativos.

7. Fazendo alterações enquanto o teste está em execução

Você pode corrigir erros, mas não pode redesenhar seu site ou fazer alterações de cópia. Qualquer coisa que mude a aparência das variantes deve permanecer intocada após o teste ser lançado.

8. Esquecer de interromper um teste depois de obter resultados precisos

Acontece com mais frequência do que você pensa. O que isso significa é que, depois de ter um vencedor claro, você ainda estará mostrando ao restante do seu tráfego uma versão mais fraca do seu site. Você não quer fazer isso.

9. Desistir depois de um teste

Talvez todas as suas variantes tenham ficado piores que o controle, e daí? Você acabou de aprender várias maneiras de não funcionar. Execute mais testes e obtenha mais insights. Todo conhecimento é valioso.

10. Não verificar a validade após o teste

Quando tudo estiver dito e feito e você tiver obtido seus resultados, será o fim? Você desliga a plataforma de testes e segue em frente? É uma boa prática sentar e verificar se tudo correu bem antes de confiar na precisão dos resultados.

11. Não executar testes suficientes

Quando você faz um teste, seja ele vencedor ou perdedor, aprenda com ele. Use seu conhecimento recém-descoberto para criar uma hipótese mais informada e execute novamente. E de novo. É assim que você faz a experimentação funcionar para você.

12. Não documentar testes

Mantenha um banco de dados de seus testes. Isso melhorará o desempenho de sua equipe de otimização, mesmo que essa equipe seja apenas você. Todos nós precisamos aprender com as experiências anteriores para tornar a próxima melhor.

E também, para não perder tempo executando os mesmos testes duas vezes.

Conclusão

Se você tem uma loja de comércio eletrônico, SaaS ou uma página de destino simples, há cenários em que faz sentido executar um teste multivariado. Você pode ter um site de alto tráfego, mas ainda precisa decidir se o teste multivariado é adequado para o seu site. Avalie o custo, o tráfego e a necessidade de uma multivariada antes de executar uma.