Ferramentas de teste multivariadas mais populares em 2022

Então, você está executando testes A/B e procurando expandir seu programa de testes.

Você tem um bom tráfego, está vendo ótimos resultados e agora deseja executar muito mais testes e obter esses dados o mais rápido possível.

Mas como você pode começar a testar mais rápido? Ou melhor ainda, como você pode executar mais testes e obter mais informações durante o mesmo período de tempo?

É aí que entra o teste multivariado. Ele permite testar várias variações de uma só vez, para ver qual delas funciona melhor.

Neste guia, vamos detalhar o que é o MVT, como ele funciona, o que você precisa para usá-lo e detalhar uma seleção das principais ferramentas de teste multivariado disponíveis.

Tudo, desde seu preço e recursos, até como eles fazem negócios, para que você possa fazer a escolha certa ao decidir qual ferramenta de teste multivariada obter.

Então vamos mergulhar nisso...

O que é teste multivariado?

A melhor maneira de entender o teste multivariado é compará-lo com outros métodos de teste e ver como ele difere.

Então, vamos ver um teste A/B e um teste multivariado e como eles se comparam.

Com um teste A/B, testamos uma única variação em relação a uma versão de controle original. Talvez tenhamos uma ideia de como melhorar o título, então criamos essa variação e vemos qual tem melhor desempenho.

Seu teste A/B ficará assim:

Título 1 (controle) vs Título 2 (a ideia de variação)

Outro teste que poderíamos executar é um teste A/B/n.

É aqui que podemos testar várias variações em relação ao controle, para encontrar o vencedor geral. Os testes A/B/n são univariáveis.

Por exemplo, podemos ter um monte de ideias de títulos e não temos certeza de quais funcionarão. Mas como temos tráfego para executar algumas variações de teste e ainda obter resultados precisos, decidimos testar várias ideias de título para ver qual tem melhor desempenho.

Título 1 (controle) x Título 2 x Título 3

Assim que encontrarmos a variação vencedora do título, podemos testar várias imagens de fotos de heróis e, em seguida, talvez vários ângulos de CTA.

Como você pode imaginar, tudo isso leva tempo, certo?

Outra opção é executar um teste em que alteramos várias coisas de uma só vez e ver se isso melhora as métricas.

Nós tendemos a não fazer isso com a maioria dos testes A/B, a menos que estejamos procurando fazer uma mudança radical, ou seja, jogar uma ave-maria para tentar encontrar um novo vencedor porque todas as outras ideias de teste estão estagnadas ou não estão causando nenhum impacto.

Então, por que não recomendamos fazer mudanças radicais como essa para campanhas normais e o que isso tem a ver com testes multivariados?

Testamos um elemento de cada vez porque, se fizermos grandes alterações e a nova página vencer ou falhar, não teremos certeza de qual dessas alterações causou esse aumento.

O teste multivariado ou MVT nos permite testar várias variantes, além de acompanhar cada uma dessas alterações e como elas afetam o resultado.

Não apenas podemos testar várias variações de elementos, mas podemos até executar diferentes combinações deles até encontrar o vencedor final.

Digamos que queríamos melhorar nossa página inicial e temos algumas ideias do que testar para ver o maior aumento:

• A manchete
• O herói tirou a imagem
• O CTA.

Com um teste multivariado, podemos não apenas testar cada ideia de título, opção de imagem de foto de herói e ângulo de CTA, mas também podemos testar cada combinação dessas variações para encontrar a combinação vencedora:

Título 1 + Imagem do herói 1 + CTA 1 vs

Título 1 + Imagem do herói 2 + CTA 1 vs

Título 1 + Imagem do herói 1 + CTA 2 vs

Título 2 + Imagem do herói 1 + CTA 1 vs

Título 2 + Imagem do herói 2 + CTA 1 vs

Título 2 + Imagem do herói 2 + CTA 2

Testes multivariados podem ajudá-lo a descobrir a melhor combinação de elementos e entender o que causou essas mudanças.

Ainda assim, fazer testes multivariados adequados envolve gastar muito tempo e recursos. Você está disposto a investir tantos recursos, não apenas para testes, mas também para controle de qualidade e análise? Em alguns cenários, porém, pode ser a melhor opção. Vamos ver quais são.

Quando usar testes multivariados?

Para que serve o teste multivariado? Aqui estão algumas das vezes em que um teste MVT pode ser mais útil do que um teste A/B.

1. Quando você tem tráfego intenso e deseja aumentar seu programa de testes

O tráfego é o ponto crucial dos testes multivariados. Você precisa de um alto volume de tráfego para poder testar cada alteração e confiar nos resultados do seu teste.

Mas se você tiver tráfego e quiser escalar seus testes para obter mais dados e tomar mais decisões, o MVT permitirá que você execute várias ideias de uma só vez.

2. Quando você quer aumentar a sustentação e tem algumas ideias, mas não quer esperar para testá-las uma a uma

Algumas pessoas pensam que você só deve usar o MVT para refinar as páginas da web atuais com pequenas alterações, devido ao investimento de tempo, mas não é verdade. Claro, você pode usá-lo para isso, mas também pode usá-lo para testes 'e se' mais amplos de elementos maiores.

(Talvez você não tenha certeza de qual elemento fornecerá a melhor sustentação e, portanto, queira tentar jogar algumas ideias hipotéticas inteligentes na parede para ver qual funciona.)

Se você tiver o volume de tráfego para executar um MVT, é óbvio não tentar encontrar combinações de páginas amplas muito mais rapidamente. Apenas certifique-se de medir os efeitos desse tráfego APÓS o teste de cada variação também, pois isso fornecerá mais informações sobre seu público e por que funcionou.

Por exemplo, no Facebook, você pode configurar anúncios de teste multivariados básicos, adicionando variações de uma imagem em miniatura, título e texto do corpo, etc.

O teste será executado e informará qual variação desse anúncio obtém a CTR mais alta.

Se seu objetivo fosse apenas obter cliques, esse anúncio venceria, certo?

Mas se todo esse tráfego for para a página para a qual você os envia, tudo o que você encontra é uma variação que faz com que esse público clique, não uma que os faça permanecer e converter.

É o mesmo ao executar um teste MVT em uma página, especialmente se você o estiver usando como um método mais amplo de coleta de ideias. Verifique o que acontece na página, mas também o que acontece depois que eles clicam.

3. Ao refinar um teste anterior para obter elevação incremental

Você também pode usar o MVT para medir e melhorar pequenos refinamentos. Na verdade, muitas agências gostam de usá-los para aumentar ainda mais as campanhas vencedoras atuais e testar pequenas mudanças.

Digamos que você já tenha testado A/B uma página várias vezes para encontrar uma variante vencedora, mas deseja obter o máximo de aumento possível, mesmo que seja apenas 0,5%. Você pode executar testes MVT nessa página para testar ainda mais (porque com 100.000 visitantes por mês, cada 0,5% de ajuda é perceptível!)

4. Ao procurar o aumento máximo possível de uma combinação de ideias (efeitos de interação)

Às vezes, um teste A/B consecutivo pode nos dar vencedores no papel, mas quando os combinamos, eles nem sempre são a opção de melhor desempenho para nossa página.

Aqui está um exemplo:

• Você executa um teste de título e escolhe um vencedor e implementa.
• Em seguida, você executa um teste de imagem de tiro de herói nessa mesma página com a variação de título vencedora e implementa.
• Em seguida, você executa um teste de CTA na mesma página com os elementos vencedores anteriores e implementa.

Em teoria, esta deve ser a versão de melhor desempenho da sua página, mas coisas estranhas podem acontecer por causa da interação ou falta dela. Simplificando, é possível que um elemento perdedor em um teste às vezes supere seu vencedor do teste A/B sequencial quando combinado com outra variação de elemento.

Como?

Bem, talvez um título perdedor do primeiro teste forneça uma taxa de conversão de back-end mais alta quando combinado com os vencedores do teste de imagem e CTA.

Isso pode acontecer, mas você nunca saberia disso se apenas executasse testes A/B. Em vez disso, você o teria removido das opções antes de testar os outros elementos. É por isso que o teste multivariado é tão poderoso. Ele permite que você encontre o desempenho geral mais alto da página, mesmo que isso signifique que está tirando um elemento de menor desempenho de uma parte do teste.

Melhor ainda, pode até dizer qual elemento ajudou mais…

5. Ao pesquisar o elemento mais importante na página para seu público, para testes e páginas futuras

O MVT não apenas mostrará a combinação vencedora de suas diferentes variações e elementos, mas também mostrará o elemento que fornece mais sustentação.

Talvez sua foto de herói ganhe mais impulso, mas você também vê que, de todos os seus elementos em sua página de variação, é o que mais contribui para o resultado final?

Isso lhe dará algumas dicas sobre onde testar primeiro para melhorias ainda maiores, para que você possa se concentrar primeiro nas melhorias de tiro de herói, etc.

6. Ao aplicar o aprendizado de máquina ao seu processo de teste

Devido à natureza do MVT exigir e rastrear grandes quantidades de dados e interações, ele pode ser usado como uma ótima fonte para alimentar programas de teste de aprendizado de máquina.

O ML requer grandes dados para funcionar melhor, mas, uma vez que os obtém, pode realmente começar a ver padrões e prever resultados e comportamentos com menos tráfego ao longo do tempo. Na verdade, sites como a Amazon estão fazendo exatamente isso…

Exemplos de testes multivariados

Exemplo de teste multivariado #1

A Amazon usou MVT e aprendizado de máquina para ajustar o layout de suas landing pages, resultando em um aumento de 21% na taxa de compra em apenas 7 dias!

Exemplo de teste multivariado #2

Booking.com usa testes multivariados para testar novos recursos exclusivos para públicos específicos e, em seguida, mede seu desempenho antes de implantá-los em todo o site.

Exemplo de teste multivariado #3

A Microsoft viu um aumento de 40% na taxa de conversão para seu site SMB, depois de executar um teste MVT em vários elementos de página (8 × 4!)

Exemplo de teste multivariado #4

Não são apenas os juggernauts que podem usar o MVT. O HawkHost viu um aumento de 204% nas vendas quando realizou um teste MVT em sua página inicial (testando seu título, subtítulo e foto de herói).

Os prós e contras dos testes multivariados

Se o teste multivariado é tão poderoso, por que não o estamos usando?

Veja bem, a beleza de um teste A/B é que você pode testar uma ideia rapidamente, com um público relativamente pequeno. Isso significa que a maioria das empresas pode executar um teste, mesmo que tenha um tráfego bastante baixo, e ver um resultado dentro de 14 a 30 dias.

Mas com um teste multivariado, você precisa de um público muito maior para executar, porque você está testando várias coisas ao mesmo tempo. (Especialmente se você estiver testando várias páginas ou testando várias combinações de variações.)

Digamos que queríamos testar um título em nossa página inicial:

• Controle de título
• Variação do título

Estamos apenas testando a única variação, então são 2 opções no total.

Agora, como um exemplo simples, digamos que queremos obter 1.000 visitantes para cada versão da página (a variante e o controle) para que possamos ter certeza de que os resultados do teste são confiáveis.

(O tráfego necessário pode variar de acordo com a página e sua taxa de conversão, mas vamos simplificar aqui apenas para você ter uma ideia.)

Isso significa que precisaríamos de 2.000 visitantes para fazer o teste e confiar nos resultados, com 1.000 visitantes indo para cada página.

E se quiséssemos testar:

• 3 títulos
• 3 imagens de heróis e
• 3 CTAs?

Não são 9 variantes no total, mas na verdade 27 combinações de 9 variantes (3x3x3).

Isso significa que, se quiséssemos 1.000 visitantes por variação, nosso requisito de tráfego seria de 27.000 visitantes para executar o teste e confiar nos resultados (com base em nossa simplificação de 1.000 visitantes sendo suficiente por página).

Na realidade, você provavelmente precisaria de mais de 10.000 visitantes por variação para obter dados precisos, pois o tráfego por si só não é suficiente, você também precisa ver as conversões.

É por isso que muitas empresas não executam testes MVT, simplesmente porque não têm tráfego para executá-los de forma eficaz. Na verdade, a maioria das agências recomenda ter cerca de 100.000 visitantes mensais antes de começar a executar campanhas MVT, a menos que a página já tenha uma taxa de conversão muito alta. E mesmo assim, eles ainda recomendam executar apenas talvez 6 variações no máximo, para poder executá-las mais rapidamente.

Mas se você tem esse tipo de tráfego?

Bem, então o MVT pode permitir que você execute o equivalente a muito mais testes quase no mesmo período de tempo…

E se pegarmos o exemplo acima e permitirmos que cada teste seja executado por um ciclo de vendas completo de 30 dias para obter uma janela de medição precisa?

Supondo que tenhamos o tráfego, poderíamos executar 27 combinações de teste de uma só vez nessa página por talvez 30 a 60 dias como um único teste multivariado. Nada mal quando você compara isso com a execução de 27 testes A/B consecutivos nessa página, em um período de 27 meses!

(Mais uma vez, estou simplificando aqui e supondo que você execute um ciclo de vendas completo em cada teste.)

Mas, como você pode ver, os testes multivariados permitem que você obtenha insights e ideias, implemente-os mais rapidamente e reduza o tempo de atividade em testes perdedores consecutivos.

Muito bom né!?

Obviamente, existem algumas outras desvantagens nos testes MVT além dos requisitos de tráfego.

Devido ao grande número de variações e combinações que você pode executar, isso aumenta muito o tempo de controle de qualidade pré e pós-teste.

Você precisa ter certeza de que cada variação funciona e também faz sentido. (Não mostrar um título e uma imagem que não correspondam, etc.) e, portanto, aumenta drasticamente o tempo e o custo de configuração.

Além disso, certifique-se de verificar os efeitos.

Só porque você vê um aumento na conversão nessa página específica, acompanhe-a até seus objetivos finais. A última coisa que você quer é mais cliques, mas uma experiência ruim do usuário ou uma alta taxa de rejeição (ou mais cliques, mas nenhuma venda).

As vantagens dos testes multivariados

• Supondo que você tenha o tráfego, o teste multivariado permite testar muitas variações rapidamente.
• O MVT pode ajudá-lo a expandir seu programa de testes para encontrar mais dados sobre o que funciona e o que não funciona.
• Pode ajudá-lo a encontrar combinações vencedoras mais rapidamente do que testes A/B consecutivos.
• Ele pode ajudá-lo a encontrar combinações vencedoras que você pode ter perdido ao executar testes consecutivos. (Imagine se um título tivesse o segundo desempenho e você o cortasse, mas emparelhado com a terceira variação da imagem, de alguma forma dobrasse o aumento? Com ​​um teste consecutivo, você teria perdido isso. Um teste multivariado leva um grau mais alto de efeitos de interação).
• Alguns softwares de teste A/B permitirão que você veja qual elemento específico ajudou a fornecer mais impulso (dando a você uma compreensão mais profunda do seu público).
• Ele também pode ser usado para ajudar a encontrar pequenos aumentos em páginas de alto desempenho. (Imagine que você já tem uma página de alto desempenho e está lançando novas ideias para ver pequenos aumentos, como mudanças de cor.)

Os contras dos testes multivariados

• Precisa de um alto volume de tráfego para ser executado, especialmente se você deseja stat sig para poder confiar em seus resultados e não ver falsos positivos ou negativos (erros tipo 1 e tipo 2) e poder estatístico para medir % de aumento menor.
• Os requisitos de tráfego crescem rapidamente quanto mais variações e combinações você testa, portanto, lembre-se disso. Considere a remoção de elementos adicionais se eles não fornecerem muita sustentação. (ou seja, teste o título antes de se preocupar em testar as cores do rodapé, etc. Você sempre pode testá-los depois, se realmente quiser.)
• Não é apenas o tráfego que afeta o tamanho da amostra. A taxa de conversão da página atual e as variáveis ​​afetam o volume do tamanho da amostra necessário para atingir a significância estatística. Conversões melhores podem diminuir o tráfego necessário, conversões mais baixas aumentam esse requisito.
• A margem de erro ao testar mais variáveis ​​também aumenta o volume de tráfego necessário antes que você possa confiar nos resultados.
• Precisa executar testes intensivos de controle de qualidade para garantir que todos funcionem com antecedência.
• Também é necessário executar o controle de qualidade para garantir que as variações façam sentido juntas e não tenham combinações opostas ou conflitantes. (CTAs que não correspondem a ofertas, manchetes para férias na praia enquanto anunciam uma viagem de esqui ou até cores conflitantes ou misturadas de fonte e plano de fundo.)
• Se você não tiver uma fonte de tráfego alto, ainda poderá executar um teste MVT, mas pode demorar MUITO mais até você atingir stat sig e poder encerrar o teste. (Às vezes vários meses ou mais). Na verdade, às vezes pode ser mais rápido e eficiente apenas executar testes A/B consecutivos.
• Você pode perder alguns insights do público, simplesmente testando várias coisas ao mesmo tempo. (Testar um único elemento ou ângulo pode ajudá-lo a entender melhor seu público às vezes.)

Estatísticas de teste multivariadas: a matemática por trás do MVT

Então vamos nerd fora um pouco ...

Quando se trata de testes multivariados, usamos um método de análise estatística diferente do teste A/B padrão ou teste de divisão.

Eu não quero entrar muito na matemática disso tudo, mas aqui está uma simplificação:

• Com o teste A/B, usamos um teste t (ou teste z) para medir a diferença entre 2 ou mais conjuntos de resultados.
• Com o teste multivariado, outro método é usado para encontrar os resultados do teste chamado ANOVA ou 'Análise de Variância'. Você não precisa saber todos os detalhes, mas aqui está o principal. A principal diferença é que a ANOVA também mede a conexão e o impacto entre as variáveis. Este é um dos principais pontos fortes do MVT porque nos permite ver como as combinações de elementos se impactam.

Dependendo de qual ferramenta você usa, pode haver 3 tipos de métodos de teste multivariados oferecidos ao executar uma campanha MVT. Cada um deles afeta a matemática de como seu teste funcionará.

Nós os chamamos de:

• Fatorial Completo,
• Fração Fatorial, e
• Taguchi.

Então, o que eles significam?

Fatorial Completo

Quase todas as ferramentas MVT oferecem testes fatoriais completos como base para seu modelo de teste principal e é praticamente o que você deseja usar o tempo todo.

Este método refere-se à distribuição 'completa' do tráfego em seu teste.

Simplificando, é onde você testa todas as combinações de uma só vez, dividindo o tráfego para o teste igualmente entre cada variante.

Com um teste A/B, você divide o tráfego 50:50. Mas com um MVT, se você tivesse 10 variantes, isso significaria que apenas 10% do tráfego vai para cada variante.

Devido ao número de variantes e ao tráfego necessário para alcançar significância estatística com cada variação, o fatorial completo requer uma fonte de tráfego muito grande, mas é o método mais preciso.

No entanto, algumas plataformas de teste A/B também oferecem algo chamado teste 'Fraction Factorial' como alternativa.

Fatorial de fração

Esse método tenta contornar alguns dos maiores requisitos de tráfego testando apenas uma amostra menor de variações e, em seguida, estimando as taxas de conversão final com base nos resultados atuais do teste .

Seu objetivo não está na precisão de prever resultados confiáveis ​​para dimensionar como normal, ou seja, se dimensionarmos isso para o público X, ele terá o mesmo desempenho.

Em vez disso, ele foi projetado para ajudá-lo a ver onde a tração inicial está começando a acontecer, para que você possa obter informações antes de testar mais profundamente ou com outro método.

Digamos que você tenha 10 variações que deseja testar.

O fatorial fracionário testará 5 deles e, em seguida, tentará inferir a taxa de conversão nesses outros 5 testes, com base nos resultados até agora.

Como você pode imaginar, isso não é tão preciso e pode levar a erros e falsos positivos, e na verdade é uma fonte de discussão entre otimizadores e profissionais de marketing. (Com quase todos recomendando fatorial completo como o principal método de teste.)

Taguchi

Finalmente, você tem o método Taguchi de teste multivariado. Originalmente projetado como um método de medição de controle de qualidade contra suposições de perdas aceitáveis ​​em P+D para fabricação de produtos.

A maioria das ferramentas não oferece isso devido à sua complexidade de uso.

Quando parar um teste multivariado?

Existem 3 coisas principais que precisamos considerar ao executar qualquer teste antes de interrompê-lo:

• Para que o teste tenha sido executado por tempo suficiente para coletar um tamanho de amostra grande o suficiente para cada variante e para que o teste tenha coletado conversões suficientes para ser relevante.
• Para que o teste tenha executado 1 ou até 2 ciclos de vendas completos (para equilibrar o tráfego e os períodos de compras em 30 a 60 dias).
• E, finalmente, para que os resultados sejam estatisticamente significativos, ou seja, se fizermos esse teste na natureza e o ampliarmos, podemos ter 95% de certeza de que ele continuará funcionando da mesma maneira.

Recomendamos que você não interrompa nenhum teste antes desse ponto. Caso contrário, os dados serão insuficientes para trabalhar. No entanto, podemos interromper e reiniciar um teste se houver problemas com o desempenho, como os formulários de pagamento de uma variante que não funcionam, etc., mas, idealmente, tentamos nem espiar quando ele está em execução.

(Algumas agências recomendam interromper antecipadamente se houver um vencedor claro ou até mesmo interromper variações específicas se a taxa de conversão cair abaixo de 10% e permitir que o teste continue em execução enquanto filtra mais tráfego para os de melhor desempenho. Obviamente, isso pode afetar os resultados do teste muito.)

Como configurar e realizar um teste multivariado?

O processo de configuração de um teste multivariado é muito semelhante a um teste A/B.

Etapa 1: decida seu objetivo final

Primeiro, você precisa formar uma hipótese para sua página, seu objetivo, seus resultados atuais e como você acha que ela pode ser melhorada.

Você pode usar nosso gerador de hipóteses para ajudá-lo a esclarecer o que deseja alcançar e definir algumas metas concretas.

Etapa 2: descobrir o que testar

Em seguida, decida quais elementos testar e quais variações você acha que podem melhorar seus resultados atuais.

Por exemplo, você pode pensar que testar os 'elementos principais' acima da dobra aumentará as conversões, então você deseja testar o título, a foto principal e o texto do botão CTA.

Etapa 3: Calcule o prazo de teste

Antes de executar o teste ou criar qualquer ativo, recomendamos que você execute um cálculo de tamanho de amostra de pré-teste para poder estimar o período de tempo e os requisitos de tráfego para a execução desse teste. Isso ajudará a fornecer algumas informações sobre quantas variações você pode executar de forma viável com seu tráfego recorrente e ainda obter resultados rápidos. (Ou até mesmo informá-lo se precisar testar menos opções).

No exemplo acima, você tem 3 elementos: o título, a foto do herói e o texto do botão CTA.

Se você quiser testar uma única variação para cada uma, seriam 2x2x2=8 combinações. Sabendo disso, você pode começar a descobrir quanto tráfego você precisa.

Insira o tráfego da página semanal atual e a taxa de conversão na calculadora (junto com quaisquer configurações de energia e confiança).

Em seguida, defina o número de páginas que você deseja testar. (8 neste exemplo)

Isso lhe dará um prazo de quanto tempo você precisa correr para poder detectar a elevação mínima.

Etapa 4: Construir o Teste

Em seguida, vá até sua ferramenta e configure as diferentes versões e combinações para seu teste multivariado.

Comece selecionando a opção de teste multivariado.

Dê um nome e adicione o URL da página que você deseja testar (para que a ferramenta possa puxá-lo para as edições WYSIWYG.)

Neste exemplo, vamos trabalhar para melhorar a taxa de conversão da nossa página inicial.

Depois que a página for carregada na ferramenta, você precisará configurar seus elementos de teste.

Aqui na Convert, usamos 2 conversões de nomenclatura para as partes a serem editadas em testes multivariados:

• A Seção, que se refere ao elemento da página que você deseja testar, como um título ou CTA, e
• A Variação, que é a sua edição desse elemento em particular.

Eu recomendo que você escolha uma seção por vez para editar e adicionar cada variação.

Dê à seção um nome como 'Título', então vá em frente e edite e adicione as variações para essa seção. (Certifique-se de salvar cada variação enquanto trabalha nela.)

Em seguida, passe para a próxima 'seção' ou elemento que você deseja testar. Neste exemplo, seria configurar outra foto de herói em segundo plano e, em seguida, configurar uma variação de texto do botão CTA.

Passo #5: Certifique-se de que tudo funciona

Depois de configurar cada variação, execute um teste de controle de qualidade em cada novo tratamento para garantir que todos funcionem e que cada elemento se encaixe de maneira sensata. (Sem CTAs concorrentes ou informações/imagens incompatíveis, ou dobre a cor da fonte e os botões.)

Clique em 'salvar e continuar' e uma nova página será carregada. Em seguida, vá em frente e clique na guia "Relatórios".

A partir daqui, você verá variações de páginas e informações sobre elas. Clique no 'ícone de olho' ao lado de cada página para ver uma prévia e testar o funcionamento dos links.

A partir daqui, você pode executar um teste de controle de qualidade e usar o mesmo URL para testes em dispositivos móveis.

Passo #6: Empurre ao vivo

Contanto que cada variação esteja funcionando, agora você pode iniciar o teste e deixá-lo rodar até ter dados suficientes.

(Observe que há uma opção para enviar o teste ao vivo diretamente da página do relatório em que você abriu os testes de controle de qualidade.)

Melhores ferramentas de teste multivariado para amadurecer seu programa de otimização

Agora que você entende como os testes multivariados funcionam, vamos detalhar as plataformas de otimização de sites no mercado que oferecem testes multivariados. Cobriremos seus recursos junto com seus preços se eles oferecerem avaliações gratuitas e alguns outros detalhes.

Uma coisa rápida antes de fazermos isso.

Lembre-se que a ferramenta que você usa é APENAS tão boa quanto a pessoa que a configura . Se o fluxo de caixa estiver apertado, invista em alguém para ajudar internamente primeiro (ou entre em contato com uma agência externa) e use uma ferramenta mais barata por enquanto.

Está tudo muito bem ter uma ferramenta de teste MVT incrível, mas é inútil se a pessoa não puder configurá-la corretamente, rápido o suficiente ou entender os dados!

#teamovertools

1. Converter experiências

Classificação G2 : 4,7/5,0 (46 Comentários)

Preços: a partir de $ 699 por mês, com $ 199 para cada 100 mil visitantes depois disso.

Eles oferecem um plano gratuito ou avaliação? Sim, 14 dias de teste gratuito sem necessidade de cartão de crédito.

Custo por 100.000 visitantes: $ 199.

Prós

• Totalmente compatível com a privacidade: nenhum dado pessoal é armazenado
• Relatórios precisos devido ao uso de cookies de terceiros
• Rápido e sem cintilação
• Execute testes ilimitados
• Empilhamento de condições com mais de 40 filtros para segmentar segmentos de público granular
• Inserção flexível de JavaScript nos níveis de projeto, experimento e variação
• Acionamento de meta de condição JS personalizada
• Integra-se com mais de 100 ferramentas de terceiros (por exemplo, Shopify, WordPress, Mixpanel, Hotjar)
• Suporte ao cliente humano 4x mais rápido por telefone, e-mail e chat.

Contras

• Segmentação de postagem básica no plano Kickstart

Recursos de teste multivariado : fatorial completo. Também oferecemos suporte e aconselhamento direto ao executar esses testes

Lado do cliente, lado do servidor ou ambos? O Convert funciona como um editor WYSIWYG do lado do cliente, mas também pode ser configurado no lado do servidor e executar JS personalizado.

Eles servem Enterprise? Sim. Somos a ferramenta preferida de empresas como Sony, Jabra, Unicef ​​e outras.

Eles oferecem suporte ao cliente? Sim, desde o início do julgamento. Que tipo? Bate-papo ao vivo, blog e base de conhecimento com mais por vir.

Eles se preocupam com a privacidade ? Estamos totalmente em conformidade com o GDPR. Até paramos de usar ferramentas para nosso trabalho interno de outras empresas que não atendem ao GDPR, é o quanto isso significa para nós.

Eles se importam com o mundo? Sim. Está em nosso DNA. Plantamos árvores, executamos programas comunitários, defendemos a diversidade desde a inscrição inicial, doamos para instituições de caridade e muito mais. Heck, somos 15x carbono negativo.

Revisão do TrustRadius:

2. Saboroso AB

Classificação G2: 4,5/5,0 (76 Comentários)

Preço: a partir de US$ 1.900/mês para 400 mil visitantes testados mensalmente para o plano Essentials. O plano de crescimento custa $ 3800/mês, enquanto o plano Elite começa em $ 5700/mês.

Eles oferecem um plano gratuito ou avaliação? Não. Você pode solicitar uma chamada de demonstração para ver os novos recursos.

Custo por 100.000 visitantes: Aproximadamente US$ 475.

Prós:

• AI e ML integrados à otimização
• Execute experimentos ilimitados
• Interface de usuário limpa e fácil de usar
• Testes fáceis de configurar e visualizar
• Widgets dinâmicos
• Várias integrações
• Relatórios de análise abrangentes
• Ampla gama de opções de segmentação disponíveis, juntamente com personalização
• Suporte ao cliente confiável
• O preço é intermediário

Contras:

• Nenhuma automação de marketing para fornecer informações sobre o desempenho do público (especialmente para um experimento ativo) e às vezes exigirá suporte ao cliente para ver.
• A calculadora de significância estatística é um pouco básica em seu UX
• A integração do Google Analytics é complexa, requer codificação
• Sem teste gratuito

Recursos de teste multivariado: fatorial completo

Lado do cliente, lado do servidor ou ambos? Ambos

Frequentista ou Bayesiano? Bayesiano.

Suporta Full Stack? Sim.

Principais Web Vitais Prontos? Sim. Esta ferramenta carrega rapidamente.

Tem ML ou IA? Sim.

Eles servem Enterprise? Sim. Eles são a ferramenta de escolha para empresas como Disney, L'Oreal, Kalviyo e outras.

Eles oferecem suporte ao cliente? Sim. Eles têm uma base de conhecimento e bate-papo ao vivo.

Eles se preocupam com a privacidade? Sim. Os endereços IP do usuário são usados ​​para criar um código de identificação e, em seguida, excluídos imediatamente antes de entrar na ferramenta. Os códigos de identificação são anonimizados e excluídos após 13 meses.

Eles se importam com o mundo? Eles doam diretamente para ONGs, trabalham com grupos de ação social, reciclam e patrocinam colméias.

Revisão do TrustRadius :

Como esta ferramenta de teste multivariada se parece em ação:

3. Google Optimize & Optimize 360

Classificação G2: 4,3/5,0 (27 Comentários)

Preço : Existem 2 versões desta ferramenta. O Optimize é gratuito, mas para recursos avançados, você deve optar pelo Google Optimize 360.

O preço do Optimize 360 ​​é personalizado (embora haja rumores de cerca de US$ 150.000 por ano). Para obter seu preço mensal, você terá que preencher um formulário para entrar em contato com a equipe de vendas.

Eles oferecem um plano gratuito? Sim.

Custo por 100.000 visitantes: N/A

Prós:

• Fácil de usar - pouco conhecimento técnico necessário
• Ótimo para testadores A/B iniciantes
• Integração rápida com o Google Analytics
• Tem uma segmentação de público super detalhada, graças aos enormes recursos de dados do Google

Contras:

• Limitado a 5 testes por vez no nível gratuito
• Nenhuma funcionalidade de editor de arrastar e soltar
• Não é possível fazer upload de suas imagens diretamente
• Não é possível testar aplicativos, apenas navegadores
• Não é adequado para testes complicados
• UI/UX e relatórios não são tão visualmente atraentes quanto a maioria das outras ferramentas no mercado
• Flicker acontece às vezes.

Recursos de teste multivariado: Aparentemente, o Optimize usa uma abordagem híbrida que não é totalmente fatorial ou fracionária. De acordo com sua base de apoio

“Nossos modelos nos permitem usar uma abordagem híbrida, para que você não precise fazer essa troca. Atendemos todas as combinações de um teste, para que você possa conhecer as interações e as melhores combinações. Mas também modelamos o fato de que algumas variantes aparecem em combinações – e assim podemos aprender sobre variantes dentro de um fator, não apenas combinações”

Lado do cliente, lado do servidor ou ambos? Ambos.

Frequentista ou Bayesiano? O Google Optimize usa métodos Bayesianos em vez de métodos Frequentistas, também conhecidos como Teste de Significância de Hipótese Nula (NHST).

Suporta Full Stack? Sim.

Principais Web Vitais Prontos? Sim. Essa ferramenta carrega rapidamente, embora possa piscar, o que pode causar problemas de CLS.

Tem ML ou IA? Não.

Eles servem Enterprise? Sim, mas apenas via Optimize 360.

Eles oferecem suporte ao cliente? Eles têm um hub de recursos com dicas, tutoriais em vídeo, comunidade de ajuda e muito mais.

Eles se preocupam com a privacidade? Eles cumprem as leis de proteção de dados aplicáveis ​​nos países onde seus produtos são usados.

Eles também trabalham com terceiros e autoridades de proteção de dados para manter os dados dos usuários seguros.

Eles se importam com o mundo? O Google é neutro em carbono desde 2007 e planeja ser livre de carbono até 2030. Além disso, eles são conhecidos por vários gestos filantrópicos com seu compromisso de US$ 1 bilhão.

Revisão do TrustRadius :

Como esta ferramenta de teste MVT se parece em ação:

4. Adobe Target

Classificação G2: 4,0/5,0 (29 comentários)

Preço : Disponível apenas após um formulário de 11 partes, um e-mail e uma chamada. A taxa inicial é de US $ 10.000 por mês.

Eles oferecem um plano gratuito ou avaliação? Não.

Custo por 100.000 visitantes: N/A

Prós

• A interface é fácil de usar
• Fornece relatórios de dados precisos em tempo real
• Integra-se bem com o Adobe Analytics e é projetado como uma oferta de upsell
• Ferramentas de personalização de sites para iniciantes e especialistas
• Orienta você pelo processo de configuração e teste
• Possui IA avançada para testar e melhorar continuamente campanhas e personalização

Contras

• A otimização em grande escala pode ser lenta
• Requer um volume muito alto de tráfego para funcionar melhor
• O editor baseado em formulário requer uma curva de aprendizado
• Ponto de preço alto
• Sem opção de teste
• Funciona melhor quando já está usando o Adobe Analytics
• Pode obter ótimos insights quando conectado a outras ferramentas pagas da Adobe Marketing Cloud

Recursos de teste multivariado: Fatorial Completo e Taguchi (como um método de fatorial parcial).

Lado do cliente, lado do servidor ou ambos? Ambos.

Eles servem Enterprise? Sim. Quase exclusivamente devido ao custo.

Eles oferecem suporte ao cliente? Sim, na forma de uma base de conhecimento e programas de treinamento em vídeo.

Eles se preocupam com a privacidade? Sim, mas ironicamente eles exigem seu e-mail e número de telefone para saber mais sobre isso. No entanto, eles estão fazendo muito trabalho em dados de terceiros para rastreamento não intrusivo.

Eles se importam com o mundo? Muito mesmo. Eles defendem a diversidade, trabalham para edifícios 100% de energia renovável, reduzindo emissões, executando programas de ação comunitária e muito mais.

Revisão do TrustRadius :

Como esta ferramenta de teste multivariada se parece em ação:

5. Kameleoon

Classificação G2: 4,7/5,0 (24 Comentários)

Preço : Personalizado de acordo com suas necessidades. Você obtém seu preço exclusivo entrando em contato com a equipe de vendas.

Eles oferecem um plano gratuito? Sim.

Custo por 100.000 visitantes: N/A

Prós

• Fácil de configurar o rastreamento de cliques
• Integração suave com muitas outras ferramentas
• Possui um editor WYSIWYG fácil de usar para não desenvolvedores
• Tecnologia anti-cintilação avançada
• Equipe de suporte experiente e útil
• Planejamento e execução de testes precisos e detalhados

Contras

• O editor WYSIWYG carrega lentamente
• O painel de relatórios poderia usar um pouco mais de personalização
• Precisa de habilidade em nível de desenvolvedor para implementar alguns cenários complexos
• Não é possível arquivar testes
• Navegadores antigos como o IE7 são excluídos dos testes

Recursos de teste multivariado: Fatorial completo e fatorial fracionário (por meio de alocações na configuração do teste).

Lado do cliente, lado do servidor ou ambos? Ambos. Você pode fazer edições no editor WYSIWYG, bem como usar o editor de código embutido do Kameleoon para editar CSS e JS.

Eles servem Enterprise? Sim. Lexus, Unity, Providence, Toyota e Rakuten usam Kameleoon.

Eles oferecem suporte ao cliente? Sim. Você pode até obter um gerente de contas dedicado para ajudá-lo com projetos complicados.

Eles se preocupam com a privacidade? Eles são compatíveis com HIPAA, GDPR e CCPA. Eles também têm um recurso flexível de gerenciamento de consentimento para adaptar sua política de privacidade para cada teste A/B.

Eles se importam com o mundo? Não consegui encontrar evidências de nenhuma instituição de caridade que eles patrocinam ou causas ambientais que eles apóiam. Embora seja interessante saber que eles têm dois camaleões vivos em seus escritórios na Alemanha e na França.

Revisão do TrustRadius :

Como esta ferramenta de teste MVT se parece em ação:

6. Otimizar

Classificação G2: 4,3/5,0 (109 Comentários)

Preços : eles estão usando um modelo de preços personalizado. Mas a Splitbase prevê que eles custem pelo menos US$ 36.000 por ano.

Eles oferecem um plano gratuito? Não. Eles interromperam o plano gratuito em 2018.

Custo por 100.000 visitantes : N/A

Prós:

• Execute experimentos ilimitados
• Interface de usuário limpa e fácil de usar
• O recurso de widget é divertido de usar
• Ampla gama de opções avançadas de segmentação disponíveis
• Suporte ao cliente confiável

Contras:

• Não fornece insights automáticos sobre o desempenho do público (especialmente para um experimento ativo)
• A integração do Google Analytics é complexa, requer codificação
• O snippet do Optimizely geralmente aumenta o tempo de carregamento da página

Recursos de teste multivariado: Fatorial Completo, Parcial e Taguchi.

Lado do cliente, lado do servidor ou ambos? Ambos. O Optimizely oferece experimentação do lado do cliente por meio de um snippet de Javascript e experimentação do lado do servidor por meio de SDKs do desenvolvedor.

Frequentista ou Bayesiano? O Stats Engine da Optimizely usa experimentação sequencial, não os experimentos de horizonte fixo que você veria em outras plataformas.

Suporta Full Stack? Sim.

Principais Web Vitais Prontos? Sim, esta ferramenta carrega rápido.

Tem ML ou IA? Sim.

Eles servem Enterprise? Devido ao preço, atende principalmente a um nível empresarial. Marcas como Microsoft, IBM, HP, eBay, Yamaha, Pizza Hut e Atlassian o usam.

Eles oferecem suporte ao cliente? Sim. Eles têm um banco de recursos para ajudar os usuários a se libertarem e números de telefone para pedir ajuda 24 horas por dia, 7 dias por semana.

Eles se preocupam com a privacidade? Eles levam em consideração leis de privacidade antigas e novas e as integram em seus produtos para que você, o usuário, não precise se preocupar com a conformidade.

Eles se importam com o mundo? A maioria dos novos contratados é enviada para ser voluntária na comunidade no segundo dia.

Revisão do TrustRadius :

Como esta ferramenta de teste multivariada se parece em ação:

7. Site Spec

Classificação G2: 4,4/5,0 (50 comentários)

Preço : Você terá que entrar em contato com o SiteSpect para obter um preço personalizado de acordo com suas necessidades.

Eles oferecem um plano gratuito? Sim, eles oferecem um teste gratuito.

Custo por 100.000 visitantes: N/A

Prós:

• Suporta todas as linguagens de marcação (HTML, WML, XML e JSON), folhas de estilo e linguagens de script
• Nenhuma tag javascript significa que não há atualização de conteúdo ou cintilação
• Versátil o suficiente para testar quase qualquer cenário
• Testes não invasivos
• Integra-se com ferramentas de análise
• Não há necessidade de modificar a versão de produção do seu código

Contras:

• Conhecimento técnico necessário para implementar testes
• Adiciona um salto extra que pode deixar seu site um pouco mais lento
• A interface de relatórios poderia ser melhor

Recursos de teste multivariado: Fatorial Completo e Fatorial de Fração (A ferramenta recomenda mudar para fracionário se testar mais de 128 combinações).

Lado do cliente, lado do servidor ou ambos? Ambos.

Frequentista ou Bayesiano? O SiteSpect usa um teste t bicaudal ao comparar variações com controles para determinar o ponto em que os intervalos de confiança não se sobrepõem e, portanto, indicam significância. O SiteSpect também calcula o z-score e o usa em relatórios.

Suporta Full Stack? Sim.

Principais Web Vitais Prontos? Sim. Esta ferramenta é incrivelmente rápida.

Tem ML ou IA? Sim.

Eles servem Enterprise? Sim. Staples, PetSmart, AmericanGirl e Urban Outfitters usam SiteSpect.

Eles oferecem suporte ao cliente? O suporte ao cliente está disponível por telefone e e-mail para versões gratuitas e pagas. Há também webinars pré-gravados disponíveis em sua base de conhecimento.

Eles se preocupam com a privacidade? Eles fazem. Eles são certificados pelo PCI DSS 3.2; Compatível com GDPR, CCPA e escudo de privacidade e pronto para HIPAA.

Eles se importam com o mundo? SiteSpect é conhecido por patrocinar alguns projetos de caridade desde 2014.

Revisão do TrustRadius :

Como esta ferramenta de teste multivariada se parece em ação:

8. Teste VWO

Classificação G2: 4,2/5,0 (239 comentários)

Preço : a partir de US$ 99/mês. Qualquer coisa mais requer preços personalizados de acordo com suas necessidades. E você terá que entrar em contato com a equipe de vendas da VWO para a sua.

Eles oferecem um plano gratuito? Sim, você pode começar com uma avaliação gratuita de 30 dias.

Custo por 100.000 visitantes: ~$500

Prós:

• Opções flexíveis de personalização para adaptar seu teste a vários cenários
• Fácil de planejar e executar testes com pouco conhecimento de codificação
• Equipe de suporte dedicada para guiá-lo em todos os desafios
• Tem a capacidade de rastrear metas de longo prazo
• Capacidade de agrupar testes juntos
• Gravações úteis para observar usuários e solucionar problemas

Contras:

• Há uma curva de aprendizado para entender a funcionalidade completa do VWO
• Os planos de preços mudam com frequência
• Eles apenas testam o lado do cliente

Recursos de teste multivariado: Fatorial completo (embora você possa configurar porcentagens de tráfego por variação de página).

Lado do cliente, lado do servidor ou ambos? Apenas lado do cliente.

Eles servem Enterprise? Sim. Seus clientes corporativos incluem Ubisoft, AMD, Penn Foster, Optimeria e IMB Bank.

Eles oferecem suporte ao cliente? Sim, você pode ligar para eles quando precisar de ajuda. Ou consulte sua página de recursos.

Eles se preocupam com a privacidade? Sim. Eles cumprem as principais leis e regulamentos de privacidade, mas armazenam alguns dados de visitantes em seus servidores.

Eles se importam com o mundo? Recentemente, o presidente da Wingify (a marca por trás da VWO) Paras Chopra, twittou seu apoio a algumas iniciativas de alívio do COVID, incluindo a criação de uma instalação de atendimento ao COVID com 10 leitos em Delhi.

Revisão do TrustRadius :

Como esta ferramenta de teste MVT se parece em ação:

9: Otimização do Webtrends

Classificação G2: 4,9/5,0 (107 Comentários)

Preço : Começa em $ 212 por mês, mas pode ser menor ou maior dependendo do que você precisa. Eles têm uma estrutura de preços muito flexível, mas você precisa falar com as equipes de vendas para confirmar seu preço.

Eles oferecem um plano gratuito? Sim, por menos de 1.500 sessões por mês.

Custo por 100.000 visitantes: N/A

Prós:

• Fácil de usar, adequado para usuários não técnicos com um editor WYSIWYG
• Suporta a colaboração da equipe
• Fornece insights orientados por dados
• A equipe de suporte mostra interesse genuíno em seu sucesso
• Integração suave com seu site e ferramentas existentes
• Relatórios claros e diretos

Contras:

• A interface do usuário pode ser difícil de usar para novos usuários
• Leva tempo para configurar até mesmo testes simples
• O custo do serviço completo está no lado alto

Recursos de teste multivariado: Fatorial completo e fatorial fracionário.

Lado do cliente, lado do servidor ou ambos? Ambos. Eles têm um editor visual sem proxy para renderização do lado do cliente e recursos de teste do lado do servidor também.

Eles servem Enterprise? Microsoft, London North Eastern Railway, Marks and Spencer e Virgin Wines usam o Optimize.

Eles oferecem suporte ao cliente? Sim. Você obtém acesso a suporte técnico, treinamento e seu próprio consultor de otimização de conversão dedicado.

Eles se preocupam com a privacidade? Eles são totalmente compatíveis com GDPR.

Eles se importam com o mundo? Em abril de 2021, a Webtrends Optimize se desafiou a fazer 100 flexões por dia em um evento GoFundMe para arrecadar fundos para a Cancer Research UK. E eles fizeram algo semelhante em 2020 chamado Xmas Charity Donations. Então, eles se importam.

Revisão do raio de confiança :

Embora existam revisões no Trust Radius para esta ferramenta, a última foi em dezembro de 2019 e, antes disso, em 2018. Como uma ferramenta pode mudar e o serviço também, retirei a última revisão da G2.

Como esta ferramenta de teste multivariada se parece em ação:

Conclusão

Então aí está.

Nossa lista das melhores ferramentas de teste A/B que oferecem testes multivariados em 2021. Também mostramos qual método eles usam para testar, seus recursos, preços e avaliações.

Agora você pode comparar as melhores ferramentas multivariadas nesses diferentes parâmetros e escolher uma que funcione melhor para suas necessidades de teste.