Todos os diferentes tipos de testes que você pode executar em seu site (+ quando executá-los)

O mundo da experimentação foi além dos simples testes A/B de cores de botões.

Eles podem ter seu lugar no portfólio de experimentos que você está executando, mas esperamos que, neste momento, eles não sejam sinônimo de experimentação ou CRO.

A experimentação pode ser muito maior.

Usando diferentes tipos de experimentos, podemos aprender sobre a variação em nossos sites, testar novas experiências, descobrir novos caminhos de página, dar grandes saltos ou pequenos passos e identificar a combinação ideal de elementos em uma página.

O que você espera aprender com um experimento deve ser refletido em seu design, e o design de experimentos vai muito além de simplesmente testar A versus B usando uma hipótese concreta.

Na verdade, há todo um subcampo de estudo conhecido como design de experimentos (DoE) que cobre isso.

Design de Experimentos: uma Introdução ao Design Experimental

Design of Experiments (DoE) é um método científico usado para determinar a relação entre os fatores que afetam um processo e a saída desse processo.

Design of Experiments é um conceito popularizado pelo estatístico Ron Fisher nas décadas de 1920 e 1930.

O DoE nos permite entender como diferentes variáveis ​​de entrada afetam a saída de um processo alterando sistematicamente as entradas e observando as mudanças resultantes na saída. Essa abordagem pode ser usada para otimizar um processo, desenvolver novos produtos ou recursos ou aprender quais elementos funcionam melhor em conjunto.

No marketing, usamos o DoE para melhorar nossa compreensão de como os diferentes elementos de uma página (os fatores) afetam as taxas de conversão (o resultado). Ao projetar experimentos de maneira eficaz, podemos identificar quais elementos têm o maior impacto nas taxas de conversão.

Há muitos tipos diferentes de experimentos, e cada tipo pode ser usado para aprender coisas diferentes sobre seu site ou aplicativo.

Neste artigo, abordarei 16 tipos de experimentos.

Nitpickers podem notar que esses não são todos projetos experimentais fundamentalmente diferentes; em vez disso, alguns são “tipos” diferentes por causa de como você gera sua hipótese ou quais estruturas fundamentam suas razões para executar o experimento.

Alguns, além disso, não são exatamente “experimentos”, mas são regras de otimização construídas em modelos de aprendizado de máquina.

Ainda assim, cada um dos itens a seguir tem um propósito distinto e pode ser visto como uma ferramenta única no kit de ferramentas de um experimentador.

1. Teste A/A

Um teste A/A é um conceito simples: você está testando duas versões de uma página que são idênticas.

Por que você faria isso?

Há vários motivos, principalmente em busca de calibração e compreensão dos dados subjacentes, comportamento do usuário e mecanismos de randomização de sua ferramenta de teste. O teste A/A pode ajudá-lo a:

• Determine o nível de variação em seus dados
• Identifique erros de amostragem em sua ferramenta de teste
• Estabeleça taxas de conversão de linha de base e padrões de dados.

A execução de testes A/A é estranhamente controversa. Alguns juram por isso. Alguns dizem que é perda de tempo.

Minha vez? Provavelmente vale a pena executar um pelo menos uma vez, por todas as razões acima mencionadas. Outra razão pela qual eu AMO fazer testes A/A é explicar estatísticas para iniciantes em testes.

Quando você mostra a alguém um experimento “significativo” com dois dias de dados coletados, apenas para revelar mais tarde que era um teste A/A, as partes interessadas geralmente entendem por que você deve executar um experimento até a conclusão.

Se você quiser ler mais sobre testes A/A (é um assunto enorme, na verdade), o Convert tem um guia detalhado sobre eles.

2. Teste A/B simples

Todo mundo sabe o que é um teste A/B simples: você está testando duas versões de uma página, uma com uma alteração e outra sem.

Os testes A/B são o pão com manteiga da experimentação. Eles são simples de configurar e fáceis de entender, mas também podem ser usados ​​para testar grandes mudanças.

Os testes A/B são mais comumente usados ​​para testar alterações em uma interface de usuário, e o objetivo de um teste A/B simples é quase sempre melhorar a taxa de conversão em uma determinada página.

A taxa de conversão, aliás, é uma métrica genérica que abrange todos os tipos de proporções, como a taxa de ativação de novos usuários de produtos, taxas de monetização de usuários freemium, taxas de conversão de leads no site e taxas de cliques.

Com um teste A/B simples, você tem uma hipótese singular e altera um elemento de cada vez para aprender o máximo possível sobre os elementos causais de sua mudança. Isso pode ser algo como uma mudança de título, mudança de cor ou tamanho do botão, adição ou remoção de um vídeo ou qualquer coisa.

Quando dizemos "teste A/B", estamos usando principalmente um termo genérico para abranger a maioria dos demais tipos de experimentos que listarei neste post. Geralmente é usado como um termo genérico para significar “alteramos *algo* – grande, pequeno ou muitos elementos – para melhorar uma métrica”.

3. Teste A/B/n

Os testes A/B/n são muito semelhantes aos testes A/B, mas em vez de testar duas versões de uma página, você está testando várias versões.

Os testes A/B/n são semelhantes, em alguns aspectos, aos testes multivariados (que explorarei a seguir). Em vez de um teste “multivariado”, no entanto, eu os consideraria um teste multivariado.

Testes multivariados são úteis para entender as relações entre diferentes elementos em uma página. Por exemplo, se você quiser testar títulos, imagens e descrições diferentes em uma página de produto e também quiser ver quais combinações parecem interagir melhor, use um teste multivariado.

Os testes A/B/n são úteis para testar várias versões de um único elemento e não se preocupam tanto com os efeitos de interação entre os elementos.

Por exemplo, se você quiser testar três títulos diferentes em uma página de destino, use um teste A/B/n. Ou você pode testar sete versões completamente diferentes da página. É apenas um teste A/B com mais de duas experiências testadas.

Os testes A/B/n são escolhas sólidas quando você tem muito tráfego e deseja testar várias variantes com eficiência. Claro, as estatísticas precisam ser corrigidas para múltiplas variantes. Também há muito debate sobre quantas variantes devem ser incluídas em um teste A/B/n.

Muitas vezes, você pode enviar algumas variantes mais originais e criativas ao testar várias experiências de uma só vez, em vez de iterativamente em vários testes A/B simples.

4. Teste Multivariado

Um teste multivariado é um experimento com múltiplas mudanças. Quando um teste A/B/n está testando as versões compostas de cada variante em relação a outra variante, um teste multivariado também visa determinar os efeitos de interação entre os elementos testados.

Imagine, por exemplo, que você está redesenhando uma página inicial. Você fez uma pesquisa de conversão e descobriu problemas de clareza com seu título, mas também tem algumas hipóteses sobre o nível de contraste e clareza em seu CTA.

Não apenas você está interessado em melhorar cada um desses dois elementos isoladamente, mas o desempenho desses elementos também é provavelmente dependente. Portanto, você deseja ver qual combinação de novos títulos e CTAs funciona melhor.

O design do experimento fica muito mais complicado quando você entra em território multivariado. Existem alguns tipos diferentes de configurações de experimentos multivariados, incluindo planejamento fatorial completo, planejamento fatorial parcial ou fracionário e teste de Taguchi.

E apenas por uma questão de bom senso estatístico, testes multivariados quase certamente exigem mais tráfego do que testes A/B simples. Cada elemento ou experiência adicional que você altera aumenta a quantidade de tráfego necessária para um resultado válido.

5. Teste de segmentação

Os testes de direcionamento, mais conhecidos como personalização, tratam de mostrar a mensagem certa para a pessoa certa no momento certo.

Com um teste de segmentação, você pode criar diferentes versões de uma página e mostrar cada versão para um grupo diferente de pessoas. O objetivo geralmente é aumentar as taxas de conversão mostrando conteúdo relevante para cada usuário.

Observe que personalização e experimentação não são sinônimos. Você pode personalizar uma experiência sem tratá-la como um experimento. Por exemplo, você pode decidir com zero dados ou intenção de coletar dados, que usará um token de primeiro nome em seus e-mails para personalizar mensagens com o nome do destinatário.

Personalização? Sim. Experimentação? Não.

Mas você também pode realizar experimentos direcionados a segmentos específicos de usuários. Isso é especialmente comum na experimentação de produtos, onde você pode isolar coortes com base em seu tipo de preço, tempo de inscrição, fonte de inscrição etc.

As mesmas estatísticas se aplicam aos experimentos de personalização, por isso é importante escolher segmentos significativos para segmentar. Se você ficar muito granular – digamos, segmentar usuários do Chrome móvel rural do Kansas que tenham entre 5 e 6 sessões – não apenas será impossível quantificar o impacto estatisticamente, mas também é improvável que seja um impacto comercial significativo.

A personalização é normalmente vista como uma extensão natural de testes A/B simples, mas de muitas maneiras, ela introduz uma tonelada de nova complexidade. Para cada nova regra de personalização que você emprega, esse é um novo “universo” que você criou para seus usuários gerenciarem, atualizarem e otimizarem.

As ferramentas de personalização preditiva ajudam a identificar segmentos-alvo, bem como experiências que parecem funcionar melhor com eles. Caso contrário, as regras de personalização geralmente são identificadas pela segmentação pós-teste.

6. Teste de bandido

Um teste de bandido, ou usando algoritmos de bandido, é um pouco técnico. Mas basicamente eles diferem dos testes A/B porque estão constantemente aprendendo e alterando qual variante é mostrada aos usuários.

Os testes A/B são normalmente experimentos de “horizonte fixo” (com a ressalva técnica de usar testes sequenciais), o que significa que você predetermina um período de teste quando estiver executando o teste. Após a conclusão, você toma a decisão de lançar a nova variante ou reverter para a original.

Os testes de bandidos são dinâmicos. Eles atualizam constantemente a alocação de tráfego para cada variante com base em seu desempenho.

A teoria é assim: você entra em um cassino e se depara com várias máquinas caça-níqueis (bandidos multi-armados). Supondo que cada máquina tenha recompensas diferentes, o problema do bandido ajuda a “decidir quais máquinas jogar, quantas vezes jogar cada máquina e em que ordem jogá-las e se continuar com a máquina atual ou tentar uma máquina diferente”.

O processo de decisão aqui é dividido em “exploração”, em que você tenta coletar dados e informações, e “exploração”, que capitaliza esse conhecimento para produzir recompensas acima da média.

Assim, um teste de bandido em um site buscaria encontrar, em tempo real, a variante ideal e enviar mais tráfego para essa variante.

7. Algoritmos Evolutivos

Algoritmos evolutivos são uma espécie de combinação entre testes multivariados e testes de bandidos. No contexto de experimentos de marketing, os algoritmos evolucionários permitem testar um grande número de variantes ao mesmo tempo.

O objetivo de um algoritmo evolucionário é encontrar a combinação ideal de elementos em uma página. Eles trabalham criando uma “população” de variantes e testando-as umas contra as outras. A variante de melhor desempenho é então usada como ponto de partida para a próxima geração.

Como sugerido pelo nome, ele usa iterações evolutivas como modelo para otimização. Você tem uma tonelada de versões diferentes de títulos, botões, texto do corpo e vídeos, e você junta cada um deles para criar novas mutações e dinamicamente tenta eliminar variantes fracas e enviar mais tráfego para variantes fortes.

É como um teste multivariado com esteróides, embora com menos transparência nos efeitos de interação (portanto, um menor potencial de aprendizado).

Esses experimentos também exigem bastante tráfego do site para funcionar bem.

8. Teste de caminho de página dividida

Um teste de caminho de página dividida também é um tipo muito comum de teste A/B.

Em vez de alterar um elemento em uma única página, você está alterando todo o caminho que um usuário percorre em seu site.

Com um teste de caminho de página dividida, você está basicamente testando duas versões diferentes do seu site, produto ou funil. O objetivo geralmente é encontrar a versão que resulta em mais conversões ou vendas. Também pode ajudar a identificar pontos de desistência no funil, que podem diagnosticar áreas de foco para otimização adicional.

Basicamente, em vez de alterar a cópia em um botão, você altera a próxima página para a qual os botões enviam se você clicar nele. É uma maneira poderosa de experimentar a jornada do cliente.

9. Teste de Existência

Teste de existência é um conceito interessante. O que você está tentando fazer é quantificar o impacto (ou a falta dele) de um determinado elemento em seu produto ou site.

De acordo com um artigo da CXL, “Simplesmente, removemos elementos do seu site e vemos o que acontece com sua taxa de conversão”.

Em outras palavras, você está testando para ver se uma mudança tem algum efeito.

Estrategicamente, esta é uma estratégia tão subestimada. Muitas vezes assumimos, seja por meio de nossas próprias heurísticas ou por meio de pesquisas qualitativas, quais elementos são os mais importantes em uma página.

Certamente, o vídeo de demonstração do produto é importante. O teste de existência é uma maneira de questionar essa crença e obter uma resposta rapidamente.

Basta remover o vídeo e ver o que acontece.

Aumento ou diminuição da taxa de conversão? Interessante – isso significa que o elemento ou imóvel que ocupou é impactante de alguma forma.

Nenhum impacto? Isso é interessante também. Nesse caso, eu apontaria o foco da minha equipe para outras partes da experiência digital, sabendo que mesmo a remoção total do elemento não afeta nossos KPIs.

10. Teste de Porta Pintada

Um teste de porta pintada é semelhante a um teste de existência de certa forma. Eles são muito comuns para testar novas ofertas, bem como testar a demanda por novos recursos de produtos.

Basicamente, um teste de porta pintada é um experimento para ver se as pessoas realmente usarão um novo recurso ou não. Na verdade, você não gasta tempo e recursos para *criar* a nova oferta ou recurso. Em vez disso, você cria uma “porta pintada” para ver se as pessoas que passam tentarão abri-la (ou seja, você cria um botão ou página de destino e vê se as pessoas clicam nele, inferindo interesse).

O objetivo de um teste de porta pintada é descobrir se há alguma demanda para o que você está testando. Se as pessoas estão realmente usando o novo recurso, então você sabe que vale a pena persegui-lo. Se não, então você sabe que não vale o seu tempo e pode descartar a ideia.

Eles também são conhecidos como testes de fumaça .

Os testes de portas pintadas são uma ótima maneira de testar novas ideias sem investir muito tempo ou dinheiro.

Como você realmente não tem uma oferta ou experiência de criação, geralmente não pode usar KPIs como taxa de conversão. Em vez disso, você precisa modelar seu limite mínimo de valor esperado. Por exemplo, a criação do recurso X custará Y, portanto, considerando nossos dados de linha de base existentes, precisaremos ver a taxa de cliques Y para garantir a criação da experiência “real”.

Uma lista de espera de pré-lançamento é, de certa forma, um teste de porta pintada (com o famoso exemplo sendo as navalhas de Harry).

11. Teste de Descoberta

Os testes de descoberta, extraídos da Discipline-Based Testing Methodology de Andrew Anderson, tratam de aumentar o leque de opções possíveis.

Eles são quase sempre uma versão de testes A/B/n com várias variantes, mas não necessariamente precisam ser projetados dessa maneira. O objetivo maior deles é testar opções fora do intervalo do que você normalmente consideraria razoável. Isso mitiga seu próprio viés, o que pode limitar o escopo das opções que você considera.

Em vez de definir uma hipótese restrita, você espera sair de seus próprios preconceitos e potencialmente aprender algo completamente novo sobre o que funciona com seu público.

Para fazer um teste de descoberta, você pega um pedaço do seu produto ou site e gera várias variantes diferentes. O objetivo é que cada variante seja bem diferente da anterior, oferecendo uma ampla gama de opções diferentes. O objetivo é encontrar algo que funcione, mesmo que você não saiba o que é antes do tempo.

Nos testes de descoberta, é importante mapear sua experiência para seu macro-KPI e não otimizar para microconversões. Também é importante testar experiências significativas e de alto tráfego, pois você desejará poder estatístico apropriado para descobrir aumentos entre as muitas variantes.

Para ver um exemplo de um experimento como esse, confira o exemplo de Andrew Anderson da Malwarebytes, onde eles testaram 11 variantes muito diferentes.

12. Teste Iterativo

Existe um conceito conhecido na ciência da computação como o “problema de escalada”. Basicamente, os algoritmos de escalada buscam encontrar o ponto mais alto em uma paisagem começando na parte inferior e subindo constantemente.

O mesmo conceito pode ser aplicado a experimentos de marketing.

Com um teste iterativo, você começa com uma pequena mudança e continua aumentando até chegar ao ponto de retornos decrescentes. Esse ponto de retornos decrescentes é chamado de “máximo local”. Um máximo local é o ponto mais alto da paisagem alcançável a partir do ponto de partida.

O objetivo de um teste iterativo é encontrar o máximo local para uma dada mudança. Essa pode ser uma maneira muito eficaz de testar coisas como alterações de ofertas ou alterações de preços, bem como qualquer elemento que você considere impactante por meio de pesquisas ou testes de existência.

Basicamente, você sabe que o elemento X é importante e sabe que há espaço de manobra adicional para melhorar o KPI Y melhorando o elemento X. Então você faz várias tentativas pequenas e iterativas para alterar o elemento X até parecer que você não pode mais melhorar a métrica (ou é extremamente difícil fazê-lo).

Um exemplo fácil de um teste iterativo vem do meu próprio site. Eu corro pop-ups de iscas digitais. Eu sei que eles geram e-mails e provavelmente há um ponto de retornos decrescentes, mas acho que ainda não consegui. Então, a cada poucos meses, eu mudo uma variável – seja o título, a oferta em si ou a imagem, na esperança de conseguir um pequeno aumento.

13. Teste Inovador

Ao contrário dos testes iterativos, os testes inovadores procuram encontrar colinas completamente novas para escalar.

De acordo com um artigo da CXL, testes inovadores são “projetados para explorar territórios inexplorados e encontrar novas oportunidades”.

Testes inovadores têm tudo a ver com tentar algo completamente novo. Eles geralmente são um pouco mais arriscados do que outros tipos de experimentos, mas também podem ser muito recompensadores. Se você está procurando por grandes vitórias, testes inovadores são o caminho a percorrer.

Os redesenhos completos da página inicial ou da página de destino se enquadram nessa categoria. O teste de descoberta é uma forma de teste inovador. Testes de cores de botões seriam exatamente o oposto de um teste inovador.

Um teste inovador deve deixar você ou seus stakeholders um pouco desconfortáveis ​​(mas lembre-se, a beleza dos experimentos é que eles têm duração limitada e limitam sua desvantagem).

A CXL deu um exemplo de um teste inovador que eles executaram para um cliente aqui:

14. Teste de não inferioridade

Um teste de não inferioridade é usado para determinar se um novo tratamento não é pior do que o tratamento padrão.

O objetivo de um teste de não inferioridade é mostrar que o novo tratamento é pelo menos tão eficaz quanto o tratamento padrão.

Por que você faria um teste como esse?

Muitas razões. A melhor que consigo pensar é se você tem uma variante que é “melhor” em alguma outra dimensão (é mais barata de manter, adere melhor aos padrões da marca etc.), mas você quer ter certeza de que não prejudique sua KPIs do negócio principal.

Ou na lente dos ensaios clínicos médicos, imagine que foi desenvolvido um medicamento que custa 1/10 do valor do medicamento comumente prescrito. Contanto que não tenha um desempenho *pior* do que o medicamento existente, sua acessibilidade significa que é uma opção muito melhor para implantação.

Outra razão pela qual eu administro isso é se o tratamento for fortemente favorecido por um executivo ou stakeholder. Odeio dizer isso a você, mas só porque temos acesso a dados como profissionais de experimentação não significa que evitamos a confusão do pensamento tendencioso e da política humana.

Fico feliz em fazer o teste ocasional enviado pelo HiPPO e executá-lo através de um limite mais baixo de certeza, como um teste de não inferioridade. Contanto que não estrague os *meus* KPIs, não há mal nenhum em lançá-lo, e ele ganha favores políticos.

15. Sinalizador de recursos

Os sinalizadores de recursos são uma técnica de desenvolvimento de software que permite ativar ou desativar determinados recursos ou funcionalidades e testar novos recursos em produção.

Sem entrar em muitos detalhes técnicos, eles permitem testar recursos em produção ou lançá-los lentamente para subconjuntos menores de usuários, mantendo a capacidade de reduzir rapidamente ou eliminar o recurso se ele não estiver funcionando.

De muitas maneiras, eles são uma metodologia de garantia de qualidade. Mas, novamente, de muitas maneiras, os testes A/B também.

O termo “feature flag” é um termo genérico que inclui muitas funcionalidades de “toggle” relacionadas, como versões canary, testes em produção, desenvolvimento contínuo, rollbacks e gates de recursos.

16. Quase Experimentos

Finalmente, a categoria de experimentos mais complicada, ampla e difícil de definir: quase-experimentos.

Quase-experimentos são frequentemente usados ​​quando não é possível atribuir usuários aleatoriamente a grupos de teste.

Por exemplo, se você estiver testando um novo recurso em seu site, poderá executar um teste A/B, um sinalizador de recurso ou até mesmo um braço de personalização.

Mas e se você quiser testar várias mudanças de SEO e ver seus efeitos no tráfego? Ou ainda mais, seu impacto nas conversões do blog? E se você quiser testar a eficácia dos anúncios outdoor?

Em um número surpreendentemente grande de casos, é difícil, se não impossível, montar um experimento bem organizado e verdadeiramente controlado.

Nesses casos, projetamos quase-experimentos para nos contentar com o que temos.

No caso de mudanças de SEO, podemos usar ferramentas como o Causal Impact para quantificar as mudanças em uma série temporal. Especialmente se controlarmos nosso experimento com base em páginas ou alguma outra dimensão identificável, isso nos dará uma boa ideia longitudinal sobre se nossa intervenção funcionou ou não.

No caso de anúncios de rádio ou outdoors, podemos tentar selecionar geolocalizações representativas e quantificar o efeito ao longo do tempo usando estatísticas bayesianas semelhantes.

Este é um tópico complexo, então vou linkar para dois ótimos recursos:

• Como a Netflix executa quase-experimentos
• Como Shopify executa quase-experimentos

Conclusão

Espero que isso tenha convencido você de que o teste A/B vai muito além de mudar seu título ou botão de CTA para otimizar as taxas de conversão.

Quando você amplia sua abertura do que a experimentação pode realizar, percebe que é uma ferramenta de aprendizado incrível.

Podemos mapear elementos impactantes em uma página de destino, identificar a combinação ideal de elementos, descobrir um caminho de página de usuário novo e aprimorado, desenvolver novos recursos e experiências sem arriscar dívida técnica ou uma experiência ruim do usuário e até testar novos canais de marketing e intervenções fora do nosso site ou fora do nosso produto.