Você deve executar experimentos simultâneos? Um guia para evitar resultados conflitantes

Há algum debate no mundo da otimização sobre a realização ou não de experimentos simultâneos. Alguns acreditam que a execução de testes A/B simultâneos atrapalhará seus resultados e produzirá dados imprecisos. Outros argumentam que executar experiências A/B em várias páginas do seu site ao mesmo tempo pode ajudá-lo a testar mais coisas e identificar estratégias vencedoras mais rapidamente.

Então, o que está certo?

Nesta postagem do blog, exploraremos os benefícios e as desvantagens dos experimentos simultâneos e ajudaremos você a decidir qual abordagem é melhor para seu programa de otimização.

Depois de ler este artigo do blog, você será capaz de responder às seguintes perguntas:

• Posso executar experiências simultâneas de URL dividida?
• Posso executar experiências A/B simultâneas?
• Posso executar uma experiência A/A e uma experiência A/B ao mesmo tempo?

A resposta curta é sim , várias experiências podem ser executadas simultaneamente em uma única página ou conjunto de páginas. Mas lembre-se de que o agrupamento em uma experiência pode ter um impacto nos dados de outra experiência que ocorre simultaneamente.

Como a experiência se sobrepõe e você deve se preocupar?

Há uma coisa a ter em mente ao executar experimentos simultâneos. Em alguns casos, duas mudanças podem interagir, resultando em um efeito diferente no comportamento quando combinadas do que quando isoladas. Isso pode ocorrer quando os experimentos são executados na mesma página, com o mesmo fluxo de usuários e assim por diante.

Vejamos alguns exemplos de onde a sobreposição de experiências pode ocorrer e se isso deve ser considerado um problema.

Testando o mesmo elemento

Mudar o design de suas páginas de produtos para destacar recursos de recompensa, como uma política de devolução gratuita e entrega gratuita, é um exemplo de teste A/B que você pode executar.

Um de nossos clientes testou esse cenário exato. Com base nos dados de seu departamento de atendimento ao cliente, eles levantaram a hipótese de que os clientes não estavam cientes da política de devolução gratuita da marca porque o recurso não era visível o suficiente nas páginas do produto. Eles então executaram um teste A/B mostrando o recurso com mais destaque e mediram como os clientes responderam.

Aqui está como o original e a variação se parecem:

No entanto, a implementação do teste foi um pouco mais complexa, pois as alterações não deveriam ser aplicadas a todas as páginas do produto. Alguns produtos não eram elegíveis para devoluções gratuitas, alguns itens em promoção não podiam ser modificados etc. Por esses motivos, eles decidiram executar outra experiência A/B em paralelo, alterando o mesmo elemento e adicionando uma cópia de isenção de responsabilidade em muitos dos estas páginas dizendo: “O item não pode ser devolvido”.

Como você pode ver, as duas experiências A/B estão afetando o mesmo elemento do site e, portanto, causando algum tipo de sobreposição nos resultados, dificultando a obtenção de conclusões claras.

Testando na mesma página

Outro exemplo de experiência A/B foi quando um cliente nosso otimizou suas páginas de produtos para aumentar as visitas aos pedidos.

Ao analisar cada elemento das páginas do produto e acompanhar as conversões de meta, eles descobriram que os principais links da barra de navegação receberam mais cliques, especialmente “Compre agora”. Nosso cliente reconheceu a importância de enviar tráfego mais qualificado para as páginas da categoria, em vez de deixá-los vagando pela página inicial.

Como resultado, o cliente decidiu substituir a seção “Comprar agora” por outras categorias, como “super economia”, “bazar” e assim por diante. Além disso, a seção “Compre agora” foi movida para o lado esquerdo do site para tornar a página mais atraente visualmente e atrair visitantes qualificados.

É assim que a página do produto parecia inicialmente:

Enquanto isso, outro experimento A/B estava sendo realizado nas páginas do produto para determinar se uma cor diferente do botão “Comprar agora” resultaria em melhores conversões.

Como essas duas experiências A/B estão afetando os mesmos elementos na mesma página, alguma sobreposição é inevitável nos resultados.

Testando usuários que participam do mesmo funil/fluxo

A sobreposição de experiência também pode ocorrer ao testar usuários que participam do mesmo funil. A maioria dos sites gera conversões por meio de vários funis. Embora o foco principal possa estar nas compras, a criação ou aquisição de contas também pode ser uma força motriz significativa nos negócios.

A execução de experiências em uma página de produto provavelmente terá um impacto na conversão de compra; no entanto, testar o layout do formulário em uma página de criação de conta pode ajudar a melhorar esse funil. O teste de aquisição inclui tudo, desde direcionar o tráfego para o site até a coleta de endereços de e-mail para fins de marketing.

Ter experiências nas mesmas páginas do site pode fazer com que elas se sobreponham, resultando em bugs. Os resultados provavelmente serão afetados se as metas de experiência estiverem alinhadas com esses mesmos funis.

Digamos que você esteja tentando obter mais inscrições concluídas. Ao chegar ao seu site, os usuários são solicitados a se registrar:

Para configurar um funil de conversão para inscrições, você pode acompanhar os seguintes eventos:

• Nº de usuários na inscrição
• Nº de inscrições concluídas
• Nº de carregamentos da tela da página inicial

Você pode então formular várias hipóteses sobre como melhorar o funil testando as seguintes alterações:

1. Adicionar integração ao processo de inscrição
2. Encurte o formulário de inscrição para torná-lo mais amigável
3. Remover a inscrição completamente

Nesse caso, no entanto, não é possível determinar o impacto exato de uma alteração do teste A/B, pois as experiências A/B afetam o mesmo funil, portanto, haverá alguma sobreposição entre seus resultados.

Como executar experiências em todo o site

Pode haver momentos em que você precise experimentar um elemento que aparece em todas as páginas. Digamos que você queira testar a alteração da cor ou do tamanho da fonte da frase de chamariz do rodapé para ver quantas conversões você pode obter.

O processo é simples de implementar com o Convert: basta adicionar todas as páginas à sua segmentação.

Isso é tudo!

A segmentação em todo o site, no entanto, afetará outros testes A/B executados nessas páginas, resultando em uma sobreposição na experiência.

Testando o mesmo público/visitantes

Considere o seguinte estudo de caso: você deseja avaliar dois aspectos do seu sistema de comércio eletrônico, então desenvolve dois testes A/B para usuários de dispositivos móveis e usuários de computadores.

1. Você está tentando ver se tornar o botão "Adicionar ao carrinho" vermelho em vez de azul aumenta os cliques.
2. Você está experimentando um novo processo de checkout que reduz o número de etapas de cinco para duas para ver se consegue mais inscrições.

Se ambas as ações levarem ao mesmo evento de sucesso (uma transação concluída), pode ser difícil determinar se o botão vermelho ou a melhor experiência de checkout impulsionou as conversões em computadores e dispositivos móveis.

Para evitar a sobreposição de resultados e outros problemas de entrega de experiência, você deve executar os testes acima em diferentes públicos (por exemplo, somente para dispositivos móveis ou somente para computadores).

A única desvantagem do teste de segmentação é que seus números de tráfego serão menores, o que pode afetar a duração do teste. No entanto, por se basear em técnicas de personalização, esse é o método preferido para evitar a sobreposição de experiências durante o teste A/B. Quando os segmentos são escolhidos com cuidado, seu impacto em toda a experiência será mínimo.

Executando uma experiência que pode ter um impacto significativo em uma meta que é compartilhada com outras experiências

Escusado será dizer que, se seus objetivos forem semelhantes entre os testes, seus resultados serão centrados em torno desse objetivo individual. Para que cada experiência cumpra seu propósito, os objetivos de cada uma não devem entrar em conflito entre si.

Estratégias para executar testes bem-sucedidos

Não existe uma solução única para todos quando se trata de executar testes que não se sobrepõem. À medida que você avança em cada estágio de sua jornada de experimentação, suas necessidades ditarão como você deve proceder.

Para ajudá-lo a tomar uma decisão informada, vamos analisar as estratégias mais comuns que você pode usar para lidar com a sobreposição.

1. Experiências simultâneas sem sobreposição (isoladas)

A estratégia mais direta é normalmente aquela que você está usando até agora: experiências isoladas que são executadas simultaneamente.

Como discutimos acima, experiências isoladas não se sobrepõem e os resultados de uma experiência não afetarão os resultados de outra.

Os seguintes casos requerem esta estratégia:

• Quando a sobreposição é tecnicamente impossível : se você estiver testando de uma forma que exclua todas as combinações possíveis de sobreposição mencionadas acima.
• Quando a experiência do usuário pode ser interrompida : algumas combinações de experiências podem arruinar a experiência do usuário, portanto, essas experiências devem ser executadas separadamente.
• Quando o objetivo principal é uma métrica precisa e apenas experimentos isolados fazem sentido.

Nesses casos, não há como uma experiência afetar a outra se você executar duas experiências simultaneamente em duas páginas diferentes com dois objetivos diferentes. Os visitantes que participarem da experiência 1 não participarão da experiência 2 e vice-versa.

Além dos casos acima, do ponto de vista da eficiência, a execução de experiências em pistas isoladas simultâneas não faz sentido. Executar duas experiências em pistas separadas leva o mesmo tempo que executá-las uma após a outra para um determinado número de usuários ou sessões. Se você tiver 10.000 usuários todos os meses e precisar executar duas experiências, cada uma exigindo 5.000 pessoas, ainda levará um mês para concluir a experiência.

Além disso, essa estratégia tem uma desvantagem óbvia: as experiências de corrida em pistas isoladas, sem dúvida, impedirão a investigação de possíveis interações entre as variações.

Seria o mesmo que fazer um experimento em usuários de desktop antes de disponibilizar a variação vencedora para usuários de desktop e dispositivos móveis se houvesse pistas de teste separadas. O impacto nos usuários móveis pode ser o mesmo que nos usuários de desktop, mas também é possível que haja uma diferença considerável.

2. Experiências Não Simultâneas (Sequenciais)

Se não houver como evitar a sobreposição de experiências, considere o uso de experiências sequenciais. Isso significa que cada experiência que tem o potencial de se sobrepor a outra deve ser executada sequencialmente.

Você pode usar as colunas Converter “Iniciado/Planejado” e “Parado” para ter visibilidade sobre seus testes sequenciais:

Essa estratégia pode ser ainda mais eficaz com um roteiro de priorização.

As estruturas PIE e ICE são duas opções eficazes para priorizar experiências para sua equipe.

A estrutura PIE (desenvolvida pela Widerfunnel) é um método de priorização popular que classifica os testes com base em três critérios: potencial, importância e facilidade. Usando a pontuação PIE, você pode classificar e priorizar cada teste com base na pontuação média de cada um desses critérios.

O modelo Impact, Confidence, and Ease (ICE) (desenvolvido por Sean Ellis da Growthhackers) é muito semelhante ao PIE, exceto que usa um fator de confiança no lugar de “potencial”.

Não ter um roteiro limitará sua capacidade de aproveitar ao máximo seu tráfego e recursos.

É possível, por exemplo, acumular involuntariamente um acúmulo de ideias de homepage que devem ser implementadas uma após a outra. Se esse gargalo persistir, você pode ser forçado a esperar em vez de poder testar outras partes do seu site ao mesmo tempo. Ou você pode executar vários testes simultaneamente sem levar em conta possíveis efeitos de sobreposição, o que produziria resultados suspeitos.

3. Experiências Simultâneas com Sobreposição

Depois de analisar suas experiências, você concluiu que elas se sobrepõem; portanto, é necessário isolá-los. Como você faz isso? É simples! Execute o primeiro teste, depois o segundo, certo? A seção sequencial explica como isso funciona.

Imagine, no entanto, que você queira fazer alguns testes durante o período de Natal ou qualquer época de férias porque, por qualquer motivo, é quando você recebe mais visitantes e as experiências podem ter um impacto mais significativo. Então o que? Você é capaz de executar todas as suas experiências uma após a outra? Obviamente, não.

Você pode executar suas experiências simultaneamente sem se preocupar com sobreposições usando as estratégias abaixo.

uma. Experiências A/B/N

A primeira estratégia nesta categoria é o teste A/B/N, que envolve testar mais de duas variações ao mesmo tempo. A/B/N não se refere a uma terceira variação, mas a qualquer número de variações adicionais: A/B/C, A/B/C/D e qualquer outro teste A/B estendido.

Os princípios do teste A/B/N permanecem os mesmos, independentemente do número de variações adicionais: dividir usuários em grupos, atribuir variações (normalmente de páginas de destino ou outras páginas da web) a grupos, monitorar a alteração de uma métrica principal (normalmente taxa de conversão ), examine os resultados da experiência quanto à significância estatística e implemente a variação vencedora.

No entanto, experimentar muitas variações (quando apenas uma pode ser escolhida) pode dividir ainda mais o tráfego para o site. Pode, portanto, aumentar a quantidade de tempo e tráfego necessários para alcançar um resultado estatisticamente significativo e criar “ruído estatístico”.

Também é importante não perder de vista o panorama geral ao executar vários experimentos A/B/N. Não há garantia de que diferentes variáveis ​​funcionarão bem juntas, apenas porque tiveram o melhor desempenho em seus experimentos.

Nesses casos, considere realizar testes multivariados para testar todas as variações e garantir que as melhorias sejam realizadas nas métricas de nível superior.

b. Experiências multivariadas (MVT): Combine muitas experiências em um único teste

Uma experiência multivariada (MVT) executa várias combinações de mudanças diferentes ao mesmo tempo.

Para determinar qual elemento, de todas as combinações possíveis, tem maior influência nos objetivos, muitos elementos devem ser modificados simultaneamente na mesma página.

Ao contrário dos testes A/B/N, os testes multivariados permitem determinar qual combinação de alterações atende melhor às demandas de seus visitantes. Com o teste multivariado, você pode determinar qual combinação de variáveis ​​tem melhor desempenho quando várias variáveis ​​são alteradas.

Por exemplo, se você quiser testar dois títulos diferentes, duas imagens e cores de dois botões na página, seu teste MVT ficará assim:

O teste MVT acima testa diferentes elementos (títulos, cor e imagem) simultaneamente em diferentes combinações.

Como configurar um MVT em experiências de conversão

Primeiro, na guia Experiências da sua conta do Convert, selecione “Nova experiência”:

Agora você pode nomear sua experiência. Vamos usar “Meu primeiro MVT”, selecione a opção multivariada e clique em continuar:

Existem seções e variações em um MVT. As seções são os locais em sua página onde você deseja testar uma ou várias variações.

Seguem exemplos de seções:

• Logotipo
• Título
• Primeiro parágrafo
• Formulário de adesão

Existem também variações (nessas seções), que são estruturadas da seguinte forma:

• Seção: logotipo
  
  
  • Logo original
  • Variação 1) logotipo à esquerda
  • Variação 2) logo à direita

• Seção: Título
  
  
  • Título original
  • Variação 1) título “Pesquisar agora meu amigo”
  • Variação 2) título “Dê uma chance à pesquisa”
• Seção: Primeiro Parágrafo
  
  
  • Primeiro parágrafo original
  • Variação 1) primeiro parágrafo “vermelho”
  • Variação 2) primeiro parágrafo “azul”
• Seção: formulário de inscrição
  
  
  • Formulário de inscrição original
  • Variação 1) formulário opt-in com sobrenome de campo extra
  • Variação 2) formulário opt-in com caixa de seleção “whitepaper”
  • Variação 3) formulário opt-in flutuando para a esquerda
  • Variação 4) formulário opt-in “rosto de mulher”

Aqui está como a estrutura acima aparecerá no Convert Visual Editor.

A URL da página que você deseja testar será carregada no Editor Visual. Depois disso, você pode editar a primeira variação. Alterar o conteúdo é tão simples quanto clicar em qualquer área destacada em laranja. Ao clicar no sinal de adição verde ao lado dos nomes das variações, você pode adicionar novas variações.

Você pode, por exemplo:

• Clique em um elemento para alterar (os elementos são destacados com bordas laranja)
• Selecione uma ação no menu, como alterar uma fonte de imagem

O resumo da experiência do MVT ficará assim:

O MVT, no entanto, vem com algumas restrições.

A primeira restrição está relacionada ao número de visitantes necessários para tornar as descobertas de sua experiência multivariada estatisticamente significativas.

Aumentar o número de variáveis ​​em um teste multivariado pode resultar em muitas variações. Ao contrário de um teste A/B padrão, onde 50% do tráfego é alocado para a versão original e 50% para a variação, um teste multivariado aloca apenas 5, 10 ou 15% do tráfego para cada combinação. Na prática, isso resulta em períodos de teste mais longos e na incapacidade de alcançar a significância estatística necessária para tomar uma decisão.

Outra restrição é a complexidade dos MVTs. Um teste A/B geralmente é mais fácil de configurar e analisar do que um teste multivariado. Até mesmo criar um teste multivariado básico é demorado e é muito fácil que algo dê errado. Pode levar algumas semanas ou até meses para que uma pequena falha no design da experiência apareça.

Se você não tem muita experiência em testes — executando uma variedade de tipos diferentes de testes em sites diferentes — você nem deve considerar um teste multivariado. Você pode ficar melhor com a próxima estratégia que estou cobrindo, experiências mutuamente exclusivas.

c. Experiências mutuamente exclusivas

Você também pode executar experiências com sobreposição simultaneamente, garantindo que sejam mutuamente exclusivas. Lembre-se de que, dependendo da sua plataforma de teste A/B, você poderá tornar as experiências mutuamente exclusivas. Essencialmente, você deve dividir seu tráfego em tantos grupos quantos as experiências estão sendo executadas e garantir que cada grupo participe de apenas uma experiência.

O Convert permite a exclusividade mútua e, abaixo, mostraremos como configurá-lo para que os visitantes que visualizam a experiência A não visualizem a experiência B.

A ordem em que as experiências são executadas:

O primeiro passo para configurar isso é entender como as experiências do Convert são executadas. As condições de experiência são avaliadas sequencialmente em uma página, levando em consideração sua ID de experiência.

A experiência com o menor ID é avaliada primeiro e, após todas as suas condições serem atendidas, uma nova experiência é iniciada. Portanto, na captura de tela abaixo, a experiência com o ID 100243925 é executada primeiro e o restante segue.

Duas experiências mutuamente exclusivas

Essas etapas precisam ser seguidas se você tiver duas experiências em execução simultaneamente e quiser torná-las mutuamente exclusivas:

1. Defina a distribuição de tráfego para menos de 100% na primeira experiência

Defina a experiência com o ID mais baixo para usar menos de 100% do tráfego. Você pode fazer isso na seção Distribuição de tráfego do Resumo da experiência.

2. Defina a condição de público-alvo como "Destinado à experiência é não" na segunda experiência

Então, na segunda experiência, defina uma condição de audiência de “Bucketed in Experience is No”. Você pode encontrar isso se adicionar um novo público (em Dados do visitante). Essa condição significa que o visitante será testado somente se não tiver sido testado antes. Isso impedirá que o mesmo visitante seja testado duas vezes.

Muitas experiências mutuamente exclusivas

Se você tiver mais de duas experiências que precisam ser mutuamente exclusivas, siga estas etapas:

1. Defina a distribuição de tráfego para todas as experiências abaixo de 100%

Defina todas as experiências paralelas para usar apenas menos de 100% do tráfego. Você pode fazer isso na seção Distribuição de tráfego do Resumo da experiência.

2. Defina um Público Avançado com base no cookie do visitante

Então, em todas as experiências, exceto a experiência com o ID mais baixo, use um Público Avançado baseado em cookies de visitantes para excluir visitantes que foram incluídos em outras experiências paralelas.

Por exemplo, vamos supor que temos essas 4 experiências:

1. Experiência A com ID 123456, distribuição de tráfego 80%
2. Experiência B com ID 123457, distribuição de tráfego 50%
3. Experiência C com ID 123458, distribuição de tráfego 30%
4. Experiência D com ID 123459, distribuição de tráfego 75%

A experiência B deve ter esse público avançado:

A experiência C deve ter esse público avançado:

E por fim, a Experiência D deve ter esse público avançado:

Como você pode ver acima, o valor do cookie é formatado da seguinte forma:

xxxxxx.{v.1-

Isso acontece porque se você estiver tentando excluir visitantes que foram incluídos em uma experiência configurada com menos de 100% de tráfego, um cookie ainda será gravado se o visitante atender às condições da Área do Site e do Público, mas devido à distribuição do tráfego, o visitante não foi incluídos nessa experiência.

O cookie Convert _conv_v será semelhante a este:

exp:{12345678.{v.1-g.{}}}

Observe que no formato acima não há valor de variação – apenas v.1 – porque o visitante não foi incluído na experiência. No entanto, rastreamos isso com cookies para que, na próxima vez que o visitante visitar a página, seja novamente excluído da mesma experiência.

Conclusão

Ter várias experiências em execução simultaneamente apresenta algumas complexidades – você nem sempre tem certeza de quais testes aumentam as conversões ou se há interações ocultas entre eles. No entanto, este não é um grande problema, pois existem estratégias para mitigar essas complexidades.

Discutimos 5 estratégias para lidar com os problemas causados ​​por vários testes em execução ao mesmo tempo:

1. Executando experiências simultaneamente quando elas não se sobrepõem umas às outras
2. Executando experiências sequencialmente quando você não pode evitar a sobreposição de experiências
3. Executando experiências A/B/N
4. Executando testes MVT
5. Executando experiências mutuamente exclusivas

Também mostramos como o Convert suporta todas as estratégias de teste acima, tornando-o uma ferramenta muito versátil.

É importante levar em consideração todas essas complexidades ao realizar testes A/B, para que você possa selecionar a estratégia mais adequada em cada caso. Teremos o maior prazer em ajudá-lo se você ainda tiver alguma dúvida.