Quando buscar o máximo local e global com seu teste A/B

Imagine que você está escalando o Monte Everest em meio a uma névoa espessa com amnésia. Você pode ver apenas até onde sua mão estendida. Você não sabe onde está ou em que direção seguir, apenas que precisa chegar ao pico. Quais são as chances que você faz?

Provavelmente tão baixo quanto a montanha é alta.

Por mais dramática que seja essa analogia, ela foi feita em referência à base de um método popular de teste A/B. Esse pico é a melhor versão de sua página de destino pós-clique, e você está confuso, quase cego e perdido na encosta da montanha de sua página atual.

O que é pior, você provavelmente recebeu um mapa incorreto de seus blogueiros de marketing favoritos. Você pode pensar que está fazendo o teste A/B da maneira certa – que está indo na direção desse pico. As chances são, porém, de que você logo chegará a um beco sem saída e nunca encontrará a variação de melhor desempenho de sua página de destino pós-clique.

O mito do teste A/B que confunde iniciantes

Alguns dos blogs de marketing mais populares da internet continuam a perpetuar o mito do teste A/B que condena os iniciantes desde o início. Também me vitimou quando comecei.

“Não altere mais de um elemento de página por teste A/B” Continuei lendo sem parar. Não questionei porque as fontes eram confiáveis ​​e porque principalmente, bem, fazia sentido.

O objetivo do teste A/B é coletar dados que você pode usar para otimizar uma página, e-mail, anúncio ou o que quer que esteja testando. Como eu poderia saber o que causou a mudança na taxa de conversão na conclusão do teste se fiz mais de um ajuste entre as versões “A” e “B”? Que tipo de dados seriam esses?

Então, testei os elementos um de cada vez: título da página de destino pós-clique “A” versus título da página de destino pós-clique “B”. Em seguida, foi o botão azul na página de destino pós-clique “A” versus o botão verde na página de destino pós-clique “B”. Foi assim que os profissionais, a Amazon e o Google fizeram. Se era bom o suficiente para empresas multibilionárias, era bom o suficiente para mim.

O problema que deixei passar, que se tornou dolorosamente consciente para mim meses depois, é que eu não era a Amazon ou o Google. Seus sites geram muito tráfego, o que significa que os pequenos aumentos obtidos por esses testes frívolos de cores de botões podem se traduzir em milhões de dólares em receita.

Para a maioria das pessoas, porém, eles são uma perda de tempo e recursos. Para a maioria das pessoas, usar esse método de teste A/B é como escalar o Monte Everest em uma névoa espessa com amnésia.

A heurística da escalada

Em nossa vida cotidiana, encontramos problemas para os quais a solução é clara. Mas, o que acontece quando você se depara com um obstáculo desconhecido e único? Veja este labirinto, por exemplo:

Não há postagens de blog escritas sobre a melhor maneira de navegar neste labirinto específico. Seu amigo (provavelmente) não pode orientá-lo. Você não tem mapa. Então, como você vai de A a B?

A resposta pode ser encontrada em um programa de computador chamado “The General Problem Solver”, desenvolvido em 1963 por Newell, Simon e Shaw para estudar a inteligência artificial. Sua pesquisa também foi aplicada à resolução de problemas humanos. O Dr. Russ Dewey explica:

Newell e Simon definiram cada problema como um espaço. De um lado do espaço está o ponto de partida, do outro lado está o gol. O próprio procedimento de resolução de problemas é concebido como um conjunto de operações para atravessar esse espaço, para ir do ponto de partida ao estado objetivo, um passo de cada vez.

No General Problem Solver, o programa testa várias ações (que Newell e Simon chamaram de operadores) para ver qual o levará mais perto do estado objetivo. Um operador é qualquer atividade que altera o estado do sistema. O Solucionador de Problemas Gerais sempre escolhe a operação que parece aproximá-lo de seu objetivo. Essa tática é chamada de escalada, porque se assemelha à tática de sempre dar um passo em direção ao topo de uma colina ou montanha.

No labirinto acima, cada beco sem saída é um “espaço” — um problema que você precisa superar com “operações”, que são ações que o aproximam de seu objetivo (passar de “A” para “B”).

Então, você começa no “A” e segue o caminho que acha que o levará mais rápido ao “B”. Quando você chega a um beco sem saída, você volta e tenta uma rota alternativa. Você repete o processo até atingir seu objetivo.

Isso é o que você está fazendo quando está testando A/B pequenos elementos. Você identifica um problema, como um botão imperceptível, por exemplo. Então, você se aproxima de seu objetivo de criar a melhor versão de sua página de destino pós-clique (ou assim você pensa) testando o que você acredita ser melhor. Se isso não funcionar, você testa outro.

Em algum momento, porém, você atingirá um ponto de retornos decrescentes chamado de “máximo local”.

O máximo local e o máximo global

A razão pela qual o método acima é chamado de heurística de “escalada” é porque ele tem uma grande limitação que pode fazer você coçar a cabeça em uma colina olhando para o pico da montanha – onde está sua melhor página de destino pós-clique. O Dr. Dewey explica:

A escalada é uma estratégia simples, mas nem sempre funciona. Uma armadilha potencial é o "problema do sopé". Se você está selecionando qualquer passo que o leve para cima (ou em uma direção específica), você pode acabar escalando um sopé que fica entre você e a montanha, ignorando o procedimento muito mais eficiente de contorná-la. Em outras palavras, se você for direto em direção a um objetivo sem flexibilidade, poderá pagar um preço alto, desperdiçar muita energia ou causar mais trabalho para si mesmo sem contribuir para o objetivo.

Em termos de otimização, esse “sopé” é chamado de “máximo local”. É a melhor versão da sua página atual, que quando testada A/B mais adiante, produzirá retornos decrescentes. O pico da montanha é chamado de “máximo global”. Essa é a melhor versão da sua página de destino pós-clique. Aqui está um gráfico útil para ilustrar:

Começando com uma página de destino pós-clique singular e testando A/B pequenos elementos um de cada vez para melhorá-la, você está se aproximando desse máximo local, mas esse método nunca o levará ao pico dessa montanha. Então, como você navega até lá?

Teste A/B para atingir o máximo global

Em uma postagem de blog intitulada “Não caia na armadilha das minúcias do teste A/B”, Rand Fishkin, da Moz, explica um cenário frustrante que pode chegar muito perto de casa:

Digamos que você encontre uma página/conceito com o qual esteja relativamente satisfeito e comece a testar as pequenas coisas - otimizando em torno do mínimo local. Você pode executar testes por 4 a 6 meses, obter uma melhoria de 5% em sua taxa de conversão geral e se sentir muito bem. Até...

Você executa outra grande e nova ideia em um teste e melhora ainda mais. Agora você sabe que está perdendo tempo otimizando e aperfeiçoando uma página cujo conceito geral não é tão bom quanto a página nova, grosseira e não otimizada que você acabou de testar pela primeira vez.

Em vez disso, Fishkin, como outros influenciadores de marketing, recomenda testes A/B “revisões” e “grandes ideias” primeiro – ou, em outras palavras, testar páginas radicalmente diferentes. Dessas páginas radicalmente diferentes, aquela que tem o melhor desempenho está mais próxima do máximo global. Esse é o que você deve ajustar com o teste multivariado: botão x botão, título x título, etc. Vários estudos de caso suportam esse método.

Teste A/B para o máximo global

1. Facebook

Em 2008, o Facebook testou um design de navegação totalmente novo. A equipe deles o moveu da esquerda da página para um menu suspenso à direita. No entanto, ao fazer isso, eles tornaram os aplicativos na navegação menos visíveis para os usuários, o que resultou em muito menos tráfego para esses aplicativos. Como eles eram uma fonte valiosa de receita para o Facebook, isso era um problema.

Depois de tentar salvar o novo design com alguns truques de engajamento, a equipe de otimização percebeu que havia atingido o máximo local e descartou tudo. Do desenvolvedor de produtos do Facebook, Adam Mosseri:

O que estávamos fazendo aqui é que estávamos otimizando para um máximo local. Nessa estrutura, havia um limite de tráfego que podíamos canalizar para os aplicativos. E o que precisávamos era de uma mudança estrutural. Nossa premissa estava errada. Nossos interesses estavam nos levando para o caminho errado. Não percebemos […] estávamos otimizando para algo localmente e precisávamos ser um pouco perturbadores para sair disso.

2. Moz

Esta página de variação, criada por Conversion Rate Experts para Moz, era seis vezes mais longa que a original. Apresentava mais infográficos, um título diferente e um vídeo, entre outros elementos que não estavam na página original. Superou o controle em 52%.

Se a equipe tivesse trabalhado apenas para melhorar os elementos da página original, nunca teria adicionado o conteúdo que aumentou as conversões pela metade. Dos testadores:

Em nossa análise da apresentação cara a cara eficaz de Rand, notamos que ele precisava de pelo menos cinco minutos para defender o produto pago da Moz. A página existente era mais como um resumo de um minuto. Assim que adicionamos os elementos-chave da apresentação de Rand, a página ficou muito mais longa.

3. Densidade do servidor

A maioria dos estudos de caso de teste A/B que você encontrará online tem a ver com a aparência das páginas da web. Eles são cor de botão versus cor de botão ou imagem versus imagem, e o número deles cresce a cada dia. Como resultado, a maioria das pessoas que mergulha no teste A/B assume que ele só pode ser usado para web design.

No entanto, o conceito de teste A/B pode ser aplicado a qualquer coisa, incluindo design de produto ou até mesmo estrutura de preços, como você verá neste exemplo do Sever Density.

A empresa, um serviço de monitoramento de servidores e sites, permitia que seu cliente pagasse com base em quantos servidores e sites precisavam ser monitorados:

A estrutura visava ampliar a base de clientes, o que aconteceu, mas agora o foco da equipe era o aumento da receita. Então, eles testaram A/B uma revisão completa de seus preços, com um modelo empacotado:

A nova estrutura na verdade produziu menos conversões, mas o valor de cada uma disparou. Aqui estavam os resultados:

O valor médio do pedido agora era superior a US$ 55 em comparação com o antigo: US$ 19,70. Os tópicos lembram os testadores de duas coisas cruciais:

O teste A/B pode ser usado para mais do que mudanças superficiais de design.
As conversões não são o fim de tudo. Às vezes, menos conversões oferecem melhores resultados.

Como você encontra o máximo global e local?

Lembre-se: a força do teste A/B está chegando o mais próximo possível do máximo global com grandes mudanças. Para encontrar o máximo local, é melhor usar testes multivariados.

Você caiu na armadilha de testar estritamente um elemento de página por vez? Você faz várias alterações por teste para encontrar o máximo global?

Aprenda como fornecer personalização de anúncio 1:1 para cada público que você tem com uma demonstração do Instapage Enterprise hoje.