“Teste tudo” – do papel à prática

Vamos ser claros.

Nunca é um erro executar mais testes A/B, mesmo que eles não afetem diretamente as vendas e a receita, desde que você os execute bem e aprenda com o processo.

Mas…

Cada teste requer um investimento de tempo, esforço, capital humano e muito mais .

Então, por que alguns especialistas defendem testar tudo? E qual é o meio termo... especialmente para você... sim... você está lendo este artigo.

Agora você pode ter toneladas de boas ideias de teste e quer saber se deve testar todas elas. Mas esse não é o ponto! Como Natalia menciona em uma entrevista com Ben Labay da Speero:

Existem centenas de ótimas ideias por aí, mas esse não é o ponto. O ponto é encontrar o caminho certo para trabalhar no momento certo .

Pode parecer tentador começar a testar tudo aleatoriamente, mas priorizar testar a hipótese certa no momento certo é fundamental .

Com a priorização correta, você pode cultivar uma mentalidade de “testar tudo” . No entanto, a maioria dos modelos de priorização de hipóteses fica aquém.

Vamos nos aprofundar um pouco mais para entender se você deve testar tudo A/B, como a priorização o ajuda a tomar decisões e como criar seu próprio modelo de priorização que supera as limitações das opções tradicionais.

Teste tudo: por que é recomendado?

Vamos começar examinando essa abordagem controversa: testar tudo faz sentido?

Vá em frente, escolha um lado.

Qual é a sua ação padrão?

O que é “palatável” para você sem ler o resto deste artigo e coletar mais dados?

Feito?

Agora vamos ver se nosso raciocínio se alinha com o seu.

Antes de enfrentarmos o enigma de “testar tudo”, precisamos entender o que o teste A/B e seus resultados implicam.

Validade Estatística

O teste A/B é uma maneira estatisticamente válida de ver se as mudanças que você tem em mente afetam seus indicadores-chave de desempenho (KPIs).

Por exemplo, se seu objetivo é obter mais visitas ao seu blog, você pode adicioná-lo ao menu de navegação principal. O novo menu não é mais uma cópia do antigo . Mas essa mudança é inútil se não impactar positivamente o comportamento dos visitantes do seu site.

O simples fato de as duas versões serem estruturalmente diferentes não importa. No geral, o que importa é a realização do resultado que você desejou e antecipou. As pessoas estão mais inclinadas a visitar o blog quando o veem no menu principal do que quando ele está escondido no rodapé ?

O senso comum pode dizer SIM , deve haver um efeito (positivo) . Mas seu teste pode não mostrar nenhuma alteração nas métricas que você escolheu monitorar como medida de impacto.

Se isso for verdade, os testes A/B também reduzem o risco.

Mitigação de Risco

A implementação de mudanças em todo o site é complexa e um jogo totalmente diferente.

Você pode acabar fazendo uma alteração e arriscando desperdiçar recursos criando recursos que os usuários não desejam e personalizando elementos do site que não produzem os resultados esperados. Esta é uma das principais razões pelas quais o teste A/B é necessário, pois é o teste ácido para a solução proposta antes de ser realmente implementada.

As compilações de teste A/B (especialmente as compilações do lado do cliente) consomem menos recursos do que as alterações de site codificadas e os recursos de alta fidelidade. Isso lhe dá a luz verde para não seguir uma rota específica, especialmente quando os resultados indicam que os principais KPIs não estão se movendo na direção certa.

Sem testes, você investe em experiências que simplesmente não funcionam. É um risco cego que você corre, sem saber que pode ter que reverter para o design anterior para proteger a receita e o desempenho.

Georgi, o criador do Analytics-toolkit.com, até argumenta que o teste A/B é, por essência, uma ferramenta de gerenciamento de risco:

Por que arriscar quando você pode testar?

(—Mais sobre isso mais tarde no blog. Continue lendo!—)

Análise de tendências

Quando você executa testes consistentemente com os quais aprende , começa a identificar tendências na resposta do seu público a entradas específicas. É melhor não presumir que você pode derivar qualquer coisa de valor de uma única iteração. Mas a meta-análise (em um ambiente de teste A/B de variável única) ao longo do tempo pode dar a você a confiança para priorizar potencialmente o teste de uma hipótese específica em detrimento de outras.

Alguns especialistas apoiam o teste de tudo, já que a experimentação traz muitos benefícios.

Por outro lado, muitos especialistas defendem pelo menos se inspirar em resultados repetíveis de experimentos anteriores para responder às grandes questões .

O editor-chefe da GoodUI, Jakub Linowski, está entre os mais notáveis. Ele argumenta que os experimentos geram conhecimento que permite a previsão. Ele acha importante buscar conhecimento, táticas, padrões, melhores práticas e heurísticas.

O conhecimento que você obtém dos experimentos ajuda a fazer previsões mais confiáveis. Isso, por sua vez, permite criar hipóteses mais precisas e priorizá-las melhor.

À primeira vista, essas perspectivas podem parecer contraditórias. Mas eles reforçam o mesmo argumento, “ a experimentação traz certeza em um mundo incerto ”.

Você faz as suposições em seu conjunto de dados ou transfere as crenças dos testes executados para resultados finais desejados semelhantes, em vários setores e setores.

Na Convert, nos inspiramos em ambas as visualizações e vemos como uma faceta constrói a próxima das duas maneiras simples a seguir.

Aprendizagem e teste: a dupla prática para testes inspirados

Questionar tudo

Este é um ensinamento duradouro dos mestres estóicos .

Quando você questiona tudo ao seu redor, percebe que é um composto do que você aprende das pessoas que conhece, da cultura em que vive e das heurísticas que seu cérebro escolhe seguir.

Esse “instinto” que normalmente nos impulsiona geralmente não é nosso.

Por exemplo, muitos de nós sonhamos em levar um estilo de vida luxuoso centrado no consumo. Mas isso realmente veio de nós? Ou somos vítimas da publicidade, da mídia e de Hollywood?

A mídia e a publicidade passaram a desempenhar um papel importante na formação dos sonhos e desejos do indivíduo para se tornar primordialmente um consumidor... ele (mas, na verdade, ele está cativo de centenas de propagandas que geraram o desejo que ele disse ser subjetivo e criaram para ele o desejo automático .

Abdel Wahab El Messiri

Fazer mudanças e decisões de negócios usando APENAS seu próprio “instinto” é imprudente. Se não podemos ter certeza de que as mudanças que queremos fazer e as decisões que queremos impor em nossos negócios vêm de nós, por que estamos apegados a elas?

Questionar tudo é essencial . Sua intuição, melhores práticas, modelos de priorização e assim por diante.

E se questionarmos tudo, o próximo passo é submetê-lo à verificação matemática por meio de experimentos. Porque parar no questionamento não fecha o ciclo da incerteza para a certeza.

Aprenda com as experiências

Você não pode aprender se não testar.

Certifique-se de quantificar adequadamente seus insights. Você precisa aproveitar dados qualitativos e quantitativos em testes A/B para traduzir seus aprendizados em algo significativo. Por exemplo, agrupe o impacto médio por contexto, tipo de teste, local do teste, KPIs monitorados, resultado do teste e assim por diante.

Um ótimo exemplo dessa abordagem metódica é o banco de dados GOODUI .

Ele identifica padrões que executam repetidamente em testes A/B, ajudando as empresas a obter conversões melhores e mais rápidas.

O GOODUI apresenta 124 padrões baseados em 366 testes (somente para membros) e adiciona mais de 5 novos testes confiáveis ​​todos os meses. Ao aprender com os experimentos e quantificar esses aprendizados em padrões, o banco de dados GOODUI reduz o tedioso processo de teste A/B e permite que os clientes obtenham mais vitórias!

Inspire-se nesses padrões:

Padrão nº 2: Rótulos de ícones: https://goodui.org/patterns/2/

Padrão nº 20: Resposta enlatada: https://goodui.org/patterns/20/

Padrão nº 43: Títulos longos: https://goodui.org/patterns/43/

Mas concentre-se em… Priorizando ideias

Priorize ideias que se alinhem com seus objetivos de negócios abrangentes, considerando os resultados específicos da empresa.

Imagine isso.

Você administra um negócio com uma base de clientes decente. No entanto, a taxa de retenção desses clientes é inferior a 15% . Seu principal objetivo é construir um negócio sustentável que retenha clientes a uma taxa muito maior. Esse objetivo deve influenciar sua priorização.

Digamos que você tenha duas ideias e queira saber qual testar primeiro – uma que provavelmente aumentará a taxa de retenção e outra que provavelmente aumentará as vendas de novos clientes . Você provavelmente deve priorizar a primeira ideia, apesar da última ter um potencial muito maior de melhoria.

Isso porque uma taxa de retenção de clientes mais alta significa um negócio mais estável a longo prazo. Isso se alinha perfeitamente com suas metas e estratégia de negócios abrangentes.

A outra ideia pode gerar muito mais novas vendas. Mas, eventualmente, sua empresa ainda estará vazando mais de 85% de seus clientes.

Os modelos de priorização para experimentação sempre deixam de considerar a importância estratégica do que está sendo testado. Eles analisam o provável impacto, esforço, etc., de uma ampla gama de ideias diferentes, mas não consideram qual dessas ideias se alinha melhor com a estratégia e a direção do negócio .

Jonny Longden, via Test Everything

Onde a maioria dos modelos de priorização falha?

Se você é um otimizador afiado, pode ter uma longa lista de ideias de testes A/B. Mas você não pode testá-los todos de uma vez, mesmo que decida testar tudo, devido ao tráfego e recursos limitados .

É como ter uma longa lista de tarefas e saber que você simplesmente não pode resolver tudo ao mesmo tempo. Então você prioriza e começa com aqueles com a MAIOR PRIORIDADE. Isso se aplica à geração de lucros com a experimentação. Com a priorização adequada, seu programa de testes terá muito mais sucesso.

Mas a priorização em testes A/B, como David Mannheim escreveu em seu artigo, é muito difícil. Isso ocorre principalmente porque

• Você geralmente produz ideias não focadas e alinhadas com as metas de negócios.
• Não considere iteração e aprendizado de experimentos anteriores.
• Use modelos de priorização disfuncionais e tente adicionar estruturas arbitrárias ao problema.

E essas também são algumas áreas que até mesmo os modelos de priorização mais populares tendem a ignorar e fazer coisas erradas. Mas por que isso? Aqui estão alguns elementos críticos que contribuem para a falta de priorização adequada.

• Fatores enganosos: Os fatores que eles usam para selecionar testes são altamente enganosos. O primeiro é o esforço, dando a impressão de que ideias de baixo esforço merecem priorização rápida.
• Função de peso: A maioria dos modelos atribui pesos arbitrários aos fatores. Você não pode priorizar aleatoriamente; você precisa de uma razão para isso.
• Iterações complexas: eles não conseguem distinguir as iterações de teste existentes (orientadas pelo aprendizado) de novas ideias para fins de priorização.

Para começar, a estrutura de priorização do PIE classifica as hipóteses com base em:

• Potencial de Melhoria
• Importância
• Facilidade

Mas como determinar objetivamente o potencial de uma ideia de teste? Se pudéssemos saber isso com antecedência, como Peep Laja, Fundador da CXL, explicou, não precisaríamos de modelos de priorização.

O modelo PIE é muito subjetivo. Também não se alinha bem com os objetivos de negócios e promove soluções de baixo risco. A facilidade é enganosa, pois sugere que as ideias de baixo esforço devem ser priorizadas.

Quanto maior o risco, maior a recompensa .

E isso só se aplica se você se desafiar com ideias mais sofisticadas.

Outro modelo popular, o modelo de pontuação ICE (Impact, Confidence, and Ease), é muito parecido com o PIE e tem as mesmas falhas que o PIE .

A estrutura PXL é uma melhoria em relação a essas duas e torna qualquer avaliação de “potencial” ou “impacto” muito mais objetiva. No entanto, ainda tem suas deficiências.

Primeiro, ele não considera o alinhamento com as metas de negócios . Em segundo lugar, não distingue as iterações de teste atuais de novas ideias.

David Mannheim, vice-presidente global de otimização de taxa de conversão da Brainlabs, revelou que 50% de todos os mais de 200 experimentos que eles construíram para um cliente em sua antiga consultoria, User Conversion, eram iterações um do outro. Eles também criaram um valor 80% aprimorado da hipótese original e afirmaram:

Sabíamos que o “conceito” funcionava, mas alterando a execução, mais de 6 iterações diferentes, posso adicionar, vimos um ganho incremental de mais de 80% no .

Em seu “Relatório de experimentos informados sobre a experiência de execução ”, a Convert descobriu que quase todos os especialistas entrevistados concordaram que o aprendizado impulsiona a ideação bem-sucedida. Isso pode ser ainda mais apoiado com a opinião da H&M sobre os padrões de aprendizagem.

Quase todos os outros experimentos que realizamos na H&M em nossa equipe de produto são apoiados por um aprendizado documentado de um experimento anterior ou outra metodologia de pesquisa .

Matthias Mandiau

Como criar seu próprio modelo de priorização de teste A/B?

A priorização incentiva a mentalidade de “testar tudo”. Ele transmite confiança para testar (primeiro) as ideias e hipóteses que causam o maior impacto no problema mais urgente.

Mas cada negócio é diferente. Portanto, não pode haver uma abordagem de priorização de experimentos de tamanho único . O contexto, como David apontou, é rei .

Essencialmente, todos os modelos estão errados, mas alguns são úteis .

George EP Box, um estatístico

Dos exemplos acima, podemos dizer que todos os modelos são falhos, mas alguns são úteis. O segredo é criar o modelo mais útil e impactante para o seu negócio.

Aqui estão quatro etapas para construir um modelo:

1. Inspire-se com exemplos

Uma das maneiras mais frutíferas de desenvolver um bom modelo de priorização é selecionar recursos de diferentes modelos, misturar e combinar e produzir uma combinação com detalhes limitados.

Por exemplo, você pode se inspirar na abordagem de avaliação mais objetiva do PXL , que faz perguntas como "Adicionar ou remover item?" . Ao mesmo tempo, você pode considerar o ângulo de impacto do ICE e adicioná-lo.

2. Abra espaço para fatores que contam

Inclua fatores alinhados com seus objetivos de negócios . Isso ajudará você a se concentrar mais nos principais impulsionadores de crescimento e KPIs, como o valor da vida útil do cliente (LTV) e a taxa de retenção de clientes, não apenas métricas e resultados de nível superficial.

Como mencionado anteriormente, o aprendizado específico da empresa também é crucial na priorização de experimentos. Certas soluções consistente e historicamente superam outras para o seu público?

Além disso, considere o potencial de iteração . As iterações podem ajudar a avançar mais na solução de um problema de negócios específico e são mais bem-sucedidas. Se for verdade, hipóteses com potencial para iteração podem e devem ser priorizadas em relação a testes independentes. Além disso, a experimentação não é nada senão um volante onde os esforços se alimentam.

Por fim, considere o investimento em recursos , incluindo complexidade, tempo, custo e as medidas tradicionais usadas para priorizar experimentos.

3. O peso é crítico

Decida o que você deseja obter dos testes executados. Está explorando ideias novas e inovadoras ? Ou explorar uma área problemática até encontrar uma solução?

Personalize o sistema de pontuação para atender às suas necessidades. Vamos considerar dois tipos diferentes de experimentos para entender isso melhor.

1. Adicionar o blog ao menu de navegação aumentará as visitas ao blog.
2. Diminuir o preenchimento do formulário na página de checkout reduzirá a taxa de abandono do carrinho.

Para este exemplo, vamos supor que selecionamos apenas dois fatores para nosso modelo de priorização. Um é o potencial de iteração e o outro é o potencial de impacto e avalie cada hipótese em uma escala de 1 a 5 para cada fator.

Nosso principal objetivo para teste agora é corrigir o problema de abandono de cartão para um site de comércio eletrônico . Devemos dar mais peso ao potencial de iteração, pois provavelmente não resolveremos isso com um teste. E é provável que iteremos muitas vezes dentro de uma única hipótese antes de reduzir visivelmente o abandono de carrinho.

Podemos pesar o fator potencial de iteração dobrando sua pontuação.

Vamos dar à primeira hipótese um “4” para o fator potencial de impacto. E “2” para potencial de iteração. Então, para a hipótese de preenchimento de formulário, “3” para fatores potenciais de impacto e iteração.

Sem a ênfase no potencial de iteração, seria um empate: “4 + 2 = 3 + 3”

Mas depois de dobrar a pontuação neste fator , a hipótese número dois vence:

A pontuação final para a primeira hipótese : “4 + 2(2) = 8 ”

A pontuação final para a segunda hipótese : “3 + 3(2) = 9 ”

O resultado final é que a saída de priorização da mesma estrutura deve mudar à medida que as considerações externas e internas mudam.

4. Enxágue e repita até acertar a sigla certa

Tente não esperar bons resultados com uma única iteração. Continue modificando até chegar ao modelo de priorização correto para o seu negócio.

Por exemplo, a ConversionAdvocates criou sua própria estrutura, IIEA , que significa:

• Entendimento
• Ideação
• Experimentação
• Análise

O IIEA tenta resolver dois problemas principais da maioria dos modelos, listando os objetivos de aprendizado e de negócios de cada experimento antes do lançamento.

Qualquer que seja a sigla que você acabe criando, revise-a e reavalie-a constantemente. Sina Fak, chefe de otimização da ConversionAdvocates, mencionou que eles vêm refinando o IIEA nos últimos cinco anos.

Desde 2013, eles usam essa estrutura personalizada para ajudar várias empresas a resolver problemas críticos, como redução de custos e aumento de conversões.

O seu pode não ser um ICE ou PIE conveniente, mas os resultados serão deliciosos.

Com seu novo modelo de priorização ultra-útil, você pode pegar emprestado do aprendizado legado E potencialmente “testar tudo” .

Um ganha-ganha em nosso livro!