Testing Mind Map Series: Como pensar como um CRO Pro (Parte 6)

Entrevista com Jakub Linowski da GoodUI

Você já se perguntou por que algumas pessoas parecem ter um talento especial para CRO?

Não é só porque eles são bons em montar experimentos. Eles também sabem pensar sobre as coisas de uma maneira diferente, que é o que esta série também ajudará você a fazer. Analisaremos de perto as mentalidades que compõem o CRO de sucesso e como você pode aplicá-las à sua estratégia.

Se você conseguir entrar no estado de espírito certo, o sucesso será muito mais fácil do que se você tentar sem primeiro entender onde podem estar seus pontos cegos. Em última análise, a série Testing Mind Maps destina-se a ajudá-lo a planejar melhor sua estratégia de otimização e executar testes com mais confiança!

Neste artigo, Jakub Linowski, da GoodUI, compartilha que o poder da experimentação reside não apenas em sua capacidade como um método útil, mas também em gerar insights poderosos que podem informar melhores decisões.

Jakub, conte-nos sobre você. O que o inspirou a entrar em testes e otimização?

Fui atraído para o mundo da experimentação por volta de 2014, quando minha experiência em design me levou a esse caminho. À medida que as pessoas começaram a compartilhar exemplos de boa interface do usuário e listas de “melhores práticas”, eu também comecei, e foi assim que o GoodUI.org surgiu. Não levei muito tempo, no entanto, para perceber que todas as minhas sugestões e padrões de interface do usuário estavam mais perto de hipóteses visuais do que qualquer coisa apoiada por evidências. Eu realmente queria ganhar mais confiança e fazer um trabalho melhor em filtrar as boas ideias das ruins.

Então, quando ouvi falar sobre o teste A/B, fiquei bastante animado (mesmo que eu não tivesse ideia do que era um intervalo de confiança). Contratei um desenvolvedor front-end e demos início a uma pequena agência de otimização. Começamos a testar quaisquer ideias que lemos em blogs, ouvimos de nossos clientes, bem como de nossa própria biblioteca de padrões GoodUI emergente. Com a maioria de nossos clientes nos permitindo publicar testes a/b abertamente, começou a ficar aparente que alguns padrões eram melhores que outros. Alguns não fizeram muito. Outros replicaram bem. E outros resultaram em resultados negativos.

Agora precisávamos pesar esses experimentos.

E assim GoodUI.org rapidamente começou a se transformar em um repositório de experimentos semelhantes e comparáveis ​​com um ciclo completo de feedback. As coisas que tiveram melhor desempenho com maior frequência e impacto foram apresentadas ao topo (usando dados agregados medianos). Enquanto os resultados dos testes para padrões semelhantes foram realimentados em nosso banco de dados, corrigindo nossas previsões e aumentando a precisão.

Então, sim, eu gosto de experimentar tanto pelo método maravilhoso que é, mas também como uma poderosa fonte de conhecimento profissional que nos permite fazer melhores previsões.

Há quantos anos você está otimizando? Qual é o único recurso que você recomenda para aspirantes a testadores e otimizadores?

Executamos nosso primeiro teste a/b de salto em maio de 2014 em uma página de destino de cotação para uma grande companhia de seguros. A variação incluiu tudo o que sabíamos na época sobre como melhorar formulários, copiar e liderar formulários com base em nossa própria experiência limitada. O resultado foi um aumento relativo de +53% nas derivações (±28, p-val 0,0002). Esta é a minha primeira experiência que me prendeu.

No que diz respeito a um recurso, adoro aprender com o que os outros estão testando. É especialmente emocionante e valioso pesquisar experimentos de grandes players como Netflix, Airbnb e Amazon que sabemos ter um bom tamanho de amostra e executar muitos testes. No geral, acho que é sempre uma boa ideia aprender com as pessoas alguns passos à nossa frente (como sugerido por muitos, inclusive dentro do Mastery de Robert Greene).

Responda em 5 palavras ou menos: Qual é a disciplina de otimização para você?

Otimização significa que estamos melhorando as coisas.

(Os resultados são críticos para a otimização. Por exemplo, uma centena de resultados de experimentos planos ou indesejáveis ​​não são bons o suficiente. Você pode aprender muito, sim. Mas para otimizarmos algo, precisamos mover a agulha na direção que queremos .)

Quais são as 3 principais coisas que as pessoas DEVEM entender antes de começar a otimizar?

EXPLORAÇÃO – gerando o maior número de ideias possível.

EXPLORAÇÃO – priorizando ideias com resultados passados ​​para maior agilidade.

EXPERIMENTAÇÃO – abrindo nossas ideias para serem falsificadas ou validadas.

Como você trata dados qualitativos e quantitativos para que eles possam contar uma história imparcial?

Eu concordo com a ideia de validar os resultados do teste a/b. Em geral, quanto mais medidas coerentes temos, mais confiáveis ​​e confiáveis ​​nossos experimentos podem se tornar.

Quando se trata de comparar resultados, existem algumas maneiras de fazer isso:

• Comparação de várias métricas do mesmo experimento (por exemplo, consistência de efeito em: adições ao carrinho, vendas, receita, compras de devolução etc.)
• Comparação de dados históricos em experimentos separados (por exemplo, consistência de efeito entre dois experimentos separados executados em dois sites separados)

Que tipo de programa de aprendizado você configurou para sua equipe de otimização? E por que você adotou essa abordagem específica?

Acredito firmemente que a replicação de experimentos é um elemento crítico para melhorar a previsão dos resultados dos testes (gerando conhecimento profissional).

Assim, em nossa própria plataforma, agrupamos experimentos semelhantes e agregamos métricas semelhantes.

Ao construir uma base de conhecimento a partir de experimentos, a outra coisa importante é minimizar o viés de publicação . Ou seja, manter um registro de todos os experimentos independentemente de seus resultados (incluindo os positivos, negativos, significativos e insignificantes).

Qual é o mito de otimização mais irritante que você gostaria que desaparecesse?

Mais recentemente, fiquei irritado com pessoas alegando que a experimentação não tem desvantagens (capturado muito bem por este maravilhoso tópico do LinkedIn). Uma maneira sutil que isso às vezes aparece é através de declarações que soam semelhantes a “não há testes perdidos, apenas aprendizados”.

Isso pode ser verdade em mundos de torre de marfim, onde o aprendizado é o objetivo principal e onde o experimentador está protegido dos custos.

No entanto, como profissão, quando usamos a experimentação como ferramenta para otimizar os sites dos clientes, não existe almoço grátis. A execução de experimentos vem com seus custos, riscos, desvantagens e vantagens. Deste ângulo, acho extremamente saudável rastrear e admitir os resultados pelo que eles realmente são (incluindo estar confortável em admitir séries de testes negativos e não branqueá-los). Todas as profissões precisam de ciclos de feedback positivo e negativo para continuar melhorando.

Esperamos que nossa entrevista com Jakub ajude a orientar sua estratégia de conversão na direção certa! Que conselho ressoou mais com você?

Fique atento à nossa próxima entrevista com um especialista em CRO que nos guia por estratégias ainda mais avançadas! E se você ainda não viu, confira nossas entrevistas com Gursimran Gujral da OptiPhoenix , Haley Carpenter da Speero , Rishi Rawat da Frictionless Commerce , Sina Fak da ConversionAdvocates e Eden Bidani da Green Light Copy !