Testing Mind Map Series: Como pensar como um CRO Pro (Parte 22)

Entrevista com Nils Koppelmann

Nils Koppelmann é um defensor apaixonado dos benefícios da experimentação e da tomada de decisões orientada por dados. Ele entende que o teste A/B bem-sucedido não é apenas descobrir se algo funciona, mas por que funciona – e ele está aqui para desfazer dois mitos comuns sobre essa prática.

Que o teste A/B introduz riscos e que as pequenas empresas não podem testar de forma eficaz. Pelo contrário, Nils acredita que o teste A/B pode ajudar a reduzir os riscos, fornecendo insights sobre o que funciona e o que não funciona. E embora as pequenas empresas possam ter menos tráfego do que as grandes empresas, elas podem realmente testar com mais ousadia porque há menos em jogo.

Portanto, da próxima vez que você achar que o teste A/B parece muito arriscado ou caro, leia esta entrevista com Nils para obter dicas sobre como testar efetivamente em seu site sem introduzir riscos desnecessários.

Nils, conte-nos sobre você. O que o inspirou a entrar em testes e otimização?

Nos últimos 8 anos, tenho construído sites e lojas online para ajudar clientes grandes e pequenos a “otimizar” sua presença online.

Algum tempo atrás, meus pensamentos se voltaram para como garantir que nossos projetos realmente tivessem o impacto desejado.

Quando encontrei pela primeira vez o termo Otimização da Taxa de Conversão, cerca de 3 anos e meio atrás, me perguntei por que não era algo em que já focamos. Daquele ponto em diante, mudei meu foco de entregar design e tecnologia para fornecer insights e resultados.

O mundo da otimização tem tanto potencial que ainda é pouco explorado pela maioria das empresas online. Devemos aproveitar a grande quantidade de dados disponíveis e aprender com eles para que possamos melhorar continuamente.

Uma das coisas mais marcantes para mim é como é divertido aprender de novo. Nunca pensei que abriria voluntariamente um livro sobre estatística (um elogio a Georgi Georgiev e seu ótimo livro Statistical Methods of Online A/B Testing) e realmente o leria. Este e muitos outros aspectos continuam me inspirando a testar para aprender.

Há quantos anos você está otimizando?

O desejo de otimizar vem da insatisfação com o status quo, da curiosidade sobre o que é mais e da certeza de que tudo pode ser melhorado.

Em um contexto profissional, tenho otimizado há cerca de 8 anos. Inicialmente, construindo e otimizando projetos paralelos e ajudando empresas a melhorar sites e lojas online. Agora estamos ajudando empresas novas e estabelecidas a criar uma cultura de experimentação e usar o poder dos experimentos para aumentar seu crescimento.

Pensando bem, não me lembro de nunca ter otimizado. Desde criança, sempre questionei a forma como as coisas eram feitas. Lembro-me de meu pai dizendo que eu fazia “muitas” perguntas, algo que, em retrospecto, estou muito feliz por ter feito e ainda faço.

Mesmo na minha vida pessoal, sou conhecido por rastrear e otimizar a maioria dos aspectos da minha vida.

Qual é o único recurso que você recomenda para aspirantes a testadores e otimizadores?

Existem muitos recursos que eu recomendaria para quem está começando, mas vamos tornar isso um pouco mais prático.

Para começar, aqui estão algumas sugestões:

1. Seja mais curioso e comece a questionar por que algo é feito do jeito que é. Isso por si só abrirá uma visão totalmente nova do mundo.
2. Gaste mais tempo pensando sobre o problema do que encontrando soluções. Primeiro você precisa realmente entender o problema, então as soluções virão mais facilmente.
   
   Como disse Albert Einstein: “Se eu tivesse uma hora para resolver um problema, passaria 55 minutos pensando no problema e 5 minutos pensando nas soluções”.
   
   Dito isso, é importante pensar fora da caixa, o que significa não apenas pensar dentro dos parâmetros do problema, mas também considerar ângulos e possibilidades externas.
   
   A chave é encontrar um equilíbrio entre os dois.
3. Aprenda a fazer perguntas melhores. Esta é uma das ferramentas mais úteis que qualquer otimizador pode ter em seu arsenal, porque permite e explora a curiosidade.

Além disso, compartilho artigos, recursos e ferramentas interessantes em meu boletim semanal de experimentação, dirigido a iniciantes e veteranos de experimentação.

Responda em 5 palavras ou menos: Qual é a disciplina de otimização para você?

Teste para aprender. Melhoria continua. Experimentação. Sistemas de construção.

Quais são as 3 principais coisas que as pessoas DEVEM entender antes de começar a otimizar?

Pesquise primeiro, depois teste. Antes de começar a otimizar, certifique-se de apoiar suas suposições com dados, qualitativos e quantitativos. Em seguida, crie hipóteses fortes com base nisso.

Não otimize apenas para melhorias de curto prazo – embora seja de vital importância para o programa ter um ROI positivo, ele não deve se concentrar apenas nisso, mas também considerar a enorme largura de banda de oportunidades de aprendizado e limites de risco que a experimentação traz.

Os esforços de otimização não devem ter como objetivo provar que você está certo ou errado, mas determinar o porquê – em ambos os casos. Não adianta otimizar nada se você não entender como chegou lá e como replicar para chegar lá. Para o sucesso a longo prazo nos testes A/B, é crucial ter bons sistemas implementados.

Como você trata dados qualitativos e quantitativos para que conte uma história imparcial?

Não há dados imparciais, mas para minimizar o viés em relação a qualquer tipo de dado, é importante entender como os dados foram coletados, como estão sendo interpretados e quais conclusões estão sendo tiradas deles.

Para classificar a confiabilidade dos dados sobre os quais você está falando, você deve verificar a Hierarquia de Evidências.

Usamos dados quantitativos para pré-filtrar, depois usamos dados qualitativos e recursos científicos para ir mais fundo e, novamente, dados quantitativos para provar ou refutar suposições e hipóteses iniciais.

No topo de nossos esforços está a chamada meta-análise, que nos permite procurar padrões em experimentos anteriores e alinhar esforços adicionais de pesquisa e experimentação.

Outra boa maneira de remover o viés é criar uma desconexão entre a pessoa que está criando o experimento e aquela que está avaliando seus resultados. Isso minimiza o viés para o sucesso de um experimento.

Qual é o mito de otimização mais irritante que você gostaria que desaparecesse?

Gostaria de desfazer dois mitos:

1. Que o teste introduz riscos, quando na verdade diminui os riscos quando feito corretamente
2. Que pequenas empresas não podem testar, quando na verdade pequenas empresas com pouco tráfego podem testar com mais ousadia porque há menos risco associado / menos em jogo.

Esperamos que nossa entrevista com Nils ajude a orientar sua estratégia de experimentação na direção certa!

Que conselho ressoou mais com você?

E se você ainda não o fez, confira nossas entrevistas anteriores com as lendas do CRO Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Deborah O'Malley , Andra Baragan , Rich Page , Ruben de Boer , Abi Hough , Alex Birkett , John Ostrowski , Ryan Levander , Ryan Thomas , Bhavik Patel , Siobhan Solberg , Tim Mehta , Rommil Santiago , e nosso último com Steph Le Prevost .