Testing Mind Map Series: Como pensar como um CRO Pro (Parte 11)

Entrevista com Ruben de Boer

Você é alguém que está procurando obter mais da experimentação?

Nosso convidado de hoje faz isso há anos e pode ajudá-lo a começar sua própria jornada de experimentação. Além disso, ele tem ótimos conselhos sobre como garantir que seus experimentos forneçam o ROI certo.

Depois de descobrir tudo isso, você desejará acompanhar todos os aprendizados para poder aplicá-los em toda a sua empresa. Nosso especialista tem toneladas de conselhos sobre como fazer exatamente isso.

Vamos mergulhar.

Ruben, conte-nos sobre você. O que o inspirou a entrar em testes e otimização?

Em 2009, ajudei uma empresa que ensinava as pessoas a se tornarem mais felizes e confiantes com habilidades sociais aprimoradas. Naquela época, realmente me impressionou a importância de apoiar e inspirar outras pessoas através do que você gosta de fazer. Também fiquei fascinado com a pergunta:

Se podemos mudar o comportamento das pessoas offline, como podemos fazer isso online?

Foi assim que entrei na pesquisa do comportamento humano e da psicologia. Dados sempre foram minha coisa. Gosto de encontrar padrões e soluções em dados (na escola, eu era muito melhor em tópicos de dados do que em qualquer outro tópico).

E adoro otimizar e obter resultados. Não só no meu trabalho, mas também na minha vida pessoal.

Essa combinação de interesses e paixões naturalmente me levou a trabalhar em testes e otimização.

Há quantos anos você está otimizando? Qual é o único recurso que você recomenda para aspirantes a testadores e otimizadores?

Em 2009, comecei a otimizar sites e analisar dados de negócios e online. Foi só em 2011 que fiz meu primeiro teste A/B. Claro, eu cometi todos os erros que alguém pode cometer ao começar com a Otimização da Taxa de Conversão.

Meu recurso número um é conhecer outros especialistas neste campo. Compartilhar ideias e experiências e aprender uns com os outros. Em eventos, não tire ideias apenas dos palestrantes, mas também das pessoas na platéia. Ajudando uns aos outros e aprendendo juntos, podemos levar a nós mesmos e ao nosso trabalho para o próximo nível.

Responda em 5 palavras ou menos: Qual é a disciplina de otimização para você?

Mentalidade de melhoria contínua, aprendizado e experimentação.

Quais são as 3 principais coisas que as pessoas DEVEM entender antes de começar a otimizar?

Primeiro, acerte o básico . Os especialistas geralmente realizam experimentos com base em práticas comuns. Essas práticas, no entanto, foram testadas em diferentes sites (se testadas) e podem não funcionar para seu site ou produto (digital).

Obtenha suas ideias de teste de seus dados, usuários e pesquisas científicas. E quando você concluir um experimento, pense no que aprendeu e em quais novas ideias de teste você pode criar com base nesses aprendizados. Essas fontes ajudarão você a criar ideias de teste sólidas com uma chance maior de encontrar variações vencedoras.

Outro procedimento básico, onde vejo muitos especialistas errarem, é a estatística. Para cada experimento, faça sua análise de pré-teste . Calcule o tamanho mínimo da amostra e a duração do teste e pare o teste apenas depois de alcançá-los.

Se você descobrir que tem tráfego insuficiente para testes A/B em seus cálculos de pré-teste, encontre outros meios para validar suas ideias de teste, por exemplo, por meio de testes de usabilidade.

Em segundo lugar, o processo é fundamental . Sem um processo adequado no lugar, você não será bem sucedido. Para otimizar seu processo, você precisa entender o retorno do investimento (ROI) da experimentação:

ROI = (Quantidade * Qualidade) / Custos

Quantidade é o número de experimentos que você executa. Qualidade é a taxa de vitórias e o valor por vencedor. Os custos são tempo e dinheiro, por isso a sua eficiência.

Com o processo certo em vigor (incluindo uma ferramenta para acompanhar seu processo, progresso e insights!), você pode otimizar seu ROI e o sucesso da experimentação.

E terceiro, entenda que seu trabalho não é apenas executar testes A/B. Uma grande parte do seu trabalho deve ser dedicada ao gerenciamento de mudanças . Para prosperar e trabalhar em direção a uma cultura de experimentação, o teste A/B não é suficiente. Você precisa mudar a cultura, a mentalidade e a maneira como toda a sua organização funciona. Comece envolvendo as pessoas, especialmente a alta administração.

Como você trata dados qualitativos e quantitativos para que eles possam contar uma história imparcial?

Em poucas palavras:

O primeiro passo é realizar uma pesquisa completa usando vários recursos, como dados da web, atendimento ao cliente, pesquisas, enquetes e artigos científicos.

O segundo passo no processo é transformar os insights de sua pesquisa em hipóteses abrangentes sólidas . Aponte para cinco a dez hipóteses que afirmam algo sobre seus clientes (potenciais), não relacionados a um único elemento ou página da web.

Por exemplo:

• Os clientes acham nossos produtos muito caros
• As pessoas precisam de mais informações sobre nosso serviço antes de se inscrever
• As pessoas se tornam nossos clientes, pois têm a necessidade de pertencer

Você pode então validar essas hipóteses por meio de vários experimentos relacionados, também com base em sua pesquisa. Isso é chamado de meta-análise .

Por quê? Um único teste A/B é propenso a erros. Seu experimento pode resultar em um falso positivo ou o motivo de um experimento vencedor pode ser diferente daquele declarado em sua hipótese. Com uma meta-análise, chegamos mais perto da verdade. Portanto, nossos insights são mais confiáveis ​​e criamos melhores experimentos de acompanhamento.

A meta-análise é a prova da mais alta qualidade que você pode obter, com base na hierarquia das evidências.

A etapa final do processo envolve acompanhar qual hipótese abrangente funciona e em que ponto da jornada do cliente (em qual página) e priorizar suas ideias de teste com base nisso, para maximizar sua taxa de ganhos e aprendizados.

Que tipo de programa de aprendizado você configurou para sua equipe de otimização? E por que você adotou essa abordagem específica?

O processo descrito acima ajudará você a coletar insights confiáveis ​​com os quais você e sua organização podem realmente aprender.

Quando você documenta bem essas meta-análises (em uma ferramenta como o Airtable), fica mais fácil ver onde está o seu sucesso. Ao marcar cada experimento com a hipótese abrangente e a direção psicológica, você obtém uma quantidade incrível de conhecimento sobre as necessidades (e problemas) de seus clientes em potencial, além de saber em que ponto da jornada do cliente abordá-los e por meio de que tipo de experimentos.

Depois de fazer muitos experimentos e começar a ter uma visão clara, você pode compartilhar esses insights e toda a organização pode aprender e se beneficiar.

Qual é o mito de otimização mais irritante que você gostaria que desaparecesse?

vou citar dois

As incríveis melhorias que a experimentação pode realizar (com um único teste A/B). A culpa é principalmente de alguns fornecedores, pois em seus casos e em suas páginas de destino, eles anunciam com grandes aumentos, resultando em falsas expectativas.

As organizações que usam a experimentação para uma melhor tomada de decisão são geralmente as que prosperam. Não aqueles que se concentram apenas no dinheiro.

E segundo, o nome Otimização da Taxa de Conversão em geral. Dá a impressão errada e é muito estreito para o que os especialistas em experimentação podem realizar.

Esperamos que nossa entrevista com Ruben ajude a orientar sua estratégia de experimentação na direção certa! Que conselho ressoou mais com você?

Fique atento à nossa próxima entrevista com um especialista em CRO que nos guia por estratégias ainda mais avançadas! E se você ainda não viu, confira nossas entrevistas com Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Andra Baragan e nossa última com Rich Page .