Testing Mind Map Series: Como pensar como um CRO Pro (Parte 14)

Entrevista com 'Positive' John Ostrowski (Experimentos Positivos)

Bom julgamento e habilidades de tomada de decisão são essenciais para o sucesso no CRO. Para John Ostrowski, otimização é entender o problema, conhecer seu público e fazer do crescimento um esforço de equipe.

Ele acredita que qualquer métrica de resultado pode ser melhorada até certo ponto por meio de experimentação – mas nem sempre vale a pena o esforço. Você não pode apenas olhar para os números no vácuo – você deve considerar os custos de oportunidade, riscos e outros fatores. Saber quando “o suco vale a pena” (também conhecido como priorização) é um dos maiores desafios que os experimentadores enfrentam. É aqui que os dados qualitativos e quantitativos devem ser usados ​​para aumentar a confiança nas decisões.

John oferece uma nova abordagem ao CRO que é diferente de tudo o que você já leu antes.

Vamos mergulhar…

João, conte-nos sobre você. O que o inspirou a entrar em testes e otimização?

Do Brasil aos EUA, Hungria e Polônia. De engenheiro mecânico a analista de dados, experimentador e mentor de crescimento.

Eu tenho sido um otimizador, não importa onde ou o que eu estava fazendo.

As ferramentas evoluíram.

Lean Manufacturing tornou-se Lean Startup.

Seis Sigma se tornaram estruturas de crescimento de produtos.

A melhoria contínua, Kaizen, permaneceu como o denominador comum.

O ponto de inflexão para se tornar totalmente digital foi uma visão que tive na Hungria: “Imagine um mundo onde eu trabalho na frente de um laptop, de qualquer lugar, sem deslocamento para a fábrica…”

Há quantos anos você está otimizando? Qual é o único recurso que você recomenda para aspirantes a testadores e otimizadores?

Com os dias da indústria, cerca de nove anos otimizando algo. Executando esforços de otimização online, especificamente, por cerca de 5 anos.

O primeiro experimento de que me lembro foi entre duas máquinas de estampagem a frio com configurações diferentes para aprender sobre as diferentes tolerâncias entre as linhas de produção. Tempos divertidos.

Quanto aos recursos, vou recomendar um curso, um livro, um podcast e um boletim informativo.

Curso online:

O Experimentation Deep Dive da Reforge leva o jogo de otimização a um nível estratégico.

Livro:

Não posso recomendar os Experimentos confiáveis ​​on-line de Ronny Kohavi o suficiente. Dá-lhe superpoderes só de lê-lo.

Podcast:

Inúmeras pepitas de ouro no café CRO de Guido.

Boletim de Notícias:

Plug sem vergonha para o boletim de Experimentos Positivos, meu canto da internet onde compartilho meus pensamentos sobre experimentos de crescimento, liberdade financeira e positividade

Responda em 5 palavras ou menos: Qual é a disciplina de otimização para você?

Extrair suco vale a pena.

— Observe que definir o que vale a pena significa para o seu negócio é um exercício em si.

Quais são as 3 principais coisas que as pessoas DEVEM entender antes de começar a otimizar?

“Se eu tivesse uma hora para resolver um problema, passaria 55 minutos pensando no problema e 5 minutos pensando nas soluções.”

1. Entenda o problema. O que você está tentando resolver e por que isso é importante? Como isso ajuda no crescimento do negócio? Qual é a história que você está contando?
2. Conheça seu público . A dinâmica do poder é a força invisível nas organizações à qual você não está exposto durante a integração. Como as partes interessadas respondem aos dados e que tipos de dados eles preferem? O que os faz marcar? Conheça seu público. Seja um campeão.
3. O crescimento é um esforço de equipe e um jogo de longo prazo . Para mim, “hacks de crescimento” vivem na mesma categoria que “fique rico rápido”. Você ouve histórias sobre os bem-sucedidos, e todos os outros milhões que falharam são suprimidos. Viés de sobrevivência. As plataformas WYSIWYG permitem que os contribuidores individuais façam apenas isso. Saiba o que está sob seu controle e o que não está. Aprenda como encontrar alavancagem, seja trabalho ou capital.

Como você trata dados qualitativos e quantitativos para que conte uma história imparcial?

Minha abordagem de pesquisa em primeiro lugar é uma mistura de Behzod Sirjani e Douglas Hubbard.

Para mim, vida, negócios e investimentos têm tudo a ver com bom senso e tomada de decisão.

Portanto, qual e quant tornam-se evidências para alguma decisão que carrega um risco.

Eu penso nos cinco passos da Economia da Informação Aplicada (DDCMM):

1. Defina a decisão.
2. Determine o que você sabe agora.
3. Calcule o valor das informações adicionais em relação ao custo de não decidir. (Se nenhum, vá para a etapa 5.)
4. Meça onde o valor da informação é alto. (Retorne às etapas 2 e 3 até que não sejam necessárias mais medições.)
5. Tome uma decisão e aja de acordo com ela.

A seleção do método de pesquisa (etapa 4) é uma etapa de priorização em si.

Conheça seu público e quais evidências aumentarão a confiança para tomar a decisão, então defina o melhor método.

Evite usar como padrão “vamos executar o método de pesquisa X” sem antes definir que tipo de evidência será mais útil para sua decisão.

Esteja ciente de seu público – às vezes, uma parte interessada responderá melhor a entrevistas ou anedotas de clientes.

Vale a pena mencionar que meus experimentos mais impactantes foram hipóteses originadas de pesquisas de qualidade, mais especificamente entrevistas com usuários felizes.

Que tipo de programa de aprendizado você configurou para sua equipe de otimização? E por que você adotou essa abordagem específica?

Nosso capítulo de experimentação é um grupo de 10 indivíduos com mentalidade de crescimento, estudantes ao longo da vida que adoram ser provados errados pelos dados.

Setenta anos de experiência em otimização combinados, todos de várias origens.

Além do que você pode esperar das cerimônias do capítulo e da revisão por pares, temos o Reforge para nossa equipe.

Pedimos a todos que passem pelas séries Experimentation Deep Dive e Growth.

Ter uma linguagem comum é um superpoder subestimado para equipes de alto desempenho.

Qual é o mito de otimização mais irritante que você gostaria que desaparecesse?

Experimentação? Err .. você quer dizer CRO, certo?

É assim que penso nisso, em quatro etapas:

1. Existem blocos de construção fundamentais (Estratégia, Ferramentas e Tecnologia, Processo, Pessoas)
2. Que ajudam a moldar a estrutura de governança (híbrida, centralizada, descentralizada)
3. Isso deve estar em vigor para que uma cultura de experimentação floresça (volante de teste AB)
4. E dependendo da estrutura da sua organização (por exemplo, liderada pelo produto), diferentes fluxos de trabalho são definidos — para iTech Media, iniciativas OKR, CRO e Safety Net, leia mais aqui.

Como indústria, é melhor nos afastarmos dessa falsa dicotomia.

Podemos fazer melhor.

Esperamos que nossa entrevista com John ajude a orientar sua estratégia de experimentação na direção certa!

Que conselho ressoou mais com você?

Fique atento à nossa próxima entrevista com um especialista em CRO que nos guia por estratégias ainda mais avançadas! E se você ainda não viu, confira nossas entrevistas com Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Andra Baragan , Rich Page , Ruben de Boer , Abi Hough e nossas últimas com Alex Birkett .