Como tratar dados qualitativos e dados quantitativos para ganhar testes A/B?

Se dividirmos em seus conceitos principais, o CRO é menos sobre conversões e mais sobre entender seu público e como eles interagem com seu site.

Quanto mais você os entender, o que eles querem e como eles agem em seu site, melhor a experiência do cliente e as ofertas que você pode oferecer.

Isso significa que nosso principal objetivo como testadores é descobrir o máximo de informações possível . Quanto mais dados tivermos, melhor poderemos planejar os testes e tentar ver um aumento nos resultados.

O problema?

Nem sempre somos bons em coletar ou entender esses dados. Talvez não conheçamos as ferramentas a usar, os processos para encontrar as informações, ou talvez não estejamos analisando e obtendo insights precisos, seja por falta de experiência ou pior, acrescentando nosso próprio viés que corrompe os resultados.

É isso que vamos abordar no guia de hoje: Como coletar informações sobre seu público, entendê-las e usá-las. Vamos até aprofundar e analisar outros testadores e seus processos para que você possa obter ainda mais ideias e insights para seus novos testes.

Continue lendo para saber mais ou clique aqui para aprender “como usar dados para conduzir testes A/B vencedores”.

Quando se trata de testar e descobrir informações para seu site ou aplicativo, há dois tipos de dados que queremos analisar.

Exemplos de análise de dados quantitativos podem ser:

• Medindo o tráfego para uma página
• A taxa de rejeição desse tráfego
• A CTR
• Taxa de assinante
• Taxa de vendas
• Valor médio de venda.

A maioria dos programas de teste começará com uma análise técnica para obter dados sobre o que está funcionando ou não em um site e, em seguida, uma análise quantitativa para obter uma linha de base do desempenho do site atualmente, antes de passar para uma análise qualitativa.

Exemplos de dados qualitativos são

• Pesquisa de usuários
• Mapas de rolagem
• Rastreamento de cliques
• Mapeamento de calor
• Pesquisas.

O objetivo é simplesmente entender melhor o público e como eles interagem, para que possamos identificar possíveis problemas no uso do site ou descobrir quaisquer problemas externos que possam afetar suas ações no site.

Por exemplo, embora saibamos que um CTA não está recebendo muitos cliques, é somente por meio de entrevistas com clientes que descobrimos que a linguagem não é clara ou não ressoa com o público.

Qual é a maneira correta de usar dados em testes A/B?

Embora pareça que estamos apenas acompanhando eventos de conversão específicos ou monitorando o comportamento do usuário, o objetivo é combinar dados quantitativos e qualitativos . Talvez para encontrar falhas técnicas ou problemas comuns, mas o ideal é combiná-los para que possamos nos educar e obter uma visão mais holística do nosso público.

Também não queremos apenas informações imediatas. Queremos descobrir por que as coisas estão acontecendo e, em seguida, dar um passo adiante para encontrar a causa raiz.

Digamos que fazemos uma pesquisa quantitativa e vemos que a taxa de conversão de uma página é baixa. A oferta ou produto simplesmente não é desejado? Ou precisamos melhorar o processo?

Em seguida, executamos um mapa de calor na página de destino e vemos que a maioria do público não clica em um CTA específico e, portanto, podemos hipotetizar o motivo. Talvez a linguagem não seja clara?

Mas, em uma inspeção mais profunda, vemos que para alguns dispositivos está simplesmente fora da tela, enquanto em outros, não se destaca o suficiente para ficar claro que é um botão a ser pressionado.

• Se tudo o que olhássemos fossem os dados qualitativos, pensaríamos que é uma CTR baixa.
• Se tudo o que olhássemos fossem os dados qualitativos, poderíamos supor que as pessoas simplesmente não estão clicando.

Mas, ao combiná-los, podemos ver muito mais profundamente. (É assim que realmente entendemos os dados nos testes A/B.)

A velha expressão é verdadeira em que “o que é medido é gerenciado”. A chave, é claro, é garantir que não estamos tomando decisões com base em conjuntos de dados limitados ou falhos, portanto SEMPRE observe várias fontes de dados.

Aprender a desacelerar, perguntar por que e deixar os dados penetrarem o ajudará a se tornar um testador e solucionador de problemas muito melhor.

Em vez de tentar encontrar a resposta imediatamente, pergunte a si mesmo se você tem informações suficientes:

• Seus usuários têm um problema facilmente corrigível (botão quebrado ou CTA fraco) ou poderia haver algo mais que também poderia ser melhorado?
• Você tem um viés inerente ou experiência anterior que está afetando suas ideias iniciais?
• Você poderia descobrir mais sobre seu público primeiro?

E se, analisando mais profundamente esse problema de CTA e layout, você descobrir que a maioria do seu público usa dispositivos móveis desatualizados com diferentes resoluções de tela e velocidades de carregamento? Pode ser que eles estejam perdendo a maior parte do seu conteúdo e interações e não apenas seu CTA e páginas de vendas. Até mesmo suas mídias sociais e conteúdo do blog podem ser afetados!

Vá mais fundo novamente. Por que eles têm esses dispositivos? Eles não podem pagar um dispositivo mais caro? Não é importante para eles? Se não, então o que é?

Não tente apenas tomar todas as suas decisões com base no que você tem até agora. Tome seu tempo, pense e mergulhe mais fundo com qualquer resultado que você obtenha. Encontre o motivo.

Grandes erros a serem evitados ao coletar e analisar dados

Agora, não se preocupe se você é o tipo de testador que tenta encontrar uma visão imediata de sua pesquisa inicial, pois você não está sozinho nisso.

Este é apenas um dos poucos problemas recorrentes que a maioria das pessoas faz ao tentar coletar ou entender seus dados…

Problema nº 1: coletando dados para provar uma opinião

Você está usando dados para descobrir novos insights? Ou você está usando dados para validar ideias atuais?

Não há problema em usar dados para validar uma ideia. Esse é o objetivo da hipótese. Temos uma ideia do que está errado e como corrigi-lo, e por isso tentamos provar isso com o teste e seus resultados.

Mas não se esqueça do método científico! Não podemos nos apegar às nossas ideias e opiniões. Precisamos confiar nos dados e encontrar o verdadeiro motivo. É com isso que nos importamos. Não há problema em estar 'errado' com uma hipótese. Descobrir um insight diferente de um teste reprovado simplesmente ensina mais sobre seu público!

Apenas tenha cuidado com os dados que dizem uma coisa, mas você os distorce para tentar provar outra coisa.

Questão 2: Patrocinando Análise sem Articular Claramente o Problema

Um problema comum em testes (e até mesmo na maioria das empresas) é que a pessoa que analisa os dados nem sempre é o analista.

Em vez disso, o analista é usado como um meio para inserir informações em relatórios para um terceiro que está tentando resolver um problema. (Eles se tornam quase um painel glorificado.)

Aqui está um exemplo:

• Seu chefe tem um objetivo e um problema.
• Eles têm uma ideia aproximada da solução e da causa e, portanto, solicitam ao analista dados sobre XYZ, mas sem contexto. Eles estão tentando descobrir se esse problema e solução podem funcionar.
• Normalmente, há idas e vindas para solicitar mais dados. Este pedido ou apoia falsamente a ideia, ou nenhum entendimento adicional aconteceu.
• E assim novos testes ou ideias são apresentados, e a questão permanece sem solução.

Não é ótimo, certo?

Mas imagine se o chefe viesse ao analista com o contexto do problema específico e eles trabalhassem juntos para articular o problema e encontrar a causa raiz?

Isso poderia acelerar o entendimento e os novos testes para resolvê-lo.

Questão 3: Confiar em uma única fonte de dados sem mergulhar em diferentes perspectivas

Nós sugerimos isso antes, mas é muito importante não se ater a apenas uma única fonte de dados, pois você limita severamente sua compreensão e possíveis soluções e ideias de teste.

Quanto mais fontes você tiver, melhor poderá pintar uma imagem do que está acontecendo e por quê.

Sim, leva tempo, mas a otimização da taxa de conversão tem tudo a ver com entender esse público. Faça o trabalho e aprenda o máximo que puder.

Quanto mais você souber, melhor!

via GIPHY

Questão nº 4: Não priorizar o pensamento crítico como uma habilidade

Nossos cérebros são estranhos. Funcionamos em um sistema de impulsos básicos, impulsos emocionais e experiências anteriores. O objetivo é nos manter vivos, procriar e tomar decisões sem desperdiçar muita energia.

Sabendo disso, é sempre inteligente que os testadores (e qualquer empresário) estejam cientes do processo de Pensamento Crítico e Viés Cognitivo e como eles afetam nossa compreensão e decisões…

O que é pensamento crítico?

O pensamento crítico é a capacidade de analisar fatos e dados para formar um julgamento sem preconceitos .

Existem centenas de coisas diferentes que entram em nossa tomada de decisão, uma das quais é o viés de decisões baseadas em experiências ou situações de vida anteriores. Chamamos isso de vieses cognitivos .

Aqueles que praticam o pensamento crítico entendem isso, então usam um processo específico para ajudá-los a fazer julgamentos imparciais:

• Identificação . Encontre o problema.
• Coletar Dados . Certifique-se de usar várias fontes. Certifique-se de não adicionar vieses à seleção de fonte.
• Análise . Você pode confiar nessas fontes? Eles são confiáveis? O conjunto de dados é grande o suficiente para ser verdadeiro?
• Interpretação + Inferência. Que padrões você pode ver a partir desses dados? O que está lhe dizendo até agora? Qual é o mais significativo? Você está vendo causalidade ou correlação?
• Explicação . Por que você acha que isso está acontecendo?
• Auto-regulação . Você tem algum viés cognitivo que afete essa análise e teste as hipóteses? Você está fazendo suposições incorretas? Trabalhe com eles para ter certeza.
• Mente Aberta e Resolução de Problemas. Com seu entendimento atual, como você pode resolver esse problema? Você precisa aprender mais primeiro?

Como você pode ver, ter um processo para analisar essas informações é extremamente importante. Mesmo assim, você deve observar quaisquer vieses subconscientes que possam estar afetando a forma como você está tomando decisões e analisando esses dados.

O que são vieses cognitivos?

Os vieses cognitivos são códigos de trapaça para nossos cérebros economizarem energia nas decisões usando o reconhecimento de padrões. A questão, claro, é que nossos preconceitos nem sempre são corretos e podem afetar nossas decisões e ações, positiva ou negativamente. Ik Isso é especialmente perceptível quando se trata de testes.

aqui estão alguns exemplos:

• Viés de ação : A tendência de querer agir mesmo quando os dados sugerem que nenhuma melhoria pode ser feita?
• Viés de ancoragem: A tendência de basear as decisões em informações previamente adquiridas.
• Viés de Autoridade: A tendência de dar mais valor às opiniões de posições de autoridade.

Você pode ver como isso pode afetar sua análise de dados e ideias de teste?

Há muitos deles para eu cobrir aqui (alguns estimam cerca de 150 no total). Eu recomendo que você faça uma lista de sua preferência. Então você pode tentar construir um processo de pensamento crítico para analisar seus dados como descrevemos antes e fazer uma "lista de verificação" de quaisquer vieses potenciais que possam afetar sua análise.

Questão 5: Tomando a Correlação como Causa

Isso quase se liga a um viés cognitivo, em que vemos padrões em dados que podem existir, mas podem não ser a causa do resultado.

Eles simplesmente ocorrem juntos frequentemente como um subproduto ou uma simples coincidência.

Por exemplo, a maioria dos surfistas não trabalha no meio da manhã e vai surfar. (É quando você tem o melhor vento offshore para as ondas).

Para a pessoa assistindo na praia, você poderia supor que talvez essas pessoas não tenham empregos ou tenham ligado para dizer que estão doentes. No entanto, depois de várias conversas no oceano, ficou claro que quase todo mundo surfando trabalhava por conta própria e por isso pode escolher suas horas.

Agora alguns começaram a surfar porque tinham essa flexibilidade e tempo livre (Correlação), mas outros escolheram profissões onde pudessem ter essa flexibilidade para poder surfar (Causa).

Bem legal, certo?

O fato é que, mesmo após a pesquisa inicial e 'entrevistas', seria fácil obter uma visão imprecisa do conjunto de dados. Certifique-se de analisar seus dados com a mente aberta e mergulhar mais fundo para encontrar a causa real.

Diferentes métodos de coleta de dados qualitativos e quantitativos

O que podemos usar para coletar esses dados?

Para coleta de dados quantitativos, geralmente analisamos dois tipos de ferramentas:

• Uma ferramenta de análise, como o Google Analytics ou um provedor de terceiros, para obter resultados atuais.
• Uma ferramenta de teste A/B, como o Convert Experiences, para que você possa medir a mudança numérica no desempenho entre as variações e o controle.

Ambos nos fornecerão dados numéricos brutos.

(Confira nosso guia de comparação de ferramentas de teste A/B aqui para ver qual funciona melhor para você.)

Para pesquisa qualitativa, estamos analisando uma seleção mais ampla, pois estamos testando vários elementos diferentes:

• Mapeamento de calor
• Rastreamento de cliques
• Rastreamento ocular
• Gravações do usuário
• Pesquisas no local e
• Pesquisas diretas com clientes.

O rastreamento ocular tende a ser a ferramenta de maior custo devido aos seus requisitos de hardware. Existem algumas opções de software disponíveis para instalação e uso interno, enquanto outra opção é contratar empresas externas que montam óculos ou câmeras de rastreamento ocular para verificar movimentos oculares e locais de interesse.

Para mapeamento de calor, rastreamento de cliques, gravação básica de usuários e pesquisas, você pode usar uma ferramenta de baixo custo como o Hotjar que combina todos esses recursos. Ele ajuda você a identificar problemas comuns e obter informações quase imediatas sem precisar de assistência de terceiros e *quase* executa funções semelhantes às do rastreamento ocular.

Por fim, você também pode levar a gravação de usuários um passo adiante e contratar agências que trarão usuários independentes para usar sua página da Web, levá-los a executar tarefas definidas e, em seguida, registrar suas interações e passar as informações para você.

Nota:

Embora não as tenhamos listado na seção de ferramentas quantitativas, às vezes há uma sobreposição onde as ferramentas qualitativas podem ser usadas para aquisição de dados quantitativos.

Você pode usar uma ferramenta de pesquisa e medir as respostas de um número X de participantes para obter um valor numérico de seus pensamentos sobre a cópia de vendas e como eles acham que responderão a ela.

No entanto… Isso ainda é subjetivo , pois o que as pessoas dizem nem sempre é o que elas fazem .

É sempre uma boa ideia medir o feedback deles para uma ação (o que eles dizem) e, em seguida, medir a resposta da ação real também (a ação que eles realizam). Às vezes, isso pode lhe dar uma ideia mais profunda do que fornecer e como enquadrá-lo.

Como os profissionais de experimentação abordam dados qualitativos e quantitativos?

Quer saber como os profissionais coletam e usam dados? Recentemente entrevistamos 7 profissionais de CRO como parte de nossa série “Pense como um profissional de CRO”.

Não vou estragar suas entrevistas, pois recomendo que você as leia, no entanto, tirei alguns boatos interessantes sobre como eles pensam sobre os dados abaixo, bem como meus pensamentos sobre seus métodos…

Gursimran Gurjal – OptiPhoenix

Os dados quantitativos geralmente são bons para descobrir falhas básicas de conversão para entender onde os usuários caem, o desempenho de diferentes canais, CR de diferentes dispositivos, onde os usuários saem do site etc. .

A combinação de “Onde+Por que” com experimentação mostra uma imagem completa do comportamento do usuário.

Estudar dados qualitativos, como mapas de calor, gravações de sessões, resultados de pesquisas ou testes de usabilidade, exige muito mais tempo para criar um padrão estatisticamente significativo, enquanto os dados quantitativos são mais fáceis de analisar. não apenas confiar no GA ou Hotjar para coletar dados, mas sim enviar seus próprios eventos personalizados para tornar os dados mais significativos, como marcar a gravação para todos os usuários que recebem um erro no processo de checkout, enviando um evento para o GA para qual filtro ou a opção de classificação está sendo mais usada, etc., para que você possa aproveitar ao máximo os dados disponíveis .

Adicionar tags personalizadas para obter uma linha de dados é uma ideia fantástica. Dessa forma, você pode não apenas ver o problema e para onde ele levou, mas também onde ele se originou e a origem do tráfego.

Haley Carpenter, especialista sênior em estratégia de CRO

Lembre-se constantemente de que todos nós temos preconceitos. Saiba que é seu trabalho relatar da maneira mais verdadeira e precisa possível. Integridade é um valor chave para manter alto.

Além disso, verifique novamente seu trabalho ou peça a alguém para revisá-lo se você não tiver certeza de algo. Um segundo par de olhos pode ser extremamente benéfico às vezes, especialmente se você estiver olhando para algo por horas, dias ou semanas.

Certa vez fiz um curso de antropologia onde tínhamos que transcrever gravações. O professor ressaltou que era de extrema importância manter as transcrições fiéis à pessoa que pronunciava as palavras. Não deveríamos nem mesmo fazer algo como cortar uma palavra de duas letras ou corrigir um pequeno erro gramatical.

Guardei esta lição comigo até hoje e aplico-a à análise de dados... especialmente gravações de testes de usuários. É importante manter sua análise o mais fiel possível aos dados originais

Ter vários olhos na pesquisa e nos resultados é uma ótima maneira de não perder nenhum problema, remover possíveis vieses e obter diferentes pontos de vista. Isso geralmente pode levar a insights que um único testador teria perdido.

Rishi Rawat – Comércio sem atrito

Minhas opiniões sobre dados quantitativos:

Os dados são os dados. Não aperte os olhos para entender. Não fique emocionalmente ligado a isso. Declare sua hipótese antes do início da coleta de dados. Se os dados refutam seus instintos, redesenhar um novo teste e lançá-lo. Os dados são os dados. Respeite isso.

Minhas opiniões sobre dados qualitativos:

Temos uma visão controversa sobre este tema. Não acreditamos em pesquisas com usuários finais, ou seja, não converso com pessoas que compraram o produto. Não que eu não ache esse tipo de pesquisa importante, é; é apenas caro. Prefiro obter todos os meus dados qualitativos do fundador ou inventor do produto em que estou trabalhando.

Onde a experiência do usuário do comprador final é simplesmente um instantâneo de uma compra que foi feita naquele momento, o inventor tem contexto sobre toda a jornada. Quero obter minha 'sensação' quantitativa do fundador. O fundador/inventor tem tanto conhecimento institucional que vai fazer sua cabeça girar. É só que eles estão no 'meio' há tanto tempo que não sabem por onde começar. É aqui que entram em jogo as habilidades de fazer perguntas do otimizador. O otimizador ajuda o criador com a visão externa. Dou muito valor a este tipo de dados qualitativos

Agora, essa é uma ideia interessante…

No CRO tendemos a focar no usuário para entender a jornada do cliente. O problema é que os clientes às vezes não sabem o que está errado ou como articulá-lo.

Da mesma forma, no entanto, o empresário pode conhecer o produto de dentro para fora, mas ser ruim em comunicá-lo. Para eles, é óbvio porque eles têm toda a experiência, mas para o cliente, essa mensagem pode estar faltando alguma coisa. Em um mundo ideal, se você está fazendo testes para outra empresa, você quer falar tanto com o público quanto com o proprietário.

Se você estiver sem tempo ou recursos, fale com o proprietário da empresa. Como diz Rishi, eles geralmente têm toda essa percepção que pode ser extraída. Nosso trabalho como testadores é descobrir onde isso está faltando e como isso pode se conectar com o cliente.

Sina Fak – Advogados de Conversão

A realidade é que todos os dados têm viés embutido nele.

Tudo, desde como os dados foram coletados, até os dados de amostra usados ​​para análise, até a pessoa que revisa os dados e executa a análise – há um elemento de viés que não podemos controlar totalmente.

Os dados por si só não lhe darão toda a história. Isso só lhe dará um ponto de partida para entender parte da história e extrair insights. A única maneira de tratar os dados de uma maneira que conte uma história imparcial é testá-los e fazer um experimento com eles

Isso se encaixa no que estávamos dizendo anteriormente.

Todo teste e pesquisa tem viés. Podemos tentar negar um pouco disso com pensamento crítico e processos de análise, mas ainda pode se infiltrar.

Teste a ideia, descubra e teste um pouco mais. Não se esqueça do método científico. Podemos 'falhar em frente' e encontrar as respostas que procuramos também.

Jakub Linowski – GoodUI

Em geral, quanto mais medidas coerentes temos, mais confiáveis ​​e confiáveis ​​nossos experimentos podem se tornar.

Quando se trata de comparar os resultados do teste A/B, existem algumas maneiras de fazer isso:

● Comparação de várias métricas do mesmo experimento (por exemplo, consistência de efeito entre adições ao carrinho, vendas, receita, compras de devolução etc.)

● Comparação de dados históricos em experimentos separados (por exemplo, consistência de efeito entre dois experimentos separados executados em dois sites separados

Não esqueça que a análise de dados Quant e Qual é tão importante PÓS TESTE quanto em nosso planejamento inicial.

Ter um processo em vigor para listar possíveis problemas e locais para o 'momento aha' pode fornecer resultados muito melhores do que uma olhada inicial.

(Às vezes, os dados estão ali e sentimos falta deles.)

Eden Bidani – Cópia Green Light

Eu tento trabalhar o máximo possível com os dois tipos de dados lado a lado na minha frente. Para mim, isso ajuda a equilibrar o quadro completo.

Os dados qual dão profundidade e significado ao quant, e os dados quant fornecem a direção geral sobre quais elementos de dados qual devem receber mais peso .

Ter os dois conjuntos de dados juntos para que você possa comparar e contrastar é a melhor maneira de analisar e entender o que está acontecendo.

Isso está relacionado ao que estávamos dizendo antes sobre ter um único conjunto de dados para encontrar os problemas e as soluções. Se tudo o que tivéssemos fosse um, chegaríamos a conclusões diferentes. Use ambos para tentar encontrar essa correlação.

Shiva Manjunath – Speero

A maneira como tento abordar a análise Quant + Qual é como um interrogatório policial. Há um motivo ou hipótese, mas você não pode presumir que a pessoa que você trouxe para interrogatório é inocente ou culpada. A pessoa trazida (dados do experimento) é considerada inocente, e é seu trabalho provar que ela é culpada além de qualquer dúvida razoável (significado estatístico).

Assim, você mesmo pode examinar os dados, entrevistar outras pessoas (dados qualitativos) e talvez examinar extratos bancários ou os registros de quando alguém entrou/saiu do trabalho para ver se seu álibi confirma (dados quantitativos).

Talvez não seja o melhor exemplo, mas é preciso sempre abordá-lo com objetividade. E corroborar as fontes de dados (por exemplo, mapas de calor com pesquisas no site com dados quantitativos) para criar uma história e ver se isso apóia ou não a hipótese. Com rigor estatístico, obviamente !

Eu amo essa analogia e ela me lembra Sherlock Holmes e liga direto aos testes.

Ainda não tenho dados. (Ou não o suficiente). É um erro capital teorizar antes de se ter dados. Insensivelmente, começa-se a torcer os fatos para se adequarem às teorias, em vez de teorias para se adequarem aos fatos.

Como experimentadores, precisamos remover todos os preconceitos. Ou experiente ou simplesmente porque surgiu com a hipótese. Em vez disso, precisamos tratar os resultados de forma justa e encontrar a verdade.

Nosso objetivo não é estar certo. É encontrar o que funciona para que possamos construir sobre isso!

Qual é a melhor maneira de usar dados para projetar testes vencedores?

Se você está testando há algum tempo, sabe que a maioria dos testes não cria vencedores. De fato, apenas cerca de 3/10 vencerão, enquanto os outros são considerados fracassos.

A terminologia de vencer ou falhar não é ótima. Sim, o teste não forneceu impulso, mas fornece dados que podemos usar para melhorar e descobrir o porquê.

Lembrar:

Não focamos em um único teste. Mesmo que vença, ainda usamos um processo iterativo de aprendizado e melhorias. Testamos, aprendemos, criamos hipóteses e testamos novamente.

Isso nos ajuda a criar um ciclo de feedback de novos dados para apoiar ou refutar ideias.

• Testamos e falhamos, mas aprendemos.
• Pegamos esses aprendizados e os testamos até vencermos e obtermos uma melhoria.
• E então continuamos a testar até atingirmos os máximos locais e não podermos melhorar mais.

Não se concentre em tentar obter um vencedor imediatamente. Este é o caminho mais rápido para afirmar que o CRO não funciona para você. Em vez disso, transforme dados em insights e aprenda mais a cada vez.

Você pode estar perto de um vencedor, mas só precisa de uma melhor execução.

Ou você pode estar perto de um momento aha que pode mudar fundamentalmente toda a sua mensagem. Fique atento e continue aprendendo a cada teste!

Crie esse ciclo de feedback em seu processo de processamento e teste de dados.

Mas o mais importante? Certifique-se de que você pode acessar e entender os dados que está coletando, que está usando esses dados corretamente e que pode confiar neles!…

Como melhorar a acessibilidade de dados na organização

É muito bom ter dados para trabalhar, mas é inútil se você não puder acessá-los para aprender!

Algumas empresas geralmente terão um gargalo em seu fluxo de dados por terem acesso apenas a seus dados por meio de seu cientista de dados. Se você precisar das informações, precisará acessá-las ou trabalhar diretamente com elas, causando problemas.

Uma ótima maneira de superar isso é democratizar o acesso aos dados:

• Permitir acesso a dados para ferramentas tradicionalmente de função única (GA etc.) para as equipes que precisam,
• Veja o uso de ferramentas de autoatendimento com recursos de relatório de dados incorporados que toda a equipe pode usar,
• Crie um repositório de aprendizado centralizado de resultados de dados. Isso permite que toda a organização obtenha insights de dados, não apenas a equipe de teste direta.

Por que se preocupar com o acesso a dados?

Porque o acesso aos dados aumenta o número de decisões que podem ser tomadas e que podem afetar o ROI do seu negócio.

O truque, claro, é garantir que, uma vez que você tenha acesso, você possa encontrar o que deseja…

Como melhorar a usabilidade dos dados coletando dados confiáveis

A usabilidade de dados refere-se à facilidade com que os dados podem ser usados ​​para responder a perguntas.

Se olharmos de uma visão geral, o objetivo com seus dados deve ser:

• Para encontrar insights que afetam o ROI dos negócios . Sem isso, são apenas dados informativos sem objetivo.
• Para encontrá-los rapidamente e não ter que lutar para obter as informações.
• E usar esses insights para tomar decisões rápidas e confiáveis . Ou porque os dados são confiáveis ​​ou porque você entende e não está manipulando resultados ou recebendo falsos positivos.

Como você pode imaginar, pode haver alguns problemas aqui, dependendo dos sistemas e processos que você possui.

Já discutimos a importância de poder acessar essas informações e os benefícios de ter ferramentas ou processos com recursos de autoatendimento para abrir relatórios de dados em toda a empresa.

Mas agora que temos acesso a esses dados, precisamos ter certeza de que podemos encontrar as informações que queremos e confiar nelas.

Idealmente, você precisa executar processos proativamente para organizar seus conjuntos de dados:

• Torne as métricas mais importantes facilmente localizáveis.
• Use modelos de referência e metas para encontrar conjuntos de dados específicos que as ferramentas tradicionais podem não rastrear.
• Garanta a sincronização entre as fontes de dados para que atualizações e edições e novas informações não faltem.
• E permita que sua equipe de ciência de dados processe seu big data para que você possa encontrar facilmente todas essas informações e confiar nelas!

Depois de ter esse objetivo final em mente para seus dados, fica mais fácil começar a criar processos de preparação com antecedência para novos conjuntos de dados chegando. (É muito mais fácil lembrar de marcar ações específicas antecipadamente quando você sabe que deseja ser capaz de encontrá-los mais tarde).

Como conduzir análises de dados imparciais para gerar insights que informam hipóteses

Então, como usamos esses dados para obter insights e ideias?

Bem, alerta de spoiler, na verdade cobrimos isso até agora neste guia.

• Procure usar várias fontes de dados para obter uma imagem mais ampla.
• Tente usar processos imparciais para coletar esses dados. Não se limite a dados demográficos ou dispositivos específicos, se possível.
• Use o pensamento crítico para avaliar as informações.
• Observe os vieses cognitivos e como eles podem estar afetando sua análise.
• Certifique-se de investigar cada fonte de dados combinada. (Técnico, Quantitativo e Qualitativo juntos).

Permitir que o aprendizado com os testes inspire mais testes

Você deve tratar seus testes como um ciclo de feedback para melhorias adicionais. Isso pode ser em seu teste atual para continuar melhorando e obter mais impulso, ou você pode até aplicar isso a testes mais antigos, onde seus novos insights podem ajudar ainda mais.

De qualquer forma, o objetivo deve ser testar, aprender, melhorar e repetir até que você não consiga mais levantar.

Mas… Como realmente aprendemos com os resultados dos testes?

Bem, a boa notícia é que escrevemos um guia de 7 etapas para aprender com os resultados do seu teste A/B que você pode conferir aqui.

Se você não tem tempo agora, aqui está uma rápida recapitulação:

• Comece certificando-se de que você pode confiar em seus resultados. Eles são precisos? Eles são significativos? Você está confiante neles? O teste durou tempo suficiente? Houve algum fator externo influenciando-os?
• Vá micro e macro. Só porque um teste venceu ou falhou, você precisa ver como isso afeta suas métricas de proteção. Ironicamente, um aumento na CTR pode significar vendas mais baixas se atrair o público errado. Da mesma forma, uma queda na CTR pode aumentar as vendas, pois pode ser atraente apenas para o melhor público agora. Portanto, verifique suas métricas, não apenas os resultados dos testes.
• Vá mais fundo e segmente seus resultados. Nem todos os públicos, canais de tráfego e dispositivos terão o mesmo desempenho. Alguns canais podem estar quebrados. Isso pode distorcer os resultados onde parece bom ou ruim, pois você não tem uma imagem detalhada. (Isso também pode fornecer informações sobre variantes com melhor desempenho para determinados canais, ajudando você a segmentar sua exibição para um aumento maior).
• Verifique o desempenho e o comportamento do usuário. Just because we ran a qualitative and quantitative data analysis before, doesn't mean you should skip it after the test. In fact, this is the best way to understand what happened and how you got these results.
• Learn from the failures. O que deu errado? How can you fix this?
• Learn from the winners and improve further. Did you get a new aha moment? Do you have more ideas of how to improve the page again after the QA and Qual analysis? Keep pushing for more lift!
• Don't forget what you did! Get in the habit of creating and using a learning repository. This way you can see past tests, learn from them, train new staff and even go back and apply new insights to old ideas.

Conclusão

Então aí está. Our entire guide to using technical, quantitative, and qualitative data to create winning tests.

It doesn't matter if it's A/B, split URL, or multivariate testing. You can use this same methodology to learn more from every test you run, so go ahead. Run those tests, learn from those mistakes, analyze that data and then let us know how much lift you got!