Como ler e interpretar com precisão um relatório de experiências do Convert

Se você é um usuário do Convert, sabe que seus relatórios estão repletos de dados valiosos. Mas o que todos esses números e gráficos representam? E como você sabe quais conclusões você pode tirar deles e usa essas informações para melhorar seus testes?

É tão simples quanto usar uma calculadora de significância estatística para validar uma experiência?

Chamar um teste A/B é um sucesso se ele mostrar verde em um relatório de experimento o suficiente – ou devemos observar outros fatores também?

Embora as calculadoras de significância estatística sejam essenciais para testes precisos, elas não contam toda a história. Para aproveitar ao máximo seus relatórios do Convert, você precisa ter um conhecimento sólido das estatísticas de teste A/B.

E por que isto?

Porque o teste A/B é fundamentalmente um método de análise estatística. Você não pode ter um sem o outro.

Um teste ou experiência A/B é um exemplo de teste de hipótese estatística, no qual uma hipótese sobre a relação entre dois conjuntos de dados é desenvolvida e comparada para verificar se a significância estatística é encontrada.

Portanto, seja você um novato ou um usuário experiente, continue lendo para entender toda a gama de estatísticas de teste disponíveis em seus relatórios e obter melhores resultados em seus testes A/B!

Então, o que você pode fazer com um relatório de teste A/B? Vejamos dois exemplos práticos.

Exemplo 1

Uma empresa de comércio eletrônico está planejando otimizar as páginas de produtos para melhorar as taxas de conversão.

Nesta situação específica,

a taxa de conversão da página do produto = o número de pedidos / o número de visitantes da página do produto

A equipe de marketing está avaliando três novos designs de página de produto. Eles querem escolher o mais eficaz entre quatro possibilidades: um design existente e três novos. Como eles podem usar o relatório Convert Experiences e seus métodos estatísticos para identificar o melhor desempenho, já que a taxa de conversão é um fator?

Exemplo 2

Ao alterar sua página de preços, um site SaaS espera aumentar sua base de membros.

Para eles,

a taxa de conversão da página de preços = o número de assinaturas / o número de visitantes da página de preços

O marketing está avaliando três designs diferentes para ver se algum deles pode atrair mais assinantes do que o atual.

Usando o relatório Convert Experiences e seus métodos estatísticos, como eles podem fazer essa comparação usando a taxa de conversão como critério de seleção?

Este artigo explicará o que o relatório Experiências de conversão contém, como você pode usá-lo para melhorar seu site e como interpretar a análise detalhada das experiências de seus visitantes para que você possa agir.

Continue lendo para obter um guia fácil de seguir para ajudá-lo a entender as estatísticas por trás dos relatórios de teste Convert A/B.

Um mapa detalhado de cada seção de um relatório de experiência do Convert

Como usuário do Convert, você tem acesso a informações detalhadas sobre o desempenho do seu site por meio de relatórios. Vamos dar uma olhada abrangente em todos os elementos de um relatório do Convert para que você possa entender exatamente quais informações estão sendo apresentadas e qual a melhor forma de usá-las para melhorar o desempenho do seu site.

Você pode acessar os relatórios selecionando a experiência que deseja visualizar e clicando na guia Relatório.

Nesta seção, você verá quatro seções diferentes:

• Menu de cima
• Resumo
• Variações
• Metas

➢ Menu Superior

O menu superior fornece acesso rápido às seguintes informações:

• Data de início : a data em que a experiência começou
• Dias em execução : período de tempo que a experiência dura
• Intervalo do relatório : um filtro de data permite filtrar dados por um período de tempo específico
• Segmento : filtre o relatório por segmentos de visitantes
• Todos os usuários testados : o número de usuários que participaram do teste
• Total de conversões : número total de conversões de meta. Convert rastreia apenas conversões de meta única por visitante único. Confira esta página para várias conversões de meta.
• Objetivos : o número de objetivos que uma determinada experiência tem

Filtrar por um período específico

Os dados podem ser filtrados para um intervalo de datas específico usando o intervalo do relatório. Os intervalos de datas personalizados podem ser especificados usando as opções existentes ou o controle de calendário.

Filtrar para um segmento específico

Você pode filtrar o relatório por segmentos de visitantes selecionando-os na caixa suspensa "Todos os usuários". Você pode usar isso para responder a perguntas como

• Como o tráfego de diferentes origens se comportou na experiência?
• Qual foi a variação vencedora em mobile versus desktop?
• Qual variação atraiu mais usuários novos?

Você deve segmentar públicos/segmentos importantes para sua organização e que provavelmente exibirão uma variedade de comportamentos do usuário e sinais de intenção.

Examine as pontuações de melhoria e confiança para cada público para ver o desempenho de cada variação. Dependendo dos resultados de sua análise, você pode decidir se deseja lançar a variação vencedora para todo o seu tráfego ou ajustar sua alocação.

Um relatório de experiência do Convert inclui os seguintes segmentos:

• navegador usado,
• dispositivo usado,
• visitantes novos vs antigos,
• país do usuário,
• fonte de tráfego,
• continente, e
• 10 segmentos personalizados.

Você também pode usar o menu de três pontos e aplicar algumas ações adicionais:

Compartilhar relatório

Clicar em Compartilhar relatório abrirá um pop-up com as seguintes opções para baixar os dados da experiência:

Ver código

Ver código é a segunda opção, que dá acesso ao seu código de acompanhamento do Convert:

Configurações de estatísticas

A terceira opção, Stats Settings, permite configurar o seguinte:

• Nível de confiança (significância estatística) - descrito aqui
• Outliers de transação — descritos aqui
• Automações — descritas aqui
• O botão Redefinir estatísticas para redefinir os dados de experiência

Pausar experiência

Uma quarta opção permite pausar a experiência.

➢ Resumo

Na seção Resumo do seu relatório de experiência do Convert, você encontrará um resumo das condições da Área do Site e do Público que se aplicam à sua experiência. Ele também oferece algumas recomendações inteligentes:

Ativar recomendações inteligentes

Vá para a configuração do projeto, mais configurações, para habilitar as recomendações inteligentes:

Ver recomendações inteligentes

Você pode visualizar essas recomendações inteligentes em dois lugares.

1. No resumo do relatório:

As seguintes mensagens podem aparecer com base em seus resultados:

• Significativo e aumento negativo : estamos observando que a variante ${variant_name} é a de melhor desempenho com um aumento negativo de ${lift}%. A experiência para a meta ${primary_goal_name} é significativa. Sugerimos extrair aprendizados e projetar uma nova hipótese.
• Elevação significativa e positiva : Parabéns! Para ${primary_goal_name}, ${variant_name} está ganhando com uma melhoria de ${lift}%. O experimento é significativo.”
• Aumento insignificante e positivo : são necessários mais visitantes para chegar a uma conclusão válida para ${primary_goal_name}. Vemos apenas que ${variant_name} tem o melhor desempenho com um aumento de ${lift}%, mas precisa de mais visitantes antes que uma conclusão definitiva possa ser dada.
• Aumento insignificante e negativo : são necessários mais visitantes para chegar a uma conclusão válida para ${primary_goal_name}. Por favor, mantenha o teste em execução antes que uma conclusão possa ser tirada.

2. Na caixa expandida Metas:

A seguir estão algumas mensagens possíveis que você pode ver com base em seus resultados:

• Parabéns {variation.name} é um vencedor, temos certeza com 00% de confiança estatística.
• Infelizmente, {variation.name} teve um desempenho pior do que {baselineText}, temos certeza com 00% de confiança estatística.
• {variation.name} parece ter um desempenho melhor do que {baselineText}, mas ainda não podemos ter certeza
• É muito cedo para julgar {variation.name}

Captura de tela da linha de base

Se você passar o mouse sobre a captura de tela da linha de base, verá algumas opções adicionais:

• Ver instantâneo em tamanho real
• Variação de visualização
• Retomar instantâneo de variação

Links de visualização ao vivo e variação de força

A variação de visualização abrirá um pop-up onde você poderá obter os URLs de visualização ao vivo e forçar variação.

➢ Variações

Uma seção chamada Variações fornece detalhes sobre suas variações de experiência. Cada coluna após a coluna Status representa suas metas de experiência:

Você pode ativar/desativar colunas ou reorganizá-las clicando no menu de três pontos:

Com o botão de status ativado, você poderá pausar variações:

Existem algumas opções extras disponíveis quando você clica no menu de três pontos em uma das linhas de variações:

• Abrir URL de variação forçada
• Parar variação
• Converter para uma nova implantação
• Converter para um original em um novo experimento
• Editar variação
• Visualização ao vivo

➢ Objetivos

Uma breve descrição de cada um dos objetivos da experiência pode ser encontrada nesta seção, bem como algumas estatísticas e gráficos interessantes que analisaremos na próxima seção. Antes de prosseguirmos, vamos explicar alguns termos com os quais você pode não estar familiarizado.

• Meta padrão : Se você vir o termo Meta padrão ao lado de uma de suas metas, isso significa que é uma das duas metas padrão que adicionamos a todas as experiências.
• Objetivo principal : Só pode haver um objetivo principal, que deve ser decidido por você. É o objetivo mais importante para a sua experiência. Isso será mostrado primeiro na lista de metas e o status da experiência será alterado com base nisso.
• SRM : Potencial incompatibilidade de proporção de amostra detectada em seu teste. Verifique a configuração da experiência ou entre em contato com [email protected] se perceber isso.
• Linha de base : esta é sua linha de base de experiência padrão.

Agora, vamos analisar cada um dos elementos deste relatório.

Nome da Variação

Este é o nome da sua variação. Há uma caixa de seleção ao lado que você pode ativar/desativar para mostrar e ocultar as estatísticas de variação.

Melhoria

Você pode ver aqui como o original e a variação de sua página da web se comportam em termos de taxas de conversão. A diferença percentual pode ser positiva ou negativa. Quando a confiança calculada é maior que a confiança definida nas configurações de estatísticas, a cor muda assim:

• Vermelho para -
• Verde para +
• cinza para outros

Visitantes

Este é o número total de visitantes com buckets para a experiência. Visitantes únicos estão listados aqui.

Conversões

Isso representa o número total de conversões para cada meta/variação. Qualquer ação desejada que você deseja que o usuário execute é chamada de conversão. Dependendo do seu site, isso pode incluir tudo, desde clicar em um botão até fazer uma compra.

Taxa de conversão

Esta coluna mostra a porcentagem de visitantes que se transformaram em conversões.

Nível de confiança (significância estatística)

Ao interpretar seus resultados A/B, a significância estatística é o conceito mais importante.

Essa coluna indica a diferença entre o intervalo de confiança da taxa de conversão da variação do experimento e o original. Se a confiança não estiver mostrando nenhum número, é porque (por padrão) há um mínimo de 5 conversões de meta necessárias para cada variação para calculá-la. Ele também deve atender ao número mínimo de visitantes definido para cada variação. Se você alterou as conversões mínimas, o mínimo selecionado teria que ser atingido.

Esta coluna contém pontos cinza/verde que indicam:

• 1 ponto verde para 75%-85% de confiança
• 2 pontos verdes para 85%-95% de confiança
• 3 pontos verdes para 95%-96% de confiança
• 4 pontos verdes para 96%-97% de confiança
• 5 pontos verdes para 97% e acima

Box Plot (Intervalo de Confiança)

O gráfico de caixa ou intervalo de confiança indica um intervalo de valores em que a taxa de conversão real cai.

É uma boa ideia mostrar a diferença observada no valor da taxa de conversão para as páginas original e de variação ao discutir os resultados e o intervalo dentro do qual as taxas de conversão podem realmente cair. O intervalo de diferença é um intervalo possível de valores que são plotados em uma escala de linha numérica.

O maior intervalo possível de taxa de conversão é marcado pelo limite superior na escala numérica, e o menor intervalo possível de taxa de conversão é marcado pelo limite inferior na escala numérica.

Na escala, você pode ver as seguintes cores:

• Área cinza: indica que o experimento ainda é inconclusivo ou que mais pessoas são necessárias para declarar um resultado válido.
• Uma variação vencedora é indicada pela cor verde .
• Uma variação perdedora é indicada pela cor vermelha .

No gráfico de caixa, fique atento à sobreposição entre as taxas de conversão Original e Variação.

Suponha que as taxas de conversão do Original tenham um intervalo de confiança de 10-20% e que as taxas de conversão da Variação 1 tenham um intervalo de confiança de 15-25%. Vale a pena notar que a sobreposição entre os dois intervalos de confiança é de 5% e está entre 15-20%. Nesse contexto, é impossível dizer se a variação em B é realmente uma grande melhoria. É por isso que, se houver uma sobreposição dos gráficos de caixa, o Convert não declarará um vencedor.

Status

Isso mostra um relatório de status sobre a variação.

Gráficos

A partir daqui, você pode acessar três tipos diferentes de gráficos.

Abaixo segue a explicação de cada um:

Conversões

• Taxa de conversão ao longo do tempo : o eixo Y mostra a taxa de conversão, o eixo X mostra o tempo. Cada linha representa uma variação (taxa de conversão cumulativa) + uma para a taxa de conversão de todo o experimento (média de todas as variações) + um segundo eixo Y à direita que representa o número cumulativo de visitantes em todo o experimento
• Conversões ao longo do tempo : o eixo Y mostra as conversões, o eixo X mostra o tempo. Cada linha representa uma variação (conversões) + uma para conversões de todo o experimento (conversões médias de todas as variações) + um segundo eixo Y à direita que representa o número cumulativo de conversões dentro de todo o experimento.
• Taxa de conversão diária ao longo do tempo : taxa de conversão não cumulativa – semelhante ao gráfico Taxa de conversão ao longo do tempo, exceto que o eixo Y não mostra visitantes cumulativos e o não cumulativo é usado para a API.
• Melhoria ao longo do tempo : melhoria na taxa de conversão por dia no eixo X e linhas de cada variação (mas não original).
• Visitantes diários ao longo do tempo

Produtos

• Produtos por visitante : média cumulativa de produtos pedidos por visitante – o eixo Y mostra a média de produtos pedidos por visitante, o eixo X mostra o tempo. Cada linha representa uma variação (média cumulativa de produtos encomendados por visitante) + uma para a média de produtos encomendados por visitante de todo o experimento (média de todas as variações) + um segundo eixo Y à direita que representa o número cumulativo de visitantes em todo o experimento .
• Produtos diários por visitante : média não cumulativa de produtos pedidos por visitante
• Melhoria ao longo do tempo : melhoria nos produtos por dia no eixo X e linhas de cada variação (mas não original)
• Visitantes diários ao longo do tempo

receita

• Receita ao longo do tempo : receita média acumulada por visitante – o eixo Y mostra a receita média por visitante, o eixo X mostra o tempo. Cada linha representa uma variação (receita média por visitante) + uma para a receita média por visitante de todo o experimento (média de todas as variações) + um segundo eixo Y à direita que representa o número cumulativo de visitantes em todo o experimento
• Receita diária por visitante : receita média não cumulativa por visitante
• Melhoria ao longo do tempo : melhoria na receita por dia no eixo X e linhas de cada variação (mas não original)
• Visitantes ao longo do tempo

Passe o mouse sobre o gráfico

Passar o mouse sobre o gráfico revelará a taxa de conversão de cada variação naquele dia e a taxa de conversão da variação em comparação com o original:

Exibir desvio padrão

Você também pode marcar a caixa para exibir o desvio padrão (também chamado de erro padrão):

Usos de conversão de fórmulas estatísticas

Observação: os termos estatísticos são abordados em outro blog , portanto, não os repetiremos aqui. Nosso objetivo aqui é mencionar as fórmulas matemáticas que o Convert usa.

O Convert usa um teste Z bicaudal frequentista em um nível de confiança de 0,05 (95%). Ou seja, 0,025 para cada cauda sendo uma distribuição simétrica normal com a opção de alterá-la entre 80%-99%.

Em breve, adicionaremos estatísticas bayesianas aos relatórios do Convert. Fique ligado para mais informações.

Um teste bicaudal deve ser usado quando queremos encontrar uma diferença estatisticamente significativa em qualquer direção (subida ou descida). O objetivo aqui é determinar se a variação levou a um aumento ou diminuição estatisticamente significativo nas conversões.

Taxa de conversão

Esta fórmula é usada para calcular a taxa de conversão para cada variação:

(Número total de conversões de meta/Número de visitantes únicos) * 100

Alteração da taxa de conversão para variações

A variação percentual da taxa de conversão entre a variação da experiência e a original é calculada assim:

Intervalos de Confiança

Um método estatístico para calcular um intervalo de confiança em torno da taxa de conversão é usado para cada variação.

O erro padrão (para 1 desvio padrão) é calculado usando o método de Wald para uma distribuição binomial. Assim, para uma determinada taxa de conversão ( p ) e tamanho da amostra (número de visitantes únicos), o erro padrão é calculado como

O erro padrão é calculado usando esta fórmula, que assume que a distribuição binomial pode ser aproximada com uma distribuição normal (devido ao teorema do limite central ). A distribuição da amostra pode ser aproximada com uma distribuição normal quando houver mais de 10 conversões na meta específica.

Para determinar o intervalo de confiança para a taxa de conversão, multiplique o erro padrão pelo percentil 95 de uma distribuição normal padrão (um valor constante igual a 1,65).

Em outras palavras, você pode ter certeza com 90% de confiança de que sua verdadeira taxa de conversão p está dentro desse intervalo:

Pontuação Z

Usando um Z-Score, podemos determinar se os resultados são significativos (se as taxas de conversão não diferem devido à variação aleatória):

A pontuação Z é o número de desvios padrão entre os valores médios originais e de variação. Usando uma distribuição normal padrão, a significância de 95% é determinada quando a contagem de eventos de visualização é maior que 1.000 e um dos seguintes critérios é atendido:

• Probabilidade (ZScore) > 95%
• Probabilidade (ZScore) < 5%

Melhoria

A chance de ser diferente (exibida no relatório) é derivada do valor Probability (Z-Score) onde:

• Se
  
  Probabilidade (ZScore) <= 0,5
  
  então
  Melhoria = 1- Probabilidade (ZScore)
  

• Se
  
  Probabilidade (ZScore) > 0,5
  
  então
  Melhoria = Probabilidade (ZScore)

O que procurar ao interpretar relatórios de experiência

Agora que você está familiarizado com todas as seções do relatório de experiência Converter e suas fórmulas estatísticas, vamos tentar interpretar alguns relatórios de experiência diferentes e ver o que você pode obter deles.

Os dados de experiência são significativos?

Antes de avaliar os resultados e fazer julgamentos sobre o que fazer em seguida, certifique-se de que os dados da experiência sejam significativos. Usando o “Nível de confiança” no relatório de experiência do Convert, você pode determinar se as descobertas são devidas ao acaso ou um reflexo verdadeiro do comportamento de seus usuários.

Um nível de significância de 95% significa que você tem 95% de certeza de que as conclusões observadas não são resultado do acaso. Também implica que há 5% de chance de você estar errado.

Alternativamente, você pode pensar no nível de confiança como a probabilidade de obter resultados diferentes se repetir o experimento.

Se você obtiver uma classificação de confiança de 90%, há uma possibilidade de 1 em 10 de obter respostas diferentes se repetir o teste. Com 95% de confiança, há uma chance de 1 em 20, enquanto com 99% de confiança, há uma chance de 1 em 100.

Variação Vencedora: Impacto Positivo

Aqui está um exemplo de uma variação significativa que superou a original e resultou em uma melhoria positiva.

Para a meta “Personalizar Assinatura – Visualização de página da Etapa 1”, a Variação 1 tem 98,7% de chance de vencer a Variação 0 (Original) nesta experiência. O gráfico de caixa mostra que selecionar a Variação 1 pode resultar em uma melhoria em relação ao Original de 13,73% +- 0,6%

Nesta experiência, é seguro dizer que a melhoria é de +7,20%, mas há uma chance igual de que a taxa de conversão esteja entre 13,73% +- 0,6%. Independentemente da situação, a Variação 1 melhoraria em relação à Original, então esta é uma forte indicação para implementá-la!

Por quê?

Se a mesma experiência fosse repetida 10.000 vezes em condições idênticas, a Variação 1 ainda ganharia 9.870 vezes em 10.000.

Variação Perdedora: Impacto Negativo

Vamos examinar mais de perto os resultados de uma experiência significativa na qual a Variação 1 não resulta em uma melhoria positiva, mas tem uma influência negativa na Taxa de Conversão da Variação 0 (Original).

Nesta experiência, há uma chance de 98,87% de que a Variação 1 perderá na Taxa de Conversão sobre a Variação 0. Um impacto negativo na Taxa de Conversão do Original entre 4,5% +- 1% pode ser esperado com a Variação 1.

Resultados inconclusivos: impacto neutro

Agora vamos olhar para uma experiência que não é significativa. Na experiência abaixo, nenhuma das variações tem uma chance suficientemente alta de ganhar ou uma probabilidade maior que 95%.

A probabilidade da Variação 1 vencer a Variação 0 é de apenas 84,58% nesta experiência.

Qual é o próximo passo que você pode dar?

Existem várias opções para escolher, todas dependendo da hipótese e do objetivo final da experiência. Seja qual for o caso, há sempre algumas opções na mesa:

• Amplie seu público. Se o seu segmento de visitantes for muito limitado, tente focar em um segmento com um público maior.
• Remova algumas variações. Se você desenvolveu quatro variações, por exemplo, tente executar a mesma experiência com duas ou três variações.
• Deixe-o funcionando por mais tempo.
• Siga seu instinto e escolha o que é mais consistente com sua marca. Se os resultados forem semelhantes em duas variações e seus colegas concordarem que uma está mais alinhada aos requisitos da sua marca do que a outra, você pode optar por escolher uma como vencedora.
• Reinicie a experiência. Executar o mesmo teste duas vezes para validar ou invalidar os resultados iniciais é uma prática inteligente. Como é improvável que as circunstâncias sejam as mesmas (período de tempo diferente, flutuações de tráfego, etc.), os resultados podem ser diferentes!
• Permita que seja. É possível que seu original já esteja otimizado.

Existe uma distribuição uniforme de tráfego?

Ao configurar uma experiência A/B, você atribui uma porcentagem do tráfego a cada variação (por padrão, 50/50).

A contagem de visitantes deve representar a divisão de tráfego prevista.

No caso de uma diferença significativa, há quase certamente uma incompatibilidade de razão amostral (SRM)

Em uma divisão de 50/50, se você receber 400 visitantes de um lado e 600 do outro, os resultados não serão confiáveis. Quando isso acontecer, é hora de analisar a configuração da sua experiência A/B. Os resultados podem ser distorcidos por discrepâncias como endereços IP internos ou bots externos.

Lembre-se, os dados são tão bons quanto a análise que você faz com eles. Aproveite todas as ferramentas que você tem à sua disposição, incluindo relatórios detalhados do Convert Experiences, para obter insights precisos e acionáveis.

Se você ainda não tem uma conta, inscreva-se para uma avaliação gratuita e experimente por 15 dias. Você terá acesso a todos os recursos interessantes que discutimos neste post, além de muitos outros. E se você tiver alguma dúvida ou precisar de ajuda para começar, nossa equipe está aqui para ajudar.