Certifique-se de que seus testes A/B são infalíveis com garantia de qualidade: o guia completo para fazer o controle de qualidade de seus testes A/B
Publicados: 2022-04-05
Testes A/B que não funcionam corretamente não convertem.
Um teste A/B pode consumir uma quantidade significativa de tempo, dinheiro e recursos para otimizadores. E, claro, ninguém quer que seu trabalho duro seja desperdiçado. É por isso que você precisa realizar a garantia de qualidade (QA) em sites, páginas de destino, personalizações, testes A/B, campanhas de e-mail e assim por diante, para garantir que tudo funcione como deveria .
E a melhor maneira de criar testes A/B simples, fáceis de usar, intuitivos, sem erros e eficientes é adotar um processo de controle de qualidade adequado . Dessa forma, os visitantes recebem um produto final valioso, confiável e altamente interativo.
O controle de qualidade é a chave para a prevenção de desastres. Sua capacidade de descobrir defeitos e vulnerabilidades antes que se tornem críticos ajuda os otimizadores a evitar altos custos à medida que os testes progridem.
Embora seja do conhecimento geral que a garantia de qualidade é importante, muitos otimizadores não dedicam tempo para fazer o controle de qualidade de seus testes adequadamente. Como resultado, esses testes geralmente falham. Haveria menos sites que “não funcionassem” se funcionassem.
- O que é Garantia de Qualidade?
- O que é Qualidade?
- O que é garantia?
- Garantia de qualidade em testes A/B
- Teste de usuário versus garantia de qualidade
- Por que o controle de qualidade é importante nos testes A/B?
- Otimizadores e desenvolvedores estão muito próximos dos testes A/B
- Emuladores não são o negócio real
- Interações
- Pontos de interrupção e alteração do modo de exibição do dispositivo
- Testes de uma perspectiva humana
- O que acontece se você não fizer testes A/B de controle de qualidade?
- Atrasos no lançamento de testes A/B
- Erros nos resultados do relatório
- Compatibilidade Insatisfatória
- Frustração do cliente e perda de reputação
- Falta de confiança na ferramenta de teste A/B
- Negócios sofrem com vendas perdidas
- 4 Práticas recomendadas para testes A/B de controle de qualidade
- 1. Desenvolva uma estratégia de controle de qualidade
- 2. Identifique o que fazer o controle de qualidade em um teste A/B
- Elementos na página
- Integrações com ferramentas de terceiros
- Piscando ou piscando
- Entre navegadores e dispositivos diferentes
- 3. Concentre-se na experiência da página
- 4. Alinhe o controle de qualidade com suas metas de conversão
- Por que o controle de qualidade não é feito corretamente
- Restrições de tempo
- Códigos de rastreamento implementados incorretamente
- Sem Hipóteses Claras
- Tamanho de amostra inadequado
- Como a Convert supera os desafios típicos de controle de qualidade
- O depurador de conversão do Google Chrome
- URLs de variação de visualização
- Forçar URLs de variação
- Como usar parâmetros de consulta em públicos-alvo de controle de qualidade
- Registros ao vivo
- Olhe para frente, sempre!
O que é Garantia de Qualidade?
Vamos tirar algumas definições rápidas do caminho primeiro.
O que é Qualidade?
Qualidade se traduz em “adequado para uso ou propósito”. No contexto da funcionalidade, design, confiabilidade, durabilidade e preço do teste A/B, trata-se de atender aos desejos e expectativas dos clientes .
O que é garantia?
A garantia é simplesmente uma declaração positiva sobre um teste A/B que inspira confiança. É a certeza de que um teste A/B funcionará corretamente e de acordo com as expectativas ou requisitos.
Garantia de qualidade em testes A/B
Simplificando, a garantia de qualidade é uma técnica para verificar a qualidade de um teste A/B . Ele reúne otimizadores e desenvolvedores para garantir que tudo pareça e funcione corretamente em todos os dispositivos e navegadores relevantes.
Em outras palavras, um site (ou página de destino, variação, campanha de e-mail e assim por diante) precisa ser de alta qualidade para evitar expor os visitantes a atritos e outros pontos problemáticos.
Teste de usuário versus garantia de qualidade
O teste do usuário analisa como um usuário realmente experimenta um site, enquanto a garantia de qualidade se concentra mais no design real do site.
Teste do usuário:
- Examina como pessoas reais usam um site e como isso difere do que os desenvolvedores pretendiam
- Identifique possíveis mal-entendidos de visitantes e pontos de atrito em um ambiente de uso do mundo real.
Garantia da Qualidade:
- Erros de superfície e elementos quebrados no site
- Melhora o desempenho do site
Então, eles são diferentes, com QA sendo um termo muito mais amplo.

Por que o controle de qualidade é importante nos testes A/B?
Claro, alguns bugs aqui e ali são irritantes .
Mas, no final do dia, eles afetam o resultado final? Vale a pena investir mais recursos no controle de qualidade? Que diferença faz se as coisas não são perfeitas?
Embora tenhamos superado obstáculos consideráveis na garantia de qualidade, muitas organizações continuam a subestimá-la.
Vamos descobrir os maiores riscos que afetam o controle de qualidade e por que ele desempenha um papel tão importante nos testes A/B.
Otimizadores e desenvolvedores estão muito próximos dos testes A/B
Otimizadores e desenvolvedores geralmente trabalham juntos para configurar testes A/B. Eles estão tão próximos que é fácil ignorar aspectos menores, mas cruciais, quando estão encarregados da garantia de qualidade.
No entanto, os testadores de controle de qualidade garantem que a atenção seja dada à qualidade. Eles executam funções não óbvias que impulsionam um aplicativo de “maneiras inesperadas”, muitas vezes nunca intencionadas. Os testadores de controle de qualidade se recusam a aceitar que “os bugs foram corrigidos” a menos que tenham provas. Eles não têm medo de tentar coisas novas e falhar. Se eles não encontrarem um bug na primeira vez, eles serão mais criativos com os testes e os alinharão aos padrões esperados.
Um segundo par de olhos no teste A/B e seu design podem descobrir falhas inesperadas.
Emuladores não são o negócio real
Os usuários finais não usam um emulador; em vez disso, um dispositivo real com um navegador. É totalmente possível perder problemas específicos do navegador se você não investigá-los em dispositivos ou navegadores reais.
Vimos muitos casos de suporte em que os usuários estão bastante confiantes de que seu experimento A/B está funcionando bem no BrowserStack (simulando a aparência de um teste A/B em diferentes navegadores). Mas ao lançar o teste para visitantes reais, eles entram em contato com nossos agentes de suporte para relatar o mau funcionamento do teste A/B.
Caso de suporte real:
Tendo um problema com uma conversão no meu projeto.
Click_Cart_Checkout_1 parece não disparar no iPhone XR/Safari. Verifiquei o console de ferramentas de desenvolvimento em ambos (chrome://inspect e vinculando um iPhone a um macbook) e posso ver o código em execução para essa conversão, mas não está rastreando nos relatórios.
A conversão é rastreada ao usar o XR para emular um iPhone em ferramentas de desenvolvimento, mas não em testes do mundo real.
Testamos em dois iPhones separados. Nosso testador de controle de qualidade e o meu.
Talvez você não consiga testar se sua configuração de métricas está correta, a menos que você execute o controle de qualidade manual nos navegadores. Depois de algumas semanas, você pode até verificar seus resultados e descobrir que sua ação principal não está sendo acionada corretamente ou em alguns navegadores!
Portanto, certifique-se de fazer o controle de qualidade de seus testes em diferentes ambientes, não apenas em emuladores.
Interações
Você também pode perder bugs vinculados a interações de página ou variação se não examinar as variações manualmente . Isso pode levar a problemas simples, como dificuldade em abrir um acordeão, pressionar um botão ou algo significativo que afete todo o funil.
Caso de suporte real:
Na página de variação, temos problemas com o botão CheckOut e, às vezes, problemas com o botão PayPal, embora na página original tudo funcione bem.
Quando clico no botão de checkout, ele me redireciona aqui: cart.php/checkout.php mas deve ser /checkout.php
Também temos problemas com o Logo; às vezes está aparecendo, às vezes não.
O teste A/B não é apenas adicionar novos elementos às variações de página e como esses elementos interagem entre si e como eles aprimoram a funcionalidade geral do site.
Pontos de interrupção e alteração do modo de exibição do dispositivo
Se você usa emuladores, pode ignorar problemas ao alterar o modo do dispositivo de retrato para paisagem ou vice-versa. Você pode verificar rapidamente se a variação é exibida corretamente em ambos os modos e se o usuário está alternando entre os dois pela qualidade, garantindo as variações em dispositivos móveis ou tablets reais.
Caso de suporte real:
Estávamos executando um teste multivariado em nosso projeto e o cliente notou que as imagens estavam sendo exibidas incorretamente no modo paisagem móvel. Posso obter sua ajuda para descobrir o porquê?
Testes de uma perspectiva humana
Apenas o controle de qualidade manual realizado por um humano pode dizer quando algo parece “estranho”. Os métodos de teste automatizados não detectam essas falhas visuais. Um engenheiro de controle de qualidade pode encontrar problemas de usabilidade e falhas na interface do usuário (IU) interagindo com um site como se fosse um usuário. Os scripts de teste automatizados não podem testá-los.
O que acontece se você não fizer testes A/B de controle de qualidade?
Agora que está claro que o controle de qualidade pode significar a diferença entre o sucesso ou o fracasso do negócio, vamos ver o que acontece se você ignorá-lo (dica: não é bonito) .
Atrasos no lançamento de testes A/B
Para garantir o sucesso de um teste A/B, é crucial reservar tempo suficiente para a garantia de qualidade com antecedência. Isso inclui garantir que todos os elementos da Web ou do aplicativo funcionem corretamente e atendam às necessidades da empresa e do cliente. O controle de qualidade ajuda a identificar e corrigir problemas antes de iniciar o teste para evitar atrasos no lançamento.
Erros nos resultados do relatório
Sem controle de qualidade, surgem erros de variação e podem causar erros estatísticos nos resultados do relatório.
Um resultado falso-positivo (também conhecido como erro Tipo I ) ocorre quando os resultados do teste mostram uma diferença significativa entre o original e a variação quando não há. Outro erro é um falso negativo (também conhecido como erro Tipo II ) quando os resultados não mostram diferença significativa entre a variação e o original, mas existe uma.
Sem o controle de qualidade adequado, talvez você não consiga determinar os resultados do teste A/B com precisão. Isso pode levar a conclusões incorretas sobre o desempenho da sua empresa e possíveis otimizações. Que outras estatísticas a falta de controle de qualidade afeta?
Compatibilidade Insatisfatória
Seus visitantes acessam seus serviços de vários locais e navegadores.
Compatibilidade com dispositivos e idiomas que você deve pensar e testar, se possível. É sua responsabilidade garantir que seu aplicativo funcione em diferentes navegadores, especialmente em todas as versões.
Frustração do cliente e perda de reputação
Você sabia que os consumidores insatisfeitos são mais propensos a deixar uma avaliação pública do que os clientes satisfeitos?
Reclamações online e offline, assim como abandono de produtos, são más notícias para o seu negócio. Por causa da informação negativa, outros potenciais compradores hesitam em comprar o produto. Alguns clientes insatisfeitos (e francos) podem significar menor confiança em sua marca. Se os consumidores postarem uma avaliação negativa on-line, sua insatisfação pode afetar compras futuras.
Falta de confiança na ferramenta de teste A/B
A única razão pela qual as marcas investem em uma solução de teste A/B é para tomar decisões informadas e fornecer a seus visitantes a melhor experiência online possível. Você não pode contar com seus esforços de otimização para se traduzir em benefícios significativos se não puder confiar em sua solução de teste A/B.
Ao garantir que todos os testes A/B tenham qualidade garantida, você saberá que os dados são coletados adequadamente e que seus esforços de otimização oferecem benefícios reais aos visitantes .
Os problemas técnicos nos testes A/B são críticos porque representam riscos significativos para as marcas, incluindo perda de dados, relatórios distorcidos e tomadas de decisão tendenciosas. Eles também têm sérias consequências financeiras. As marcas precisam confiar totalmente em sua solução, pois é uma ferramenta de decisão que afeta diretamente o aumento das taxas de conversão, vendas e receita.
Negócios sofrem com vendas perdidas
Você só tem uma chance de causar uma primeira impressão. É verdade em muitos aspectos, e se você não dedicar tempo ao controle de qualidade, pode estar deixando dinheiro na mesa.
Coisas aparentemente pequenas, como impedir o andamento do checkout ou não exibir CTAs, podem fazer com que seus clientes abandonem sua loja. Você precisa testar tudo isso para enriquecer a experiência do cliente .
A chave para o sucesso e a felicidade do cliente é entregar um produto de alta qualidade. Clientes satisfeitos retornam e podem até indicar outros.
4 Práticas recomendadas para testes A/B de controle de qualidade
Se você leu até aqui, significa que entende o valor da garantia de qualidade e quer aprender mais sobre ela. Mas quais partes de um teste A/B você pode fazer o controle de qualidade? E quais são as melhores práticas a seguir?
Aqui estão algumas maneiras de você começar.
1. Desenvolva uma estratégia de controle de qualidade
Antes de fazer o controle de qualidade de seus testes A/B, crie uma estratégia ou estabeleça um processo estruturado. Deve ter um objetivo claro e padrões de qualidade específicos para medir o QA.
Além disso, discuta os pontos problemáticos com suas equipes de desenvolvimento e otimização. Traga todos os envolvidos na mesma página, considerando diferentes perspectivas e definindo metas e padrões compartilhados.
Sua estratégia de controle de qualidade também deve estar alinhada com suas metas de conversão . Se o tempo e os recursos que você gasta na garantia de qualidade não estão contribuindo para as conversões, talvez seja necessário repensar todo o processo.
Uma lista pequena que quer exatamente o que você está oferecendo é melhor do que uma lista maior que não está comprometida.
S. Ramsay Leimenstoll, Consultor de Investimentos e Planejador Financeiro da Bell Investment
O que você normalmente precisa para construir uma estratégia útil?
- Estabelecendo as bases e atribuindo papéis
- Saber exatamente o que fazer o controle de qualidade
- Previsão de problemas que podem surgir e maneiras de corrigi-los
- Variações de listagem
- Identificando a quem o controle de qualidade se destina (grupo de usuários-alvo)
- Definir padrões para controle de qualidade
2. Identifique o que fazer o controle de qualidade em um teste A/B
Garantir a qualidade de um teste A/B pode ser bastante tedioso e complexo se você não souber o que e como se preparar para um QA. Aqui estão alguns dos aspectos mais críticos a serem considerados.
Elementos na página
Os elementos na página são a carne de um teste A/B. Como eles são voltados para o cliente e afetam diretamente a velocidade da página e a experiência do usuário, você precisa testá-los constantemente quanto à qualidade. Antes de começar, prepare uma lista de todos os elementos para controle de qualidade. Essa deve ser uma parte maior de sua estratégia de controle de qualidade para realizar auditorias bem-sucedidas, reduzir o tempo de resposta e identificar e corrigir pontos fracos e problemas gritantes do site.
Algumas áreas críticas nas quais você deve se concentrar:
- Velocidade e capacidade de resposta da página: estes são facilmente os mais essenciais e negligenciados em um controle de qualidade. Muitos fatores dinâmicos do site influenciam o desempenho e a capacidade de resposta da página. E embora você possa avaliar esses fatores para funcionalidades individuais, verificar se eles tornam seu site lento e como isso pode significar toda a diferença. Você precisa criar uma imagem maior e explorar todas as possibilidades de um design responsivo, mantendo em mente o desempenho do seu site e a experiência do cliente.
- Tipo de dispositivo: as resoluções de tela diferem de acordo com o dispositivo de onde uma página é acessada. Isso é extremamente importante ao testar para um público móvel em que as resoluções afetam fortemente o comportamento do usuário. Para permitir uma experiência de qualidade, você precisa identificar qual dispositivo seus consumidores usam. Rastreie padrões e controle de qualidade seus elementos de teste (para esses dispositivos) de acordo.
- Gráficos e visuais: Todos os elementos gráficos e visuais da página devem passar pelo controle de qualidade, afetando o desempenho da página e o tempo de carregamento. Idealmente, você precisa entender como usar imagens em seus testes A/B. Qualquer imagem que você usar deve ser sincronizada com a estrutura e o design do seu site e carregar corretamente em diferentes dispositivos.
- Basicamente tudo: os formulários na página estão funcionando bem? Alguma mudança neles afetou a qualidade do site? Como é o antigo versus o novo? Podemos discutir centenas de elementos para o controle de qualidade em um site, mas ainda perdemos o foco. É por isso que você deve conhecer cada pequeno detalhe que precisa de validação e teste. E como você faz isso? Verificando e assegurando constantemente os resultados que suas mudanças trazem.
Integrações com ferramentas de terceiros
Se você configurou uma integração do Google Analytics (ou qualquer outra interface de terceiros, como Google Analytics, Mixpanel ou Kissmetrics) para enviar dados específicos de variação entre plataformas, certifique-se de que os dados fluam de forma suave e precisa.

Piscando ou piscando
Remova quaisquer cintilações antes de fazer o teste ao vivo.
Usando um snippet de código assíncrono em seu site, você poderá ver o original antes que a variação seja carregada. Para proporcionar aos seus visitantes uma experiência tranquila no site, mude para um “site síncrono”. Para o curto tempo de carregamento, o original fica oculto e seu visitante vê apenas a variação
Saiba como o Convert resolveu o efeito de cintilação.
Entre navegadores e dispositivos diferentes
Um dos problemas mais comuns com o teste A/B é a “compatibilidade do navegador e do dispositivo”. Examine como a variação aparece nos navegadores mais populares, incluindo Chrome, Safari, Firefox, Edge e tipos de dispositivo, desktop, tablet e celular.
Só porque seu site é responsivo não significa que ele será exibido e funcionará corretamente em todos os dispositivos. Você ainda precisa fazer o controle de qualidade tendo em mente os problemas específicos de dispositivos móveis . Lembre-se que uma boa “experiência desktop” não é o mesmo que uma boa “experiência móvel”.
Você ainda deve realizar o controle de qualidade. Você também deve considerar questões específicas de dispositivos móveis. Lembre-se de que uma boa experiência de desktop não é o mesmo que uma boa experiência de celular.
Talia Wolf, consultora de otimização de conversão da GetUplift, resume muito bem os problemas entre dispositivos e oferece algumas soluções possíveis:

A opinião de Talia sobre a usabilidade do dispositivo esclarece mais do que apenas os aspectos usuais da experiência do dispositivo, concentrando-se essencialmente em áreas que permitem navegação fácil e manuseio simples. Você precisa ir além e considerar os recursos de dispositivos existentes e futuros para oferecer a qualidade certa.
3. Concentre-se na experiência da página
Para que você está fazendo todos os esforços se eles não melhorarem a experiência da página? A funcionalidade de uma página afeta significativamente a experiência da página e deve passar por um controle de qualidade imediatamente.
- Interação do usuário: comece analisando como um usuário interage com uma página. Liste diferentes pontos de contato de interação e categorize-os com base em sua tecnicidade. Certifique-se de verificar os mínimos detalhes. Tudo é clicável e redirecionável corretamente? Como é o foco de navegação? Existem falhas na página ou gatilhos de rejeição?
- Tempo de carregamento da página: antes de executar um teste A/B e logo após iniciá-lo, verifique o tempo de carregamento da página. Qualquer diferença no tempo de carregamento da página geralmente é insignificante, mas verifique novamente as alterações de variação se notar um aumento significativo. Isso pode ser devido a alterações feitas na variação que demoram muito para carregar ou à velocidade do snippet do código de acompanhamento.
Vale a pena notar que o tempo de carregamento é maior do que o normal ao realizar o controle de qualidade com uma ferramenta de teste – uma representação imprecisa do tempo real de carregamento da página.
Dica: o script de rastreamento do Convert adiciona cerca de 450 ms de tempo de carregamento adicional para chegar à primeira página dos sites em que está instalado. Ele captura cargas subsequentes no nível do navegador ou no nível de borda da CDN.
Além disso, visualizar o teste em diferentes variações garante que ele seja carregado corretamente e produza os resultados esperados.
4. Alinhe o controle de qualidade com suas metas de conversão
O teste A/B é o precursor das conversões. Se seus testes eventualmente não se alinharem com suas metas de conversão e teste A/B, você terá um longo prazo e corre o risco de esgotar os recursos existentes.
O melhor design não é aquele que apenas faz sua empresa parecer legal, ousada e sofisticada. É o design que oferece suporte à conversão, tem espaço para textos legais e frases de chamariz poderosas que fazem as pessoas clicarem no grande botão laranja.
Brian Massey, cientista de conversão da Conversion Sciences
Se as palavras de Brian servirem de base, todos os elementos discutidos anteriormente não devem apenas mover seus visitantes para baixo no funil de conversão, mas também levar a conversões . Você só pode testar e tentar novamente enquanto tiver tempo, pessoas e orçamento. Isso exige a otimização de todas essas áreas de uma forma que afete seus resultados e mantenha seus negócios funcionando.
Aqui está um caso de uso:
Se você executar seletores CSS em seu console, poderá ver se os elementos produzidos são o que você está procurando. Se algo se desviar, verifique se as expressões regulares não foram estreitas o suficiente. Para ter certeza, pegue um punhado de URLs de sites e execute-os com uma ferramenta como o RegEx Pal. Isso se aplica tanto à execução de seus testes quanto ao acompanhamento de conversões. Você pode verificar ainda mais se está executando seu teste em páginas que não foram projetadas para isso?
Isso tudo pode parecer muito, mas o processo deve ser semelhante ao teste extensivo que você faria ao lançar um novo site/aplicativo, o que pode levar dias e muito esforço.
Por que o controle de qualidade não é feito corretamente
Os seguintes fatores contribuem para que seus testes A/B não sejam adequadamente controlados.
Restrições de tempo
As equipes de desenvolvimento estão sob pressão constante para manter um alto ritmo de testes divididos para alcançar um crescimento mais rápido. No entanto, os testes A/B são mais propensos a serem implementados incorretamente sob essa carga.
Códigos de rastreamento implementados incorretamente
Este é um erro simples de fazer, mas é um que pode ter enormes consequências. Quando você implementa códigos de rastreamento incorretamente ou os esquece completamente – os dados de um teste A/B se tornam inúteis porque não haverá como saber qual variante foi melhor para converter visitantes em leads e clientes.
Sem Hipóteses Claras
Novas hipóteses são testadas em relação à sua página original em testes A/B – nada mais, nada menos . E eles precisam ser adequadamente delineados e definidos.
Por exemplo, você pode querer ver se incluir uma citação de um CEO aumenta ou diminui a taxa de conversão de uma página de destino. A hipótese nula afirma que a cotação integrada não tem impacto significativo na taxa de conversão. Você pode desenvolver uma hipótese direcionada: incluir a cotação resulta em uma taxa de conversão muito maior .
Sua hipótese está bem formulada? Obtenha grandes aumentos de conversão com o gerador de hipóteses da Convert.
Tamanho de amostra inadequado
Este pode ser o caso de pequenas lojas online e sites onde os testes não são úteis ou apropriados. Devido ao pequeno tamanho da amostra, os resultados são propensos a volatilidade e distorções severas.
Quanto “menor” a amostra, “maior” a probabilidade de imprecisão da estimativa.
Amostras excessivamente grandes também podem ser uma preocupação. Mesmo pequenas diferenças médias tornam-se significativas em grandes amostras ao usar dados em escala de intervalo, como medir o tempo de permanência. Calcular o tamanho do efeito e o tamanho ideal da amostra pode ajudá-lo a resolver esse desafio.
Dica: Use nossa calculadora de significância de teste A/B online para planejar seus testes.
Como a Convert supera os desafios típicos de controle de qualidade
Qualquer empresa que introduza experimentação em sua estratégia de marketing digital deve incorporar medidas de controle de qualidade em seus fluxos de trabalho operacionais , como certificar integrações e visualizar experiências antes de entrar em operação.
Na Convert, integramos as várias peças de um quebra-cabeça para criar uma estratégia personalizada da maneira mais simples possível . Ajudamos centenas de empresas a melhorar sua capacidade de criar, testar, revisar e lançar experiências com nossas diversas ferramentas e recursos.
Deixe-nos mostrar o que eles são e como eles podem ser uma solução completa para todos os seus problemas de controle de qualidade.
O depurador de conversão do Google Chrome
Nossa extensão do Google Chrome gera "Converter logs de script" para o console das Ferramentas do desenvolvedor do Chrome. Inclui experimentos e certas variações desencadeadas. Essa ferramenta permite que você determine a sequência de eventos de teste e fornece informações valiosas ao depurar um teste.
Lembre-se: use este depurador durante todo o processo de controle de qualidade para decidir se você está incluído no experimento e observar as variações.
Saiba mais sobre como instalar a extensão do depurador do Chrome para experiências de conversão.

É comum ficar com a variação original e assumir erroneamente que o experimento não está funcionando. Recomendamos ativar a extensão e realizar o controle de qualidade em sessões anônimas para corrigir esse problema . Todas as referências de variação e experiência na saída do depurador são feitas com os IDs correspondentes.
Saiba como determinar os IDs de experimentos e variações.
URLs de variação de visualização
Esses URLs oferecem suporte ao desenvolvimento ou elaboração de uma experiência com o Editor Visual . Durante a operação, o testador de controle de qualidade do experimento deve alternar entre esses URLs e a visualização do Editor Visual. A visualização pode não ser totalmente precisa, pois a janela de edição possui apenas um quadro. Além disso, o código que faz alterações no editor é executado repetidamente para uma melhor experiência do usuário .


Lembre-se de algumas coisas ao visualizar os URLs de variação:
- As condições da área do site e do público-alvo não são consideradas ao visualizar com o “URL de visualização ao vivo”.
- As alterações são feitas na URL da página onde os parâmetros são anexados. Isso é para facilitar o teste de diferentes visualizações.
Visualizar uma campanha e conduzir o processo de controle de qualidade são bem diferentes.
A visualização de uma campanha não substitui um processo de controle de qualidade real, pois o "modo de visualização" força a exibição das alterações para gerar uma visualização e não permite verificar o rastreamento ou a segmentação de cliques.
Forçar URLs de variação
Os URLs de variação de força oferecem uma perspectiva de teste inequívoca. Com eles, você testa seu experimento em um ambiente semelhante ao de um visitante.
Lembre-se: você deve usar esses URLs para o teste final de sua experiência.

As variações veiculadas com esse URL são veiculadas a partir do servidor CDN usado para veicular os experimentos.

Ao usar uma URL de variação de força, as condições de teste são avaliadas, portanto, verifique se elas correspondem. Além disso, lembre-se de que as configurações de meta geralmente incluem condições de URL. Esse pode ser o motivo pelo qual seus alvos não são acionados com um URL de variação de força.
Com dificuldades para formatar URLs de variação? Aqui estão algumas dicas úteis.
Como usar parâmetros de consulta em públicos-alvo de controle de qualidade
Você pode limitar os visitantes que veem sua experiência adicionando um público de controle de qualidade a ela.
Se você adicionar parâmetros de consulta de controle de qualidade ao URL do experimento, poderá agrupar ainda mais esse público.
https://www.domain.com/mypage.html?utm_medium=qa
Para criar um “Novo Público”, você pode usar uma condição como:
Médio: corresponde exatamente ao qa

O público de controle de qualidade permite que você "ative" e verifique um teste sem agrupar visitantes nele.
- Primeiro, atribua um grupo-alvo à sua experiência.
- Abra uma nova janela anônima em seu navegador para testar.
- Não abra uma segunda guia e certifique-se de que nenhuma outra janela anônima esteja aberta.
- Feche a janela quando terminar o teste atual e abra uma nova janela para cada novo teste.
Antes de visitar o site, adicione o seguinte ao final do seu URL:
?utm_medium=qa (substitua qa pelo valor que você escolheu quando criou o Público).
Você visita principalmente o URL que corresponde às condições da “Área do site”. Dependendo da estrutura da sua experiência, em alguns casos, você pode visitar primeiro uma página diferente e depois navegar até a Área do site que aciona a execução da experiência. Em ambos os casos, certifique-se de adicionar o parâmetro de consulta ao primeiro URL que você visitar . Este parâmetro é salvo mesmo se você navegar para outras páginas.
Por exemplo, se o URL for “http://www.mysite.com”, você deve visitar:
http://www.meusite.com?utm_medium=qa
Se você seguir as instruções acima, poderá ver todas as variações do experimento conforme ele é escolhido aleatoriamente. Além disso, se você ainda não começou com o URL que corresponde às condições da Área do Site, você pode visitar aquele que corresponde. Você deverá ver o "Original" ou uma das variações, dependendo do que o experimento selecionar aleatoriamente.
Lembre-se: adicionar um público-alvo de controle de qualidade pode afetar sua capacidade de corresponder às condições da área do site e do URL de destino.
Registros ao vivo
Live Logs em Convert Experiences rastreiam como os usuários finais interagem com páginas da Web e experimentos no nível do projeto e do experimento em tempo real. Eles capturam informações como o carimbo de data/hora quando um alvo é acionado, o tipo de evento acionado, a variação apresentada ao usuário final e muito mais.
Para visualizar os logs ao vivo de um projeto específico, você pode navegar para Projetos > Logs ao vivo no painel superior.

Aqui, você pode clicar em qualquer lugar da linha para ver mais detalhes da atividade, como nome do experimento, tipo de navegador, dispositivo usado para acessar o experimento, país do usuário, metas acionadas durante uma visita e assim por diante.

Com os Live Logs, você pode acompanhar e monitorar como as conversões ocorrem. Eles também facilitam a validação de sua configuração e a depuração de quaisquer problemas encontrados durante a configuração de teste ou as conversões. Os Live Logs também funcionam como uma fonte para ajudá-lo a rastrear a receita e validar o experimento e as metas configuradas.
Olhe para frente, sempre!
O teste de controle de qualidade A/B é essencial para garantir que seu site seja totalmente funcional e livre de erros. O controle de qualidade não apenas ajuda a resolver os problemas atuais, mas também estabelece as bases para a prevenção de problemas futuros.
No entanto, montar um processo de controle de qualidade pode ser difícil. Com tantos usuários em potencial em muitos dispositivos com objetivos e ambições diferentes, é difícil saber por onde começar e quais perguntas fazer.
Pesquisamos a comunidade de otimização da taxa de conversão sobre a importância do controle de qualidade.
A resposta foi inequívoca.
O procedimento de controle de qualidade é importante para o sucesso de um experimento, segundo 100% dos entrevistados.
Combinamos as melhores práticas de controle de qualidade em todo o setor com insights dos Parceiros de agência certificados da Convert para criar uma lista de verificação abrangente que você usará repetidamente.
A lista de verificação acima não pretende ser uma lista completa de tudo que você deve verificar, mas sim um ponto de partida para pensar sobre o que precisa ser feito antes de iniciar seus testes A/B. É importante lembrar que o controle de qualidade é uma jornada, não uma meta e que deve ser feito regularmente e ao longo de grandes mudanças.

