O guia dos empreendedores para testes A/B nas lojas da Shopify (mais de 9 empreendedores da Shopify compartilham suas histórias de testes A/B com resultados)

Então você já ouviu falar sobre o teste A/B através da videira.

Talvez seu concorrente tenha mencionado isso casualmente em um podcast ou sua equipe de marketing ache uma ótima ideia. Ou a agência de crescimento com a qual você está conversando deseja executar testes A/B.

Crescer um negócio não é fácil. Você sabe disso. Tendo chegado até aqui, deve ter havido várias ocasiões em que você se esforçou para entender se uma decisão de negócios é a correta.

Não seria legal se, em vez de apostar no que você acha que seu público vai querer, você tivesse uma maneira de saber com certeza?

É isso que o teste A/B faz.

Claro, os benefícios do teste A/B transcendem a tomada de decisões orientadas por dados, mas, em sua essência, é o molho secreto para desbloquear o crescimento em escala.

Portanto, se você tentar fazer DIY ou terceirizar suas necessidades, aqui está tudo o que um empreendedor da Shopify como você deve saber sobre testes A/B.

O que é o teste A/B de comércio eletrônico?

O teste A/B é um processo pelo qual você pode entender o que seu público está procurando antes de se tornar um cliente.

Normalmente, os testes A/B são pensados ​​em termos de pequenos ajustes, como alterar a cor do botão de call-to-action (CTA) ou adicionar um novo título, mas é mais profundo do que isso.

Ele permite que você determine qual cópia, design e funcionalidade (UX) ressoam com seus visitantes, colocando uma versão de sua página ou elemento em uma página com uma variação para ver o que funciona.

E estamos apenas começando!

Você pode pegar o conceito de teste A/B e aplicá-lo a todos os canais que usa e interação que tem com seu público.

Mas é importante entender que o teste A/B de comércio eletrônico é diferente em comparação com outras verticais, como B2B SaaS.

1. O tempo para realizar a receita é menor
   
   O teste A/B pode revelar o impacto na receita muito mais rápido do que o B2B tradicional. No B2B, os negócios são multitarefas, têm vários tomadores de decisão, fazendo com que os ciclos de vendas abranjam meses, se não trimestres.
   
   Embora você deva idealmente usar o teste A/B para pesquisa e mitigação de risco e não apenas para aumentar a receita, a força vital de qualquer negócio é a receita, portanto, há um bom motivo para introduzir o teste A/B no mix de crescimento.
2. Os processos de checkout são complexos (portanto, mais espaço para testes)
   
   Embora os funis de compra de comércio eletrônico não sejam complicados como B2B, o processo de checkout não é unidimensional.
   
   Ruben De Boer, autor de Psychology of Buying , explica que pagar literalmente dói. Em um estudo de 2007 para investigar como as pessoas pesam os fatores para tomar decisões de compra, os participantes viram imagens de produtos e depois o preço. Seus cérebros foram analisados ​​por máquinas de ressonância magnética para ver quais caminhos neurais se acenderiam.
   
   Como esperado, ver imagens de produtos iluminou o centro de recompensas em seu cérebro.
   
   Mas o preço? A parte do cérebro associada à dor física e social se iluminou como uma árvore de Natal, ajudando os pesquisadores a concluir que a troca entre ganho e dor deve fazer sentido para os consumidores abrirem suas carteiras.
   
   Isso não significa que você tenha que baixar seus preços porque o preço também sinaliza a qualidade do produto. Você pode experimentar uma fonte menor, oferecer pré-pagamento, mostrar descontos em uma fonte maior ou evitar a linguagem de dinheiro em sua cópia.
   
   Portanto, diminuir a dor da compra significa que você precisa entender a mistura de motivações, desejos e frustrações humanas, o que é impossível sem testes A/B. Você pode testar suas mensagens, elementos de interface do usuário ou revisar o processo de checkout, tudo em tempo real.

   Em alguns casos, você pode não conseguir fazer mudanças radicais no carrinho e no fluxo de checkout devido às limitações que sua plataforma de e-commerce impõe, mas isso não é motivo para abandonar testes ambiciosos. Você sempre pode testar mudanças menores que lhe dão uma noção do potencial de ajustes maiores.

   Jonny Longden, diretor de conversão da Journey Further, recomenda fazer uma pergunta a si mesmo:
   
   Qual é a menor/mais simples coisa que podemos testar para começar a provar isso e aprender sobre isso?
   
   Não caia na armadilha de “vai testar apenas pequenas mudanças” ou, se você fez alterações maiores, “o dinheiro já afundou, então não vamos testá-lo”.
3. Mineração de revisão pode ser transformada em ciência
   
   A pesquisa de conversão baseada em dados qualitativos é essencial em qualquer tipo de teste A/B, mas, no comércio eletrônico, dados qualitativos como mineração de revisão podem ser transformados em uma ciência que ajuda você a entender:
   
   
   • USPs de produtos para destacar
   • Benefícios que você pode testar em sua cópia
   • Como os clientes percebem os concorrentes
   • Copiar ângulos para histórias de produtos
   • Pontos de dor que você abordou
   • Pontos problemáticos não resolvidos que causam abandono de carrinho Lorenzo Carreri, CRO e consultor de experimentação, recomenda pensar como um detetive. Assim como um detetive precisa descobrir a história por trás de um crime, você pode usar as análises para revelar muitas histórias.
     

     As pessoas já tomaram uma decisão sobre a compra e agora, sem nós as incomodamos com uma enquete ou um widget, elas estão compartilhando organicamente sua experiência.

     Na verdade, a análise de pulso do Carreri para diferentes setores revela um tema comum – as pessoas não tendem a compartilhar insights sobre sua experiência no local. Portanto, não importa qual pergunta você faz ou como você a faz.
     
     Mas com a mineração de revisão, especialmente na Amazon, as pessoas tendem a compartilhar seus insights. Quanto mais insights você coletar, mais significativos seus dados se tornarão, o que ajuda você a formar uma hipótese melhor para teste.
4. Sem escassez de tráfego para e-commerce
   
   Um obstáculo significativo com o teste A/B é não ter tráfego suficiente, o que significa que os resultados podem ser tendenciosos.
   
   Mas isso não é um problema para as lojas de comércio eletrônico. Uma loja Shopify de 7 dígitos recebe facilmente centenas de milhares de visitantes, mas uma empresa B2B da série D provavelmente obteria 1/4 desse tráfego.

Por que os empreendedores da Shopify (sério) devem considerar o teste A/B?

O comércio eletrônico está pronto para testes A/B. O potencial de ver resultados rapidamente com um grande número de visitantes e muito espaço para brincar é motivo suficiente para adotar uma cultura de testes A/B.

Mas talvez você ainda não esteja lá. Um aumento no seu tráfego agora gera um aumento de receita.

A questão é, por quanto tempo você pode manter isso?

Mais tráfego ≠ mais receita além de um ponto. Esse caminho exige que você gaste mais em anúncios e, ao mesmo tempo, consuma suas margens de lucro com descontos.

E quando você olha para gigantes do comércio eletrônico como Amazon, eBay ou Etsy, você notará que eles têm testes A/B embutidos em seu DNA. É a razão pela qual eles prosperam. Sem mencionar, é o fio comum que todas as lojas Shopify bem-sucedidas compartilham.

É fácil entender por que o teste A/B impulsiona o crescimento. Veja como são granulares os testes que a Amazon executa:

Mas quando se trata disso, o teste A/B não é apenas uma maneira de se manter competitivo – é uma boa decisão de negócios.

Por quê? Porque suas estratégias atuais provavelmente não estão funcionando a seu favor.

1. Seu ROAS está despencando graças ao iOS 14
   Você provavelmente está gastando mais dinheiro do que antes tentando chamar a atenção para o seu produto, mas o mundo pós-ATT mexeu com a maneira como as conversões baseadas em pixels funcionam. E retargeting e públicos semelhantes? Já não são tão eficazes. Se você conseguir algumas conversões, esteja preparado para lidar com discrepâncias entre o Ad Manager e seu back-end da Shopify.

2. Suas taxas de abertura estão distorcidas
   Os números de e-mail não são mais precisos. Mail Privacy Protection (MPP) certificou-se disso. E suas listas baseadas em engajamento podem ter uma segmentação questionável e conversões mais baixas.

3. Sua equação está sem retenção
   Perseguir o tráfego frio é uma má jogada de negócios. 40% de sua receita vem de clientes fiéis. O tráfego leva os compradores ao seu funil, mas a retenção aumenta o valor da vida útil (LTV) desses compradores.

4. Sua atribuição de marketing é uma merda
   As ferramentas não podem fornecer dados utilizáveis ​​e sua equipe não pode atribuir receita a alterações específicas. Você não pode apertar todos os botões esperando ver o crescimento. Você precisa obter um negócio específico ou construir 8 dígitos está fora de questão.

O teste A/B vira o manual antigo de cabeça para baixo e dá a você a chance de usar uma abordagem cientificamente válida que seja repetível, confiável e lucrativa.

Veja por que a OLIPOP, uma empresa alternativa de refrigerante DTC, defende os testes A/B:

O teste A/B melhora o envolvimento do conteúdo, reduz as taxas de rejeição, aumenta sua taxa de conversão e minimiza o risco, ao mesmo tempo em que fornece dados fáceis de analisar. Ao executar um teste A/B, você consegue descobrir qual conteúdo ressoa com seu público-alvo. Você pode usar esses dados para influenciar sua estratégia de marketing. Esses testes também ajudam a identificar dados irrelevantes e áreas em que seus usuários estão enfrentando dificuldades em seu site, reduzindo assim sua taxa de rejeição assim que você fizer as alterações necessárias.

Depois de identificar a variação que melhora a experiência do cliente, você verá um aumento no tempo que os usuários passam em seu site, levando a uma taxa de conversão mais alta. Por fim, o teste A/B minimiza o risco porque você toma decisões com base em dados precisos em vez de suposições fundamentadas. Ele permite que você faça alterações mínimas sem comprometer todo o seu site. Seu ROI aumentará com testes A/B .

Steven Vigilante, Chefe de Desenvolvimento de Novos Negócios da OLIPOP

Faça pequenas (ou grandes) alterações facilmente

A otimização, a ciência de melhorar as coisas, é fácil com testes A/B. Você pode introduzir alterações para encontrar a versão que cria uma melhor experiência de compra e converte parte do seu tráfego PPC.

Reduza o custo da falha

O custo do fracasso às vezes é alto demais e, sem surpresa, inibe a inovação. Mas com o teste A/B, você pode testar suas ideias em um ambiente controlado sem precisar construir ou implementar nada.

Espie o futuro

Nada pode garantir o sucesso. Não é o seu instinto, sugestões de agências ou mesmo pesquisas sólidas sobre concorrentes. Mas se você quiser tomar decisões baseadas em dados, o teste A/B é seu amigo. As melhores versões em um teste não são escolhidas com base na validade estatística, permitindo que você tenha um vislumbre do seu potencial de receita.

Deixe pouco espaço para má interpretação

O teste A/B permite que você realmente ouça seu público coletando dados das alterações na taxa de conversão, abandono de carrinho, valor médio do pedido (AOV), receita e lucro.
Em vez de estimar os efeitos de suas alterações, os resultados são transparentes e deixam pouco espaço para interpretações errôneas.

Problemas com testes A/B na Shopify (+ soluções)

Enquanto você está pensando em tornar o teste A/B central para sua estratégia, é importante abordar os possíveis problemas que você pode enfrentar ao executar testes A/B na Shopify.

Problema nº 1: o anti-clickjacking da Shopify pode interferir no controle de qualidade do seu celular

O clickjacking engana os usuários a clicar em conteúdo acionável em um site chamariz. Para evitar que isso aconteça, Shopify usa tecnologia anti-clickjacking. Mas isso impede que as ferramentas de teste A/B tenham um desempenho ideal.

Problema nº 2: Testar não é um problema, mas a implementação é

Implementar os resultados de um teste não é algo que um aplicativo ou plug-in possa fazer – requer personalização. Mesmo que você encontre plugins que funcionem para você, muitos deles podem deixar seu site mais lento, o que efetivamente anula o ganho potencial.

Problema nº 3: você tem uma loja padrão da Shopify limitando o que você pode testar

As lojas padrão do Shopify não podem acessar a maioria dos recursos do Shopify Plus, o que significa que você não pode executar testes como testes A/B dos temas. Testes de menor complexidade resultam em um impacto menor em sua receita.

Um guia rápido para noções básicas de teste A/B

Agora que você envolveu seu cérebro em torno de testes A/B, é hora de entrar no âmago da questão.

Pare por um momento e responda sim ou não a essas perguntas antes de rolar para baixo para ver a resposta.

• Teste A/B é o mesmo que teste A/B
• Teste A/B e teste multivariado são diferentes
• Você só pode fazer pequenos ajustes com testes A/B
• Você não precisa aprender estatística para executar testes A/B
• Você não pode executar testes A/B em outros canais
• Você deve interromper os testes A/B assim que vir os resultados

Teste A/B x Teste A/B

Com o teste A/B, você pode testar um ou mais elementos em uma página. Você basicamente cria uma versão semelhante da página original para ver o impacto na taxa de conversão.

O teste de URL dividida é diferente do teste A/B. O tráfego é dividido ao meio e enviado para duas versões completamente diferentes para ver qual página da web ajuda você a atingir seus objetivos específicos.

Quando executar testes A/B versus testes A/B: teste de tema

Um ótimo exemplo de quando escolher o teste A/B em vez do teste A/B é quando você deseja testar os temas da Shopify. Seu tema pode afetar o CX e, finalmente, a receita, por isso é essencial testá-lo usando uma ferramenta como a opção de URL dividida do Convert.

O Convert emprega a Inferência Frequentista para entender qual tema supera o outro. Recomendamos executar esse tipo de teste por pelo menos duas semanas, a menos que você tenha um tráfego excepcionalmente alto chegando ao seu site.

PS Você só pode testar temas se for um usuário do Shopify Plus.

Teste A/B vs. Teste Multivariado

Nos testes A/B, você está colocando páginas quase idênticas em relação ao original.

Em vez de alterar um elemento por vez, como nos testes A/B, o teste multivariado é um processo no qual você testa várias alterações em um único teste. O objetivo do teste multivariado é descobrir qual combinação de mudanças produz melhores resultados.

Exemplos de testes A/B para execução nas lojas da Shopify

Pergunte à internet o que você deve fazer um teste A/B, e muitas vezes você será instruído a tentar um CTA diferente ou uma cor de botão ou alterar um título.

Não que isso não seja importante, mas o mundo é o seu playground, e você só está brincando em sua pequena caixa de areia se se limitar. Pensar fora da caixa é crucial para o espírito de experimentação.

Entramos em contato com 8 empreendedores da Shopify e perguntamos a eles:

Quais testes A/B você executou, por que escolheu realizar esse experimento e quais foram os resultados

#1. AOV impulsionado, pedidos ligeiramente para baixo

Usamos Shopify em todas as nossas lojas on-line e testamos o agrupamento ou agrupamento de nossos produtos para aumentar o AOV. O teste é um carrinho que tem upsells, ou pacotes, versus um carrinho que contém apenas o produto inicial. Os resultados ainda não estão totalmente disponíveis, mas até agora parece que o AOV aumentou, enquanto o número total de pedidos caiu um pouco. Vamos executar isso por mais algumas semanas antes de fazer uma análise completa e podemos testar outras configurações para tentar gerar melhorias no AOV e nas conversões .

Sylvia Kang, Mira

#2. Otimizou cada elemento do site para CX

Como uma empresa da Shopify, realizamos vários testes A/B para recursos como bate-papo ao vivo, CTAs, imagens de produtos, posicionamento de upselling, páginas de destino, menus de navegação e muito mais. Por exemplo, nossos testes A/B nos ajudaram a encontrar o equilíbrio entre vendas cruzadas/vendas adicionais sem irritar os consumidores ou adicionar atrito à experiência deles .

Por meio de vários testes, descobrimos que nosso público valorizava sugestões altamente relevantes diretamente nas páginas do produto, em vez de oferecidas durante a finalização da compra e, ao fazer isso, aumentamos o valor médio de compra. O teste A/B é crucial porque permite identificar exatamente quais recursos apresentam melhor desempenho e oferecem os maiores retornos sem perder tempo e energia implementando quaisquer elementos que não sejam ideais. Esses testes fornecem dados precisos sobre quais opções de design melhor atendem ao seu público, e uma experiência de usuário mais forte é como as empresas alcançam crescimento e longevidade .

Stephen Light, colchão Nolah

#3. Repetições de sessão usadas para incluir vídeos para obter melhores resultados

Um dos aspectos mais importantes que podem gerar ou interromper uma conversão é a facilidade com que um usuário navega em sua loja e faz uma compra. Com os testes A/B em replays de sessão, conseguimos ver como usuários reais com intenção de compra navegavam em nossa loja, onde estava o problema, o que os frustrou, o que os fez parar durante o processo e impedi-los de fazer uma compra. Percebemos que as listagens que incluíam vídeo do processo produziam melhores resultados e imagens com baixa qualidade ou que não mostravam várias imagens levavam à hesitação.

Michael Nemeroff, Rush Order Tees

#4. Aumentou as conversões em 2% com alterações de design

Neste teste A/B, eu queria ver como um novo layout poderia afetar a taxa de conversão da minha loja Shopify. O site original estava funcionando há seis meses e estava convertendo a 3%, então parecia que era hora de tentar algo diferente. Minha mudança de design incluiu mover as recomendações de produtos abaixo da dobra em dispositivos móveis, em vez de alinhar com os produtos, além de remover os banners da navegação superior, pois eles não estavam sendo clicados de qualquer maneira. Isso resultou em um aumento instantâneo nas conversões em 2%.

Jar Kuznecov, hub de amaciadores de água

#5. Cliques relativos aumentados em 14% alterando a cor do botão de CTA

Embora tenhamos executado vários testes A/B ao longo dos anos, um dos testes mais eficazes que realizamos também foi o mais simples: alterar a cor do botão CTA. É isso. Eu tinha ouvido de um amigo que, ao mudar a cor de seus botões na página, ele aumentou suas taxas de resposta em 16% (em relação ao número de cliques que ele estava recebendo anteriormente). Isso me fez pensar e decidi fazer nosso próprio teste A/B. Na verdade, foi um teste A/B/C, pois testamos 3 cores diferentes – nossa cor verde original, além de laranja e vermelho. O resultado? O botão vermelho rendeu uma taxa de resposta 8% maior, enquanto o botão laranja nos deu resultados 14% melhores em termos de cliques relativos. É incrível que uma mudança tão simples quanto fazer um botão verde laranja possa ter um efeito tão profundo. Assim, meu melhor conselho é quando você está tentando fazer com que alguém adicione um produto ao carrinho, não se preocupe apenas com a cor do botão CTA. Pense seriamente – e teste .

John Ross, Insight da Preparação para o Teste

#6. Aumento de CVR e AOV com Add-to-cart e upsells pós-venda

O teste A/B é uma faca de dois gumes. Parece bom otimizar sua loja Shopify e aumentar a taxa de conversão. Mas você precisa saber o que cada teste A/B está adicionando uma camada de complexidade e usando seus recursos. O que testar é tão importante quanto como você testa .

Eu testei diferentes pedidos de fotos do produto. Cada vez, descobri que a imagem mais simples sempre converte a melhor. Nas páginas de produtos, seu cliente precisa entender exatamente o que é seu produto sem precisar pensar.

Um add-to-cart pegajoso é um vencedor conhecido. Ter o botão também na tela, ao alcance, foi um aumento fácil de 8% no meu CVR.

Não se esqueça dos upsells pós-venda. Foi fácil aumentar o valor médio do meu pedido de US$ 24 para US$ 40. Você ficaria surpreso com a facilidade de vender mais para pessoas que já estão comprando .

Matt Phelps, especialista em CRO e fundador da STEEL.

Sentindo-se inspirado? Aqui estão mais de 20 elementos com os quais iniciantes de teste A/B podem brincar em seu site de comércio eletrônico:

• Oferecer frete grátis
• Imagens de heróis vs. carrosséis
• Tamanho do CTA
• Cor do CTA
• Posicionamento de CTA
• Cópia de CTA
• Imagens humanas x nenhuma imagem
• Cópia do título
• Tamanho da fonte
• Altura da linha
• Personalização vs. nenhuma
• Notificação de reposição de estoque
• Descrições de produtos orientadas por benefícios
• Dica de especialista na página do produto
• Destaque de descontos e ofertas
• Finalização de compra de uma única página ou de várias páginas
• Suporte durante o checkout
• Menus de navegação simples
• Visualização rápida do produto
• Vídeos de produtos
• Upselling vs. cross-selling
• Tags em imagens de visualização
• Conteúdo gerado por usuários

Da lista de elementos que você pode testar A/B, fica evidente que as páginas do produto são o melhor lugar para começar.

Mas outras páginas do seu site também são candidatas perfeitamente viáveis ​​para testes A/B.

Vejamos quais páginas você pode testar com alguns exemplos reais de marcas:

1. Pagina inicial
   
   
   • O Salty Captain mudou a cor da barra de anúncios em sua página inicial e obteve 234,54% mais cliques e aumentou o CVR em 13,39%
   • A Legendary Wall Art experimentou a seção de heróis e a cópia do CTA e aumentou seu engajamento em 325,39% e a receita em 30,07%
   • byBiehl adicionou um controle deslizante para mostrar seus produtos importantes, resultando em aumento de visitas à página da categoria (5,87%), receita por usuário (3,25%) e CVR (19,73%)
2. Página da categoria
   
   
   • Copycat Fragrances adicionou sua versão do Instagram Stories em suas páginas de categoria, aumentando o engajamento em 4% e a receita por usuário em 18%
   • A Iceshaker mudou sua página de categoria para incluir a história do produto abordando objeções comuns e obteve um aumento de 15,95% nas conversões.
   • Oliver Cabell concentrou-se na experiência móvel do usuário modificando o layout e melhorando o design, o que resultou em um aumento de 14,86% no tráfego e aumentou o tráfego da página de checkout em 5,49%
3. Página de checkout
   
   
   • Oflara recomendou outros itens aos compradores quando eles estavam fazendo o checkout com um botão Adicionar ao carrinho, resultando em uma melhoria significativa na receita geral.
   • A Conscious Items removeu o atrito do processo de checkout com um carrinho pegajoso, resultando em um aumento de 10% na receita por usuário e um aumento de 10% no CVR.
   • A Homeware observou que os usuários compraram apenas um item em sua loja Shopify. Assim, eles simplificaram o processo de checkout para redirecionar os usuários diretamente para a página de checkout, resultando em um aumento de 47,7% no CVR e um aumento de 71,4% na receita por visitante no celular.

Dica do especialista: concentre-se em grandes mudanças

Meu melhor conselho para empreendedores iniciantes que realizam testes A/B pela primeira vez é se concentrar em grandes mudanças. Por exemplo, um redesenho completo de uma página de produto. Pequenas mudanças, como mudar as cores dos botões, provavelmente não moverão a agulha de maneira significativa .

Ao fazer uma reformulação completa da página e adicionar gifs de explicação do produto às nossas páginas de produtos, conseguimos aumentar a taxa de conversão em 40% .

Philip Pages, fundador da PostPurchaseSurvey.com e uma marca Shopify de e-commerce de 7 dígitos.

Conceitos de estatísticas para se familiarizar ao executar testes A/B

Embora o teste A/B seja usado para comparar duas versões do seu site, apenas observar os números não é útil, pois isso não leva em consideração a significância estatística dos dados. Você vai acabar interpretando mal os resultados e prejudicando suas vendas.

Portanto, se sua equipe interna está executando o projeto ou você contrata uma agência de CRO, é importante que você se familiarize com os conceitos de estatísticas de teste A/B que você ouvirá muito.

Amostra e população

Todos os visitantes que chegam ao seu site são considerados população, enquanto uma amostra é o número de visitantes que participam de um teste A/B.

Média, mediana e moda

Média = média

Mediana = valor no meio

Modo = valor repetido

Variação e Desvio Padrão

A variância é a variabilidade média dos dados. Quanto maior a variabilidade, menos precisa é a média como preditor de um ponto de dados individual.

O Desvio Padrão é a raiz quadrada da Variação e é expresso nas mesmas unidades dos valores originais, tornando-o intuitivamente mais fácil de entender. Por outro lado, a variância é expressa no quadrado da unidade original, mas ainda é importante para os resultados de seus testes A/B.

Significado estatístico

Quando um painel de teste A/B diz que há “95% de chance de superar o original” ou “90% de probabilidade de significância estatística”, ele está fazendo a seguinte pergunta: supondo que não haja diferença subjacente entre A e B, com que frequência iremos ver uma diferença como fazemos nos dados apenas por acaso ?

Evan Miller, desenvolvedor de software estatístico (Fonte)

O nível de significância deve ser o menor possível. 1% é o ideal, pois equivale a um nível de confiança de 99%. E resultados insignificantes podem significar que o que você está vendo é na verdade um falso positivo, então é importante esperar pela significância estatística, mas não apenas isso.

Você precisa calcular um tamanho de amostra que corresponda a um aumento mínimo de sua escolha (MDE – Mínimo Efeito Detectável), você terá uma chance maior de fazer um falso positivo.

Valor P

O valor p é a probabilidade de obter resultados pelo menos tão extremos quanto os resultados observados de um teste de hipótese estatística, assumindo que a hipótese nula está correta.

Mas o que você realmente precisa saber sobre o valor-p é o seguinte: “Quão surpreendente é esse resultado?”

Por quanto tempo você deve executar um teste A/B em uma loja da Shopify?

Existem duas falácias comuns que você encontrará com frequência:

• Encerre o teste A/B quando atingir significância estatística
• Monitore os valores-p e declare o vencedor assim que atingir o alvo.

A interrupção de um teste deve ser baseada no tamanho da amostra. Mas, embora você não deva encerrar seu experimento cedo, eles não devem durar para sempre. Se depois de 3 meses, você ainda não atingiu a significância, é melhor tentar outras mudanças do seu lado, de preferência mais ousadas.

A Convert e a Shopify recomendam que seus testes sejam executados por pelo menos dois ciclos de negócios ou 14 dias.

Avid Faruz, CEO da Faruzo concorda:

Novos empreendedores precisam saber que em testes A/B, o prazo é muito importante. Quanto mais tempo você executar seus testes A/B, mais precisos serão os testes. Isso ocorre porque seus testes usarão mais pontos de dados para obter resultados. Profissionais de marketing experientes executam seus testes por até duas semanas. Eu aconselharia todos os profissionais de marketing e empreendedores a definir um prazo de acordo com o nível de tráfego que seus sites recebem .

Essa é a razão pela qual nossa plataforma oferece um teste gratuito de 14 dias para que você possa testar sua hipótese.

Processo de 4 etapas para executar testes A/B em uma loja da Shopify

Pronto para executar testes?

Use este processo de teste A/B de 4 etapas para criar testes melhores e entender seu impacto.

#1. Conduzir Pesquisa Qualitativa e Quantitativa

A pesquisa de conversão é o primeiro e mais importante passo. Isso permite que você crie hipóteses que você pode testar A/B. Também conhecida como fase de descoberta, é quando você coloca sua suposição operacional em repouso e deixa os dados guiá-lo.

Você terminará com dois tipos de dados – quantitativos e qualitativos.

Comece com a coleta de dados quantitativos. Esses são os fatos frios e duros que você não pode discutir com os mecanismos de análise como Google Analytics, Amplitude ou Mixpanel.

Por exemplo, você pode querer ver as taxas de rejeição, o número total de conversões ou as páginas visualizadas/sessão.

Depois de reunir os dados quantitativos, busque dados qualitativos. Como isso é subjetivo, há potencial para que vieses subconscientes se infiltrem, mas interpretar suas descobertas é a única maneira de responder ao “por quê”.

Use o Hotjar para gerar mapas de calor e gravar sessões de visitantes. As respostas que você pode encontrar não são definitivas, mas introduz novas possibilidades que contribuem para uma melhor hipótese geral.

Mas antes de entrar nisso, é importante analisar os dados qualitativos e quantitativos em conjunto para ter uma compreensão holística. Análise igual a consulta de dados e pensamento crítico.

#2. Crie hipóteses confiáveis

Seguir o método científico significa que você precisa criar uma hipótese confiável – uma solução proposta cuja validade requer avaliação.

Matt Beischel, fundador do CorvusCRO, compartilha os 3 principais componentes de uma hipótese: Compreensão, Resposta e Resultado.

Veja um exemplo de como ficaria:

Para ajudá-lo a simplificar e padronizar a criação de hipóteses, temos um gerador de hipóteses de teste A/B.

Nesse estágio, você também deseja entender o tamanho da amostra e calcular um ponto de parada para o teste com base nisso. Use nossa calculadora de significância de teste A/B para isso.

Dica do especialista:

Depois de saber o tamanho da amostra e por quanto tempo você deve executar o teste, você precisa definir suas prioridades de teste. Você pode optar por testar diferentes partes do processo, como uma única página, um site inteiro, pop-ups ou anúncios pagos. É melhor se concentrar em uma parte do processo de cada vez, para que você possa obter respostas claras sobre quais mudanças estão levando a uma melhor experiência do cliente e taxas de conversão .

Allan Borch, fundador da DotcomDollar.com

Priorize sua hipótese

A experimentação tem muitas vantagens e é por isso que muitas vezes você verá especialistas que defendem o teste de tudo. No entanto, você precisa priorizar quais testes você precisa executar agora e quais experimentos podem esperar porque os recursos são limitados, não importa quão pequena ou grande seja sua empresa.

Assim, os experimentadores recorrem a modelos de priorização como RICE, PIE, ICE ou PXL. Mas David Mannheim, consultor de personalização, sugere que esses modelos são falhos:

Eles não têm alinhamento com o contexto mais amplo do negócio. A priorização deve ser de cima para baixo, concentrando-se primeiro na missão do negócio, depois nos objetivos do negócio e assim por diante. A maioria dos modelos de priorização se concentra na 'execução', ou seja, a última coisa dentro de um diagrama de hierarquia triangal de execução na base, conceito, problema do usuário, objetivos do produto, objetivos de negócios e missão no topo .

Esses modelos também usam “esforço” como um fator de pontuação, o que significa que você está realmente evitando criar recursos que potencialmente têm o maior impacto porque são complexos. Em última análise, esses modelos carecem de objetividade.

Andrea Saez, gerente sênior de marketing de produtos da Product School, diz:

Não há como saber o alcance, o impacto ou o esforço na maioria das coisas sem ter verificado adequadamente se você está trabalhando nas coisas certas, ainda menos se não falou com ninguém sobre isso. Então, como você poderia ter alguma confiança ?

A resposta aqui é construir seu próprio modelo de priorização.

Etapa 1: inspire-se com exemplos

Etapa 2: considere fatores como alinhamento com objetivos de negócios, potencial de iteração, aprendizado específico da empresa e investimento em recursos.

Etapa 3: atribuir peso aos testes que você deseja executar

Passo 4: Enxágue e repita até encontrar um acrônimo que funcione para você.

#3. Implantar o teste

Você tem sua pesquisa no lugar e construiu uma hipótese credível. Agora é hora de ir para o bastão.

A implantação bem-sucedida requer 3 coisas: a plataforma de teste A/B certa, a equipe certa para codificar os testes e controle de qualidade e depuração.

Vamos começar com o primeiro.

O que faz uma boa plataforma de teste A/B para Shopify?

Idealmente, você deseja uma única ferramenta que permita testar temas, preços, menus, coleções de produtos, páginas de pesquisa, executar testes multivariados e acompanhar a receita.

Muitos plug-ins podem ajudá-lo a alcançar uma ou mais dessas coisas, mas já sabemos que os plug-ins causam inchaço no código, o que não é uma boa notícia para seu SEO ou conversões.

Uma plataforma de teste dedicada, como o Convert Experiences, se integra perfeitamente à sua loja da Shopify, permite executar todos os tipos de testes que você deseja e possui um aplicativo de teste A/B personalizado da Shopify que você pode usar, eliminando possíveis excessos de código.

Em seguida, você deseja ter a equipe certa para codificar os testes.

Nota: Existe uma diferença entre codificadores e codificadores que trabalham com equipes de teste A/B.

Ultimately, testing is incomplete without QA and debugging. Without QA, variation errors can crop up, causing statistical errors—a false positive or a false negative. Not to mention, you may end up collecting the wrong data that delivers zero value to your visitors.

Here are 4 best practices for QA of A/B tests:

• Develop a QA strategy
• Identify what to QA
• Focus on page experience
• Align QA with conversion goals

Pro Tip: Avoid these rookie A/B testing mistakes:

• You only test industry best practices
• You keep peeking at your “results”
• You give up after one test
• You fail to iterate and improve on wins
• You mess up revenue tracking

#4. Analyze & Learn From Your A/B Tests

Whether you have a winner or loser on your hands, analyzing what worked and learning from it to influence future A/B tests is crucial.

Because while A/B testing is a strategy to boost your revenue, you're also effectively “buying data” on your audience.

Here's a 7 step process to learn from A/B tests –

• Make sure your data is accurate, valid, and significant
• Check your micro, macro, and guardrail metrics
• Segment your results
• Check user behavior
• Continue to improve on winners
• Create a learning repository for future tests

The last step allows you to run tests in the future that are backed by your previous experiments' learnings.

Expert Tip: Be prepared to fail.

It is difficult to predict the conversion rate for your website even if you think you've created the perfect A/B test. As a new entrepreneur, I almost succumbed to the frustrations of seeing no success in the first few months. I am not used to failure and many entrepreneurs are like this. The focus should be to give the users the best experience and leave room for the unexpected .

Leslie Radka, Founder & Hiring Manager at GreatPeopleSearch

A/B Testing in Other Realms That Can Compound Your Shopify Store Gains

Don't stick to just your website. A/B testing can and should be applied to other channels and realms where customer engagement occurs.

A/B Testing Pop-Ups (with Privy)

Those pop-ups you have on your website? You can A/B test them too with tools like Privy. Experiment with your headline, offer, form, CTA, or images.

Privy's Convert tool allows you to present the pop-up in different formats and target visitors based on rulesets.

A/B Testing Emails

When it comes to email marketing, 3 core areas of improvement emerge—delivery, open rates, and CTR.

You can test your emails in this order:

• First, the subject lines to improve the open rate
• Then the body copy to make sure it's relevant
• Finally, the CTAs to get more clicks

What else can you test in your email? Check out our complete guide to A/B testing emails.

Here's how 2 Shopify entrepreneurs used A/B testing to grow their email marketing channel: [h5] #1. Grew Email List 3x Using Split Testing

The most effective strategy for testing content is A/B testing. A/B testing has proven, measurable, immediate results that tell us whether one or another content base is more effective at converting customers to sign up for emails, make a purchase, etc.

In retail, vanity metrics like direct traffic to your website are least effective for measuring content success, while A/B testing (ie, tracking conversion rate, user engagement, email funnels) is the most effective. We tested our email subscription CTA with split-testing and grew our email list over three times in one campaign. The better you know your ICP, the more effective your brand strategy will convert. Use A/B tests to understand your target demographic better, and spoon-feed them the content they respond best to .

Zach Goldstein, Public Rec

#2. Increased email open rate by 25% with emojis in subject lines

After seeing a study, I wanted to test out open rates using an emoji in the subject line vs. not using one. The study implied that using an emoji would help to enhance open rates, but I felt that it could come off as unprofessional and spammy.

I use the ActiveCampaign email platform alongside Shopify, and I actually integrate the two together to maximize customer communication. ActiveCampaign allows users to run many A/B tests so they can see what jives with their target audience. When the results were in, I had to admit that I was wrong because the emails with an emoji in the subject received a 25% higher open rate. It's safe to say that I've been pretty liberal with my emoji keyboard ever since, and I've noticed a spike in conversion rates, too .

Stephanie Venn-Watson, fatty15

A/B Testing on Social Media

Like paid ads, you can test your organic content on social to improve engagement. The heading, copy, images, and CTA can all be A/B tested.

When doing this manually, stagger the release of your posts to have a reasonable gap which will allow you to gather meaningful data.

Or you can use scheduling tools like Later, Buffer, or MeetEdgar to automate the publishing.

Ecommerce A/B Testing Pitfalls to Avoid

Our need for instant gratification also seeps into A/B testing. Jon Ivanco, Co-founder of Formtoro, believes most A/B testing is reactionary:

Brands want a quick fix that's cost-effective; they hate the idea of investing in long-term outlooks and gains. The only time they look at these things is when things aren't going well .

There are “experts” that are anything but experts, bad advice presented as best practices, and experiments designed to pick the low-hanging fruit.

Ivanco instead recommends getting the basics right:

– All tests to landing pages
– All tests from specific audiences
– Test one variable at a time
– Don't test unless you have a clearly articulated hypothesis and you can learn from if something goes right or if it fails
– Do all tests from the perspective of the customer journey
– Small things are part of a larger chain, try to isolate things as much as you can one step at a time

Give Privacy a Thought

No one wants to become a lab rat inadvertently.

The backlash to Facebook 2014's emotional contagion study is proof. Even Apple's privacy updates signal that users care about their privacy and don't want to be manipulated into buying products.

Laws around privacy—existing and upcoming—will continue to evolve. Each time a significant change is brought about, it will hurt your business unless you start thinking user-first and bake ethical A/B testing into your strategy.

So what does that mean for you?

• Take data privacy seriously when collecting data
• Rule out manipulative tactics
• Store and process data securely
• Respect user consent and allow them to opt-out of experiments

Do that and you will future-proof your A/B testing and build a better relationship with your audience.