Como escolher uma ferramenta de teste A/B em 2023

Você sabia que existem mais de 50 ferramentas de teste A/B no mercado?

Sim, tantos.

Com tantas opções disponíveis, como saber qual delas atenderá às suas necessidades em 2023?

Você não precisa quebrar o banco ou ir com o líder da categoria se quiser que suas necessidades de teste sejam atendidas. Considere que tipo de desafios de otimização você enfrenta regularmente – o melhor software de teste A/B para você deve atender às suas necessidades e orçamento.

Como você restringe 'aquele' de todas as ferramentas no mercado?

Nesta postagem do blog, descreveremos os fatores que você deve considerar ao tomar sua decisão e compartilharemos nossas principais opções para as melhores ferramentas de teste A/B de 2023.

Vamos ajudá-lo!

Mas primeiro…

Recapitulação Rápida: Entendendo o Quebra-cabeça da Otimização

Este relatório do Estado de Maturidade da Experimentação identificou 4 pilares da maturidade da experimentação. Esses são aspectos centrais da experimentação que ajudaram as organizações em vários setores a obter sucesso na experimentação ao dimensionar seus programas.

É interessante o que vamos aprender aqui. Esses pilares são

1. Processo e responsabilidade: Isso inclui o processo de idealização e priorização, design de experimentos, como o sucesso é medido, etc.
2. Cultura: Qual é a atitude geral da organização em relação à experimentação? Quanto suporte C-suite está presente?
3. Expertise: Tempo, recursos e conjuntos de habilidades. E finalmente…
4. Ferramentas e tecnologia: a pilha de tecnologia que impulsiona sua experimentação.

Embora esta pesquisa tenha sido realizada há alguns anos, os fundamentos permanecem inalterados. As ferramentas são apenas uma peça muito pequena do seu quebra-cabeça de otimização.

Se você está lendo isso para encontrar a melhor ferramenta de teste A/B que pode levar seu programa de teste de 0 a 100 ou de bom a fantástico, considere isso uma verificação da realidade.

Qual então deve ser o seu foco principal?

Indiscutivelmente, pessoas e processos levam o bolo quando se trata de sucesso de experimentação. As marcas e agências no topo de seu jogo de CRO levam o treinamento muito a sério. E você também deveria:

Você deve investir em sua equipe mais do que apenas como uma prática recomendada em testes A/B; geralmente é uma prioridade prescrita por especialistas para organizações que desejam levar seu jogo de otimização para o próximo nível.

Este treinamento vai além dos tutoriais básicos de teste A/B e também inclui pesquisa, coleta e análise de dados, pensamento crítico, design de experimentos, estatísticas, controle de qualidade, comunicação com as partes interessadas e muito mais.

Vamos colocar um alfinete nessa ideia porque vamos revivê-la mais tarde.

Um fluxo desse mix de educação deve vir do seu fornecedor de testes A/B. Isso é algo a ter em mente na sua busca pela ferramenta certa para sua equipe.

A ferramenta certa fornecerá educação que corresponda a entender quais práticas e estruturas oferecem mais eficiência para alta velocidade de teste (que é um objetivo do programa que muitas das melhores mentes em experimentação, incluindo Ronny Kohavi & Lukas Vermeer recomendam) no contexto dessa plataforma de teste específica.

Como as pessoas e os processos fazem ou quebram seu programa com um grau de influência maior do que sua escolha de software de teste A/B, uma ideia que está ganhando popularidade na indústria é gastar apenas 20% do orçamento de otimização em ferramentas e descansar em educação, recrutamento e Ops.

Por exemplo, a agência WeTeachCRO acredita que os gastos com ferramentas podem e devem ser muito inferiores a 20%:

A sabedoria convencional diz para não gastar mais de 20% do seu orçamento total de CRO em ferramentas, mantendo 80% de sobra para as pessoas – afinal, são as pessoas que farão a diferença real no seu programa, enquanto a ferramenta é apenas um facilitador. Mas deixando essa “sabedoria” de lado, nossa experiência é que a maioria dos clientes pode (e deve) gastar bem menos de 20%.

Para a maioria dos nossos clientes, os custos das ferramentas são < £ 500 / mês, com um custo de pessoal de 10 a 15 vezes, colocando-os mais na faixa de 5 a 10%. Começar com uma ferramenta gratuita como o Google Optimize deve ajudá-lo a decolar, com o objetivo de chegar a algo que custa algumas centenas de libras por mês, uma vez que as complexidades de seus testes excederem suas capacidades

Trecho de 52 perguntas que todo CRO experiente teve que fazer uma vez por WeTeachCRO

Agora que temos a mentalidade certa, vamos passar para a próxima consideração crucial na compra de uma ferramenta de teste A/B. Especialmente se esta for sua primeira compra de ferramenta de teste A/B.

Se não, você pode pular para descrever por que você precisa de uma nova ferramenta.

Você tem tráfego suficiente para testar?

O teste A/B não funciona para sites de baixo tráfego. Antes de começar a testar, seu site deve ter tráfego suficiente para enviar para cada variação do seu teste A/B. Sem tráfego adequado, seus experimentos não atingirão significância estatística e poderão ser executados por um longo tempo.

Em um teste A/B típico, você precisa direcionar milhares de visitantes para cada variação. Na Convert, recomendamos enviar pelo menos 5 mil visitantes para cada variação e cerca de 1.000 conversões para produzir resultados conclusivos sobre qual variante é a vencedora.

Acesse a calculadora de teste A/B da Convert para descobrir quanto tráfego, conversões e pedido médio por receita você precisa para executar seu teste A/B. Caso você não tenha o tráfego necessário para o teste A/B, consulte nosso guia sobre testes com baixo tráfego.

Depois de classificar o tráfego necessário para executar um teste A/B com êxito, descreva o que está levando você a obter uma nova ferramenta de teste A/B.

Comece com o problema

Descubra exatamente por que você precisa de uma nova ferramenta de teste A/B. Isso é óbvio, mas é vital ter uma abordagem estruturada para fazer isso. Veja como:

Mapeie por que você comprou a ferramenta de teste A/B existente

Se você já tem uma ferramenta de teste em sua pilha, o que o levou a isso?

Tome nota disto. É o seu ponto A e irá ajudá-lo a chegar ao ponto B, que é a sua próxima ferramenta ideal. Mas faremos algumas paradas ao longo do caminho.

Inclua itens objetivos, como os recursos da plataforma. Quais atraíram você e sua equipe para ele? Quais mantiveram você como usuário? O que você gostou sobre este fornecedor em particular?

Não se coíbe de cavar mais fundo. Compreensivelmente, há um forte aspecto emocional em nosso processo de tomada de decisão, mas para que um sólido programa de otimização esteja avançando, você precisa se aprofundar em sua ferramenta atual.

Onde estava seu programa quando você começou?

Você estava começando nos testes A/B e só queria molhar os pés? Você ouviu falar sobre otimização de sites em um podcast de marketing de crescimento e essa ferramenta foi recomendada para você? Ou você estava em uma ferramenta gratuita e queria ampliar seus testes além de seus limites?

Quais métricas de proteção você esperava mudar com a aquisição da ferramenta?

As métricas de guardrail servem para mantê-lo alinhado com suas metas e objetivos. Eles alertam você quando as coisas não estão indo como o planejado.

Então, você definitivamente pegou a ferramenta porque acreditou que havia algo que poderia mudar. O que foi isso? Receita? Métricas de UX como taxa de rejeição e taxa de pedidos?

Você acabou atingindo seus objetivos?

Se não, então por quê? Seu programa de teste foi pivotado? Ou a ferramenta - GASP - foi uma má compra?

Responda honestamente e você terá um mapa claro do problema. Esse é o seu ponto A.

Não encontrou nenhum problema? Ou você não tem as respostas para algumas ou todas essas perguntas? Quem são os compradores reais e os usuários de ferramentas pesadas? Ter uma conversa informal com eles lhe dará as respostas que você precisa.

Porque você não quer mudar de ferramenta só porque tem orçamento e alguém quer um novo recurso sofisticado.

Os recursos quase nunca resolvem problemas. Eles podem, na melhor das hipóteses, ajudar na execução das soluções. E a mudança deve fazer sentido para você:

• Em termos de adoção
• Em termos de suporte ao fornecedor — Se você tem um ótimo relacionamento com seu fornecedor existente, isso significa algo. É ter um parceiro na jornada.
• Implemente e acelere em termos de tempo — Os dias perdidos no ajuste a uma nova ferramenta são os dias que você não testará, seja em todos ou em capacidade.

Conclusão: decida mudar se e somente se você souber que ‌a mudança abordará todos os elementos que compõem o problema que você identificou, além de tapar buracos e agregar valor ao seu pessoal e processos.

A tecnologia alcançará todos os sinos e assobios que você acha que precisa se esses sinos e assobios permitirem uma oportunidade real e não tendências. Não balance o barco para um recurso.

Pergunte às pessoas certas

Depois de ter estabelecido que existe um problema real que pode ser resolvido por experimentação ou mudança de plataforma e não algo frívolo que não valerá o esforço ou uma quimera (o fantasma do caos operacional e processual manifestando-se como um problema de ferramenta), em seguida, passe para a construção de seu conjunto de considerações.

Para construir o conjunto de considerações, temos que nos armar com os dados certos para tomar uma decisão sólida que abranja todas as bases. E como em tudo, os dados certos são seus problemas, não opiniões.

Você também deve evitar um erro comum que a maioria das pessoas comete – escolher o líder da categoria. Os líderes de categoria raramente são os melhores em tudo. Você também não deve usar como padrão as mesmas ferramentas que avaliou da última vez.

Porque a experimentação é complexa. Você precisa de uma plataforma que dê suporte aos objetivos específicos do seu programa e aos seus fluxos de trabalho de experimentação. Ao mesmo tempo em que se encaixa perfeitamente em sua cultura, pois todos os pilares da maturidade da experimentação precisam trabalhar em conjunto.

Esteja aberto a escolhas. Como diz Peep Laja, eles instantaneamente melhoram a situação.

Então, por onde começamos?

O que os compradores B2B dizem sobre a compra de ferramentas - aqui é onde eles começam

Fizemos uma enquete no LinkedIn. Perguntamos aos compradores de software B2B: “Qual é a primeira coisa que você faz ao comprar um software que custa mais de US$ 5.000 por ano?”

Eles responderam:

• 57% fazem uma pesquisa no Google
• 21% pesquisam marcas conhecidas
• 14% começam no G2 ou TrustRadius, e
• 7% pedem referências

Opiniões adicionais incluíram aqueles que farão uma combinação de todos os quatro. Embora não seja uma amostra significativa, é bastante representativa e nos dá um vislumbre do método preferido dos compradores para iniciar sua pesquisa de ferramentas.

Então, a ferramenta com o SEO mais forte vence? Não exatamente. Estamos levando esses dados com uma enorme pitada de sal. Isso ilustra que, quando não temos a menor ideia de algo, estamos programados para recorrer ao Google primeiro.

Embora isso seja um trampolim para sua pesquisa - fornecendo uma lista de ferramentas de teste A/B a serem consideradas - você precisa de uma estratégia mais informada. Um que vem do final desta enquete: Pergunte às pessoas certas.

O que recomendamos

Consulte pessoas que usaram ferramentas de teste A/B extensivamente, sua equipe e também veja o que os concorrentes ou outros players do seu nicho usam.

Pergunte às pessoas em sua rede que testam regularmente

Começar com

• LinkedIn: Procure em grupos por profissionais de otimização de taxa de conversão. Alguns são mais específicos para SaaS, profissionais de marketing e Shopify. Ou faça uma postagem com as hashtags certas (ex: #CRO, #abtesting #experimentation e #optimization), marque os testadores A/B frequentes que você conhece e peça recomendações publicamente.
• Comunidades do Slack: solicite recomendações sobre as comunidades do Slack para profissionais de marketing, como CRO Growth Hacks, Marketers Chat, Growmance e Measure.

Você vai querer evitar

• Contatos da agência: pelo menos nesta fase, porque a maioria tem vínculos com ferramentas ou seus favoritos que podem ou não envolver propinas e compensações financeiras. Isso não é bom nem ruim. É assim que o espaço está agora.
• Resultados do Google: evite resultados de pesquisa do Google para plataformas de teste A/B específicas ou para tomar uma decisão. Você quer uma ferramenta que se adapte a você, não a ferramenta com o melhor SEO.

Você também pode…

Use BuiltWith para ver outras marcas em seu espaço

Isso funciona muito bem se você estiver em um nicho de mercado. As plataformas frequentemente recomendadas podem não ter integrações com sua pilha de tecnologia. Ou eles podem não oferecer suporte à experimentação para melhorar aspectos e métricas importantes para você.

Por exemplo, há muita otimização da taxa de conversão no espaço Shopify, mas a maioria das marcas aceita que lutar com o rastreamento de receita é parte integrante da configuração de uma ferramenta de teste A/B.

Você quer lutar com qualquer coisa que seja importante para o seu programa de experimentação?

É por isso que a ferramenta de teste A/B que você está considerando deve ter disposições específicas para acomodar suas necessidades de teste. Assim como o Convert oferece um aplicativo personalizado da Shopify para se livrar do problema de rastreamento de receita.

Isso pode não fornecer a ferramenta exata de que você precisa, mas informará seu conjunto de considerações.

Para descobrir quais marcas em seu espaço estão usando, tudo o que você precisa é o endereço do site para fazer uma pesquisa no BuiltWith.

Ou você pode pesquisar as ferramentas que está considerando e ver quem as está usando em seu espaço. Existem limites quando você usa uma conta gratuita.

Toque em sua equipe

Se você tem uma equipe que executa testes regularmente em sua organização, ela é uma das melhores para informar seu conjunto de considerações. Eles já estão nadando na piscina para saber a temperatura.

Obtenha a opinião deles. Pergunte por que eles desejam usar ferramentas específicas. Quais recursos não são negociáveis ​​e quais são apenas interessantes?

Que experiência passada supera lançamentos de recursos sofisticados? O melhor voto de confiança é aquele que vem de um testador que teve sucesso no passado com uma plataforma específica.

Reúna essas informações e estruture-as. Se você encontrar uma recomendação, faça uma verificação rápida em relação ao seu problema para garantir que a sugestão seja válida.

Construa seu conjunto de consideração

Neste estágio, você reconheceu 3 ou 5 ferramentas nas quais está seriamente interessado. Esse é um ponto de partida sólido. Mas agora, sua decisão pode ser baseada em fatores intangíveis, referências e reconhecimento da marca.

Ao construir seu conjunto de considerações, você criará uma matriz dessas 3-5 ferramentas de teste A/B e as comparará aos componentes de um problema. Ou seja, como eles resolvem os principais problemas que você deseja corrigir com a ferramenta de teste A/B certa para você.

Vamos ilustrar:

PROBLEMA : Atrasos na implantação do experimento.

Se você identificou mais de um problema essencial, você vai querer ter outra consideração definida para eles também. Mas com as mesmas ferramentas, apenas diferentes componentes do problema.

A questão sobre vários problemas não é apenas que se torna complexo de avaliar, mas uma alternativa surpreendente pode sair por cima. É assim que você sabe que está tomando decisões objetivas. Bem legal, certo?

Observação: como todos os problemas têm diferentes níveis de prioridade, certifique-se de ponderá-los adequadamente.

Então, como você sabe o que preencher em um conjunto de considerações como no exemplo acima?

Preenchendo as lacunas

• Avaliações
  
  Comece com sites populares de revisão de software, como G2, Capterra e TrustRadius. Lembre-se: os perfis patrocinados podem ser mais exibidos. No entanto, isso não tem nada a ver com o quão boa é uma ferramenta para resolver seus problemas.

• Contras
  
  Apontar para os comentários de 2-4 estrelas. Os contras geralmente são bem pensados. Vasculhe-os em busca de problemas que podem ser devastadores para seus objetivos. Vê algo que você está tentando evitar? Coloque um “X” no conjunto de consideração.

No entanto, faça críticas críticas com uma pitada de sal. O que foi de lado para outra pessoa não é certo que vá de lado para você também. Mas se você notar um denominador comum em 3-4 avaliações, então há um padrão que vale a pena prestar atenção.

• Tabelas de comparação
  
  Parte do trabalho já está feito para você. Veja as tabelas de comparação – tanto de fornecedores quanto de fontes imparciais de terceiros, como HubSpot e CXL.

Temos uma ferramenta para ajudá-lo a comparar e contrastar experiências de conversão, Google Optimize, Optimizely, VWO, AB Tasty, Qubit e muito mais.

Quer ler especialistas em CRO sobre como eles compram ferramentas de teste A/B?

Aqui está o que Ruben De Boer tem a dizer sobre a escolha de uma ferramenta de teste A/B:

Primeiro, é claro, você precisa ter tráfego suficiente para testes A/B, que pelo menos uma parte de sua empresa suporta testes e que o desenvolvimento tenha recursos suficientes para implementar experimentos vencedores.

Em seguida, leve em consideração suas necessidades atuais e futuras. Comece avaliando a situação atual, como seus objetivos, necessidades e quem está envolvido. Por exemplo, se a TI estiver totalmente envolvida, você poderá escolher uma solução do lado do servidor. Considerando que, se apenas os profissionais de marketing estiverem envolvidos, o lado do cliente provavelmente é o caminho a seguir.

Então, em vez de olhar apenas para a situação atual, considere onde você quer estar daqui a alguns anos. Que necessidades você tem então? Você aumentará o número de experimentos? Mais membros da equipe usam a ferramenta? Executar diferentes tipos de experimentos? Discuta as possibilidades de aumentar com os representantes de vendas dos vários fornecedores.

Por fim, faça um teste gratuito com as duas ou três ferramentas que melhor atendem às suas necessidades atuais e futuras. Durante a avaliação gratuita, verifique a facilidade de uso da ferramenta, as opções (de segmentação) e outras coisas aplicáveis ​​ao seu negócio (ou seja, funciona com seu aplicativo de página única).

Além disso, uma conexão pessoal é importante, pois você pode precisar do suporte ao cliente. Por exemplo, há ajuda com a integração? Se sim, quão feliz você está com isso? Além disso, entre em contato com o suporte ao cliente. Além de verificar os canais disponíveis (chat, e-mail, telefone), veja a rapidez com que respondem (estão no mesmo fuso horário?) e o quanto são úteis. Por fim, verifique com o departamento de TI o impacto da ferramenta no desempenho do seu site .

Ruben De Boer, gerente de conversão líder na Diálogo Online

E esta é a opinião de Max Whiteside. Max é o líder de conteúdo na Breaking Muscle:

Defina o escopo do teste, pois isso permitirá que você restrinja os recursos de teste de sua ferramenta de teste A/B. Você pretende realizar apenas testes A/B ou precisa de uma ferramenta que também possa lidar com testes de várias páginas e multivariados?

Cada ferramenta opera de maneira única e oferece tipos de teste distintos. Portanto, procure um que tenha todos os recursos de que você precisa, para que você não precise trocar de ferramenta à medida que sua capacidade de teste aumenta.

Em segundo lugar, o teste A/B de orçamento é um processo iterativo, o que torna o orçamento uma consideração crucial ao implementar um ambiente de teste. Pode ser necessário repetir um teste várias vezes antes de obter o resultado desejado, e nesse ponto você pode prosseguir para a próxima iteração. Requer tempo e recursos, e seu orçamento ditará seus limites superiores. Encontre uma ferramenta que não faça um estrago significativo em seu bolso.

Algumas ferramentas de teste podem ter um impacto negativo na velocidade do seu site durante a execução de um teste. Uma página de carregamento lento pode aumentar a taxa de rejeição e irritar os usuários, levando a menos conversões. Nesse cenário, nem o controle nem a variação teriam um desempenho ideal, tornando os resultados do teste A/B não confiáveis, mesmo que o tamanho mínimo da amostra fosse atendido.

Além disso, o efeito de cintilação é mínimo. O efeito de cintilação ocorre quando um usuário visualiza brevemente a página da Web original antes de ser redirecionado para a variante. A cintilação pode prejudicar a experiência do usuário e distorcer os resultados dos testes. Para manter a confiabilidade de seus testes A/B, é melhor selecionar uma ferramenta que não produza um efeito de oscilação. Determinar se a ferramenta de teste A/B deixa seu site mais lento é, portanto, essencial.

Max Whiteside, líder de conteúdo na Breaking Muscle

Faça contato com a ferramenta

Até este ponto, você tem sido um admirador secreto das ferramentas que está considerando. Agora é hora de superar sua timidez e fazer contato.

E o melhor lugar para começar é uma avaliação gratuita ou demonstração.

Inicie uma avaliação gratuita e reserve uma demonstração

Você precisa ver a ferramenta em ação.

Como ele funciona em seus vários aplicativos de teste A/B? Como CRO de uma loja da Shopify (ou qualquer outra loja de comércio eletrônico), por exemplo, você vai querer saber como ela se comporta desde o teste de cópia de CTA para ofertas pop-up até posicionamentos de imagens de produtos.

Uma demonstração mostra como a ferramenta resolve seu problema enquanto uma avaliação gratuita revela se a plataforma faz backup das reivindicações com os produtos (ou seja, recursos, preços, serviços, roteiro).

Observação: a maioria das ferramentas de teste A/B de nível empresarial não fará uma demonstração com você antes de pré-qualificar você. E eles não oferecem testes gratuitos. Isso pode ser um ponto cego em seu processo de avaliação.

Avalie a Cultura

Você pode perguntar: “Por que a cultura importa na ferramenta que estou comprando?”

Quando você usa uma ferramenta de teste A/B, o fornecedor se torna parte de sua cultura de experimentação. Esse relacionamento funciona melhor se você for semelhante em práticas e valores de negócios.

Não se preocupe, isso não restringirá sua pesquisa a apenas 1 ou 2 ferramentas a serem consideradas. Uma boa cultura na verdade não é rara. Você só quer evitar o atrito que pode ficar muito desconfortável e solicitar uma troca de ferramenta muito cedo.

Então, como você avalia a cultura de uma ferramenta de teste A/B? Você pode ver as avaliações do Glassdoor. As pessoas que trabalham ou trabalharam lá podem dar uma visão bastante transparente (embora anônima) da cultura.

Outra maneira de avaliar o fornecedor de uma ferramenta de teste A/B é sua interação com o setor. Eles realmente educam o espaço?

Que tipo de conteúdo você pode encontrar no blog e nas páginas de mídia social? Como outros players do setor interagem com eles?

via GIPHY

Eles estão olhando além da ferramenta para ajudá-lo a melhorar seus processos? É mais do que apenas postar conteúdo “nossa ferramenta é ótima”. Você pode identificar claramente uma marca que investiu no sucesso de seu público. É difícil esconder uma luz tão brilhante.

Solicitar informações que você está perdendo

Sim, você pode pedir ao fornecedor da ferramenta de teste A/B para preencher as lacunas para você com os documentos de solicitação de informações.

Os documentos RFI são semelhantes, portanto, um modelo como esse funcionaria. O que será único na sua, além das informações introdutórias sobre sua organização e os objetivos que você deseja alcançar, são as perguntas que você faz. Você vai querer saber

• O histórico do fornecedor
• A história de sucesso de clientes semelhantes à sua organização
• Preços
• Referências e muito mais

Mas também importante, obtenha o nome e as informações de contato da pessoa responsável por responder à RFI.

Equipamento de pré-compra

Parte do esforço para fazer uma compra bem-sucedida de uma ferramenta de teste A/B está na preparação da pré-compra – a transição de nenhuma ferramenta ou ferramenta atual para um novo software em sua pilha de tecnologia. O que você precisa fazer para migrar sem problemas?

Primeiro, revele sua escolha para sua equipe e obtenha buy-in. Se você não trabalhou sozinho até agora e usará a nova ferramenta em equipe, eles precisam estar na mesma página com você. Deixe-os saber o fornecedor que você escolheu. E mostre a eles o porquê.

É por isso que ter uma abordagem estruturada realmente ajuda. Agora você pode mostrar as considerações meticulosas pelas quais passou para chegar a essa decisão, para que faça todo o sentido escolher essa ferramenta. Com tudo bem feito até agora, o buy-in é fácil neste momento.

Discuta sua decisão em equipe. Como ele se conecta com os problemas atuais em sua jornada de experimentação? Como isso apoia seus objetivos de crescimento? O que outros usuários estão dizendo sobre a ferramenta? O que você aprendeu com sua pesquisa? E como isso se manteve em seu conjunto de considerações?

Além disso, concentre-se no “porquê” por trás da escolha do fornecedor. Além dos recursos simples da ferramenta, você trabalhará com um fornecedor que ofereça suporte aos seus objetivos de teste? Eles fornecem o suporte educacional que sua equipe precisa para aproveitar ao máximo a nova ferramenta de teste A/B? Quais são os objetivos do fornecedor para seus usuários?

Em seguida, elabore um cronograma para a transição e prepare-se para o lançamento. A migração precisa ser planejada com cuidado para evitar soluços e atrasos dispendiosos.

É por isso que você desejará trabalhar com um fornecedor que ofereça suporte a você. O fornecedor ajudará na migração? Você pode transferir seus dados para o novo fornecedor? Existe um processo de integração robusto? Descubra qual experiência você precisa para fazer isso e quanto tempo levará para cada etapa.

Por fim, concentre-se em suas metas para o programa de otimização dividida em 3-6-9 meses. Dessa forma, você tem checkpoints trimestrais para avaliar a decisão que tomou. A ferramenta de teste A/B e o fornecedor escolhidos estão atendendo às expectativas com as quais você começou?

Cuidado aqui: as expectativas precisam ser realistas. Certifique-se de não avaliar seu fornecedor em resultados que eles não podem influenciar.

Vamos fazer disso uma lista de verificação acionável que você pode levar com você.

Uma lista de verificação prática de fatores a serem lembrados ao migrar

Você deseja migrar de bom para melhor; inteligente a gênio; incrível para feliz. Isso não acontece por acaso.

Marque todas as caixas de seleção abaixo para ter certeza de que a ferramenta de teste A/B para a qual você está migrando funciona além de suas expectativas e ajuda você a atingir suas metas de experimentação.

• Custo — O custo da ferramenta de teste A/B justifica os resultados que você espera? Como o investimento cumulativo na ferramenta mede o ROI esperado?

• A curva de aprendizado — Você não quer gastar horas valiosas de experimentação tentando descobrir como fazer tarefas básicas com a ferramenta de teste escolhida por causa de uma interface do usuário cheia de vários recursos que você nunca usará. Leia as avaliações para saber mais sobre a curva de aprendizado da ferramenta.

• Flicker — Flicker ocorre quando os usuários veem a versão original de uma página piscar na tela antes que o software de teste A/B os apresente com a variante. Isso pode estragar os resultados do seu teste.
  
  Algumas ferramentas como o Convert Experiences desenvolveram tecnologia anti-cintilação, então isso não acontece. Mas muitas ferramentas de teste A/B gratuitas e de código aberto ainda não têm esse recurso.

• Integrações prontas para uso — Sua ferramenta de teste A/B não é um lobo solitário. Ele precisa se unir a outras ferramentas em sua pilha de tecnologia para trazer o máximo de valor. Confira o número de integrações prontas para uso que sua ferramenta de CRO vem com. Ele se integra a serviços vitais com os quais você precisa trabalhar?

• Google Analytics — Garanta que sua ferramenta tenha uma integração tranquila com o Google Analytics. Ao configurar, esta é uma das primeiras tarefas que você terá que concluir. Descubra se você pode precisar de um desenvolvedor para ajudar com essa ferramenta.

• Metas — A definição de metas é parte integrante do seu teste A/B. Ele adiciona contexto aos seus testes e ilustra o impacto dos resultados dos seus testes. Como sua nova ferramenta lida com isso? Você pode importar metas do Google Analytics?

• Rastreamento de receita — Ao migrar, você deseja garantir que o rastreamento de receita esteja configurado corretamente para eventos de receita única e de várias receitas. Algumas ferramentas requerem configuração manual. Você não quer isso.
  
  O Convert Experiences se conecta automaticamente ao Google Analytics Universal e Classic para extrair valores de transações, receita e itens pedidos para informar os testes.

• Teste A/A — A nova ferramenta passa nos testes A/A? Se você tiver acesso de teste gratuito a uma plataforma de teste A/B, execute este teste. É assim que você sabe que sua ferramenta está preparada para lidar com testes A/B sem vieses — ou não.

• Configurações do Colaborador — Particularmente importante se você trabalha em equipe. Você pode controlar o acesso ao que seus colaboradores podem visualizar e fazer alterações?

E estas 2 considerações adicionais a serem lembradas:

1. Que nível de suporte ao cliente a ferramenta de teste A/B oferece?

Outro ponto a ser considerado em sua avaliação é o nível de suporte técnico disponível para você como cliente.

Comprar uma ferramenta de teste A/B pode ser um grande compromisso. Você precisa ter certeza de que a ferramenta oferece suporte técnico suficiente para sua equipe em caso de dificuldades.

O nível de suporte oferecido pelas principais ferramentas de teste A/B do mercado varia. Com alguma pesquisa, você pode descobrir se as ferramentas de teste que você está considerando oferecem todos ou uma combinação dos seguintes:

• Suporte ao vivo: oferecido por telefone ou videochamada
• Suporte por e-mail: oferecido por um endereço de e-mail dedicado.
• Bate-papo ao vivo: usando um aplicativo de mensagens embutido
• Documentação: um repositório online de artigos que fornecem soluções para problemas comuns.
• Suporte automatizado: um conjunto de respostas pré-gravadas.

Depois de confirmar o nível de suporte disponível, você precisa descobrir se as pessoas alocadas nos vários canais de suporte são especialistas em CRO. É especialmente importante que você escolha uma ferramenta com especialistas em CRO para a equipe de suporte, pois eles podem fornecer melhor a ajuda em tempo real de que você precisa se tiver problemas técnicos.

Também vale a pena notar que algumas ferramentas de teste A/B oferecem suporte ao cliente dedicado como um complemento pelo qual você precisa pagar ou atualizar para um plano superior para acessar gratuitamente. Pagar por suporte técnico dedicado ou atualizar para um plano que supere em muito suas necessidades de teste para acessar um suporte melhor aumentará o custo geral da ferramenta de teste A/B.

Na Convert, nossa equipe de desenvolvedores e especialistas em CRO oferece suporte técnico gratuito aos nossos clientes. Nosso suporte assume a forma de chat ao vivo, documentação online, suporte por e-mail e suporte ao vivo.

2. A ferramenta de teste A/B afeta a velocidade do seu site?

Outra consideração importante ao comprar ferramentas de teste A/B é o impacto na velocidade do site. Algumas ferramentas de teste A/B podem adicionar segundos à velocidade do seu site e aumentar o tempo de carregamento. O tempo de carregamento lento do site afeta a experiência do usuário e pode afetar seu tráfego.

Vamos entrar no mecanismo de como algumas das principais ferramentas de teste A/B do mercado podem afetar a velocidade do seu site. As ferramentas de teste A/B geralmente se enquadram em duas categorias:

1. Ferramentas de teste A/B do lado do cliente
2. Ferramentas de teste A/B do lado do servidor

As ferramentas de teste A/B do lado do cliente usam um trecho de JavaScript armazenado no navegador de um visitante para alterar o conteúdo que seu servidor mostra ao visitante com base em suas instruções de segmentação. As ferramentas de teste A/B do lado do servidor entregam o conteúdo exato com alterações do servidor para o usuário sem tocar no navegador do usuário.

As ferramentas de teste do lado do servidor parecem ser a melhor opção, mas podem ser caras e não relevantes para muitos casos de uso. Você pode se aprofundar mais nas diferenças em nosso artigo de teste do lado do cliente versus do lado do servidor.

Muitas das principais ferramentas de teste A/B existentes são ferramentas de teste do lado do cliente. As ferramentas de teste A/B do lado do cliente são carregadas de duas maneiras:

1. Sincronicamente

This is when the JavaScript snippet of your A/B testing software loads fully before your web page loads. This way of loading the scripts prevents flickering. But may cause your page speed to slow down, as the code snippet from your A/B testing solution load time adds to your overall page speed.

2. Asynchronously

This is when the code snippet from your A/B testing platform of choice and web page loads simultaneously. Tools that use this method of loading may be fast but are prone to flickering.

As I mentioned earlier, flickering occurs when the visitor sees the original content before the variation loads.

Convert is one of the fastest A/B testing software on the market. This is thanks to its Smart Insert Technology ^TM which reduces its impact on your site speed.

5 A/B Testing Tools We Like

Where do you start in your search for the perfect A/B testing tool to buy? Right here with our top 5 favorites.

We've considered everything we talked about above and created a list based on what we know about our audience.

Vamos mergulhar!

1. Convert Experiences

Convert Experiences is for companies and teams looking to scale up their testing program with a mid-level testing platform that comes at a great price. You get fantastic support through your experimentation growth while staying ahead of privacy and data protection requirements.

Convert seamlessly integrates with over 100 tools in your MarTech stack and frees you from testing limitations you might've experienced with free tools and even some paid testing tools.

What we like about the tool: Everything! We built it

TrustRadius Rating: 9.4 out of 10 (18 reviews)

Pricing: Starts at $699/mo, then $199 for every 100k visitors after that

Free plan or trial? Yes, for 14 days with no credit card info needed to start

Cost per 100k visitors: $199

Prós:

• Stable, flicker-free testing
• 3rd-party cookie-free testing with no limits
• Over 100 integrations with other marketing tools (Shopify, WordPress, HubSpot)

Contras:

• Only basic post segmentation is enabled on the kickstart plan

Client-side or server-side tool? Both. You can use a client-side visual editor as well as set up to run custom JS on the server side.

Integration with Google Analytics? Sim.

Core Web Vitals ready? Sim. You get fast page loading, flicker-free, and minimal effect on CLS. So, your SEO isn't affected.

Frequentist or Bayesian stats? Frequentist two-tailed z tests.

Enterprise Support? Sim. We serve companies like Sony, Unicef, and Jabra.

Customer Support? Yes, including live chat and a support center. And there's more coming.

Consciousness Quotient (CQ): We're an outspoken campaigner for user privacy and have environmental consciousness deeply embedded in our DNA. We are fully GDPR compliant and don't use tools that aren't GDPR compliant. And we're proudly 15x carbon negative.

Fair TrustRadius review:

2. Kameleoon

Kameleoon é uma das plataformas de teste A/B mais populares do mundo atualmente e uma das favoritas das empresas de saúde e fintech. Ele traz vantagens extras para a mesa com melhor funcionalidade do que a maioria das ferramentas. Ele também vem com uma ótima interface do usuário e excelentes configurações e integrações de personalização.

Por que gostamos dessa ferramenta: segmentação de visitantes com tecnologia de IA com opções de personalização de pilha completa

Classificação TrustRadius: 8,9 de 10 (70 comentários)

Preço: Personalizado, que ouvimos dizer que custa cerca de US$ 35.000 por ano, dependendo do seu tráfego

Plano grátis ou teste? Sim

Custo por 100 mil visitantes: Não aplicável

Prós:

• Tecnologia anti-cintilação avançada
• Editor WYSIWYG fácil de usar
• Integra-se sem problemas com outros aplicativos de marketing

Contras:

• Demora um pouco para o editor WYSIWYG carregar
• Não é possível arquivar testes

Ferramenta do lado do cliente ou do lado do servidor? Ambos

Integração com o Google Analytics? Sim

Principais Web Vitais prontos? Sim.

Estatísticas freqüentes ou bayesianas? Não há informações prontamente disponíveis sobre isso.

Suporte empresarial? Sim. Seus clientes corporativos incluem Toyota, Rakuten e Lexus.

Suporte ao cliente? Sim. Você também pode obter um gerente de conta.

Quociente de Consciência (CQ): Eles são compatíveis com HIPAA, GDPR e CCPA e também possuem um recurso flexível de gerenciamento de consentimento para cada teste A/B executado.

Revisão do Fair TrustRadius:

3. Saboroso AB

Ao listar as melhores ferramentas de teste A/B a serem consideradas, você definitivamente gostaria de ter o AB Tasty nessa lista. É uma ferramenta de nível médio, ótima para empresas que desejam ir além dos experimentos básicos da Web e executar um programa de testes respeitável.

Apesar de ser sólido, ele possui uma interface de usuário relativamente simples que inclui funcionalidades como funções de aprendizado de máquina, para que seu site possa executar uma personalização mais sofisticada e rastreamento de dados em grande tráfego.

Por que gostamos desta ferramenta: UI limpa e simples, ótima para testes focados

Classificação TrustRadius: 8,7 de 10 (78 comentários)

Preço: a partir de US$ 1.900/mês para 400 mil visitantes

Plano grátis ou teste? Não, mas você pode solicitar uma demonstração.

Custo por 100 mil visitantes: ~$475

Prós:

• Widgets dinâmicos
• Preços intermediários para equipes não corporativas
• Relatórios de análise abrangentes

Contras:

• A calculadora de significância estatística é básica

Ferramenta do lado do cliente ou do lado do servidor? Ambos

Integração com o Google Analytics? Sim.

Principais Web Vitais prontos? Sim, é uma ferramenta rápida.

Estatísticas freqüentes ou bayesianas? Bayesiano.

Suporte empresarial? Sim, eles fornecem experiência ao cliente corporativo. Empresas como Disney, L'Oreal e Klaviyo usam o AB Tasty.

Suporte ao cliente? Sim, com chat ao vivo e base de conhecimento.

Quociente de Consciência (CQ): AB Tasty é uma marca preocupada com a privacidade que também exerce um impacto social positivo ao doar diretamente para ONGs, reciclar e patrocinar colméias.

Revisão do Fair TrustRadius:

4. Otimizar

Optimizely é uma das plataformas pioneiras de experimentação na web e ganhou uma grande reputação como uma ferramenta sólida para confiar. Seu preço, no entanto, pode ser bastante proibitivo para a equipe média de CRO, pois eles são muito focados na empresa.

Além disso, eles fazem um ótimo trabalho ao permitir que as equipes de CRO executem programas avançados de experimentação e experiências personalizadas na web.

Por que gostamos desta ferramenta: ferramenta poderosa para experimentação combinada com personalização com tecnologia de IA

Classificação TrustRadius: 8,7 de 10 (3 comentários)

Preço: Escondido, supostamente cerca de US $ 36.000 por ano.

Plano grátis ou teste? Não, não desde 2018

Custo por 100 mil visitantes: não aplicável com esta ferramenta

Prós:

• Ampla gama de opções de segmentação disponíveis
• Recurso de widget fácil de usar
• Interface de usuário sem complicações

Contras:

• A integração com o Google Analytics pode ser complexa para não desenvolvedores
• Muito caro

Ferramenta do lado do cliente ou do lado do servidor? Ambos. A experimentação do lado do cliente funciona com um snippet JS e o lado do servidor é feito com SDKs de desenvolvedor.

Integração com o Google Analytics? Sim.

Principais Web Vitais prontos? Sim.

Estatísticas freqüentes ou bayesianas? O Optimizely usa experimentação sequencial, não os experimentos de horizonte fixo que você veria em outras plataformas.

Suporte empresarial? Atende fortemente a clientes corporativos por causa do preço. Os clientes incluem HP, IBM e Microsoft.

Suporte ao cliente? Sim, incluindo números de telefone 24 horas por dia, 7 dias por semana e recursos de ajuda.

Quociente de Consciência (CQ): Eles estão preocupados com a privacidade e têm a tradição de envolver seus novos contratados no voluntariado comunitário no segundo dia.

Revisão do Fair TrustRadius:

5. Google Optimize (e Optimize 360)

O Google Optimize (GO) é uma ferramenta gratuita de otimização e experimentação de sites. Costumava ser o Content Experiments dentro do Google Analytics, mas agora é um serviço autônomo para executar testes A/B, redirecionamento, personalização, multivariável e banner.

A versão premium do Google Optimize é o Optimize 360. É uma versão mais poderosa e sem limites do GO. GO é ótimo para começar em testes A/B. Será fácil deslizar para uma ferramenta de médio alcance com a experiência que você obtém ao usar o GO.

Por que gostamos desta ferramenta: Melhor ferramenta de teste A/B gratuita, ótima para iniciar sua jornada de CRO

Classificação TrustRadius: 7,9 de 10 (43 comentários)

Preços: o Google Optimize é gratuito, mas sua versão premium, Optimize 360, tem preços personalizados – segundo rumores, cerca de US$ 150.000 por ano.

Plano grátis ou teste? Sim, para Otimizar.

Custo por 100 mil visitantes: Não aplicável com GO

Prós:

• A ferramenta mais fácil para começar - interface de usuário amigável para iniciantes
• Integração mais suave com o Google Analytics
• Segmentação de público detalhada, graças aos enormes recursos de dados do Google

Contras:

• Limitado a 5 testes por vez
• Pisca às vezes
• Não é possível testar um aplicativo para dispositivos móveis

Ferramenta do lado do cliente ou do lado do servidor? Ambos

Integração com o Google Analytics? Claro que sim.

Principais Web Vitais prontos? Você pode ter dificuldades com o impacto da cintilação e do CLS, mas é gerenciável.

Estatísticas freqüentes ou bayesianas? Abordagem de testes bayesianos.

Suporte empresarial? Isso está disponível apenas no Optimize 360

Suporte ao cliente? Há uma comunidade e outros recursos de ajuda disponíveis para a ferramenta gratuita. Os clientes do Optimize 360 ​​obtêm toda a gama de suporte ao cliente.

Quociente de Consciência (CQ): O Optimize é um dos muitos produtos do Google e se enquadra na neutralidade de carbono do Google e na filantropia bilionária.

Revisão do Fair TrustRadius:

Principais conclusões

Encontrar o software de teste A/B certo para suas necessidades não é tão fácil quanto parece. Fatores complexos, como suas necessidades de teste, preços, integrações, conjunto de habilidades disponíveis, configuração, treinamento e muito mais, precisam ser levados em consideração.

Quando você começa com o problema, pergunte às pessoas certas, crie sua lista de consideração e crie um conjunto de considerações com base em uma análise cuidadosa dos fatores cruciais que podem fazer ou quebrar sua experiência com sua ferramenta de teste A/B, você já está no meio do caminho.

Você pode optar por iniciar seu teste com as 5 ferramentas listadas acima. Mas se essa não é sua xícara de chá, oferecemos tudo o que você precisa para ir lá, pesquisar mais de 50 ferramentas de teste A/B e encontrar a certa para suas necessidades exclusivas.

Porque a decisão final está com você.