Como garantir resultados precisos de seus testes A/B apesar do ITP da Apple

Ele foi originalmente projetado para bloquear cookies de terceiros (rastreadores que identificam usuários em diferentes domínios) para usuários do Safari. Com o tempo, evoluiu para também restringir alguns cookies primários que atuam como rastreadores. É aqui que reside a importância do ITP. Ele faz um excelente trabalho na prevenção do rastreamento de visitantes maliciosos.

Por que o Safari ITP surgiu?

Por muito tempo, antes do desenvolvimento do ITP, os dados de terceiros eram a principal fonte de informações dos visitantes do site para os setores de marketing, análise e publicidade.

Os visitantes, no entanto, não tinham a menor ideia de quem podia acessar seus dados pessoais e o que eles poderiam fazer com eles. A falta de transparência sobre quem poderia acessar as informações dificultou saber se as empresas estavam usando isso de forma responsável ou não.

A solução veio em uma série de leis de privacidade inesperadas (GDPR, CCPA, CPRA, LGPD, ePrivacy), que permitiram aos usuários entender quando suas informações pessoais estão sendo coletadas por empresas ou acessadas indevidamente, dando-lhes a capacidade de decidir como isso é usado –incluindo se eles querem ou não que seja coletado!

Com a introdução dessas leis que protegem a privacidade do usuário, os navegadores foram obrigados a cumprir. A Apple foi a primeira a incorporar recursos de privacidade em seu navegador. Em 2017, lançou o Intelligent Tracking Prevention (ITP) para proteger a privacidade de seus usuários.

Como o ITP evoluiu ao longo dos anos?

ITP mudou ao longo dos anos, cada versão introduzindo novas restrições. Vamos passar pelas versões mais importantes do ITP e ver quais mudanças cada uma delas trouxe.

Compartilhe este infográfico em seu site:

Seu teste A/B é afetado pelo Safari ITP?

Se você estiver realizando experimentos com qualquer um dos itens a seguir, o ITP poderá afetar seus resultados:

Cookies de terceiros

Como o ITP não permite cookies de terceiros, você provavelmente será impactado negativamente e deve considerar mudar para outra solução.

Cookies primários

Esses cookies serão excluídos do navegador do usuário após 7 dias, o que pode afetar seus dados e a experiência do usuário.

Armazenamento local

Esses dados serão excluídos do navegador do usuário após 7 dias, o que pode influenciar os resultados do teste e a experiência do usuário se o caminho de conversão for normalmente maior que uma semana.

Teste do lado do servidor

Esta é a solução mais segura no momento, mas certifique-se de que suas ferramentas de teste suportam segmentação e segmentação do lado do servidor.

Quais ferramentas você pode usar para definir o impacto do ITP?

Se você ainda não tem certeza se foi impactado pelo ITP, aqui estão algumas ferramentas que podem ajudá-lo a identificar seu impacto imediatamente.

Relatórios do Google Analytics

Você pode usar seus relatórios do Google Analytics e procurar as alterações que abordamos abaixo. Você usará principalmente o relatório Browser & OS e o relatório Source/Medium para identificar o impacto do ITP em seus dados.

Calculadora de impacto ITP para dados do Google Analytics

Você também pode usar o ITP Impact Calculator para ver como o ITP 2.1, 2.2 e 2.3 pode ter impactado seus dados do GA. Há também um artigo onde você encontrará uma explicação da saída desta ferramenta.

Como é o impacto do ITP nos resultados do teste A/B?

Agora que você sabe como identificar se é afetado pelo ITP, pode estar se perguntando como o ITP pode influenciar os resultados do seu teste A/B.

Então, vamos ver quanto efeito o ITP teria nos resultados do seu teste A/B e alguns sinais comuns para procurar em seus relatórios de teste A/B.

Menos visitantes recorrentes com Safari 12.1 e superior

Um sinal revelador de que a Prevenção de Rastreamento Inteligente está ocorrendo é quando o número de novos usuários que usam navegadores que forçam mudanças de ITP aumenta, enquanto o número de usuários recorrentes diminui. Ou seja, você recebe mais visitantes novos e menos visitantes recorrentes do que o normal.

Isso ocorre porque, quando o ITP acontece, os cookies não podem mais fazer seu trabalho. As limitações de segmentação de visitantes de 24 horas e 7 dias do ITP alteram o significado de “visitantes recorrentes”.

Os visitantes que voltam ao seu site dentro de 7 dias após a última visita são relatados com precisão como "visitantes recorrentes". Enquanto os usuários que interagiram repetidamente com seu site, mas que converteram ou fizeram uma compra após 7 dias, são classificados incorretamente como “novos visitantes”.

Essa redefinição de “visitantes recorrentes” significa que o ITP inibe a atribuição de marketing adequada, bem como a segmentação de mercado e o retargeting.

Em seguida, vamos mostrar exatamente como você pode identificar esse possível problema em seus relatórios do Google Analytics.

Filtre o relatório “Navegador” por Navegadores que contenham “Safari”. Defina a métrica visualizada no gráfico como "Novos usuários" e "Usuários recorrentes" e a granularidade como "Mês". Isso permite que você veja que menos usuários recorrentes são capturados ao longo do tempo.

Você também pode usar a Calculadora de Impacto ITP para isso. Os gráficos de pizza mostram como o número de usuários novos e recorrentes variou ao longo do tempo. Nesse caso, apenas 15,8% dos usuários com ITP 2.1 ou superior podem ser identificados como usuários recorrentes. 22,4% dos outros navegadores podem ser identificados como usuários recorrentes.

Maior % de novas sessões

Devido ao fato de que os visitantes recorrentes não podem ser facilmente reconhecidos, outra coisa que você notará é que a dimensão “contagem de sessões” será afetada.

Isso significa que você verá uma porcentagem maior de usuários do Safari com uma única contagem de sessão.

Vejamos essa dimensão no Google Analytics.

Filtre o relatório “Navegador” para qualquer navegador que contenha “Safari”. Defina a métrica visualizada no gráfico para “% New Sessions” e a granularidade para “Month”. Isso mostra as tendências de “% Novas Sessões” ao longo do tempo.

Você também pode usar o ITP Impact Calculator e ver como o “% New Sessions” mudou após março de 2019, quando o ITP 2.1 entrou em vigor. Como a duração dos cookies foi reduzida, você verá mais “% de novas sessões” para o Safari em comparação com o seu site em geral para entender as implicações macro e micro.

Variações Vencedoras Declaradas Incorretamente

Este é o pior medo de qualquer testador. Ninguém quer declarar falsos vencedores, mas a realidade é que a ITP pode ser a culpada. Por causa do ITP, você pode notar algumas irregularidades com os vencedores declarados do teste A/B.

Como os visitantes só podem ser classificados corretamente como novos versus recorrentes por 7 dias, você tem um tempo muito curto com dados válidos para declarar um vencedor. Mas se o seu site não receber tráfego suficiente antes da data de expiração, o vencedor errado pode ser declarado ou nenhum vencedor declarado.

Veja como ficaria no aplicativo Convert Experiences:

Nenhuma atribuição de marketing

Um dos maiores pesadelos dos profissionais de marketing é não conseguir atribuir conversões corretamente. Isso significa que você não pode rastrear quais campanhas de marketing estão resultando em vendas e, portanto, não pode determinar em quais vale a pena investir.

Atualmente, a maioria dos profissionais de marketing usa parâmetros de consulta como parâmetros UTM para atribuir conversões.

Mas estes podem ser sinalizados pelo ITP, que limita os cookies relevantes de 7 dias a 1 dia . Isso oferece uma janela muito curta para atribuir conversões corretamente. Além disso, como mostramos anteriormente, os visitantes recorrentes não são categorizados de forma confiável além de 7 dias. Isso direciona erroneamente o crédito da conversão do visitante para o último canal de engajamento ou transação.

Em raras circunstâncias, o ITP pode até remover todas as informações extras dos URLs. Quando os parâmetros UTM são perdidos, não há como vincular a conversão a um canal ou fonte específica, tornando suas análises sem sentido.

Tomemos dois exemplos.

O visitante A vem de um site afiliado na segunda-feira e volta uma semana depois para comprar:

• Antes do ITP: a venda é atribuída ao “Afiliado”
• Após ITP: a venda é atribuída a “Direta”
• Por quê: a 2ª visita é mais de um dia após a 1ª

O visitante B clica em um anúncio do Facebook para sua postagem de blog e compras mais recentes:

• Antes do ITP: a venda é atribuída ao “Facebook”
• Após ITP: a venda é atribuída a “Direta”
• Motivo: a visita ao blog não está vinculada à visita em outro domínio

Vá para o painel do Google Analytics e selecione Aquisição e, em seguida, Todo o tráfego no menu suspenso. Para ver uma lista de como as pessoas estão encontrando seu site, vá para Origem/Mídia.

Se você depende do tráfego de afiliados como Facebook e LinkedIn, o ITP pode empurrar seu programa de análise da web para mostrar visitantes únicos inflados. Afiliados como Facebook e LinkedIn podem reconhecer facilmente o tráfego de visitantes únicos dessas fontes em condições regulares e não ITP. Os visitantes do seu site trariam um identificador de visitante exclusivo com eles por meio do URL, que o afiliado compararia com um cookie colocado no navegador antes disso. O afiliado monitoraria os visitantes em todos os domínios usando o cookie e a identificação do visitante.

Abaixo você pode ver o número de visitantes únicos vindos do Facebook e LinkedIn sem impacto do ITP:

Com o ITP, as coisas são um pouco diferentes. O ITP agora emprega uma lista negra de domínios capazes de rastreamento entre sites. Se o ITP colocar os sites de seus afiliados na lista negra e eles empregarem algo que se pareça com um identificador de visitante, os cookies que eles descartam terão um período de expiração de 24 horas em vez dos habituais 7 dias. Como resultado, você só poderá rastrear usuários em 24 horas.

Se você carregasse o mesmo relatório de antes, mas agora mostra um impacto ITP, notará uma diminuição em “Usuários”:

Nenhuma criação de perfil de usuário persistente

Com o ITP, a criação de perfil de usuário não está mais disponível. O perfil do usuário também ficará embaçado. O rastreador de perfil de usuário não pode mais emitir um ID de usuário ou cliente persistente para visitantes ao usar o ITP. Esta é uma situação dinâmica. O mecanismo de “retargeting” também é afetado. Para fornecer o conteúdo e os anúncios mais adequados, o retargeting depende em grande parte do ID permanente do usuário.

Personalizações significativas apenas para novos visitantes

As personalizações serão afetadas dependendo da lógica que as sustenta.

A personalização em tempo real, na qual a experiência do usuário é moldada por seu comportamento durante aquela sessão específica, não será afetada. No entanto, reconhecer suas preferências e comportamentos quando eles retornarem não funcionará mais, a menos que eles retornem ao seu site dentro de 7 dias.

Problemas de funcionalidade da Web

O ITP também tem consequências em outras áreas, como funcionalidade da web e marketing de afiliados. Se você usar cookies graváveis ​​por script ou qualquer outra forma de armazenamento gravável por script para salvar os dados do visitante, você realmente sentirá os efeitos do ITP. Seu site pode solicitar o consentimento de cookies regularmente, redefinir as preferências de idioma e moeda para as configurações padrão e assim por diante.

Desempenho de ponta a ponta

Devido à restrição de cookies primários em seu site, o ITP tem impacto em seu marketing digital e, consequentemente, em seu negócio como um todo. Como as plataformas de publicidade e análise dependem desses cookies para rastreamento e relatórios, a implementação do ITP significa que os insights de dados de marketing não podem mais ser totalmente confiáveis.

Um teste A/B ao vivo foi usado para simular o impacto do ITP

Considere um site que recebe 30% de seu tráfego de usuários do Safari. Recebe 200.000 visitantes únicos mensais e tem uma taxa de conversão de 3% em média.

Criamos uma simulação do que aconteceria se fosse realizado um teste A/B de duas páginas (o Original e o Variant1). Variant1, de acordo com a teoria, supera o Original.

Em nosso gráfico, no entanto, é mostrado que quando o ITP não é removido, o Original está se saindo melhor.

A simulação mostra que, por causa do ITP, a ferramenta de experimentação informará que o Original é o vencedor após 7 dias.

Este é o oposto dos resultados obtidos quando o impacto do ITP é removido, o que mostra que a Variant1 deve ser o resultado vencedor real.

Essencialmente, o ITP faz com que seu teste A/B produza resultados completamente imprecisos e não confiáveis. Há algo que você pode fazer sobre isso embora. Leia para ver o que é isso.

O que acontece se você ignorar o impacto do ITP nos resultados do teste A/B?

Em sua Política de Prevenção de Rastreamento, a Apple declarou:

Isso significa que, se o seu site tentar burlar os recursos antirastreamento integrados da Apple, ele será tratado como malware.

Se você tentar usar um período de carência, talvez não veja um impacto em seus relatórios do Analytics imediatamente, mas verá uma inconsistência entre o Google Analytics/sua plataforma de experimentação e outros provedores externos que levam em consideração as alterações de ITP.

A solução da Convert para contornar o ITP

Vamos começar com um exemplo para entender o que o ITP pode fazer com suas experiências e relatórios do Convert (se você não aplicar nossa solução abaixo).

Por exemplo, se seu funil tiver três etapas e um visitante concluir a etapa final no oitavo dia, o fluxo do funil nunca será concluído, mesmo que o visitante conclua todas as etapas. Isso se deve ao fato de que os dados coletados ao longo da jornada do cliente podem expirar após 7 dias.

Além disso, o visitante é tratado como um novo visitante e o processo de coleta de dados começa novamente.

Os resultados tornam-se obscuros porque o mesmo usuário é rastreado muitas vezes.

Isso também pode significar que, se um visitante retornar ao site após 7 dias, será oferecida uma versão diferente do mesmo teste do que foi exibido anteriormente.

Isso pode levar a inconsistências na experiência do usuário e influenciar a precisão da campanha.

Os visitantes que chegam ao seu site a partir de um domínio com recursos de acompanhamento de vários domínios e uma string de consulta ou identificador de fragmento no URL são reconhecidos como novos visitantes se chegarem 24 horas após a visita anterior, mesmo que tenham chegado ao site por um pouco mais de tempo antes disso.

Isso ocorre porque os cookies contêm informações sobre qual variação foi mostrada ao usuário.

Então, o que poderia dar errado em suas experiências e relatórios do Convert?

• Alguém que volta várias vezes durante uma experiência pode ter uma variação diferente a cada vez.
• Devido a diferentes padrões de proteção de privacidade em cada navegador, a mesma atividade pode ter um desempenho diferente.
• As conversões podem não ser atribuídas adequadamente às experiências oferecidas em longas janelas de conversão (mais de 7 dias).
• À medida que a separação clara da influência da variação se torna mais difícil, seu programa de otimização notará resultados mais “inconclusivos” ou “planos”.
• Como os visitantes recorrentes são rotulados erroneamente como novos visitantes, é provável que os experimentos excedam o tamanho mínimo da amostra pré-calculado antes do esperado.
• Os usuários não serão identificáveis ​​nas visitas.

Felizmente, nenhuma das opções acima precisa acontecer com você.

Para superar os problemas acima, investigamos várias técnicas para mitigar o impacto do ITP, antes de decidir realocar o processo de geração de cookies do navegador para o servidor.

Como as novas restrições de duração de cookies se aplicam apenas a cookies criados no navegador, movemos a parte de emissão de cookies para o seu servidor web, o que significa que os cookies serão criados pelo seu servidor e não pelos navegadores dos usuários.

Para usuários que não podem aplicar nossa solução ITP

Se a solução acima não for possível do seu lado, o Convert oferece a filtragem dos resultados da sua experiência por um conjunto padrão de segmentos de usuários, que inclui o navegador, imediatamente.

Use a opção Segmento do navegador para exibir resultados que incluem e excluem o Safari para verificar a consistência entre navegadores dos resultados de um experimento.

Veja como:

Vá para a guia "Relatório" da sua experiência:

Na lista suspensa Segmento, use as caixas de seleção "Filtrar por navegador":

Selecione todos os navegadores listados no menu, exceto o Safari.

Isso permite que você visualize os resultados com todos os números típicos de relatórios e cálculos de significância estatística, com e sem a população de visitantes que podem ser afetados pelo ITP.

Lembre-se de que outros navegadores podem forçar essas alterações de privacidade por padrão, portanto, essa solução alternativa só é aplicável até que o ITP seja forçado a todos os outros navegadores (semelhante ao Safari).

Considerações finais

Como as empresas devem gerenciar esse terreno, considerando os requisitos de privacidade em constante mudança, ao mesmo tempo em que aprimoram os esforços de marketing, preservam uma vantagem competitiva e satisfazem uma demanda crescente por experiências individualizadas do consumidor?

Infelizmente, não existe uma solução simples.

A principal coisa a lembrar é que, se sua empresa ainda não o fez, é importante garantir que suas equipes estejam cientes das preocupações com a privacidade e das possíveis consequências da coleta de dados, análise de resultados e otimização.

Seria um erro crítico fechar os olhos ou desconsiderar os efeitos potenciais apenas porque o Safari pode representar uma pequena parte do seu tráfego.

Embora o Safari esteja na vanguarda do aumento da proteção de dados, o Firefox e o Chrome também estão tomando medidas para melhorar sua privacidade. Como resultado, esses limites podem afetar um número maior de usuários do seu site.

Se suas equipes estão lutando para acompanhar todas as novas atualizações de privacidade e determinar como elas afetarão os negócios, fale conosco.

As três principais soluções estratégicas da Convert estão focadas na atualização de aspectos importantes do negócio que podem ser impactados por mudanças nas regulamentações de privacidade, como:

• Melhorando a experiência do cliente
• Impulsionando seus resultados de marketing
• Ganhando uma vantagem competitiva

Agora estamos ajudando nossos clientes a navegar pelas atualizações do ITP e garantindo que as soluções alternativas essenciais estejam em vigor em seus vários sistemas. Deixe-nos saber se podemos fazer o mesmo por você.