Ética em testes A/B. O bom, o mau, o futuro

Você já pensou em ética nos testes A/B?

Todos nós temos nossa própria bússola ética nos guiando para o que é certo e errado. E, como empresas digitais, devemos ter em mente os melhores interesses de nossos usuários, certo?

Bem, é aí que as águas ficam um pouco turvas. O teste A/B tem tudo a ver com crescimento, nós dois sabemos disso. E, como tal, é fácil ignorar o efeito que nossos testes têm no usuário final. Provavelmente, queremos apenas aumentar nossa receita e obter lucro.

Claro, não pretendemos fazer nada antiético.

Podemos até tentar ficar longe das coisas que acreditamos serem desaprovadas, como cronômetros de contagem regressiva que não são reais ou contagens de ações que não estão vinculadas ao back-end.

Mas e se nosso produto realmente puder mudar a vida das pessoas? E se nosso produto puder tornar as pessoas mais felizes, mais saudáveis ​​ou mais ricas? Podemos argumentar que, se nosso produto faz um desses, devemos fazer qualquer coisa ao nosso alcance – usar qualquer tática de marketing ou vendas – para colocar nosso produto nas mãos do usuário final.

Como eu disse, estamos nadando em águas turvas. Os KPIs de negócios e os interesses dos usuários nem sempre estão alinhados. Na verdade, eu arriscaria dizer que eles definitivamente não estão alinhados para a maioria das empresas.

Então, vamos dar uma olhada mais profunda em como podemos navegar nessas águas éticas, manter nossos clientes satisfeitos e aumentar nossa receita.

Como a ética se encaixa nos testes A/B?

Recentemente, conversei com Bart Schutz, psicólogo comportamental e especialista em testes A/B. Em nossa ligação, ele deu o exemplo perfeito de um teste A/B que, à primeira vista, parece um vencedor, mas tem enormes implicações éticas para o usuário final.

Imagine ir a um site de reservas e ver a limpeza dos hostels enfatizada. Você provavelmente pensaria que era uma ótima ideia. Como você pode imaginar, os hostels com a melhor pontuação de limpeza receberiam mais cliques. E eles fizeram. As vendas aumentaram, todos ficaram felizes e sem problemas éticos à vista.

Isso foi até que seu psicólogo principal encontrou um artigo que pesquisava a associação entre limpeza e sentimentos de segurança, especialmente entre as mulheres. E ao enfatizar a limpeza dos albergues, eles poderiam induzir sentimentos implícitos de segurança, possivelmente levando mais mulheres para o que poderiam ser albergues realmente inseguros.

Na superfície, esse teste A/B parecia beneficiar tanto a empresa quanto o cliente. O negócio se beneficiou com um aumento nas reservas, e o cliente pareceu se beneficiar ao ver a limpeza do quarto.

No entanto, depois de fazer o experimento e analisar os dados, acabou criando um grande dilema ético. O que era o melhor interesse dos negócios não era necessariamente o melhor interesse dos clientes, especialmente suas clientes do sexo feminino.

Este é um exemplo muito específico e pode não estar relacionado ao seu negócio, mas mostra como os testes A/B podem impactar enormemente o usuário final.

E como, sem a devida análise de dados e pesquisa por psicólogos, esse link poderia nunca ter sido encontrado.

Então, como é o teste A/B ético?

Podemos adivinhar tudo o que quisermos sobre os resultados previstos de nossos experimentos de teste A/B.

Mas até que tenhamos conduzido o experimento, obtido dados precisos e feito a análise correta... simplesmente não sabemos as implicações éticas.

Claro que às vezes é óbvio, e se for, então é nosso dever como humanos falar e deixar nossas vozes serem ouvidas. Seja do cliente, da agência ou de quem está fazendo o teste. Mas, como vimos no exemplo do site de reservas, às vezes as implicações éticas dos experimentos são muito difíceis de ver.

E essa é realmente a mensagem aqui.

O comportamento humano é tão complexo que muitas vezes ignoramos os efeitos de longo alcance que nossos experimentos podem ter. Porque quando não temos consciência disso, não estamos analisando. E se não analisarmos, podemos estar empurrando testes que prejudicam a riqueza, a saúde e a felicidade das pessoas.

O que você deve considerar ao abordar o teste A/B?

O primeiro passo é garantir que nossos dados sejam totalmente confiáveis, então comece a experimentar e analisar com base nesses dados confiáveis, garantindo resultados confiáveis.

E a única coisa real que podemos fazer para ser éticos é ser rigorosos em nossa análise dos possíveis efeitos negativos ou prejudiciais de nossos testes.

Na próxima vez que você fizer um teste A/B, faça a si mesmo a pergunta ética. No momento, com todos os dados e conhecimentos confiáveis ​​que você possui, esse teste pode ter implicações negativas para o usuário final? E se você optar por experimentar, certifique-se de que os interesses da empresa e os interesses dos usuários estejam alinhados.

Embora isso seja difícil de fazer. Devemos ponderar ganhos de curto prazo com KPIs de longo prazo, levando em consideração nosso usuário final.

O fato é que as empresas geram mais receita, valor da vida útil do cliente e margens e fazem isso mais rápido quando experimentam .

Ser orientado por experimentos também pode economizar muito tempo e dinheiro validando maneiras de priorizar melhor os recursos de TI com base no valor que eles agregam

Só precisamos garantir que nossas métricas de sucesso incluam os interesses dos negócios e dos usuários. E devemos sempre fazer um esforço para pesquisar e analisar as implicações éticas de nossas ações.

O futuro da ética e do interesse do usuário como métrica de negócios

Cada vez mais as empresas estão percebendo a importância de se fazerem perguntas éticas e alinharem os interesses comerciais com os interesses e a felicidade de seus usuários e clientes.

Certamente nunca é preto no branco, especialmente nas águas turvas dos testes A/B éticos e impulsionando o crescimento dos negócios.

E nunca são as táticas que são antiéticas, mas a intenção e a análise de custo/benefício para aqueles que são submetidos ao teste.

O fato é que primeiro precisamos de dados confiáveis ​​– baseados em pesquisas adequadas, com grandes conjuntos de dados.

O próximo passo é garantir que nossos experimentos e análises de resultados sejam feitos com precisão.

Além disso, quando levamos em consideração o usuário final e baseamos algumas de nossas métricas para saber se um teste é bom ou ruim para ele, ajudamos a criar negócios que fazem o bem no mundo e permanecem no longo prazo.

Vamos encerrar isso com alguns itens de ação nos quais você pode trabalhar imediatamente. O que você pode fazer para ter certeza de que está sendo ético com seus testes e está alinhado com os melhores interesses de seus clientes? Aqui estão alguns pontos que podem lhe dar uma melhor direção:

1. Em uma situação ideal, você teria psicólogos comportamentais examinando pesquisas – analisando e identificando correlações nos dados. Mas se isso não for possível, aprofunde-se nos dados e nos possíveis efeitos do experimento em seus usuários finais da melhor maneira possível. É assim que você pega testes que na superfície parecem ser éticos, mas na verdade podem causar danos.
2. Faça a si mesmo perguntas éticas antes do início do teste e incentive os membros da equipe a se manifestarem se tiverem problemas com o teste. Somos todos humanos e temos diferentes níveis de sensibilidade ética. Então, o que cruza a linha para uma pessoa pode não ser para outra. É por isso que um ambiente de discussão aberta e liberdade de expressão pode ser fundamental.
3. Suposições e opiniões só podem nos levar até certo ponto. A única maneira de saber o resultado de um teste a/b e suas implicações éticas é executar o experimento e coletar dados precisos. Nas palavras da Nike, “Just do it”.
4. Claro que podemos pedir aos nossos usuários que dêem permissão de alguma forma aos testes, ou até mesmo pedir a opinião deles sobre os testes e se eles se sentem manipulados por eles. Mas tenha em mente que a forma como as pessoas veem a ética em relação ao comércio pode variar muito de país para país.
5. Analise seus KPIs e veja como você pode alinhar as metas de negócios com a saúde, riqueza e felicidade de seus usuários finais. 'Tempo gasto no site' é uma boa métrica para empresas de mídia que desejam monetizar sua plataforma. Mas "tempo bem gasto" é uma maneira muito melhor de analisar a monetização no contexto da experiência que os usuários finais têm com sua marca. Os usuários que estão felizes e saudáveis ​​e obtêm valor de seus produtos a longo prazo sempre levarão a um aumento do valor da vida útil e à redução da rotatividade.

Como usuários finais, sempre vamos gravitar em torno das empresas que têm nossos melhores interesses em mente. E são esses negócios que se tornam marcas que florescem no mundo moderno de maior responsabilidade e transparência.

Então, deixe-me fazer uma pergunta: como suas métricas de negócios estão levando em consideração os interesses de seus clientes? E se não, como você pode garantir que eles sigam em frente?