Métricas de entrada versus saída na experimentação: como escolher o que medir

As métricas que você define e acompanha para o seu programa de experimentação são incrivelmente importantes.

O que você mede determina seu foco. Dizem que “você não pode gerenciar o que não mede”.

E enquanto isso é inteiramente verdade (você certamente pode perder peso mesmo se você não olhar para uma balança), é direcional e praticamente verdade (é muito mais fácil perder peso se você olhar para uma balança).

Passei muito tempo pensando sobre quais métricas importam na experimentação.

Mais importante, passei muito tempo pensando sobre métricas de entrada e métricas de saída.

Qual é a diferença entre as métricas de entrada e saída?

As métricas de entrada são indicadores principais, coisas que você pode controlar diretamente. Normalmente, eles rastreiam o esforço, a alocação de recursos e a eficiência operacional.

A ideia das métricas de entrada é que elas se correlacionam com as métricas de saída.

Embora você não possa prever com muita precisão, especificamente, qual será sua taxa de conversão agregada, você pode controlar facilmente quantos experimentos você está executando, quão eficiente você é em levar os ganhos para a produção e, até certo ponto, qual sua taxa de ganhos e tamanho médio de vitória são.

Essas coisas podem e devem ser mapeadas para suas métricas de saída, que normalmente são métricas de negócios numéricas com as quais as partes interessadas se preocupam. Eles são os números que mostram se todo o esforço que você está colocando na experimentação está realmente valendo a pena do ponto de vista do ROI.

Como as métricas de saída focam nos resultados de negócios, vou passar por elas primeiro – a razão é que suas métricas de saída devem determinar suas métricas de entrada.

Dito de forma simples, suas métricas de saída são o que importa para o negócio, e suas métricas de entrada são as alavancas que você pode controlar para chegar a esses resultados.

Métricas de saída de experimentação

As métricas de saída são o que você mostra ao seu chefe. Eles se relacionam com o valor do seu programa de experimentação e mostram que, no geral, você está produzindo um ROI positivo.

Realisticamente, uma métrica de saída de experimentação pode ser qualquer coisa quantitativa que você possa medir. Na maioria dos casos, essa é uma métrica discreta ou binária, como taxa de conversão, mas às vezes é uma métrica contínua, como receita por visitante.

Em todos os casos, você deseja mapear sua métrica de saída que mais representa valor para seu negócio.

A melhor maneira de dividir as métricas de experimentação é em duas categorias: microconversões e macroconversões (também conhecidas como métricas primárias e secundárias) .

Microconversões x macroconversões (e métricas de monitoramento)

O conselho comum no espaço de teste A/B é otimizar para macroconversões.

As macroconversões, embora definidas por você e sua empresa, são aquelas que estão mais próximas do dinheiro. No e-commerce, trata-se da compra ou da receita por visitante. Em B2B, isso pode ser conversões de leads de alta qualidade ou talvez inscrições de produtos para um software freemium.

Seja qual for o caso, você pode mapear microconversões diretamente para receita e, assim, o ROI nesses experimentos é fácil de medir e justificar o esforço.

As microconversões são aquelas ações que levam à macroconversão e tendem a se correlacionar fortemente com as conclusões da macroconversão.

No comércio eletrônico, as microconversões podem ser adicionar ao carrinho, cliques em banners ou até mesmo inscrições em listas de e-mail. Em B2B, podem ser cliques na página de preços, cliques em CTA ou inscrições em listas de e-mail.

Há também métricas de monitoramento ou métricas de proteção . Estes são indicadores de qualidade que você pode não ter como objetivo melhorar, mas visa não prejudicar. Portanto, se um experimento aumentar a taxa de conversão, mas também aumentar a taxa de devolução ou reembolso do produto, você não poderá enviar esse experimento para produção.

Não há uma divisão universal e objetiva entre as duas categorias, embora existam algumas falhas óbvias. Ou seja, a conversão leva diretamente à receita para o seu negócio?

Vou percorrer 18 métricas de saída aqui, dividindo-as em macro e microconversões. No final, discutiremos como escolher as metas de saída certas para o seu negócio.

Conversões de macro

Métricas de taxa de conversão (de qualquer tipo)

A taxa de conversão é a métrica de saída mais comum, mas pode significar muitas coisas para muitos tipos diferentes de negócios.

Em um nível fundamental, significa apenas que você está tentando aumentar a proporção daqueles que visualizam uma experiência e, em seguida, concluem uma ação desejada após visualizar essa experiência.

1. Taxa de conversão de leads

Um dos tipos de taxa de conversão mais comuns é a taxa de conversão de leads.

Essa é a proporção de visitantes do seu site que se inscrevem para se tornar um lead. A definição de “lead” obviamente depende do seu negócio. Em alguns casos, é alguém que se inscreve para solicitar uma demonstração.

Às vezes, as empresas se aprofundam e contam apenas leads “qualificados”, que se baseiam no enriquecimento de dados ou na filtragem de várias dimensões para determinar se alguém é adequado ou não para o produto.

Outras empresas contam leads qualificados de marketing, como os visitantes que se inscrevem em um webinar ou baixam um whitepaper.

2. Inscrições ou compras de produtos

As inscrições de produtos são macroconversões claras. Se você vende bens físicos, é alguém que os compra. Se você é uma empresa freemium SaaS, é alguém entrando no seu produto pela primeira vez.

É difícil imaginar um programa de experimentação de marketing que não rastreie isso como um KPI de experimento central.

3. Taxa de ativação

Entrando na experimentação de produtos, uma das primeiras coisas a ter em mente para uma empresa de crescimento liderada por produtos é a taxa de ativação.

Depois que alguém se inscreve, qual é a primeira ação no produto que é significativa e mostra que o usuário está engajado?

Algumas empresas têm isso mapeado para uma ação específica ou número de ações (o Facebook tinha a famosa regra de 7 amigos em 7 dias).

Esse momento é normalmente chamado de “momento aha”, o momento ou ação que faz com que o usuário entenda o valor do produto. Esse momento geralmente é descoberto por meio de feedback qualitativo e da capacidade quantitativa de correlacionar essa ação com retenção mais longa ou melhores taxas de monetização.

4. Taxa de monetização

Assim como a taxa de ativação, a taxa de monetização é comumente usada em empresas de crescimento lideradas por produtos com muitos usuários freemium ou pelo menos vários níveis de produtos crescentes.

Nos modelos freemium, essa métrica é discreta – o usuário gratuito passa a barreira para se tornar um usuário pago ou não? Em outros modelos, essa métrica pode ser contínua – por exemplo, se uma empresa cobra com base no uso como AWS, não é tão simples quanto delinear entre contas “pagas” e “não pagas”.

5. Inscrições na lista de e-mail

A maioria das empresas neste momento percebe o valor do marketing por e-mail e da construção de uma lista de e-mail sólida. Especialmente para profissionais de marketing de conteúdo e blogueiros, a macroconversão mais interessante pode ser converter leitores em assinantes de e-mail.

Pintar isso com um valor em dólar exigirá algum trabalho de análise, mas se você tiver dados históricos suficientes, normalmente poderá atribuir um valor médio de receita a um determinado e-mail coletado.

6. Taxa de ativação de e-mail

A taxa de ativação de e-mail é uma métrica de marketing subestimada. Só porque alguém se inscreve na sua lista de e-mail não significa que eles sejam engajados ou valiosos.

Isso é como a versão “high fit lead” do email marketing.

Você pode definir “ativação” aqui como quiser, mas muitos incluirão algo como “abriu um dos três primeiros e-mails” ou alguma outra forma de mostrar que a pessoa está realmente lendo e abrindo seus e-mails.

Métricas de valor do cliente

As métricas de valor do cliente geralmente são variáveis ​​contínuas, o que as torna um pouco mais difíceis de usar como métricas de experimento. Mas eles são quase sempre a aproximação mais próxima do valor real do negócio e podem atuar como ótimos indicadores de atraso do seu trabalho.

7. Receita por visitante

A receita por visitante é uma das melhores métricas compostas para comércio eletrônico. Nem todo mundo vai comprar alguma coisa, mas alguns vão. E alguns daqueles que compram comprarão uma grande quantidade de produto.

A receita por visitante coloca um valor médio em cada visitante do site, portanto, você inclui o tamanho da compra e o número de clientes que compram nessa equação.

8. Valor médio do pedido

O valor médio do pedido calcula, entre os que compraram, qual é o tamanho médio da compra. Isso é relevante, novamente, para sites de comércio eletrônico onde você pode comprar diretamente no site. Também pode ser ASP (preço médio de venda) em negócios B2B.

9. Número de compras

Uma espécie de métrica de retenção para e-commerce, você pode acompanhar o número de compras em um determinado período (mês, trimestre, ano).

Isso rastreia as compras repetidas e é indicativo das características do site e dos canais de marketing para atrair mais compradores recorrentes (geralmente marketing por e-mail e publicidade paga). Essa é uma métrica holística que busca não só otimizar para a venda, mas também para a segunda e terceira venda.

10. Retenção

Nos produtos SaaS, a retenção de clientes é fundamental para o crescimento. Você pode levar milhares de usuários a se inscreverem, mas se eles não pagarem e continuarem pagando, sua empresa perderá receita ao longo do tempo.

Embora muitas coisas afetem a retenção além do próprio produto, os experimentos também podem ajudar a mover a agulha na retenção. No entanto, rastrear a retenção como um KPI de experimento se torna um pouco difícil para muitas empresas, pois é um longo ciclo de feedback.

11. Valor vitalício do cliente

Finalmente, o topo místico da pirâmide quando se trata de métricas compostas: o valor da vida útil do cliente.

Isso leva em consideração todas as métricas anteriores, como monetização ou preço médio de venda, retenção (por quanto tempo alguém permanece como cliente pagante) e também as taxas médias de conversão e, em seguida, cria uma métrica composta usando fórmulas de valor vitalício do cliente para estimar quanto, em média, um cliente vale a pena para o seu negócio.

Obviamente, isso é uma coisa muito difícil de medir por experiência, mas como um KPI de negócios, é importante saber.

Isso permite que você descubra maneiras de aumentar o valor do produto, além de mostrar a viabilidade de determinados canais de marketing e campanhas publicitárias.

Microconversões

1. Taxas de cliques (de vários tipos)

A taxa de cliques é o principal tipo de microconversão. Seja do anúncio para a página de destino ou da página de destino para a solicitação de uma página de demonstração.

No comércio eletrônico, isso geralmente é rastreado como taxa de cliques na página do produto, ou talvez até mesmo uma ação de 'adicionar ao carrinho' ou visualizar o carrinho de compras. Isso também pode ser algo como taxas de abertura de e-mail ou taxas de cliques de e-mail para profissionais de marketing por e-mail. Sua ferramenta de email marketing deve fornecer essas informações facilmente, bem como a capacidade de testar diferentes versões.

Obviamente, você precisa clicar em um local para chegar ao próximo, portanto, a taxa de cliques deve estar correlacionada a um maior volume de compra ou conversão.

Mas se você acompanhar apenas a taxa de cliques como seu KPI de experiência, muitas vezes você pode jogar isso por meio de truques de cópia ou UX.

Como diz Lukas Vermeer,

A CTR é terrível para otimizar as reservas de hotel (por exemplo, EMK com o assunto “Cerveja GRÁTIS” melhorará a CTR, mas provavelmente reduzirá as vendas quando os clientes descobrirem que não há cerveja em seu site, certamente não cerveja grátis).

Andrew Chen chama isso de conservação da intenção e postula que é uma das razões pelas quais os resultados do teste A/B não se traduzem no resultado final.

2. Cliques em links

Os cliques no link são exatamente o que parece – o número de pessoas que clicam em um determinado link. Essa é outra métrica de taxa de cliques, mas para certas empresas (por exemplo, afiliadas), clicar em um link de saída é um importante indicador de intenção.

Sempre configuro o rastreamento de cliques em links em sites com os quais trabalho, principalmente porque pode indicar o comportamento do usuário do site e oportunidades de otimização.

Alguns experimentos também são configurados com a intenção de mudar a direção do comportamento do usuário (às vezes mapeando para uma macroconversão, mas às vezes apenas para ver se eles podem direcionar mais cliques para um novo módulo).

3. Reproduções de vídeo

Se você tiver um vídeo em uma página de destino, é importante rastrear quantas pessoas realmente veem o vídeo ou o reproduzem.

No entanto, já vi experimentos em que apenas adicionar um vídeo aumenta as conversões sem que muitos visitantes vejam o vídeo em si. Portanto, se você estiver acompanhando isso, ainda recomendo mapear seus experimentos para a macroconversão na página.

4. Conclusões de vídeo

Há quantas pessoas reproduziram o vídeo e até que ponto as pessoas assistem ao vídeo. As conclusões de vídeo ou a taxa de conclusão de vídeo mostram até que ponto a pessoa média chega ao vídeo.

Novamente, isso pode ser importante, especialmente em páginas educacionais, mas ainda assim aconselho você a escolher um KPI de negócios mais apropriado, como a taxa de conversão de leads. Você ainda pode acompanhar as conclusões do vídeo, e provavelmente deveria, mas só porque alguém assiste a um vídeo inteiro não significa necessariamente que ele tenha mais probabilidade de converter.

5. Visualizações do tour do produto

Para muitas empresas B2B que não têm um plano freemium ou de avaliação gratuita, um tour interativo limitado do produto é uma ótima maneira de mostrar aos visitantes como o produto realmente é.

Aqui está um exemplo do tour do produto de Pendo:

Como um KPI, você deve tratar isso como visualizações de vídeo ou qualquer tipo de visualização de módulo promocional. Embora possam e muitas vezes se correlacionam com um KPI mais centrado nos negócios, como a taxa de conversão, nem sempre o fazem. Portanto, acompanhe essas coisas, mas também meça sua macroconversão como o principal KPI do experimento.

6. Taxa de conclusão do tour do produto

Novamente, há aqueles que visualizam um tour do produto e o abandonam imediatamente, e esses visitantes são diferentes daqueles que veem um tour do produto e o completam. Talvez haja uma correlação entre as taxas de conclusão do tour do produto e a taxa de conversão, mas também pode não haver uma.

Se você está tratando o tour do produto como um produto em si, é claro que é importante ver quantas pessoas o estão completando. Essa é uma boa métrica de UX para o tour do produto.

7. Visualizações de página de preços

A maioria dos compradores B2B visitará a página de preços antes de comprar, embora seja importante quando, na jornada do cliente, eles visitarem essa página. Muitos profissionais de marketing rastrearão a taxa de cliques na página de preços como uma microconversão.

É como a versão add-to-cart que existe na otimização de e-commerce.

Métricas de entrada de experimentação

As métricas de entrada em seu programa de experimentação são definidas no nível do programa. Eles não rastreiam diretamente a receita, mas são ações que se correlacionam com melhorias em suas métricas de saída.

Na maioria dos casos, suas métricas de entrada de experimentação tentarão aumentar o retorno de seus experimentos ou diminuir o custo de execução de experimentos (por meio de maior eficiência).

Vou percorrer 6 métricas de entrada de experimentação aqui.

1. Velocidade do experimento

A velocidade do experimento mede quantos experimentos você inicia em um determinado período de tempo.

Geralmente, as três métricas de entrada que formam a base do seu ROI são quantos experimentos você executa, qual porcentagem deles são vencedores e qual é a vitória média.

Simplificando, executar mais experimentos (ou mais variantes por experimento) aumenta a chance de você obter um vencedor (desde que sejam experimentos de boa qualidade).

Aumentar a velocidade do experimento também é ótimo como função de força; ele ajuda você a ver onde ocorrem gargalos de desenvolvimento e produção e onde você precisa de recursos adicionais.

2. Taxa conclusiva

Para mim, não há nada mais desanimador do que uma série de experimentos inconclusivos. Prefiro ver uma perda conclusiva às vezes do que um teste inconclusivo, porque pelo menos posso insinuar que o que estou testando importa para a experiência do usuário.

Portanto, algumas pessoas estão começando a rastrear taxas conclusivas – o número de experimentos conclusivos de todos os experimentos que você executa.

Se o seu programa está em um estágio inicial ou você parece estar executando muitos experimentos inconclusivos com pouco aprendizado, essa pode ser uma boa métrica para forçá-lo a sair dessa rotina.

3. Taxa de vitórias

Todos nós queremos fazer experiências vencedoras. Parte da experimentação é aceitar que nem todos serão vencedores (se fossem, você precisa questionar quantos frutos fáceis você está enfrentando versus tentar coisas novas e inovadoras).

A taxa de vitórias mostra a você, dos experimentos que você executa, quantos deles são vencedores?

Se você aumentar o número de experimentos e manter sua taxa de vitórias, seu ROI aumentará (assumindo custos marginais para executar mais experimentos). Se você mantiver a velocidade do seu experimento, mas aumentar sua taxa de vitórias, seu ROI também aumentará.

Essa é uma alavanca importante para melhorar o ROI do experimento.

4. Aumento médio por vitória

Por fim, dos experimentos vencedores que você realiza, qual é a elevação média pela qual eles vencem?

Isso é muito difícil de controlar, porque se pudéssemos prever a magnitude de um experimento, bem, não precisaríamos executá-lo.

No entanto, é bom acompanhar porque, assim como a velocidade do experimento e a taxa de vitórias, é um indicador claro do valor do seu programa de experimentação.

Além disso, incentivar vitórias maiores muitas vezes pode levar profissionais de marketing e profissionais de marketing de produtos a pensar fora da caixa e experimentar experimentos maiores e mais inovadores.

5. Tempo de desenvolvimento

Eu divido meu processo de experimento em etapas distintas.

Normalmente, o fluxo de trabalho se parece com isso:

Ideia do experimento > documento do experimento > wireframe > design > desenvolvimento > QA > executar teste > analisar > documento > enviar para produção

Eu estabeleço datas de vencimento estimadas para cada etapa na fase de planejamento e, em seguida, calculo o delta entre a data de vencimento prevista e a real. Se houver uma diferença muito grande, isso me mostra que podemos ter um gargalo no processo.

Na maioria das vezes, isso virá no estágio de design ou desenvolvimento.

Se você puder melhorar esses estágios, poderá aumentar a taxa de transferência do experimento, que é um dos principais KPIs de entrada que analisamos.

6. Tempo para produção

Semelhante ao tempo de desenvolvimento, o tempo de produção mede uma etapa do processo do experimento: quanto tempo leva para passar da análise de um experimento vencedor para implementá-lo ao vivo no produto ou em seu site.

Esta fase é muitas vezes subestimada. Os experimentadores comemoram uma vitória e depois passam para a próxima, mas a rapidez com que você implementa algo é importante. Por um lado, reduz o arrependimento – o tempo que você está operando com uma variante abaixo do ideal.

Em segundo lugar, melhorar neste estágio permite que você concentre cada vez mais tempo do desenvolvedor na configuração de experimentos subsequentes.

Métricas de Composição e o Critério de Avaliação Geral

Há um conceito em experimentação conhecido como critério de avaliação geral. Pode-se também chamá-la de métrica da Estrela do Norte.

Esta é uma métrica que leva em consideração as métricas de proteção (ou seja, métricas a serem observadas e contabilizadas que podem implicar danos ou perdas na experiência do usuário). As métricas de guardrail podem incluir coisas como taxa de rejeição, taxa de saída ou até pontuações de atitude, como NPS ou CSAT.

A avaliação geral também combina algumas métricas de saída diferentes em uma única métrica de sucesso.

Essas métricas quase nunca são indicadores de curto prazo, como cliques, mas rastreiam alguma meta de macronegócios.

Ronny Kohavi deu esses exemplos, “unidades compradas, receita, lucro, valor esperado da vida útil ou alguma combinação ponderada desses”.

Embora a criação de um critério de avaliação geral seja desejável, normalmente exige muito trabalho de engenharia de dados, especialmente se seu modelo de negócios for um mercado ou algo menos direto do que o comércio eletrônico (embora, mesmo nesse caso, seja difícil rastrear o valor da vida útil do cliente em uma base por experiência).

O ponto mais amplo, no entanto, é o seguinte: quanto mais perto você chegar de formar um indicador de sucesso abrangente – um que leve em consideração o valor comercial de longo prazo, bem como as métricas de proteção – mais claro será seu programa de experimentos e seus objetivos.

Como escolher metas e KPIs de experimentação

Ok, passamos por cerca de uma dúzia de métricas de saída e várias métricas de entrada.

A questão, então, é como você e sua empresa escolhem no que focar – porque *é* uma escolha, e dessa escolha fluirão todos os tipos de incentivos, comportamentos e ações.

A melhor maneira que encontrei para escolher suas métricas, metas e KPIs é criar uma árvore de metas.

Speero tem um ótimo exemplo de visualização de árvore de metas aqui:

Nele, eles começam com as metas de nível da empresa, que incluem métricas de satisfação do cliente. Isso flui para as metas de nível de equipe, que se concentram no desenvolvimento de recursos bem-sucedido. Em seguida, ele diminui para metas de nível pessoal, que se concentram em testar e criar novas propostas de recursos.

Acredito que todos os objetivos pessoais e de equipe devem refletir e contribuir diretamente para os objetivos da empresa. Isso é alinhamento, e quando você alcança resultados que contribuem para os objetivos da empresa, você terá muito mais entusiasmo pelo seu programa porque está mostrando um ROI real em relação à missão da empresa.

Como isso ficará na sua empresa depende de muitos fatores. O importante é passar por este exercício e pensar criticamente sobre quais objetivos você escolhe.

Conclusão

A forma como você define seus objetivos na experimentação afeta quase todas as ações posteriores a esses objetivos.

Em teoria, existem milhares de métricas que você pode rastrear de maneira viável tanto no nível de saída quanto no nível de entrada. Escolher as métricas certas, não apenas para rastrear, mas para avaliar a eficácia de seus experimentos ou de seu programa, é extremamente importante para o sucesso de seu programa.

Então, na realidade, acredito que você deve optar por se concentrar no menor número possível de métricas. Isso permite o foco, mas também lhe dá tempo para melhorá-los ao longo de meses ou anos.

Gosto de dividir meus objetivos em duas categorias: métricas de entrada e saída. Métricas de saída são o que eu julgo meus experimentos individuais ou os resultados do meu programa de experimentação. Eles são o que eu reporto à equipe e aos executivos.

As métricas de entrada me ajudam a construir um programa mais eficaz. Eles são o que eu julgo meus próprios esforços e os da minha equipe.

Como você define as métricas de experimentação para o seu programa? Você se concentra nas métricas de entrada ou apenas nas saídas e resultados?