Métricas de entrada frente a salida en experimentación: cómo elegir qué medir

Las métricas que define y rastrea para su programa de experimentación son increíblemente importantes.

Lo que mides determina tu enfoque. Dicen que “no puedes gestionar lo que no mides”.

Y si bien eso es completamente cierto (ciertamente puedes perder peso incluso si no miras una báscula), es direccional y prácticamente cierto (es mucho más fácil perder peso si miras una báscula).

He pasado mucho tiempo pensando en qué métricas importan en la experimentación.

Más importante aún, he pasado mucho tiempo pensando tanto en las métricas de entrada como en las métricas de salida.

¿Cuál es la diferencia entre las métricas de entrada y salida?

Las métricas de entrada son indicadores principales, cosas que puede controlar directamente. Por lo general, realizan un seguimiento del esfuerzo, la asignación de recursos y la eficiencia operativa.

La idea de las métricas de entrada es que se correlacionen con las métricas de salida.

Si bien no puede predecir con mucha precisión, específicamente cuál será su tasa de conversión agregada, puede controlar fácilmente cuántos experimentos está ejecutando, qué tan eficiente es para llevar las ganancias a la producción y, hasta cierto punto, cuál es su tasa de ganancias. y el tamaño medio de las ganancias son.

Estas cosas pueden y deben asignarse a sus métricas de salida, que suelen ser métricas comerciales numéricas que interesan a las partes interesadas. Son los números que muestran si todo el esfuerzo que está poniendo en la experimentación realmente está dando sus frutos desde la perspectiva del ROI.

Debido a que las métricas de salida se enfocan en los resultados comerciales, las analizaré primero; la razón es que sus métricas de salida deben determinar sus métricas de entrada.

En pocas palabras, sus métricas de salida son lo que importa para el negocio, y sus métricas de entrada son las palancas que puede controlar para llegar a esos resultados.

Métricas de resultados de experimentación

Las métricas de salida son lo que le muestra a su jefe. Se relacionan con el valor de su programa de experimentación y muestran que, en general, está produciendo un ROI positivo.

Siendo realistas, una métrica de resultados de experimentación puede ser cualquier cosa cuantitativa que pueda medir. En la mayoría de los casos, esta es una métrica discreta o binaria como la tasa de conversión, pero a veces es una métrica continua como los ingresos por visitante.

En todos los casos, desea mapear su métrica de salida que más representa valor para su negocio.

La mejor manera de dividir las métricas de experimentación es en dos categorías: microconversiones y macroconversiones (también conocidas como métricas primarias y secundarias) .

Microconversiones frente a macroconversiones (y métricas de seguimiento)

El consejo común en el espacio de prueba A/B es optimizar para macroconversiones.

Las macroconversiones, si bien las define usted y su empresa, son las que se encuentran más cerca del dinero. En el comercio electrónico, es la compra o los ingresos por visitante. En B2B, esto podría ser conversiones de clientes potenciales de alta calidad o tal vez registros de productos para un software freemium.

En cualquier caso, puede asignar microconversiones directamente a los ingresos y, por lo tanto, el ROI en estos experimentos es fácil de medir y justificar el esfuerzo.

Las microconversiones son aquellas acciones que conducen a la macroconversión y tienden a correlacionarse fuertemente con las macroconversiones completadas.

En el comercio electrónico, las microconversiones pueden ser agregados a los carritos, clics en banners o incluso suscripciones a listas de correo electrónico. En B2B, pueden ser clics en la página de precios, clics en CTA o suscripciones a listas de correo electrónico.

También hay métricas de monitoreo o métricas de barandilla . Estos son indicadores de calidad que puede que no apuntes a mejorar, pero sí a no dañar. Por lo tanto, si un experimento aumenta la tasa de conversión, pero también aumenta la devolución de productos o la tasa de reembolso, es posible que no lleve ese experimento a producción.

No hay una división universal y objetiva entre las dos categorías, aunque hay algunas fallas obvias. Es decir, ¿la conversión genera directamente ingresos para su empresa?

Revisaré 18 métricas de salida aquí, dividiéndolas en macro y microconversiones. Al final, analizaremos cómo elegir los objetivos de producción correctos para su negocio.

Macro-conversiones

Métricas de tasa de conversión (de cualquier tipo)

La tasa de conversión es la métrica de salida más común, pero puede significar muchas cosas para diferentes tipos de negocios.

En un nivel fundamental, solo significa que está tratando de aumentar la proporción de quienes ven una experiencia y luego completan una acción deseada después de ver esa experiencia.

1. Tasa de conversión de clientes potenciales

Uno de los tipos de tasa de conversión más comunes es la tasa de conversión de prospectos.

Esta es la proporción de visitantes de su sitio web que se registran para convertirse en clientes potenciales. La definición de un "cliente potencial" por supuesto depende de su negocio. En algunos casos, es alguien que se registra para solicitar una demostración.

A veces, las empresas profundizan más y solo cuentan los clientes potenciales "calificados", lo que se basa en el enriquecimiento de datos o el filtrado de varias dimensiones para determinar si alguien es adecuado o no para el producto.

Otras empresas contarán clientes potenciales calificados para marketing, como aquellos visitantes que se inscriban en un seminario web o descarguen un documento técnico.

2. Registros o compras de productos

Las suscripciones de productos son macroconversiones claras. Si vende bienes físicos, es alguien que los compra. Si es una empresa SaaS freemium, se trata de alguien que ingresa a su producto por primera vez.

Es difícil imaginar un programa de experimentación de marketing que no haga un seguimiento de esto como un KPI de experimento central.

3. Tasa de activación

Al entrar en la experimentación de productos, una de las primeras cosas a tener en cuenta para una empresa de crecimiento impulsada por productos es la tasa de activación.

Después de que alguien se registre, ¿cuál es la primera acción en el producto que es significativa y muestra que el usuario está comprometido?

Algunas empresas tienen esto asignado a una acción específica o número de acciones (Facebook tenía la famosa regla de 7 amigos en 7 días).

Este momento generalmente se conoce como el "momento aha", el momento o la acción que hace que el usuario comprenda el valor del producto. Este momento generalmente se descubre a través de comentarios cualitativos y la capacidad cuantitativa de correlacionar esta acción con una retención más prolongada o mejores tasas de monetización.

4. Tasa de monetización

Al igual que la tasa de activación, la tasa de monetización se usa comúnmente en empresas de crecimiento impulsadas por productos con muchos usuarios freemium, o al menos varios niveles de productos en aumento.

En los modelos freemium, esta métrica es discreta: ¿el usuario gratuito pasa la barrera para convertirse en un usuario pago o no? En otros modelos, esta métrica puede ser continua; por ejemplo, si una empresa cobra según el uso como AWS, no es tan simple como delimitar entre cuentas "pagadas" y "no pagadas".

5. Suscripciones a listas de correo electrónico

La mayoría de las empresas en este punto se dan cuenta del valor del marketing por correo electrónico y de la creación de una lista de correo electrónico sólida. Especialmente para los especialistas en marketing de contenido y los blogueros, la macroconversión más interesante puede ser convertir a los lectores en suscriptores de correo electrónico.

Pintar esto con un valor en dólares requerirá un poco de trabajo de análisis, pero si tiene suficientes datos históricos, normalmente puede asignar un valor de ingresos promedio a un correo electrónico determinado que recopile.

6. Tasa de activación de correo electrónico

La tasa de activación de correo electrónico es una métrica de marketing subestimada. El hecho de que alguien se registre en su lista de correo electrónico no significa que esté comprometido o sea valioso.

Esto es como la versión de marketing por correo electrónico de "cliente potencial de alto ajuste".

Puede definir "activación" aquí como desee, pero muchos incluirán algo como "abrió uno de los primeros tres correos electrónicos" o alguna otra forma de mostrar que la persona está leyendo y abriendo sus correos electrónicos.

Métricas de valor del cliente

Las métricas de valor del cliente suelen ser variables continuas, lo que las hace un poco más difíciles de usar como métricas de experimentos. Pero casi siempre son la aproximación más cercana al valor comercial real y pueden actuar como excelentes indicadores rezagados de su trabajo.

7. Ingresos por visitante

Los ingresos por visitante son una de las mejores métricas compuestas para el comercio electrónico. No todos comprarán algo, pero algunos lo harán. Y algunos de los que compran comprarán una gran cantidad de producto.

Los ingresos por visitante asignan un valor promedio a cada visitante del sitio web, por lo que incluye tanto el tamaño de la compra como la cantidad de clientes que compran en esta ecuación.

8. Valor medio del pedido

Valor medio de pedido calcula, entre los que han comprado, cuál es el tamaño medio de compra. Esto es relevante, nuevamente, para los sitios web de comercio electrónico donde puede comprar directamente en el sitio. También podría ser ASP (precio de venta promedio) en acuerdos B2B.

9. Número de compras

Una especie de métrica de retención para el comercio electrónico, puede rastrear la cantidad de compras en un período de tiempo determinado (mes, trimestre, año).

Esto realiza un seguimiento de las compras repetidas y es indicativo tanto de las características del sitio web como de los canales de marketing para atraer a más compradores habituales (generalmente marketing por correo electrónico y publicidad paga). Esta es una métrica holística que busca no solo optimizar para la venta, sino también para la segunda y tercera venta.

10. Retención

En los productos SaaS, la retención de clientes es clave para el crecimiento. Puede hacer que miles de usuarios se registren, pero si no pagan y siguen pagando, su empresa perderá ingresos con el tiempo.

Si bien muchas cosas afectan la retención más allá del producto en sí, los experimentos también pueden ayudar a mover la aguja en la retención. Sin embargo, el seguimiento de la retención como un KPI experimental se vuelve algo difícil para muchas empresas, ya que es un ciclo largo de retroalimentación.

11. Valor de por vida del cliente

Finalmente, la cima mística de la pirámide cuando se trata de métricas compuestas: valor de por vida del cliente.

Esto tiene en cuenta todas las métricas anteriores, como la monetización o el precio de venta promedio, la retención (cuánto tiempo alguien permanece como cliente que paga) y también las tasas de conversión promedio, y luego crea una métrica compuesta utilizando fórmulas de valor de por vida del cliente para estimar cuánto, en promedio, un cliente vale para su negocio.

Obviamente, esto es algo muy difícil de medir por experimento, pero como KPI comercial, es importante saberlo.

Esto le permite descubrir formas de aumentar el valor del producto y muestra cuán factibles podrían ser ciertos canales de marketing y campañas publicitarias.

Microconversiones

1. Tasas de clics (de muchos tipos)

La tasa de clics es el principal tipo de microconversión. Ya sea desde el anuncio hasta la página de destino o desde la página de destino hasta la página de solicitud de demostración.

En el comercio electrónico, esto a menudo se rastrea como tasa de clics en la página del producto, o tal vez incluso como una acción de 'agregar al carrito' o ver el carrito de compras. Esto también podría ser algo así como las tasas de apertura de correo electrónico o las tasas de clics de correo electrónico para los vendedores de correo electrónico. Su herramienta de marketing por correo electrónico debería brindarle esta información fácilmente, así como la capacidad de realizar pruebas A/B en diferentes versiones.

Por supuesto, debe hacer clic en una ubicación para llegar a la siguiente, por lo que la tasa de clics debe correlacionarse con un mayor volumen de compras o conversiones.

Pero si solo realiza un seguimiento de la tasa de clics como su KPI de experimento, a menudo puede jugar con esto a través de trucos de copia o UX.

Como dice Lukas Vermeer,

El CTR es terrible para optimizar las reservas de hotel (p. ej., EMK con el tema "CERVEZA GRATIS" mejorará el CTR, pero probablemente reducirá las ventas una vez que los clientes se den cuenta de que no hay cerveza en su sitio, ciertamente no cerveza gratis).

Andrew Chen llama a esto la conservación de la intención y postula que es una de las razones por las que los resultados de las pruebas A/B no se traducen en la línea superior.

2. Clics en enlaces

Los clics en enlaces son exactamente lo que parece: la cantidad de personas que hacen clic en un enlace determinado. Esta es otra métrica de tasa de clics, pero para ciertas empresas (es decir, afiliados), hacer clic en un enlace saliente es un indicador importante de la intención.

Siempre configuro el seguimiento de clics en enlaces en los sitios web con los que trabajo, principalmente porque puede indicar el comportamiento del usuario del sitio web y las oportunidades de optimización.

Algunos experimentos también se configuran con la intención de cambiar la dirección del comportamiento del usuario (a veces se asignan a una macroconversión, pero a veces solo se ve si pueden generar más clics en un nuevo módulo).

3. Reproducciones de video

Si tiene un video en una página de destino, es importante hacer un seguimiento de cuántas personas realmente ven el video o lo reproducen.

Sin embargo, he visto experimentos en los que solo agregar un video aumenta las conversiones sin que muchos visitantes vean el video en sí. Por lo tanto, si está realizando un seguimiento de esto, aún así le recomendaría asignar sus experimentos a la conversión de macros en la página.

4. Terminaciones de video

Hay cuántas personas reprodujeron el video y cuánto tiempo las personas ven el video. Las terminaciones de video o la tasa de finalización de video le muestran qué tan lejos llega la persona promedio a través del video.

Nuevamente, esto puede ser importante, especialmente en las páginas educativas, pero aun así le aconsejo que elija un KPI comercial más apropiado, como la tasa de conversión de clientes potenciales. Todavía puede realizar un seguimiento de las finalizaciones de video, y probablemente debería hacerlo, pero el hecho de que alguien vea un video completo no significa necesariamente que sea más probable que realice una conversión.

5. Vistas del recorrido del producto

Para muchas empresas B2B que no tienen un plan freemium o de prueba gratuito, un recorrido interactivo limitado del producto es una excelente manera de mostrar a los visitantes cómo se ve y se siente realmente el producto.

Aquí hay un ejemplo de la gira de productos de Pendo:

Como KPI, debe tratar esto como vistas de video o cualquier tipo de vista de módulo promocional. Si bien pueden y a menudo se correlacionan con un KPI más centrado en el negocio, como la tasa de conversión, no siempre lo hacen. Así que realice un seguimiento de estas cosas, pero también mida su macroconversión como el KPI principal del experimento.

6. Tasa de finalización del recorrido del producto

Una vez más, están aquellos que ven un tour de producto y rebotan de inmediato, y esos visitantes son diferentes de aquellos que ven un tour de producto y lo completan. Tal vez exista una correlación entre las tasas de finalización del recorrido del producto y la tasa de conversión, pero también puede no haberla.

Si está tratando el recorrido del producto como un producto en sí mismo, entonces, por supuesto, es importante ver cuántas personas lo completan. Esta es una buena métrica de UX para el recorrido del producto.

7. Vistas de la página de precios

La mayoría de los compradores B2B visitarán la página de precios antes de comprar, aunque es importante en qué momento del viaje del cliente visitan esta página. Muchos especialistas en marketing rastrearán la tasa de clics en la página de precios como una microconversión.

Es algo así como la versión de agregar al carrito que existe en la optimización del comercio electrónico.

Métricas de entrada de experimentación

Las métricas de entrada en su programa de experimentación se definen a nivel de programa. No rastrean directamente los ingresos, pero son acciones que se correlacionan con mejoras en sus métricas de salida.

En la mayoría de los casos, sus métricas de entrada de experimentación intentarán aumentar el rendimiento de sus experimentos o disminuir el costo de ejecución de experimentos (mediante una mayor eficiencia).

Revisaré 6 métricas de entrada de experimentación aquí.

1. Velocidad del experimento

La velocidad del experimento mide cuántos experimentos lanzas en un período de tiempo determinado.

En general, las tres métricas de entrada que forman la base de su ROI son cuántos experimentos ejecuta, qué porcentaje de ellos son ganadores y cuál es la ganancia promedio.

En pocas palabras, ejecutar más experimentos (o más variantes por experimento) aumenta la posibilidad de que obtenga un ganador (siempre que sean experimentos de buena calidad).

El aumento de la velocidad del experimento también es excelente como función forzada; le ayuda a ver dónde se producen cuellos de botella en el desarrollo y la producción y dónde necesita recursos adicionales.

2. Tasa concluyente

Para mí, no hay nada más desalentador que una serie de experimentos no concluyentes. A veces prefiero ver una pérdida concluyente que una prueba no concluyente, porque al menos puedo insinuar que lo que estoy probando es importante para la experiencia del usuario.

Por lo tanto, algunas personas están comenzando a rastrear tasas concluyentes: la cantidad de experimentos concluyentes de todos los experimentos que ejecuta.

Si su programa se encuentra en una etapa anterior o parece que está ejecutando muchos experimentos no concluyentes con poco aprendizaje, esta podría ser una buena métrica para sacarlo de esa rutina.

3. Tasa de ganancias

Todos queremos realizar experimentos ganadores. Parte de la experimentación es aceptar que no todos serán ganadores (si lo fueran, debe preguntarse cuántos frutos al alcance de la mano está abordando en comparación con probar cosas nuevas e innovadoras).

Win rate le muestra, de los experimentos que ejecuta, ¿cuántos de ellos son ganadores?

Si aumenta la cantidad de experimentos y mantiene su tasa de ganancias, su ROI aumenta (suponiendo costos marginales para ejecutar más experimentos). Si mantiene la velocidad de su experimento pero aumenta su tasa de ganancias, su ROI también aumenta.

Esta es una palanca clave para mejorar el ROI del experimento.

4. Aumento promedio por victoria

Finalmente, de los experimentos ganadores que ejecuta, ¿cuál es el aumento promedio por el cual ganan?

Esto es muy difícil de controlar, porque si pudiéramos predecir la magnitud de un experimento, bueno, no necesitaríamos ejecutarlo.

Sin embargo, es bueno realizar un seguimiento porque, al igual que la velocidad del experimento y la tasa de ganancias, es un claro indicador principal del valor de su programa de experimentación.

Además, incentivar ganancias más grandes a menudo puede llevar a los vendedores y vendedores de productos a pensar fuera de la caja y probar experimentos más grandes e innovadores.

5. Tiempo de desarrollo

Divido el proceso de mi experimento en distintos pasos.

Por lo general, el flujo de trabajo se ve así:

Idea de experimento > documento de experimento > estructura alámbrica > diseño > desarrollo > control de calidad > prueba de ejecución > análisis > documento > envío a producción

Establezco fechas de vencimiento estimadas para cada paso en la etapa de planificación y luego calculo el delta entre la fecha de vencimiento esperada y la real. Si hay una diferencia demasiado grande, esto me muestra que es posible que tengamos un cuello de botella en el proceso.

La mayoría de las veces, esto vendrá en la etapa de diseño o desarrollo.

Si puede mejorar estas etapas, puede aumentar el rendimiento de su experimento, que es uno de los KPI de entrada clave que analizamos.

6. Tiempo de producción

Al igual que el tiempo de desarrollo, el tiempo de producción mide una etapa del proceso del experimento: cuánto tiempo lleva pasar de analizar un experimento ganador a implementarlo en vivo en el producto o en su sitio web.

Esta etapa es a menudo subestimada. Los experimentadores celebrarán una victoria y luego pasarán a la siguiente, pero la rapidez con la que se implementa algo es importante. Por un lado, reduce el arrepentimiento: el tiempo que está operando con una variante subóptima.

En segundo lugar, mejorar en esta etapa le permite dedicar cada vez más tiempo del desarrollador a configurar experimentos posteriores.

Métricas de composición y el criterio de evaluación general

Existe un concepto en la experimentación conocido como el criterio de evaluación general. Uno también podría llamarlo una métrica de North Star.

Esta es una métrica que tiene en cuenta las métricas de protección (es decir, métricas para observar y tener en cuenta que pueden implicar daños o pérdidas en la experiencia del usuario). Las métricas de guardarraíl podrían incluir cosas como la tasa de rebote, la tasa de salida o incluso puntajes de actitud como NPS o CSAT.

La evaluación general también combina a veces algunas métricas de salida diferentes en una sola métrica de éxito.

Estas métricas casi nunca son indicadores a corto plazo, como los clics, sino un seguimiento de algún objetivo macroempresarial.

Ronny Kohavi dio estos ejemplos, "unidades compradas, ingresos, ganancias, valor de por vida esperado o alguna combinación ponderada de estos".

Si bien es deseable crear un criterio de evaluación general, generalmente requiere mucho trabajo de ingeniería de datos, especialmente si su modelo comercial es un mercado o algo menos sencillo que el comercio electrónico (aunque incluso en este caso, es difícil rastrear el valor de por vida del cliente en una base por experimento).

Sin embargo, el punto más amplio es este: cuanto más se acerque a formar un indicador de éxito integral, uno que tenga en cuenta el valor comercial a largo plazo y las métricas de barandas, más claros serán su programa de experimentos y sus objetivos.

Cómo elegir objetivos de experimentación y KPI

De acuerdo, repasamos una docena de métricas de salida y varias métricas de entrada.

La pregunta, entonces, es cómo usted y su negocio eligen en qué enfocarse, porque *es* una elección, y de esa elección surgirán todo tipo de incentivos, comportamientos y acciones.

La mejor manera que se me ocurrió para elegir sus métricas, objetivos y KPI es crear un árbol de objetivos.

Speero tiene un gran ejemplo de una visualización de árbol de objetivos aquí:

En él, comienzan con objetivos a nivel de empresa, que incluyen métricas de satisfacción del cliente. Esto desemboca en objetivos a nivel de equipo, que se centran en el desarrollo exitoso de características. Luego, se reduce a objetivos de nivel personal, que se enfocan en probar e idear nuevas propuestas de características.

Creo que todos los objetivos personales y de equipo deben reflejar y contribuir directamente a los objetivos de la empresa. Esto es alineamiento, y cuando logra resultados que contribuyen a los objetivos de la empresa, tendrá mucho más entusiasmo por su programa porque está mostrando un ROI real hacia la misión de la empresa.

Cómo se verá esto en su empresa depende de muchos factores. Lo importante es realizar este ejercicio y pensar críticamente sobre qué objetivos elegir.

Conclusión

La forma en que define sus objetivos en la experimentación afecta a casi todas las acciones posteriores a esos objetivos.

En teoría, hay miles de métricas que posiblemente podría rastrear tanto a nivel de salida como de entrada. Elegir las métricas correctas, no solo para rastrear sino también para medir la efectividad de sus experimentos o su programa, es de vital importancia para el éxito de su programa.

Entonces, en realidad, creo que deberías elegir enfocarte en la menor cantidad de métricas que puedas. Esto permite concentrarse, pero también le da tiempo para mejorarlos en el transcurso de meses o años.

Me gusta dividir mis objetivos en dos categorías: métricas de entrada y salida. Las métricas de salida son lo que juzgo mis experimentos individuales o los resultados de mi programa de experimentación. Son lo que informo al equipo ya los ejecutivos.

Las métricas de entrada me ayudan a construir un programa más eficaz. Son sobre lo que juzgo mis propios esfuerzos y los de mi equipo.

¿Cómo define las métricas de experimentación para su programa? ¿Se enfoca en las métricas de entrada, o solo en los productos y resultados?