¿Tiene dificultades para demostrar el ROI de las pruebas A/B? Déjanos ayudar
Publicado: 2020-10-29
¿Cuál es el valor de su programa de pruebas A/B? ¿Qué beneficios trae a su empresa?
Ya sabe que las pruebas A/B ayudan a optimizar las tasas de conversión y aumentar los ingresos. Pero, ¿cómo puede probar exactamente que las pruebas A/B afectan sus resultados?
En palabras de Matt Gershoff,
Las pruebas A/B pueden mitigar los cambios en el comportamiento que conducen a daños o pérdidas
Pero es posible que todo esto no impresione al C-suite de su empresa, que quiere cifras tangibles que muestren el ROI de su programa de pruebas A/B. Demostrar los beneficios de sus pruebas A/B puede ganarle el apoyo de los ejecutivos en tiempos de agitación, como ahora.
¡Así es como puede probar el valor de su programa de experimentación!
Cálculo del ROI de su programa de pruebas A/B
Utilizando los ingresos, puede calcular el ROI de su programa de pruebas A/B. La gente de Peak Activity tiene una gran fórmula para calcular su ROI. Aquí hay algunas métricas que debe conocer:
Ingresos por sesión (RPS)
Calcule el RPS tanto para su control como para su variante. Estos son los ingresos totales divididos por el número total de sesiones para su control y variante.
RPS = (Ingresos totales ÷ Sesiones totales)
Incremento promedio de ventas
Esto involucrará el RPS tanto de su control como de su variante. Esta métrica tiene que ser estadísticamente significativa.
Incremento de ventas promedio = (RPS de su variante – RPS de su control) – 1
Costo de ejecutar su prueba A/B real
Estos son los ingresos de control multiplicados por el aumento de ventas promedio.
Costo de prueba A/B = (Ingresos de control * Incremento promedio de ventas)
Multiplicador para división de tráfico
Primero, calcule el total de sesiones sumando el total de sesiones para el control y la variante. Luego, use esa cifra para calcular la distribución del tráfico para el control y la variante.
Sesiones totales = (Sesiones de control + Sesiones variantes)
Distribución de tráfico para Control = (Tráfico de Control ÷ Total de sesiones) * 100
Distribución de tráfico para Variant = (Tráfico de variante ÷ Total de sesiones) * 100
Valor del cambio de variante
Esto se calcula multiplicando el costo de ejecutar pruebas A/B por 2. Esto se debe a que las pruebas A/B estándar tienden a tener dos tratamientos. Esta cifra difiere para las pruebas multivariadas en las que tiene múltiples tratamientos.
Valor del cambio = (Costo de ejecutar la prueba * 2)
Valor obtenido de la duración de la prueba
Este es básicamente el costo de ejecutar la prueba A/B eliminado del valor del cambio de variante.
Valor del período de prueba = (Costo de ejecutar la prueba - Valor del cambio)
Previsión de ingresos incrementales si la variante se pone en marcha
Para encontrar las ventas promedio por día, divida el valor del cambio en la variante por la cantidad de días durante los cuales se realizaron las pruebas.
Ventas promedio por día = (Valor del cambio de variante ÷ Duración de la prueba)
El pronóstico de ingresos será el promedio de ventas por día, multiplicado por la cantidad de días en su período de pronóstico. Recuerde pronosticar lo suficientemente lejos como para disminuir los efectos de la estacionalidad, las campañas de ventas, el comportamiento del cliente, etc.
Valor general del programa de pruebas A/B
Ahora puedes calcular el ROI de tu programa de pruebas A/B:
Programa de pruebas A/B = (Pruebas ganadoras + Pruebas perdedoras + Costo)
Nota: las pruebas perdedoras solo necesitan los primeros 3 pasos, mientras que las ganadoras necesitan todos los pasos.
Le hemos pedido a varias empresas que tienen un programa maduro de pruebas A/B que compartan cómo calculan el ROI de sus pruebas.
Esto es lo que dijeron.
Ian Kelly, vicepresidente de operaciones de NuLeaf Naturals compartió:
El primer paso es calcular el costo total del experimento. Esto incluye el costo de las herramientas utilizadas para las pruebas A/B y el tiempo necesario para realizar las pruebas. El valor del tiempo se iguala multiplicando el tiempo total dedicado por los empleados al proyecto por el salario por hora. Además, agregue el costo de oportunidad en caso de que la prueba resulte en menos conversiones. El costo de oportunidad es el dinero extra que podrías haber ganado si no hubieras realizado el experimento.
El segundo paso es tener un embudo claro que termine en la venta de un producto. EveryTrack cada paso del embudo. Use una herramienta como Mixpanel para hacer esto. En una prueba A/B, habrá dos variaciones del mismo embudo. Los cambios pueden estar dirigidos a la audiencia, los colores utilizados o incluso la copia utilizada. Ambas variaciones deben rastrearse por separado y compararse.
Una vez que todos los datos anteriores estén disponibles, será muy fácil probar el ROI de su programa de pruebas A/B. Es mejor calcular el ROI al final de cada trimestre. Algunos experimentos fallarán mientras que otros tendrán éxito. La mejora general en los ingresos debería ser mayor que el costo de su programa de pruebas A/B. Si ese no es el caso, reconsidere sus estrategias de prueba en su lugar
George Pitchkhadze, CMO de Thrive Cuisine, describe a continuación el proceso de su empresa:
Calcula el costo de tu experimento.
Para calcular el ROI, necesita conocer sus costos. Esto debe incluir los costos directos e indirectos, por ejemplo:
-El costo del software/servicios utilizados.
-El costo de las horas-hombre utilizadas.
-Los costos directos (por ejemplo, el costo de alquilar una lista de correo electrónico o anuncios de PPC).
Por ejemplo, supongamos que estoy realizando una prueba dividida A/B en dos plataformas publicitarias. Debo mirar nuestros costos de anuncios de PPC, pero también cuántas horas lleva ejecutar cada conjunto de anuncios y el precio de los servicios de análisis que estamos utilizando para informar nuestros anuncios.
Calcula tu devolución
Esta parte es sencilla. Calcular los rendimientos directos que provienen de un esfuerzo. Lo que importa aquí es usar herramientas analíticas modernas para conectar las ventas y los ingresos con cosas como correos electrónicos enviados, conjuntos de anuncios en FB/Google, etc.
Calcular el retorno de la inversión
Ahora que tiene una idea precisa de los rendimientos y la inversión, puede calcular fácilmente el ROI. Solo recuerde: calcule el costo del experimento a fondo y conecte los retornos a campañas y mensajes específicos implementados
Otras formas de medir el impacto de las pruebas A/B
Hay otras formas de medir el ROI de su programa de pruebas A/B.
Dionysia Kontotasiou, responsable de integraciones, privacidad de datos y seguridad de la información de Convert, compartió 4 métodos más para medir el impacto de sus pruebas A/B.
1. ¿Cuántos experimentos están concluyendo?
Si un alto porcentaje de los experimentos de una empresa no son concluyentes, podría ser una señal de que están configurando los experimentos incorrectamente. Tal vez estén escribiendo hipótesis ambiguas como " Este cambio mejorará la aplicación " en lugar de explícitas como " Este cambio aumentará las suscripciones mensuales en un cinco por ciento ".
¿Sus hipótesis están generando resultados no concluyentes? Utilice el generador de hipótesis de Convert para formular hipótesis fiables en todo momento.
2. Comentarios del equipo del producto
¿El equipo del producto tiene más información y datos de los usuarios que antes? ¿Sus lanzamientos de productos son cada vez más exitosos? En caso afirmativo, esta es una buena señal de que las pruebas A/B que se están realizando son exitosas.
3. Velocidad del experimento
La velocidad de prueba es la medida de cuántas pruebas está realizando durante un cierto período de tiempo. Este es un punto de referencia operativo para medir qué tan rápido puede diseñar, desarrollar, probar, analizar y lanzar sus pruebas. Si bien algunas pruebas más grandes llevarán más tiempo y son importantes para producir un mayor impacto en los resultados, no se deben descartar las " ganancias rápidas " más pequeñas.
4. Costos proyectados versus reales para ejecutar el programa
Realice un seguimiento de las horas o el presupuesto dedicado a ejecutar su programa. También puede controlar su presupuesto proyectado frente a su gasto real en sus proyectos de prueba para evaluar el valor de su programa de prueba A/B.
Si está utilizando Convert Experiences para su programa de prueba A/B, tiene acceso a informes complejos (como en la captura de pantalla a continuación) que incluyen sus objetivos y el rendimiento de cada variación de prueba, por lo que no solo puede maximizar el ROI sino también demostrarlo.

Conclusión
El valor de las pruebas A/B radica tanto en encontrar mejoras que generen un aumento de los ingresos o brinden una mejor experiencia a sus clientes en su sitio web como en mitigar los riesgos que puedan surgir. Utilizando los ingresos y otras medidas, puede demostrar de manera concluyente el ROI de su programa de pruebas A/B al C-Suite de su empresa.
Reserve una demostración con Convert para averiguarlo.
Solicita tu demostración