Cómo leer e interpretar con precisión un informe de experiencias de conversión

Si es usuario de Convert, sabrá que sus informes están repletos de datos valiosos. Pero, ¿qué representan todos esos números y gráficos? ¿Y cómo sabe qué conclusiones puede sacar de ellos y utiliza esa información para mejorar sus pruebas?

¿Es tan simple como usar una calculadora de significación estadística para validar una experiencia?

¿Considerar que una prueba A/B es un éxito si se muestra en verde en un informe de experimento es suficiente, o también deberíamos considerar otros factores?

Si bien las calculadoras de significancia estadística son esenciales para realizar pruebas precisas, no cuentan toda la historia. Para aprovechar al máximo sus informes de Convert, debe tener una sólida comprensión de las estadísticas de las pruebas A/B.

¿Y por qué es eso?

Porque las pruebas A/B son fundamentalmente un método de análisis estadístico. No puedes tener uno sin el otro.

Una prueba o experiencia A/B es un ejemplo de prueba de hipótesis estadística, en la que se desarrolla una hipótesis sobre la relación entre dos conjuntos de datos y se compara para ver si se encuentra significación estadística.

Por lo tanto, ya sea que sea un novato o un usuario experimentado, siga leyendo para comprender la gama completa de estadísticas de prueba disponibles en sus informes y obtenga mejores resultados de sus pruebas A/B.

Entonces, ¿qué puedes hacer con un informe de prueba A/B? Veamos dos ejemplos prácticos.

Ejemplo 1

Una empresa de comercio electrónico planea optimizar las páginas de productos para mejorar las tasas de conversión.

En esta situación particular,

la tasa de conversión de la página del producto = el número de pedidos / el número de visitantes a la página del producto

El equipo de marketing está evaluando tres nuevos diseños de página de productos. Quieren elegir el más efectivo entre cuatro posibilidades: un diseño existente y tres nuevos. ¿Cómo pueden usar el informe Convert Experiences y sus métodos estadísticos para detectar el mejor desempeño, dado que la tasa de conversión es un factor?

Ejemplo 2

Al cambiar su página de precios, un sitio web de SaaS espera aumentar su base de miembros.

Para ellos,

la tasa de conversión de la página de precios = el número de suscripciones / el número de visitantes a la página de precios

Marketing está evaluando tres diseños diferentes para ver si alguno de ellos puede atraer más suscriptores que el actual.

Usando el informe Convert Experiences y sus métodos estadísticos, ¿cómo pueden hacer esa comparación usando la tasa de conversión como criterio de selección?

Este artículo explicará qué contiene el informe Convert Experiences, cómo puede usarlo para mejorar su sitio web y cómo interpretar el análisis detallado de las experiencias de sus visitantes para que pueda tomar medidas.

Siga leyendo para obtener una guía fácil de seguir que lo ayudará a comprender las estadísticas detrás de los informes de prueba Convert A/B.

Un mapa detallado de cada sección de un informe de experiencia de conversión

Como usuario de Convert, tiene acceso a información detallada sobre el rendimiento de su sitio web a través de informes. Echemos un vistazo completo a todos los elementos de un informe Convert para que pueda comprender exactamente qué información se presenta y cuál es la mejor manera de utilizarla para mejorar el rendimiento de su sitio web.

Puede acceder a los informes seleccionando la experiencia que desea ver y haciendo clic en la pestaña Informe.

En esta sección, verá cuatro secciones diferentes:

• Menu principal
• Resumen
• variaciones
• Metas

➢ Menú superior

El menú superior proporciona acceso rápido a la siguiente información:

• Fecha de inicio: la fecha en que comenzó la experiencia
• Days Running : duración de la experiencia
• Rango de informe : un filtro de fecha le permite filtrar datos por un período de tiempo específico
• Segmento : filtre el informe por segmentos de visitantes
• Todos los usuarios probados : el número de usuarios que participaron en la prueba
• Conversiones totales : número total de conversiones de objetivos. Convert rastrea solo conversiones de un solo objetivo por visitante único. Echa un vistazo a esta página para ver las conversiones de varios objetivos.
• Goles : el número de goles que tiene una determinada experiencia

Filtrar por un intervalo de fechas específico

Los datos se pueden filtrar para un rango de fechas específico utilizando el rango de informe. Los intervalos de fechas personalizados se pueden especificar utilizando las opciones existentes o el control de calendario.

Filtrar por un segmento específico

Puede filtrar el informe por segmentos de visitantes seleccionándolos en el cuadro desplegable "Todos los usuarios". Puede usar esto para responder preguntas como

• ¿Cómo se comportó el tráfico de diferentes fuentes en la experiencia?
• ¿Cuál fue la variación ganadora en dispositivos móviles versus computadoras de escritorio?
• ¿Qué variación atrajo a la mayoría de los nuevos usuarios?

Debe dirigirse a audiencias/segmentos que sean importantes para su organización y que probablemente muestren una variedad de comportamientos de usuario y señales de intención.

Examine las puntuaciones de mejora y confianza de cada audiencia para ver cómo se desempeñó cada variación. Dependiendo de los resultados de su análisis, puede decidir si lanzar la variación ganadora a todo su tráfico o ajustar su asignación.

Un informe de experiencia de Convert incluye los siguientes segmentos:

• navegador utilizado,
• dispositivo utilizado,
• visitantes nuevos vs antiguos,
• país del usuario,
• fuente de trafico,
• continente, y
• 10 segmentos personalizados.

También puede usar el menú de tres puntos y aplicar algunas acciones adicionales:

Compartir informe

Al hacer clic en Compartir informe, se abrirá una ventana emergente con las siguientes opciones para descargar los datos de la experiencia:

Ver código

Ver código es la segunda opción, que le da acceso a su código de seguimiento de Convert:

Configuración de estadísticas

La tercera opción, Configuración de estadísticas, le permite configurar lo siguiente:

• Nivel de confianza (significación estadística) — descrito aquí
• Valores atípicos de transacción: descritos aquí
• Automatizaciones — descritas aquí
• El botón Restablecer estadísticas para restablecer los datos de la experiencia.

Pausar experiencia

Una cuarta opción te permite pausar la experiencia.

➢ Resumen

En la sección Resumen de su informe de experiencia de Convert, encontrará un resumen de las condiciones de Área del sitio y Audiencia que se aplican a su experiencia. También ofrece algunas recomendaciones inteligentes:

Habilitar recomendaciones inteligentes

Vaya a Configuración de su proyecto, Más configuraciones, para habilitar Recomendaciones inteligentes:

Ver recomendaciones inteligentes

Puede ver estas recomendaciones inteligentes en dos lugares.

1. En el resumen del informe:

Los siguientes mensajes pueden aparecer en función de sus resultados:

• Significativo y aumento negativo : estamos observando que la variante ${variant_name} es la que tiene mejor rendimiento con un aumento negativo de ${lift}%. El experimento para el objetivo ${primary_goal_name} es significativo. Sugerimos extraer aprendizajes y diseñar una nueva hipótesis.
• Aumento significativo y positivo : ¡Felicitaciones! Para ${primary_goal_name}, ${variant_name} actualmente está ganando con una mejora de ${lift}%. El experimento es significativo”.
• Incremento positivo e insignificante : se necesitan más visitantes para sacar una conclusión válida para ${primary_goal_name}. Solo vemos que ${variant_name} es el que tiene mejor rendimiento con un aumento de ${lift}%, pero necesita más visitantes antes de poder dar una conclusión definitiva.
• Incremento negativo e insignificante : se necesitan más visitantes para sacar una conclusión válida para ${primary_goal_name}. Mantenga la prueba en ejecución antes de poder sacar una conclusión.

2. En el cuadro ampliado Objetivos:

Los siguientes son algunos mensajes posibles que puede ver en función de sus resultados:

• Felicidades {variation.name} es un ganador, estamos seguros con un 00% de confianza estadística.
• Desafortunadamente, {variation.name} se desempeñó peor que {baselineText}, estamos seguros con un 00 % de confianza estadística.
• {variation.name} parece estar funcionando mejor que {baselineText}, pero aún no podemos estar seguros
• Es demasiado pronto para juzgar {variation.name}

Captura de pantalla de referencia

Si pasa el cursor sobre la captura de pantalla de referencia, verá algunas opciones adicionales:

• Ver instantánea en tamaño real
• Vista previa de variación
• Vuelva a tomar la instantánea de variación

Enlaces de variación de fuerza y ​​vista previa en vivo

La variación de vista previa abrirá una ventana emergente donde puede obtener las URL de la vista previa en vivo y la variación forzada.

➢ Variaciones

Una sección llamada Variaciones proporciona detalles sobre las variaciones de su experiencia. Cada columna después de la columna Estado representa sus objetivos de experiencia:

Puede habilitar/deshabilitar columnas o reorganizarlas haciendo clic en el menú de tres puntos:

Con el botón de estado habilitado, podrá pausar variaciones:

Hay algunas opciones adicionales disponibles al hacer clic en el menú de tres puntos en una de las filas de variaciones:

• Abrir URL de variación forzada
• Detener la variación
• Convertir a una nueva implementación
• Convertir a un original en un nuevo experimento
• Editar variación
• Vista previa en vivo

➢ Metas

En esta sección se puede encontrar una breve descripción de cada uno de los objetivos de experiencia, así como algunas estadísticas y gráficos interesantes que analizaremos en la siguiente sección. Antes de continuar, expliquemos algunos términos con los que quizás no esté familiarizado.

• Objetivo predeterminado : si ve el término Objetivo predeterminado junto a uno de sus objetivos, significa que es uno de los 2 objetivos predeterminados que agregamos a cada experiencia.
• Objetivo principal : solo puede haber un objetivo principal, que debe ser decidido por usted. Es el objetivo más importante para su experiencia. Esto se mostrará primero en la lista de objetivos y el estado de la experiencia cambiará en función de esto.
• SRM : Desajuste potencial de relación de muestra detectado en su prueba. Verifique la configuración de la experiencia o comuníquese con [email protected] si detecta esto.
• Línea de base: esta es su línea de base de experiencia predeterminada.

Ahora, repasemos cada uno de los elementos de este informe.

Nombre de variación

Este es el nombre de su variación. Hay una casilla de verificación al lado que puede habilitar/deshabilitar para mostrar y ocultar las estadísticas de variación.

Mejora

Puede ver aquí cómo se comportan el original y la variación de su página web en términos de tasas de conversión. La diferencia porcentual puede ser positiva o negativa. Cuando la confianza calculada es mayor que la confianza establecida en la configuración de estadísticas, el color cambia así:

• rojo para -
• Verde para +
• Gris para otros

Visitantes

Este es el número total de visitantes clasificados en la experiencia. Los visitantes únicos se enumeran aquí.

Conversiones

Esto representa el número total de conversiones para cada objetivo/variación. Cualquier acción deseada que desea que el usuario realice se denomina conversión. Dependiendo de su sitio web, esto puede incluir todo, desde hacer clic en un botón hasta realizar una compra.

Tasa de conversión

Esta columna muestra el porcentaje de visitantes que se convirtieron en conversiones.

Nivel de confianza (significación estadística)

Al interpretar sus resultados A/B, la significación estadística es el concepto más importante.

Esta columna indica la diferencia entre el intervalo de confianza de la tasa de conversión de la variación del experimento y el original. Si la confianza no muestra ningún número, es porque (de forma predeterminada) se necesita un mínimo de 5 conversiones de objetivos para cada variación para poder calcularla. También deberá cumplir con el mínimo de visitantes establecido para cada variante. Si cambió las conversiones mínimas, se deberá alcanzar el mínimo que seleccionó.

Esta columna contiene puntos grises/verdes que indican:

• 1 punto verde para 75%-85% de confianza
• 2 puntos verdes para 85%-95% de confianza
• 3 puntos verdes para 95%-96% de confianza
• 4 puntos verdes para 96%-97% de confianza
• 5 puntos verdes para 97% y más

Diagrama de caja (intervalo de confianza)

El diagrama de caja o el intervalo de confianza indica un rango de valores donde cae la verdadera tasa de conversión.

Es una buena idea mostrar la diferencia observada en el valor de la tasa de conversión para las páginas originales y de variación cuando se analizan los resultados y el rango dentro del cual las tasas de conversión realmente pueden caer. El intervalo de diferencia es un posible rango de valores que se trazan en una escala de recta numérica.

El rango más alto posible de tasa de conversión está marcado por el límite superior de la escala numérica, y el rango mínimo posible de tasa de conversión está marcado por el límite inferior de la escala numérica.

En la escala, puede ver los siguientes colores:

• Área gris: indica que el experimento aún no es concluyente o que se necesitan personas adicionales para declarar un resultado válido.
• Una variante ganadora se indica con el color verde .
• Una varianza perdedora se indica con el color rojo .

En el diagrama de caja, esté atento a la superposición entre las tasas de conversión originales y de variación.

Suponga que las tasas de conversión para Original tienen un intervalo de confianza de 10 a 20 % y que las tasas de conversión para la Variante 1 tienen un intervalo de confianza de 15 a 25 %. Vale la pena señalar que la superposición entre los dos intervalos de confianza es del 5 % y está entre el 15 y el 20 %. En este contexto, es imposible decir si la variación en B es realmente una mejora importante. Por eso, si hay una superposición de los diagramas de caja, Convert no declarará un ganador.

Estado

Esto le muestra un informe de estado sobre la variación.

gráficos

Desde aquí, puede acceder a tres tipos diferentes de gráficos.

A continuación se muestra una explicación de cada uno:

Conversiones

• Tasa de conversión a lo largo del tiempo : el eje Y muestra la tasa de conversión, el eje X muestra el tiempo. Cada línea representa una variación (tasa de conversión acumulada) + una para la tasa de conversión de todo el experimento (promedio de todas las variaciones) + un segundo eje Y a la derecha que representa el número acumulado de visitantes dentro de todo el experimento
• Conversiones a lo largo del tiempo : el eje Y muestra las conversiones, el eje X muestra el tiempo. Cada línea representa una variación (conversiones) + una para las conversiones de todo el experimento (conversiones promedio de todas las variaciones) + un segundo eje Y a la derecha que representa el número acumulado de conversiones dentro de todo el experimento.
• Tasa de conversión diaria a lo largo del tiempo : tasa de conversión no acumulativa: similar al gráfico Tasa de conversión a lo largo del tiempo, excepto que el eje Y no muestra los visitantes acumulativos y el no acumulativo se usa para la API.
• Mejora a lo largo del tiempo : mejora en la tasa de conversión por día en el eje X y en las líneas de cada variación (pero no original).
• Visitantes diarios a lo largo del tiempo

productos

• Productos por visitante : promedio acumulado de productos pedidos por visitante: el eje Y muestra el promedio de productos pedidos por visitante, el eje X muestra el tiempo. Cada línea representa una variación (promedio acumulado de productos pedidos por visitante) + uno para el promedio de productos pedidos por visitante de todo el experimento (promedio de todas las variaciones) + un segundo eje Y a la derecha que representa el número acumulado de visitantes dentro de todo el experimento .
• Productos diarios por visitante : promedio no acumulativo de productos pedidos por visitante
• Mejora en el tiempo : mejora en productos por día en el eje X y líneas de cada variación (pero no original)
• Visitantes diarios a lo largo del tiempo

Ingresos

• Ingresos a lo largo del tiempo : ingreso promedio acumulado por visitante: el eje Y muestra el ingreso promedio por visitante, el eje X muestra el tiempo. Cada línea representa una variación (ingreso promedio por visitante) + uno para el ingreso promedio por visitante de todo el experimento (promedio de todas las variaciones) + un segundo eje Y a la derecha que representa el número acumulado de visitantes dentro de todo el experimento
• Ingresos diarios por visitante : ingreso promedio no acumulativo por visitante
• Mejora a lo largo del tiempo : mejora en los ingresos por día en el eje X y alinea cada variación (pero no original)
• Visitantes a lo largo del tiempo

Pase el mouse sobre el gráfico

Al pasar el cursor sobre el gráfico, se mostrará la tasa de conversión de cada variación en ese día y la tasa de conversión de la variación en comparación con la original:

Mostrar desviación estándar

También puede marcar la casilla para mostrar la desviación estándar (también llamada error estándar):

Usos de conversión de fórmulas estadísticas

Nota: Los términos estadísticos se tratan en otro blog , por lo que no los repetiremos aquí. Nuestro propósito aquí es mencionar las fórmulas matemáticas que utiliza Convert.

Convert utiliza una prueba Z de dos colas frecuentista con un nivel de confianza de 0,05 (95 %). Eso es .025 para cada cola siendo una distribución simétrica normal con la opción de cambiar esto entre 80% y 99%.

Pronto agregaremos estadísticas bayesianas a los informes Convert. Estén atentos para más información.

Se debe usar una prueba de dos colas cuando queremos encontrar una diferencia estadísticamente significativa en cualquier dirección (hacia arriba o hacia abajo). El objetivo aquí es determinar si la variación condujo a un aumento o disminución estadísticamente significativa en las conversiones.

Tasa de conversión

Esta fórmula se utiliza para calcular la tasa de conversión para cada variación:

(Número total de conversiones de objetivos / Número de visitantes únicos) * 100

Cambio de tasa de conversión para variaciones

El cambio porcentual de la tasa de conversión entre la variación de la experiencia y el original se calcula así:

Intervalos de confianza

Para cada variación se utiliza un método estadístico para calcular un intervalo de confianza en torno a la tasa de conversión.

El error estándar (para 1 desviación estándar) se calcula utilizando el método de Wald para una distribución binomial. Por lo tanto, para una tasa de conversión ( p ) y un tamaño de muestra (número de visitantes únicos) dados, el error estándar se calcula como

El error estándar se calcula utilizando esta fórmula, que supone que la distribución binomial se puede aproximar con una distribución normal (debido al teorema del límite central ). La distribución de muestra se puede aproximar a una distribución normal cuando hay más de 10 conversiones en el objetivo específico.

Para determinar el intervalo de confianza de la tasa de conversión, multiplique el error estándar por el percentil 95 de una distribución normal estándar (un valor constante igual a 1,65).

En otras palabras, puede estar seguro con un 90% de confianza de que su verdadera tasa de conversión p se encuentra dentro de este rango:

Puntuación Z

Usando un puntaje Z, podemos determinar si los resultados son significativos (que las tasas de conversión no difieren debido a la variación aleatoria):

La puntuación Z es el número de desviaciones estándar entre los valores medios original y de variación. Con una distribución normal estándar, se determina la importancia del 95 % cuando el recuento de eventos de vista es mayor que 1000 y se cumple uno de los siguientes criterios:

• Probabilidad (ZScore) > 95%
• Probabilidad (ZScore) < 5%

Mejora

La posibilidad de ser diferente (que se muestra en el informe) se deriva del valor de Probabilidad (Z-Score) donde:

• Si
  
  Probabilidad (puntuación Z) <= 0,5
  
  después
  Mejora = 1- Probabilidad (ZScore)
  

• Si
  
  Probabilidad (puntuación Z) > 0,5
  
  después
  Mejora = Probabilidad (ZScore)

Qué buscar al interpretar los informes de experiencia

Ahora que está familiarizado con todas las secciones del informe de experiencia de Convert y sus fórmulas estadísticas, intentemos interpretar algunos informes de experiencia diferentes y veamos qué puede obtener de ellos.

¿Son significativos los datos de la experiencia?

Antes de evaluar los resultados y emitir juicios sobre qué hacer a continuación, asegúrese de que los datos de la experiencia sean significativos. Usando el "Nivel de confianza" en el informe de experiencia de Convert, puede determinar si los hallazgos se deben al azar o son un reflejo real del comportamiento de sus usuarios.

Un nivel de significación del 95 % significa que tiene una certeza del 95 % de que las conclusiones observadas no son el resultado de la casualidad. También implica que hay un 5% de posibilidades de que esté equivocado.

Alternativamente, puede pensar en el nivel de confianza como la probabilidad de obtener resultados diferentes si repite el experimento.

Si obtiene una calificación de confianza del 90 %, hay una posibilidad de 1 en 10 de que obtenga respuestas diferentes si repite la prueba. Con un 95 % de confianza, hay una probabilidad de 1 en 20, mientras que con un 99 % de confianza, hay una probabilidad de 1 en 100.

Variante ganadora: Impacto positivo

Aquí hay un ejemplo de una variación significativa que superó al original y resultó en una mejora positiva.

Para el objetivo "Personalizar suscripción: vista de página del paso 1", la variación 1 tiene un 98,7 % de posibilidades de superar a la variación 0 (original) en esta experiencia. El diagrama de caja muestra que seleccionar la Variación 1 puede resultar en una mejora sobre el Original de 13.73% +- 0.6%

En esta experiencia, es seguro decir que la mejora es de +7,20 %, pero existe la misma probabilidad de que la tasa de conversión esté entre 13,73 % +- 0,6 %. Independientemente de la situación, la Variación 1 mejoraría con respecto a la Original, ¡así que esta es una fuerte indicación para implementarla!

¿Por qué?

Si la misma experiencia se repitiera 10 000 veces en condiciones idénticas, la Variante 1 aún ganaría 9 870 veces de 10 000.

Variación Perdedora: Impacto Negativo

Echemos un vistazo más de cerca a los resultados de una experiencia significativa en la que la variación 1 no da como resultado una mejora positiva, sino que tiene una influencia negativa en la tasa de conversión de la variación 0 (original).

En esta experiencia, hay un 98,87 % de probabilidad de que la Variante 1 pierda en la Tasa de conversión sobre la Variación 0. Se puede esperar un impacto negativo en la Tasa de conversión del original entre 4,5 % +- 1 % con la Variante 1.

Resultados no concluyentes: impacto neutral

Ahora veamos una experiencia que no es significativa. En la experiencia a continuación, ninguna de las variaciones tiene una probabilidad lo suficientemente alta de ganar o una probabilidad superior al 95 %.

La probabilidad de que la Variante 1 gane a la Variante 0 es solo del 84,58% en esta experiencia.

¿Cuál es el siguiente paso que puedes dar?

Hay varias opciones para elegir, todas las cuales dependen de la hipótesis y el objetivo final de la experiencia. Cualquiera que sea el caso, siempre hay algunas opciones sobre la mesa:

• Amplíe su audiencia. Si su segmento de visitantes es demasiado limitado, intente concentrarse en un segmento con una audiencia más grande.
• Eliminar algunas variaciones. Si ha desarrollado cuatro variaciones, por ejemplo, intente ejecutar la misma experiencia con dos o tres variaciones.
• Déjalo en funcionamiento durante un período de tiempo más largo.
• Sigue tu instinto y elige lo que sea más consistente con tu marca. Si los resultados son similares en dos variaciones y sus colegas están de acuerdo en que una se alinea mejor con los requisitos de su marca que la otra, puede optar por elegir una como ganadora.
• Relanzar la experiencia. Ejecutar la misma prueba dos veces para validar o invalidar los resultados iniciales es una práctica inteligente. Debido a que es poco probable que las circunstancias sean las mismas (período de tiempo diferente, fluctuaciones de tráfico, etc.), ¡los resultados pueden diferir!
• Permitir que sea. Es posible que su original ya esté optimizado.

¿Existe una distribución uniforme del tráfico?

Cuando configura una experiencia A/B, asigna un porcentaje de tráfico a cada variación (por defecto, 50/50).

El recuento de visitantes debe representar la división de tráfico prevista.

En el caso de una diferencia significativa, es casi seguro que hay un desajuste de proporción de muestra (SRM)

En una división 50/50, si obtiene 400 visitantes de un lado y 600 del otro, los resultados no son confiables. Cuando esto sucede, es hora de analizar la configuración de su experiencia A/B. Los resultados podrían estar sesgados por valores atípicos como direcciones IP internas o bots externos.

Recuerde, los datos son tan buenos como el análisis que haga con ellos. Aproveche todas las herramientas que tiene a su disposición, incluidos los informes detallados de Convert Experiences, para obtener información precisa y procesable.

Si aún no tiene una cuenta, regístrese para una prueba gratuita y pruébelo durante 15 días. Tendrá acceso a todas las funciones interesantes que discutimos en esta publicación, y muchas más. Y si tiene alguna pregunta o necesita ayuda para comenzar, nuestro equipo está aquí para ayudarlo.