Cómo presentar las métricas de Shopify en un informe de prueba A/B para proporcionar un valor claro

Publicado: 2022-08-31
Cómo presentar las métricas de Shopify en un informe de prueba A:B para proporcionar un valor claro

La creación de un informe de prueba estelar de Shopify A/B tiene dos facetas principales: elegir las métricas correctas y saber cómo presentarlas.

Su elección de métricas afecta el resultado de la prueba y define el enfoque de todo el programa de optimización.

Meme del informe de prueba de Shopify A/B
Fuente

Vaya a leer: La guía completa paso a paso para comprender (completamente) y usar las métricas de prueba A/B

PD: no elija demasiadas métricas. Utilice la regla Goldilocks: ni demasiados ni demasiado pocos. Demasiados y encontrará un "ganador" en cada experimento. Muy pocos y perderá aprendizaje potencial y posiblemente impactará negativamente en otras métricas clave.

Y cuando se trata de presentar estas métricas en tu informe de Shopify, piensa de manera integral pero simplificada. Combina elementos visuales con números para resaltar los cambios clave y las tendencias o patrones de las métricas que conducen al cambio.

¡Mira este informe de Shopify de muestra de Convert!

Sin un informe que presente hallazgos significativos para el liderazgo, puede ser difícil obtener aceptación para más experimentación o demostrar el ROI de las pruebas A/B.

Quizás su aprendizaje fueron todos los riesgos que evitó al no implementar malas ideas o conocimientos que obtuvo cuando perdió una variación pero un segmento se mostró prometedor o una métrica se movió de manera inesperada. Y ahora necesita comprender por qué sucedió eso a través de un experimento y probar la causalidad.

En pocas palabras: Cree un informe que sea fácil de interpretar y ayude al equipo de experimentación a transmitir el valor de los esfuerzos (ganancias reales, aprendizaje e información) a las partes interesadas con claridad.

ocultar
  • Principales métricas de Shopify para realizar un seguimiento en las pruebas A/B y lo que significan
    • Shopify Analytics: las 3 métricas a las que debe prestar especial atención
  • ¿Qué elementos e información debe incluir un excelente informe de prueba A/B de Shopify?
    • Estructuración del Informe
    • Cobertura de objetivos y KPI
    • Adición de creatividades para la narración visual
    • Cobertura de orientación y diseño de experimentos
    • Poner a cero en la segmentación
  • Transmitir el valor de las pruebas A/B de Shopify, internamente y a los clientes

Principales métricas de Shopify para realizar un seguimiento en las pruebas A/B y lo que significan

Si bien las métricas que debe rastrear dependen de su hipótesis, aquí hay algunas métricas de Shopify que debería considerar controlar

  • Pedidos totales : el número de pedidos realizados
  • Ventas totales: el monto total se clasifica por el canal de ventas
    Fórmula : Ventas brutas - descuentos - reembolsos + envío + impuestos
  • Principales páginas de destino: muestra la página donde los clientes inician una sesión.
  • Valor promedio del pedido : el valor promedio de todos los pedidos (menos las tarjetas de regalo) dividido por el número total de pedidos.
  • Tasa de conversión de la tienda en línea: el porcentaje de sesiones que dieron como resultado un pedido

    • Agregado al carrito: el número y porcentaje de sesiones en las que los clientes agregaron al menos un artículo a su carrito.
      Fórmula : ((Sesiones con artículo de carrito visto) / (total de sesiones))*100
    • Pago alcanzado: la cantidad y el porcentaje de sesiones en las que los compradores agregaron al menos un artículo a su carrito, llegaron al pago y realizaron una acción.
    • Sesiones convertidas: la cantidad y el porcentaje de sesiones en las que los compradores agregaron al menos un artículo a su carrito, llegaron a la caja y luego realizaron una compra.
  • Tasa de carritos abandonados: el porcentaje de carritos que los clientes abandonan antes de llegar al pago.
    Fórmula : (1 – (Número de compras completadas / Número de ventas iniciadas))*100
  • Tasa de rebote: el porcentaje de sesiones de participación única
    Fórmula: Total de sesiones de una página / Total de visitas de entrada

También puede realizar un seguimiento de los clientes nuevos, los clientes recurrentes, el canal de referencia (SEO, redes sociales, directo o correo electrónico) y las ventas por ubicación.

Nota: Las métricas que puedes rastrear en los informes profesionales de Shopify dependen del plan de Shopify al que estés suscrito; los planes superiores ofrecen más análisis e informes. El plan Shopify Plus también te permite crear informes personalizados más allá de los informes de marketing y de ventas normales que obtendrías.

Preguntamos a más de 50 optimizadores de Shopify a través de HARO sobre las métricas que prefieren rastrear y surgieron algunos claros favoritos:

  • Tasa de conversión (CR)
  • Tasa de clics (CTR)
  • Valor de conversión
  • Tiempo en la página
  • Porcentaje de rebote
  • Profundidad de desplazamiento
  • Compromiso en páginas específicas, como la página de catálogo/categoría
  • Profundidad de navegación del sitio
  • Vistas de página
  • Vistas de elementos
  • Añadir al carrito
  • Compras netas
  • Tiempo de pago
  • AOV
  • NPS (post compra)
  • Ingreso promedio por visitante
  • Tasa de carro abandonado
  • Beneficio neto

La realidad es que, cuando se trata de métricas de seguimiento, no existe una respuesta única para todos. La métrica más importante para realizar un seguimiento variará según sus metas y objetivos específicos.

Para algunas tiendas Shopify, puede verse así:

Algunos de mis objetivos favoritos para seguir en las tiendas Shopify son

  1. Impulse los clics en los anuncios.
  2. Aumentar las ventas de productos específicos.
  3. Mejorar la navegación de la página principal.

Jessica Kats, experta en comercio electrónico y retail en Soxy

Shopify Analytics: las 3 métricas a las que debe prestar especial atención

En Convert, les pedimos a los propietarios de las tiendas Shopify que presten especial atención a 3 métricas:

  1. Tasa de conversión (CR) : a riesgo de decir lo obvio, su tasa de conversión puede ser un buen indicador del éxito o fracaso de su experimentación. En última instancia, desea más ventas y mayores ingresos. Pero esta puede no ser la mejor métrica si no está tratando de medir cómo sus acciones impactan a las personas que realizan una acción en su sitio.

    ¡Sigue leyendo para descubrir qué métrica es la más importante!

Por cierto, prueba esta calculadora de tasa de conversión gratuita.

  1. Valor promedio de pedido (AOV) : si bien el AOV no es la métrica más completa, aún debe considerar monitorearlo. Es una indicación de la rentabilidad en diferentes segmentos, una métrica amplia que cuantifica cuánto compra la gente de varias categorías.
    Cuando lo utilice como su principal métrica de comercio electrónico, asegúrese de lo siguiente:

    • El AOV se monitorea a través de SKU
    • Realiza un seguimiento de los pedidos de los distribuidores y los pedidos al por mayor porque puede descartar el AOV
    • AOV no indica ganancias porque no resta el costo de los bienes vendidos, que es un gasto significativo.

Calcula tu AOV pre-test y post-test gratis aquí.

  1. Ingreso promedio por visitante (ARPV): a diferencia de AOV, que tiene pedidos como su unidad de aleatorización, lo que dificulta la prueba adecuada, ARPV utiliza a los visitantes como unidad de aleatorización, lo cual es práctico.

    ARPV es la métrica más importante para rastrear porque consiste tanto en CR como en AOV.

Así es como se puede calcular antes y después de la prueba.

Y Alex Birkett, cofundador de Omniscient Digital, está de acuerdo:

El objetivo de su experimento es tremendamente importante tanto para el diseño de su experimento como para lo que realmente termina aprendiendo de su experimento.

En demasiadas empresas, la métrica de proporción simple de "tasa de conversión" es el objetivo universal del experimento. Esto está bien si desea saber si su intervención aumenta la proporción de personas que realizan una acción, como comprar *cualquier cosa* en su sitio web, pero si eso no es lo que está tratando de aprender o si esa no es la aguja que está buscando. tratando de moverse, no es la mejor métrica.

Muchos de los sitios web de Shopify con los que he trabajado han querido
a) aumentar el tamaño de la compra (o valor promedio de pedido - AOV) para aquellos que compran o
b) aumentar el valor medio de los visitantes en un conjunto de páginas.

Para el primero, querrá configurar AOV y seguimiento de ingresos. Estos requieren integración con su carrito de compras, pero la mayoría de las herramientas de prueba, incluida Convert, tienen integraciones nativas con Shopify.

Convert también tiene una guía completa para optimizar AOV que puede consultar.

Cuando optimizo para AOV, también hago un seguimiento de la tasa de conversión para asegurarme de no dañar esa métrica.

Pero lo veo como una métrica de barandilla.

Si puedo aumentar el AOV mientras mantengo mi tasa de conversión de referencia, envío el experimento a producción. También puedo calcular el valor marginal en el caso de que la tasa de conversión disminuya un poco, pero el valor promedio del pedido lo compensa aumentando el ingreso promedio por visitante del experimento.

Esto me lleva a mi segunda herramienta de informes post-hoc para Shopify: ingresos promedio por visitante.

Algunos argumentan que esta es la mejor métrica de optimización de conversión de tiendas de comercio electrónico, ya que es una métrica compuesta que puede verse influenciada por el aumento de las conversiones o por el aumento del valor de cada conversión (es decir, el valor promedio del pedido).

El valor medio de los pedidos y los ingresos medios por visitante vencidos presentan algunas complejidades adicionales en los informes.

La tasa de conversión es una métrica binaria y puede tratarse como una variable categórica (aprobado/reprobado, convertir o no), y puede analizarse usando algo como una prueba de chi-cuadrado.

El valor promedio del pedido es una variable continua y, a menudo, está influenciado por valores atípicos (por ejemplo, alguien entra y compra 10 veces el volumen de una compra normal, ¿qué hace con ese valor atípico?).

El ingreso promedio por visitante también está influenciado por valores atípicos y es una variable continua, pero los supuestos subyacentes del modelo tienden a equilibrarse en tamaños de muestra más altos.

Estas dos métricas se subestiman en los informes para la experimentación de Shopify, pero presentan algunos desafíos nuevos para el análisis además de los simples aumentos de la tasa de conversión.

Sin embargo, la mayoría de las herramientas de prueba A/B pueden tener esto en cuenta y no tendrá demasiados problemas con la inferencia.

Sugerencia: use la calculadora de análisis de prueba previa de Convert para medir los requisitos de tamaño de muestra para su tolerancia al riesgo y el efecto que desean detectar en las métricas importantes enumeradas anteriormente.

¿Qué elementos e información debe incluir un excelente informe de prueba A/B de Shopify?

Entonces, ¿cómo se ve un informe estelar de prueba A/B de Shopify? Llegaremos a eso en un segundo.

Primero, sumérjase en esto:

Puede crear un informe de prueba bueno y valioso solo si ha comenzado su prueba a partir de una buena hipótesis.

Andra Baragan, fundadora de ONTRACK Digital

Si desea algunos consejos sobre cómo crear una hipótesis sólida, lo tenemos cubierto.

Vaya a leer: Construcción práctica de hipótesis: la forma en que lo hacen los expertos

Y echa un vistazo a este genial generador de hipótesis para tu próxima prueba.

Ahora que hemos cubierto nuestras bases, aquí hay más consejos de Andra Baragan sobre cómo construir una prueba A/B:

Cualquier nueva prueba A/B debe comenzar respondiendo estas preguntas:

Problema : ¿cuál es el problema que está tratando de solucionar?

Oportunidad : ¿cómo solucionará el problema su solución?

Seguimiento de optimización : ¿cómo está ayudando esto a nuestro cliente a alcanzar sus objetivos? Fuente : ¿Qué fuentes de datos utilizó para llegar a su solución?

Finalmente, cuando se trata de informar, Andra recomienda regresar y responder esas preguntas con números.

En cualquier informe de prueba, incluimos lo siguiente:

  • Duración de la prueba : (cuántos días duró la prueba)
  • Intervalo de prueba: (período de tiempo en el que se ejecutó)
  • Lo que probamos: (explique lo que cambió)
  • Perspectivas : (1-2 líneas sobre por qué lo probó, qué observó que hizo que quisiera probarlo)
  • ¿Qué aprendiste de la prueba? ¿Cuáles son los próximos pasos ahora?
  • ¿Es la prueba algo que debe implementarse en el sitio web en vivo? ¿Quieres reiterar la variación y probar de nuevo? ¿Cuál es la acción necesaria después de este informe?

Siempre obtenemos los resultados de nuestras pruebas de Google Analytics: creamos segmentos personalizados de los usuarios para cada variación y luego podemos ejecutar esos segmentos en todos los informes relevantes; esto nos brinda una vista incomparable del impacto de la prueba en el comportamiento del usuario.

Nota : si sacas tus análisis del panel de control de Shopify y los comparas con Google Analytics, habrá algunas discrepancias debido a cómo se calculan las métricas. Aquí hay más información sobre por qué sucede eso.

Estructuración del Informe

La estructura de su informe puede variar según a quién se lo presente: los ejecutivos no necesitan tantos detalles como su equipo de pruebas. Pero, su informe normalmente debe incluir estos aspectos:

  • Diapositiva 1: El propósito de la prueba - ¿Por qué ejecutó la prueba y cuál fue su hipótesis que lo llevó a diseñar esta prueba específica?

    Para las partes interesadas y su organización en general, puede mantener este nivel bastante alto. Cuando presente a su equipo de pruebas, incluya el contexto de las pruebas anteriores (si corresponde) y profundice en las métricas que esperaba mover.
  • Diapositiva 2: Los detalles de la prueba : muestre las diferentes variaciones de la prueba y agregue una breve nota para explicar las diferencias. Incluya cuándo realizó las pruebas, cuánto tiempo se ejecutaron y una descripción general del recuento de visitantes por variación.

    Al realizar una presentación ante el liderazgo u otros equipos, puede omitir detalles que no sean relevantes para los aprendizajes o las ideas. Para su equipo de pruebas, puede expandir esta diapositiva o página para cubrir cada pequeño detalle.
  • Diapositiva 3: Los resultados de la prueba : muestre el porcentaje de aumento o pérdida, las tasas de conversión de diferentes variantes y la importancia estadística de las pruebas.

    Las partes interesadas se preocupan por los resultados, por lo que esta es una de las facetas más importantes de su informe. Resalte las victorias y los KPI que se movieron de la manera correcta. Elimine los valores atípicos que no sean relevantes para el resultado. Recuerde, usted tiene que apelar a su propio interés. Dales algo que puedan hacer que se vean bien.

    Para su equipo de prueba, puede dedicar más tiempo a las pérdidas y qué métricas no se movieron de la manera que esperaba.
  • Diapositiva 4: Las lecciones aprendidas de la prueba : si la prueba no tuvo ninguna victoria clara, esta es su oportunidad de usar los datos para contar una historia. Explique a las partes interesadas qué significan los números en su informe, qué conocimientos obtuvo al ejecutar estas pruebas y cómo planea generar nuevas hipótesis para futuras pruebas.

    Esto también es muy importante para su equipo de pruebas. Las lecciones que aprende a través de las fallas pueden determinar los próximos pasos para el equipo.
  • Diapositiva 5: El impacto en los ingresos : si puede, intente cuantificar los aumentos porcentuales que mostró anteriormente con el impacto anual proyectado en los ingresos.

    Recuerde que para que los accionistas ejecutivos estén interesados ​​en la experimentación, debe mostrarles el impacto en los resultados de la empresa. Si no tiene ningún ingreso proyectado para mostrar, asegúrese de que sus aprendizajes incluyan un plan para ejecutar pruebas futuras que puedan tener un impacto.

Dado que no existe una forma única de hacerlo correctamente, les pedimos a algunos expertos que compartieran cómo estructuraron sus informes y esto es lo que dijeron:

Tengo un método muy estándar para estructurar informes que incluye:

  1. Visión general

    Un resumen rápido y en lenguaje sencillo de lo que probamos, por qué lo hicimos, lo que observamos y lo que pretendemos hacer a continuación.
  1. Concepto de prueba
  2. Experimento creativo
  3. Fechas y duración
  4. Métrica
  5. Paginas
  6. Hipótesis
  7. Análisis
  8. Resultados

    En mi opinión, es imperativo que cada informe incluya los resultados brutos completos para permitir que otros los interroguen y también para el beneficio de la posteridad.

    Podemos dar por sentado que podemos acceder a los resultados en nuestra herramienta de prueba A/B en este momento, pero ¿qué pasa dentro de un año? ¿Dos años? ¿Tres?
  1. Próximos pasos

    Según lo que vimos en este experimento, ¿qué haremos a continuación?

Oliver Palmer, consultor CRO en Oliver Palmer

Nuestros informes de prueba A/B siempre incluyen los siguientes elementos:

1. Una descripción clara de los cambios que se realizaron en cada versión;

2. Los resultados del experimento, incluida la versión que funcionó mejor; y

3. Recomendaciones para más experimentación basadas en los resultados de la prueba A/B

Estos informes nos ayudan a comprender qué funciona mejor para nuestra tienda y a tomar decisiones informadas sobre cómo mejorar nuestra tasa de conversión.

Luke Lee, director ejecutivo de PalaLeather

  1. Experimento visto (página) – ¿Cuántas personas vieron el experimento?
  2. Experimento visto (elemento): si el experimento solo se muestra en el desplazamiento, ¿cuántas personas lo vieron?
  3. Permanencia del experimento: en el escritorio, ¿el cursor del usuario se desplazó sobre el área del experimento?
  4. Interacción del experimento: ¿el usuario interactuó con el experimento? (Seguimiento de cada elemento individualmente)
  5. tiempo en la pagina
  6. Hora de pagar

Alex Halliday, fundador y director ejecutivo de AirOps

Aquí hay un ejemplo rápido de cómo se ve uno de los informes de actividad de ONTRACK Digital:

( Puede usar esto como una plantilla para su informe).

Diapositiva 1:

  • Nombre de la marca
  • Reportar nombre
  • Periodo de tiempo
Plantilla de informe de actividad de Shopify

Diapositiva 2:

Lo más destacado de la prueba

  • Número de pruebas completadas
  • Número de pruebas exitosas
  • Funciones implementadas
  • Número de pruebas en curso
  • Resumen de todas las pruebas con una actualización de estado
Puntos destacados del informe de Shopify

Diapositiva 3:

Descripción general de Google Analytics para un período específico

  • Ingresos y tasa de conversión
  • Actas
  • AOV
Informe de Shopify Descripción general de Google Analytics para pruebas A/B

Diapositiva 4:

Pruebas actualmente en ejecución

  • Instantánea de las pruebas actualmente en curso
  • Visual del software de prueba A/B para mostrar cuál está emergiendo como ganador
  • Métricas de Google Analytics para respaldar el progreso de la prueba
Plantilla de informe de Shopify: pruebas A/B en curso

Diapositiva 5:

Resumen de pruebas futuras

  • Todas las pruebas están previstas

Puede tener una diapositiva para explicar cada prueba acompañada de una imagen.

Shopify informa sobre la descripción general de las pruebas futuras

Cobertura de objetivos y KPI

Los objetivos y los KPI van en la sección "detalles de la prueba" para que pueda explicar el objetivo del experimento.

Asegúrese de agregar una nota para explicar su elección. Es posible que le pregunten por qué eligió un objetivo específico o KPI para rastrear sobre otros.

Resumen rápido: los indicadores clave de rendimiento son métricas simples que revelan su estado actual frente a los objetivos comerciales. Los objetivos son conceptos abstractos y necesita tener una medida escalable de los esfuerzos que conducen a lograr esos objetivos.

¿Necesita ayuda para identificar qué objetivos y KPI seguir? Obtenga nuestra guía definitiva para usar objetivos en las pruebas A/B.

También les pedimos a algunos expertos que comentaran qué objetivos rastrean:

Mi objetivo favorito para probar en las tiendas Shopify es aumentar la participación en la página del catálogo. Nuestros productos definen los ingresos por ventas y el crecimiento de clientes dentro del canal. Centrarse en este objetivo y realizar pruebas nos brinda información ingeniosa sobre si la página se visita suficientes veces. Si el compromiso es bajo, las pruebas nos ayudan a descubrir las áreas en las que nos falta, lo que impulsa la renovación de los esfuerzos de marketing.

Aviad Faruz, CEO de Faruzo

En términos de seguimiento de objetivos, generalmente elijo una métrica principal de la lista a continuación y luego uso las otras como métricas de salud o métricas de contador. Es bueno estar atento a varios números en caso de consecuencias no deseadas.

  1. Porcentaje de rebote
  2. CVR (impulso general a la tasa de conversión)
  3. AOV (valor medio del pedido)
  4. Ingreso promedio por visitante (combinación de los dos anteriores)
  5. NPS o similar

También me gusta segmentar a los usuarios por:

  1. fuente UTM
  2. Tipo de dispositivo
  3. Ubicación
  4. Visitante nuevo vs recurrente”

Alex Halliday, fundador y director ejecutivo de AirOps

En cuanto a los objetivos, normalmente habrá un indicador principal en el que estamos tratando de influir directamente (por ejemplo, páginas de productos vistas o interacciones con un filtro de tamaño/color) y luego, casi siempre, Conversión e Ingresos por visitante. Los objetivos rastreados deben relacionarse directamente con la hipótesis y los objetivos comerciales del experimento, por lo que rara vez es útil rastrear más de tres o cuatro como máximo.

Oliver Palmer, consultor CRO en Oliver Palmer

Por lo general, rastreamos dos objetivos en nuestras pruebas A/B: tasa de conversión y valor promedio de pedido . Sin embargo, según la naturaleza del experimento, también podemos realizar un seguimiento de otros objetivos, como la tasa de clics o el tiempo en el sitio. Generalmente depende del experimento. Otros usuarios y empresas pueden tener diferentes criterios para el seguimiento de sus respectivos objetivos.

Nuestros objetivos favoritos para probar en las tiendas Shopify son la tasa de conversión y el valor promedio del pedido. Descubrimos que estas son las métricas más importantes para nuestra tienda y brindan la mayor cantidad de información en términos de cómo podemos mejorar nuestra tienda. Sin embargo, cada tienda es diferente y es posible que otros objetivos sean más importantes para su negocio. Realmente depende de lo que esté buscando para optimizar.

Luke Lee, director ejecutivo de Palaleather

Adición de creatividades para la narración visual

La mayoría del software de pruebas A/B que utiliza ofrecerá tablas y gráficos o plantillas listas para usar de algún tipo que puede usar cuando exporta informes. Puede agregar esos gráficos a su informe (si son relevantes, por supuesto) y considerar crear algunos propios.

Tus números cuentan una historia. Simplemente use las creatividades para representarlo visualmente. El truco es usar visualizaciones que sean fáciles de entender, preferiblemente de una sola vez.

Annemarie Klaassen y Ton Wesseling de CXL habían seguido este camino probando diferentes métodos para llegar a una solución que funcionara. He aquí un breve resumen de sus consejos:

Consejo 1: si no está seguro, siga la norma: hojas de cálculo de Excel

Visualización de informe de prueba Shopify A/B
Fuente

Puede ver la elevación y el impacto de inmediato. Además, puede codificar con colores al ganador para que todos puedan ver qué variante ganó fácilmente.

Consejo 2: Agrega un gráfico

Puede ver la tasa de conversión por día a lo largo del tiempo y agregar el límite inferior y superior de la variación predeterminada.

Sin embargo, esto no le dará una respuesta clara sobre qué variante ganó y cómo se vieron afectados los KPI; solo mostrarle que hay un efecto estable que no es interesante para las partes interesadas.

Gráfico de informe de prueba Shopify A/B
Fuente

Consejo 3: Emule a los estadísticos

Otra forma (posiblemente más precisa) es replicar lo que hacen los estadísticos: 2 curvas de campana, un valor crítico y un área sombreada. Pero el problema es que es demasiado difícil explicarlo con claridad.

Así que a Annemarie y Ton se les ocurrió esto:

Imágenes del informe de prueba A/B de Shopify
Fuente

Dos puntos claros para mostrar la tasa de conversión de ambas variantes. La línea punteada representa los intervalos de confianza.

“Si la tasa de conversión de la variación B se encuentra fuera del alcance del intervalo de confianza de A, la variación B es significativamente mejor. El área sombreada en verde acentúa esto. Un punto en el área roja significaría que la variación está funcionando significativamente peor”.

Les tomó algunos intentos más para hacerlo bien. Terminaron con una versión más consolidada que tenía sentido para su equipo y pudieron automatizar la producción de las creatividades.

Puedes leer la publicación completa para ver en qué terminaron al final.

PD No tienes que complicar demasiado esto. Asegúrese de tener creatividades que respalden sus resultados y aprendizajes y asegúrese de que sea lo suficientemente fácil de entender para todos.

Cobertura de orientación y diseño de experimentos

La forma en que diseñó un experimento y a qué segmento de audiencia se dirigió es tan importante como lo que aprendió de él, especialmente porque tiene que usar esa información para construir pruebas futuras.

Estos también van en la sección "detalles". Es posible que desee resumir alguna información que no sea relevante para el C-suite o presentar una versión abreviada de la misma.

¿Necesita formas más efectivas de dirigirse a las audiencias para poder realizar mejores experimentos? Consulte: Orientación del público con pruebas A/B: ¿Qué tan precisos pueden ser sus segmentos?

Así es como los expertos abordan la orientación y la segmentación:

Diferentes experimentos se dirigirán a diferentes segmentos de usuarios, como clientes habituales o personas que han visto la página principal de su producto. Puede dirigirse a clientes británicos con inglés del Reino Unido si tiene usuarios de todo el mundo anglosajón. Al segmentar su audiencia, puede exponer su experimento solo a la cantidad específica de visitantes que cumplen con sus criterios y excluir a aquellos que no los cumplen.

Antes de ejecutar pruebas A/B en su tienda, debe averiguar qué sección de su audiencia es adecuada para su hipótesis. La segmentación garantiza que se muestre el experimento correcto a los clientes correctos.

Lulu Albanna, cofundadora de WRC Media

Explique por qué tomó estas decisiones específicas. ¿Fue el resultado de un experimento anterior? ¿O llegó a una determinada hipótesis basada en la investigación de conversión?

Paul Somerville, gerente técnico de Electric Scooter Guide, también recomienda compartir dónde se activó la prueba y por qué es importante:

Hemos realizado numerosas pruebas A/B para funciones como chat en vivo, botones de llamado a la acción, imágenes de productos, posicionamiento de ventas adicionales, páginas de destino, menús de navegación y más como una empresa de Shopify.

Por ejemplo, las pruebas A/B nos ayudaron a establecer el equilibrio correcto entre ventas cruzadas y ventas adicionales sin molestias ni fricciones en la experiencia del cliente.

Nos dimos cuenta de que a nuestra audiencia le gustaban las sugerencias muy relevantes inmediatamente en las páginas de productos en lugar de las que se presentaban durante el pago después de realizar varios experimentos y, como resultado, aumentamos el valor promedio de transacción.

Poner a cero en la segmentación

Todas las pruebas no comienzan con un segmento de audiencia en mente. A menudo, el objetivo de la prueba es averiguar qué segmento responde mejor a un cambio.

Entonces, si tiene la intención de definir segmentos de audiencia después de que se complete la prueba, asegúrese de incluir sus hallazgos al respecto en las secciones "resultados" y "aprendizajes" del informe.

Algunas segmentaciones comunes que querrá incluir en su informe:

  • Geográfico
  • conductual
  • Clima
  • Tecnográfico

Todo esto lo ayudará a refinar los resultados que tiene para comprender mejor a su audiencia y diseñar pruebas superiores.

Sin embargo, debe tener en cuenta que la post-segmentación puede encontrarse con tres problemas comunes: tener un tamaño de muestra demasiado pequeño, comparar varios segmentos y centrarse en los completamente incorrectos.

Pero puede superar estos problemas comunes con esta guía: ¿Qué es la post-segmentación en las pruebas A/B?

Nota : También puedes avanzar con tu post-segmentación: segmentar audiencias según las cookies, tu capa de datos o incluso las listas de HubSpot.

Transmitir el valor de las pruebas A/B de Shopify, internamente y a los clientes

Ahora que sabe cómo debería verse su informe de prueba A/B de Shopify, estos son algunos consejos de nuestros expertos:

  • B2C frente a B2B: muéstreles el camino correcto
    Los ciclos de compra en B2C son mucho más cortos y hay mucho más tráfico, por lo que idealmente tiene el potencial para realizar muchas pruebas. Sin embargo, encontrará que la mayoría de las marcas todavía se enfocan en los canales de adquisición "probados y probados" que se están volviendo insostenibles debido a las nuevas actualizaciones de privacidad que resultan en datos deficientes. ¿El resultado? Un aumento asombroso en el costo de adquisición de clientes. Explique a sus clientes/partes interesadas que no puede gastar más que todos sus competidores.
  • Jugar a los intereses de la dirigencia
    El valor real de las pruebas A/B radica en los conocimientos que obtienes de la experimentación. Pero estos no son útiles para el fundador y otras partes interesadas. Es menos probable que se impresionen con los aprendizajes y estén más interesados ​​en las "ganancias".
  • No establezcas expectativas equivocadas
    Por supuesto, debe intentar mostrar el impacto en los ingresos, pero la frase clave aquí es: cuando sea posible. No proyecte los ingresos en función de un aumento en las tasas de conversión o el valor promedio de los pedidos.
    En su lugar, concéntrese en lo que se probó:

    • Sea específico sobre lo que hizo y cree informes visuales y pertinentes.
    • ¿Cuáles fueron los aprendizajes? Esto puede provenir de una métrica como CR o ARPV en movimiento. No te fijes en el movimiento, sino en si la hipótesis se demostró correcta. Si es así, ¿qué revela la relación causal sobre sus segmentos de audiencia?
    • ¿Qué harás con esta percepción? ¿Refinarás el posicionamiento? ¿O tal vez mejorar el diseño del sitio?
    • ¿Qué significa esto para el negocio en su conjunto? ¿Y puede llevar a la marca un paso más cerca de cumplir los objetivos comerciales?
  • Agregue contexto a los números que ha presentado
    Tienes que hacerle saber a la gente, en términos inequívocos, lo que están viendo. Eso podría significar códigos de colores, agregar puntos de referencia de la industria, mostrar promedios, segmentos de audiencia o incluso mostrar cuánto cuestan los diferentes canales.

Seguir este enfoque asegura que no siempre esté bajo presión para obtener ganancias rápidas.

Bajo presión para informar los resultados de las pruebas A/B meme
Fuente

Puede volver a centrar su atención en lo que es la experimentación: aprender. Pero la clave no es priorizar una cosa sobre la otra.

Las mejores agencias de experimentación se enfocan en el interés y la aceptación tanto como en lo que están probando. Un verdadero acto de equilibrio entre el entusiasmo (¡Sí! Los experimentos pueden hacer crecer los negocios) y establecer expectativas inexactas (nuestros ingresos se duplicarán).

El camino a seguir es (*redoble de tambores, por favor*) la educación. Obtenga una copia de "Experimentation Works", una lectura sin tecnicismos que lo guiará para ejecutar mejores pruebas y compartir conocimientos prácticos.

Y si está buscando una herramienta de prueba A/B que pueda ayudarlo a compartir su carga, pruebe Convert. Es gratis por 15 días, no se requiere tarjeta de crédito.

Maestro CRO
Maestro CRO