La guía para emprendedores de pruebas A/B en tiendas Shopify (+ 9 emprendedores de Shopify comparten sus historias de pruebas A/B con resultados)

Así que has oído hablar de las pruebas A/B a través de rumores.

Tal vez su competidor lo mencionó casualmente en un podcast o su equipo de marketing piensa que es una gran idea. O la agencia de crecimiento con la que está en conversaciones quiere realizar pruebas A/B.

Hacer crecer un negocio no es fácil. Tú lo sabes. Habiendo llegado tan lejos, debe haber habido varias ocasiones en las que ha tenido problemas para comprender si una decisión comercial es la correcta.

¿No sería bueno si en lugar de apostar por lo que crees que querrá tu audiencia, tuvieras una forma de saberlo con certeza?

Eso es lo que hacen las pruebas A/B.

Claro, los beneficios de las pruebas A/B trascienden la toma de decisiones basadas en datos, pero en esencia, es el ingrediente secreto para desbloquear el crecimiento a escala.

Entonces, ya sea que intente hacer bricolaje o subcontratar sus necesidades, aquí está todo lo que un emprendedor de Shopify como usted debe saber sobre las pruebas A/B.

¿Qué son las pruebas A/B de comercio electrónico?

Las pruebas A/B son un proceso mediante el cual puedes comprender lo que busca tu audiencia antes de convertirse en cliente.

Por lo general, las pruebas A/B se consideran en términos de hacer ajustes menores, como cambiar el color del botón de llamada a la acción (CTA) o agregar un nuevo título, pero es más profundo que eso.

Le permite determinar qué copia, diseño y funcionalidad (UX) resuenan con sus visitantes al colocar una versión de su página o elemento en una página con una variación para ver qué funciona.

¡Y apenas estamos comenzando!

Puede tomar el concepto de prueba A/B y aplicarlo a cada canal que use e interacción que tenga con su audiencia.

Pero es importante comprender que las pruebas A/B de comercio electrónico son diferentes en comparación con otras verticales como B2B SaaS.

1. El tiempo para obtener ingresos es más corto
   
   Las pruebas A/B pueden revelar el impacto en los ingresos mucho más rápido que el B2B tradicional. En B2B, las ofertas son de subprocesos múltiples, tienen múltiples tomadores de decisiones que hacen que los ciclos de ventas abarquen meses, si no trimestres.
   
   Aunque idealmente debería usar las pruebas A/B para la investigación y la mitigación de riesgos y no solo para aumentar los ingresos, el elemento vital de cualquier negocio son los ingresos, por lo que hay una buena razón para introducir las pruebas A/B en la mezcla de crecimiento.
2. Los procesos de pago son complejos (por lo que hay más espacio para las pruebas)
   
   Si bien los embudos de compra de comercio electrónico no son complicados como B2B, el proceso de pago no es unidimensional.
   
   Rubén De Boer, autor de Psicología de la compra , explica que pagar literalmente duele. En un estudio de 2007 para investigar cómo las personas sopesan los factores para tomar decisiones de compra, a los participantes se les mostraron imágenes del producto y luego el precio. Sus cerebros fueron analizados por máquinas fMRI para ver qué vías neuronales se iluminarían.
   
   Como era de esperar, ver imágenes de productos iluminó el centro de recompensas en su cerebro.
   
   Pero el precio? La parte del cerebro asociada con el dolor físico y social se iluminó como un árbol de Navidad, lo que ayudó a los investigadores a concluir que la compensación entre ganancia y dolor debe tener sentido para que los consumidores abran sus billeteras.
   
   Eso no significa que tenga que bajar sus precios porque el precio también indica la calidad del producto. Puede probar una fuente más pequeña, ofrecer prepago, mostrar descuentos en una fuente más grande o evitar el lenguaje monetario en su copia.
   
   Por lo tanto, reducir el dolor de la compra significa que debe comprender la mezcla de motivaciones, deseos y frustraciones humanas, lo cual es imposible sin las pruebas A/B. Puede probar sus mensajes, elementos de la interfaz de usuario o revisar el proceso de pago, todo en tiempo real.

   En algunos casos, es posible que no pueda realizar cambios radicales en el carrito y el flujo de pago debido a las limitaciones que impone su plataforma de comercio electrónico, pero esa no es razón para abandonar las pruebas ambiciosas. Siempre puede probar cambios más pequeños que le den una idea del potencial que podrían tener los ajustes más grandes.

   Jonny Longden, director de conversión de Journey Further, recomienda hacerse una pregunta:
   
   ¿Qué es lo más pequeño/sencillo que podemos probar para empezar a probar esto y aprender sobre ello?
   
   No caiga en la trampa de "solo probaré cambios pequeños" o si ha realizado cambios más grandes "el dinero ya se ha hundido, así que no lo probaremos".
3. La minería de reseñas puede convertirse en una ciencia
   
   La investigación de conversión basada en datos cualitativos es un elemento básico en cualquier tipo de prueba A/B pero, en el comercio electrónico, los datos cualitativos, como la minería de reseñas, se pueden convertir en una ciencia que lo ayuda a comprender:
   
   
   • USP de productos a destacar
   • Beneficios que puedes probar en tu copia
   • Cómo perciben los clientes a los competidores
   • Copiar ángulos para historias de productos
   • Puntos débiles que ha abordado
   • Puntos débiles no abordados que causan el abandono del carrito Lorenzo Carreri, CRO y consultor de experimentación, recomienda pensar como un detective. Al igual que un detective tiene que descubrir la historia detrás de un crimen, puedes usar las reseñas para descubrir muchas historias.
     

     La gente ya tomó una decisión sobre la compra y ahora, sin que los molestemos con una encuesta de salida o un widget, en realidad están compartiendo su experiencia de forma orgánica.

     De hecho, el análisis de pulso de Carreri para diferentes industrias revela un tema común: las personas no tienden a compartir información sobre su experiencia en el sitio. Así que no importa qué pregunta hagas o cómo la hagas.
     
     Pero con la minería de reseñas, especialmente en Amazon, las personas tienden a compartir sus ideas. Cuanta más información recopile, más significativos se vuelven sus datos, lo que le ayuda a formar una mejor hipótesis para la prueba.
4. No hay escasez de tráfico para el comercio electrónico
   
   Un obstáculo importante con las pruebas A/B es no tener suficiente tráfico, lo que significa que los resultados pueden estar sesgados.
   
   Pero esto no es un problema para las tiendas de comercio electrónico. Una tienda Shopify de 7 cifras obtiene fácilmente cientos de miles de visitantes, pero una empresa B2B de la serie D probablemente obtendría 1/4 de ese tráfico.

¿Por qué los emprendedores de Shopify (en serio) deberían considerar las pruebas A/B?

El comercio electrónico está maduro para las pruebas A/B. El potencial de ver resultados rápidamente con una gran cantidad de visitantes y mucho espacio para jugar es motivo suficiente para adoptar una cultura de pruebas A/B.

Pero tal vez usted no está allí todavía. Un aumento en su tráfico en este momento produce un aumento de ingresos.

La pregunta es, ¿cuánto tiempo puedes mantener eso?

Más tráfico ≠ más ingresos más allá de un punto. Ese camino requiere que gaste más en anuncios y, al mismo tiempo, consuma sus márgenes de beneficio con descuentos.

Y cuando mire a los gigantes del comercio electrónico como Amazon, eBay o Etsy, notará que tienen pruebas A/B integradas en su ADN. Es la razón por la que prosperan. Sin mencionar que es el hilo común que comparten todas las tiendas exitosas de Shopify.

Es fácil entender por qué las pruebas A/B impulsan el crecimiento. Mire cuán granulares son las pruebas que ejecuta Amazon:

Pero cuando se trata de eso, las pruebas A/B no son solo una forma de mantenerse competitivo, es una buena decisión comercial.

¿Por qué? Porque sus estrategias actuales probablemente no estén funcionando a su favor.

1. Tu ROAS está cayendo en picado gracias a iOS 14
   Probablemente esté gastando más dinero que antes tratando de llamar la atención sobre su producto, pero el mundo posterior a ATT se ha alterado con la forma en que funcionan las conversiones basadas en píxeles. ¿Y el retargeting y las audiencias similares? Ya no son tan efectivos. En caso de que obtengas algunas conversiones, prepárate para lidiar con las discrepancias entre Ad Manager y tu backend de Shopify.

2. Sus tasas de apertura están sesgadas
   Los números de correo electrónico ya no son precisos. Mail Privacy Protection (MPP) se ha asegurado de eso. Y sus listas basadas en el compromiso pueden tener una orientación cuestionable y conversiones más bajas.

3. A tu ecuación le falta retención
   Perseguir el tráfico frío es un mal negocio. El 40% de sus ingresos proviene de clientes leales. El tráfico lleva a los compradores a su embudo, pero la retención aumenta el valor de por vida (LTV) de estos compradores.

4. Tu atribución de marketing apesta
   Las herramientas no pueden brindarle ningún dato utilizable y su equipo no puede atribuir los ingresos a cambios específicos. No puedes presionar todos los botones con la esperanza de ver un crecimiento. Necesita ser específico o construir un negocio de 8 cifras está fuera de discusión.

Las pruebas A/B le dan la vuelta al viejo libro de jugadas y le brindan la oportunidad de utilizar un enfoque científicamente válido que es repetible, confiable y rentable.

Esta es la razón por la que OLIPOP, una empresa alternativa a los refrescos de DTC, respalda las pruebas A/B:

Las pruebas A/B mejoran la interacción con el contenido, reducen las tasas de rebote, aumentan la tasa de conversión y minimizan el riesgo, todo mientras proporciona datos que son fáciles de analizar. Al ejecutar una prueba A/B, puede descubrir qué contenido resuena con su público objetivo. A continuación, puede utilizar estos datos para influir en su estrategia de marketing. Estas pruebas también lo ayudan a identificar datos irrelevantes y áreas donde sus usuarios experimentan dificultades en su sitio web, lo que reduce su tasa de rebote una vez que realiza los cambios necesarios.

Una vez que pueda identificar la variación que mejora su experiencia de cliente, verá un aumento en el tiempo que los usuarios pasan en su sitio, lo que generará una tasa de conversión más alta. Por último, las pruebas A/B minimizan el riesgo porque tomas decisiones basadas en datos precisos en lugar de conjeturas informadas. Le permite realizar cambios mínimos sin comprometer todo su sitio web. Su ROI aumentará con las pruebas A/B .

Steven Vigilante, Jefe de Desarrollo de Nuevos Negocios de OLIPOP

Haz pequeños (o grandes) cambios fácilmente

La optimización, la ciencia de mejorar las cosas, es fácil con las pruebas A/B. Puede introducir cambios para encontrar la versión que crea una mejor experiencia de compra y convierte parte de su tráfico de PPC.

Reducir el costo de fallar

El costo de fallar a veces es demasiado alto y, como era de esperar, inhibe la innovación. Pero con las pruebas A/B, puedes probar tus ideas en un entorno controlado sin tener que construir o implementar nada.

Mirar hacia el futuro

Nada puede garantizar el éxito. No es su instinto, sugerencias de agencias o incluso una sólida investigación de la competencia. Pero si desea tomar decisiones basadas en datos, las pruebas A/B son su amigo. Las mejores versiones en una prueba no se eligen en función de la validez estadística, lo que le permite vislumbrar su potencial de ingresos.

Dejar poco espacio para malas interpretaciones

Las pruebas A/B le permiten escuchar realmente a su audiencia al recopilar datos de los cambios en la tasa de conversión, el abandono del carrito, el valor promedio de pedido (AOV), los ingresos y las ganancias.
En lugar de adivinar los efectos de sus cambios, los resultados son transparentes y dejan poco espacio para malas interpretaciones.

Problemas con las pruebas A/B en Shopify (+ Soluciones)

Mientras contempla hacer que las pruebas A/B sean centrales para su estrategia, es importante abordar los posibles problemas que puede enfrentar al ejecutar pruebas A/B en Shopify.

Problema n.º 1: el sistema anti-clickjacking de Shopify puede interferir con el control de calidad de su dispositivo móvil

El secuestro de clics engaña a los usuarios para que hagan clic en contenido procesable en un sitio señuelo. Para evitar que esto suceda, Shopify utiliza tecnología antisecuestro de clics. Pero impide que las herramientas de prueba A/B funcionen de manera óptima.

Problema n.º 2: las pruebas no son un problema, pero la implementación sí lo es

Implementar los resultados de una prueba no es algo que pueda hacer una aplicación o un complemento, requiere personalización. Incluso si encuentra complementos que funcionen para usted, muchos de ellos pueden ralentizar su sitio, lo que anula efectivamente la ganancia potencial.

Problema n.º 3: tienes una tienda Shopify estándar que limita lo que puedes probar

Las tiendas estándar de Shopify no pueden acceder a la mayoría de las funciones de Shopify Plus, lo que significa que no puedes ejecutar pruebas como pruebas divididas de los temas. Las pruebas de menor complejidad dan como resultado un menor impacto en sus ingresos.

Una guía rápida de los conceptos básicos de las pruebas A/B

Ahora que te has centrado en las pruebas A/B, es hora de entrar en el meollo de la cuestión.

Haga una pausa por un momento y responda sí o no a estas preguntas antes de desplazarse hacia abajo para ver la respuesta.

• Las pruebas A/B son lo mismo que las pruebas divididas
• Las pruebas A/B y las pruebas multivariadas son diferentes
• Solo puedes hacer ajustes menores con las pruebas A/B
• No necesitas aprender estadísticas para ejecutar pruebas A/B
• No puede ejecutar pruebas A/B en otros canales
• Debe detener las pruebas A/B una vez que vea los resultados.

Pruebas A/B frente a pruebas divididas

Con las pruebas A/B, puede probar uno o más elementos en una página. Básicamente, crea una versión similar de la página original para ver el impacto en la tasa de conversión.

La prueba de URL dividida es diferente de la prueba A/B. El tráfico se divide por la mitad y se envía a dos versiones completamente diferentes para ver qué página web lo ayuda a lograr sus objetivos específicos.

Cuándo ejecutar pruebas divididas frente a pruebas A/B: Pruebas temáticas

Un gran ejemplo de cuándo elegir las pruebas divididas en lugar de las pruebas A/B es cuando quieres probar los temas de Shopify. Su tema puede afectar la CX y, en última instancia, los ingresos, por lo que es esencial que lo pruebe con una herramienta como la opción de URL dividida de Convert.

Convert emplea la inferencia frecuentista para comprender qué tema supera al otro. Recomendamos ejecutar este tipo de prueba durante al menos dos semanas, a menos que tenga un tráfico inusualmente alto en su sitio.

PD Solo puedes probar temas si eres un usuario de Shopify Plus.

Pruebas A/B frente a pruebas multivariadas

En las pruebas A/B, compara páginas casi idénticas con el original.

En lugar de cambiar un elemento a la vez, como en las pruebas A/B, la prueba multivariable es un proceso en el que prueba varios cambios en una sola prueba. El objetivo de las pruebas multivariadas es averiguar qué combinación de cambios produce mejores resultados.

Ejemplos de pruebas A/B para ejecutar en tiendas Shopify

Pregunte en Internet qué debe hacer una prueba A/B y, a menudo, le dirán que pruebe con un CTA diferente o un color de botón o que cambie un título.

No es que no sea importante, pero el mundo es tu patio de recreo, y solo estás jugando en tu pequeña caja de arena si te limitas. Pensar fuera de la caja es crucial para el espíritu de experimentación.

Nos comunicamos con 8 emprendedores de Shopify y les preguntamos esto:

¿Qué pruebas A/B has realizado, por qué elegiste realizar este experimento y cuáles fueron los resultados?

#1. AOV potenciado, órdenes ligeramente bajas

Usamos Shopify en todas nuestras tiendas en línea y hemos estado probando paquetes o agrupando nuestros productos para aumentar el AOV. La prueba es un carrito que tiene ventas adicionales o paquetes, frente a un carrito que solo contiene el producto inicial. Los resultados aún no están completos, pero hasta ahora parece que el AOV ha aumentado, mientras que el número total de pedidos ha disminuido ligeramente. Ejecutaremos esto durante algunas semanas más antes de realizar un análisis completo y podríamos probar otras configuraciones para tratar de generar mejoras tanto en el AOV como en las conversiones .

Sylvia Kang, Mira

#2. Optimizado cada elemento del sitio para CX

Como empresa de Shopify, hemos realizado una multitud de pruebas A/B para características como chat en vivo, llamadas a la acción, imágenes de productos, ubicación de ventas adicionales, páginas de destino, menús de navegación y más. Por ejemplo, nuestras pruebas A/B nos ayudaron a encontrar el equilibrio entre ventas cruzadas y ventas adicionales sin irritar a los consumidores ni agregar fricciones a su experiencia .

A través de numerosas pruebas, descubrimos que nuestra audiencia valoraba las sugerencias altamente relevantes directamente en las páginas de productos en lugar de ofrecerlas durante el pago y, al hacerlo, aumentamos el valor promedio de compra. Las pruebas A/B son cruciales porque le permiten identificar exactamente qué funciones funcionan mejor y ofrecen los mayores rendimientos sin perder tiempo y energía implementando elementos que no son óptimos. Estas pruebas le brindan datos precisos sobre qué opciones de diseño se adaptan mejor a su audiencia, y una experiencia de usuario más sólida es la forma en que las empresas logran el crecimiento y la longevidad .

Stephen Light, Colchón Nolah

#3. Se usaron repeticiones de sesiones para incluir videos y obtener mejores resultados

Uno de los aspectos más importantes que pueden hacer o deshacer una conversión es lo fácil que es para un usuario navegar por su tienda y realizar una compra. Con pruebas A/B en repeticiones de sesiones, logramos ver cómo los usuarios reales con la intención de comprar navegaban por nuestra tienda, dónde estaba el problema, qué los frustraba, qué los detenía durante el proceso y les impedía realizar una compra. Nos dimos cuenta de que los listados que incluían videos del proceso daban mejores resultados y las imágenes con mala calidad o que no mostraban varias imágenes generaban dudas.

Michael Nemeroff, camisetas de pedido urgente

#4. Aumento de las conversiones en un 2 % con cambios de diseño

En esta prueba A/B, quería ver cómo un nuevo diseño podría afectar la tasa de conversión de mi tienda Shopify. El sitio original había estado funcionando durante seis meses y estaba convirtiendo al 3 %, por lo que parecía el momento de probar algo diferente. Mi cambio de diseño incluyó mover las recomendaciones de productos debajo del pliegue en los dispositivos móviles en lugar de en línea con los productos, así como eliminar los banners de la navegación superior, ya que de todos modos no se hacía clic en ellos. Esto resultó en un aumento instantáneo de las conversiones en un 2%.

Jar Kuznecov, Centro de ablandadores de agua

#5. Aumento de los clics relativos en un 14 % al cambiar el color del botón CTA

Aunque hemos realizado multitud de pruebas A/B a lo largo de los años, una de las pruebas más eficaces que hemos realizado también fue la más sencilla: cambiar el color de nuestro botón CTA. Eso es todo. Escuché de un amigo que al cambiar el color de sus botones en la página, había aumentado sus tasas de respuesta en un 16% (en relación con la cantidad de clics que estaba recibiendo anteriormente). Esto me hizo pensar y decidí hacer nuestra propia prueba A/B. De hecho, en realidad fue una prueba A/B/C, ya que probamos 3 colores diferentes: nuestro color verde original, además de naranja y rojo. ¿El resultado? El botón rojo arrojó una tasa de respuesta un 8 % más alta, mientras que el botón naranja nos dio resultados un 14 % mejores en términos de clics relativos. Es sorprendente que un cambio tan simple como convertir un botón verde en naranja pueda tener un efecto tan profundo. Por lo tanto, mi mejor consejo es que cuando intente que alguien agregue un producto a su carrito, no se deje engañar por el color del botón CTA. Piénselo seriamente y pruébelo .

John Ross, Perspectiva de preparación para exámenes

#6. Mayor CVR y AOV con Sticky Add-to-cart y Upsells posteriores a la venta

Las pruebas A/B son un arma de doble filo. Suena bien optimizar tu tienda Shopify y aumentar la tasa de conversión. Pero necesita saber qué es cada prueba A/B agregando una capa de complejidad y usando sus recursos. Qué probar es tan importante como cómo lo prueba .

He probado diferentes pedidos de fotos de productos. Cada vez, descubrí que la imagen más simple siempre convierte la mejor. En las páginas de productos, su cliente necesita entender exactamente cuál es su producto sin tener que pensar.

Un complemento pegajoso al carrito es un ganador conocido. Tener el botón también en la pantalla, al alcance de la mano, fue un aumento fácil del 8 % en mi CVR.

No te olvides de las ventas posteriores a la venta. Fue fácil aumentar el valor promedio de mi pedido de $24 a $40. Te sorprendería lo fácil que es vender más a personas que ya están comprando .

Matt Phelps, especialista en CRO y fundador de STEEL.

¿Te sientes inspirado? Aquí hay más de 20 elementos de prueba A/B con los que los principiantes pueden jugar en su sitio web de comercio electrónico:

• Ofrecer envío gratis
• Imágenes destacadas frente a carruseles
• tamaño de llamada a la acción
• color de llamada a la acción
• ubicación de la llamada a la acción
• copia de llamada a la acción
• Imágenes humanas vs. no imágenes
• Copia del título
• Tamaño de fuente
• Altura de la línea
• Personalización frente a ninguna
• Notificación de reposición de existencias
• Descripciones de productos basadas en beneficios
• Consejo experto en la página del producto
• Destacando descuentos y ofertas.
• Pago de una sola página o de varias páginas
• Soporte durante el pago
• Menús de navegación sencillos
• Vista rápida del producto
• vídeos de productos
• Venta ascendente frente a venta cruzada
• Etiquetas en imágenes de vista previa
• Contenido generado por el usuario

De la lista de elementos que puede probar A/B, es evidente que las páginas de productos son el mejor lugar para comenzar.

Pero otras páginas de su sitio también son candidatas perfectamente viables para las pruebas A/B.

Veamos qué páginas puede poner a prueba con algunos ejemplos de la vida real de las marcas:

1. Página de inicio
   
   
   • Salty Captain cambió el color de la barra de anuncios en su página de inicio y obtuvo un 234,54 % más de clics y aumentó el CVR en un 13,39 %.
   • Legendary Wall Art experimentó con la sección de héroes y la copia de CTA y aumentó su interacción en un 325,39 % y los ingresos en un 30,07 %.
   • byBiehl agregó un control deslizante para mostrar sus productos importantes, lo que resultó en un aumento de las visitas a la página de categoría (5,87 %), los ingresos por usuario (3,25 %) y el CVR (19,73 %).
2. Página de categoría
   
   
   • Copycat Fragrances agregó su versión de las Historias de Instagram en sus páginas de categorías, lo que aumentó la interacción en un 4 % y los ingresos por usuario en un 18 %.
   • Iceshaker cambió su página de categoría para incluir la historia de su producto que aborda las objeciones comunes y obtuvo un aumento del 15,95 % en las conversiones.
   • Oliver Cabell se centró en la experiencia móvil de sus usuarios modificando el diseño y mejorando el diseño, lo que resultó en un aumento del tráfico del 14,86 % y un aumento del tráfico de la página de pago en un 5,49 %.
3. Página de pago
   
   
   • Oflara recomendó otros artículos a los compradores cuando estaban pagando con un botón Agregar al carrito, lo que resultó en una mejora significativa en los ingresos generales.
   • Conscious Items eliminó la fricción del proceso de pago con un carrito fijo, lo que resultó en un aumento del 10 % en los ingresos por usuario y un aumento del 10 % en el CVR.
   • Homeware notó que los usuarios solo compraron un artículo en su tienda Shopify. Por lo tanto, simplificaron el proceso de pago para redirigir a los usuarios a la página de pago directamente, lo que resultó en un aumento del 47,7 % en CVR y un aumento del 71,4 % en los ingresos por visitante en dispositivos móviles.

Consejo de experto: concéntrese en los grandes cambios

Mi mejor consejo para los emprendedores primerizos que realizan pruebas A/B por primera vez es centrarse en los grandes cambios. Por ejemplo, un rediseño completo de la página de un producto. Es poco probable que pequeños cambios como cambiar los colores de los botones muevan la aguja de manera significativa .

Al hacer un rediseño completo de la página y agregar gifs de explicación de productos a nuestras páginas de productos, pudimos aumentar la tasa de conversión en un 40% .

Philip Pages, fundador de PostPurchaseSurvey.com y una marca Shopify de comercio electrónico de siete cifras.

Conceptos de estadísticas con los que debe familiarizarse cuando ejecuta pruebas A/B

Aunque las pruebas A/B se utilizan para comparar dos versiones de su sitio web, no es útil mirar solo los números, ya que no se tiene en cuenta la importancia estadística de los datos. Terminará malinterpretando los resultados y perjudicando sus ventas.

Entonces, ya sea que su equipo interno esté a cargo del proyecto o que contrate a una agencia de CRO, es importante que se familiarice con los conceptos de estadísticas de pruebas A/B de los que escuchará mucho.

Muestra y Población

Todos los visitantes que llegan a su sitio se consideran población, mientras que una muestra es el número de visitantes que participan en una prueba A/B.

Media, mediana y moda

Media = promedio

Mediana = valor en el medio

Moda = valor repetido

Varianza y desviación estándar

La varianza es la variabilidad promedio de los datos. Cuanto mayor sea la variabilidad, menos precisa será la media como predictor de un punto de datos individual.

La desviación estándar es la raíz cuadrada de la varianza y se expresa en las mismas unidades que los valores originales, lo que lo hace intuitivamente más fácil de entender. Por otro lado, la varianza se expresa en el cuadrado de la unidad original, pero sigue siendo importante para los resultados de las pruebas A/B.

Significancia estadística

Cuando un tablero de pruebas A/B dice que hay un "95 % de probabilidad de vencer al original" o "90 % de probabilidad de significancia estadística", está haciendo la siguiente pregunta: suponiendo que no haya una diferencia subyacente entre A y B, ¿con qué frecuencia lo haremos? ¿Ves una diferencia como la que vemos nosotros en los datos por pura casualidad ?

Evan Miller, desarrollador de software estadístico (Fuente)

El nivel de significación debe ser lo más pequeño posible. El 1 % es ideal, ya que equivale a un nivel de confianza del 99 %. Y los resultados insignificantes pueden significar que lo que está viendo es en realidad un falso positivo, por lo que es importante esperar la significación estadística, pero no solo eso.

Debe calcular un tamaño de muestra que coincida con un aumento mínimo de su elección (MDE: efecto mínimo detectable), tendrá un mayor cambio de hacer un falso positivo.

valor p

El valor p es la probabilidad de obtener resultados al menos tan extremos como los resultados observados de una prueba de hipótesis estadística, asumiendo que la hipótesis nula es correcta.

Pero lo que realmente necesita saber sobre el valor p es esto: "¿Qué tan sorprendente es este resultado?"

¿Cuánto tiempo debe ejecutar una prueba A/B en una tienda Shopify?

Hay dos falacias comunes con las que te encontrarás a menudo:

• Finalice la prueba A/B cuando alcance la significación estadística
• Supervise los valores p y declare el ganador tan pronto como alcance el objetivo.

La detención de una prueba debe basarse en el tamaño de la muestra. Pero si bien no debe finalizar su experimento antes de tiempo, no debe ejecutarse para siempre. Si después de 3 meses aún no ha alcanzado la significación, es mejor intentar otros cambios de su lado, preferiblemente más audaces.

Convert y Shopify recomiendan que sus pruebas se ejecuten durante al menos dos ciclos comerciales o 14 días.

Avid Faruz, CEO de Faruzo está de acuerdo:

Los nuevos empresarios deben saber que en las pruebas A/B, el marco de tiempo es muy importante. Cuanto más tiempo ejecute sus pruebas A/B, más precisas serán las pruebas que obtendrá. Esto se debe a que sus pruebas utilizarán más puntos de datos para obtener resultados. Los especialistas en marketing experimentados realizan sus pruebas durante dos semanas. Aconsejaría a todos los vendedores y empresarios que establezcan un marco de tiempo de acuerdo con el nivel de tráfico que reciben sus sitios web .

Es por eso que nuestra plataforma ofrece una prueba gratuita de 14 días para que puedas probar tu hipótesis.

Proceso de 4 pasos para ejecutar pruebas A/B en una tienda Shopify

¿Listo para ejecutar pruebas?

Utilice este proceso de prueba A/B de 4 pasos para crear mejores pruebas y comprender su impacto.

#1. Realizar investigaciones cualitativas y cuantitativas

La investigación de conversión es el primer y más importante paso. Esto le permite construir hipótesis que puede probar A/B. También conocida como la fase de descubrimiento, aquí es cuando usted pone su suposición operativa en reposo y deja que los datos lo guíen.

Terminará con dos tipos de datos: cuantitativos y cualitativos.

Comience con la recopilación de datos cuantitativos. Estos constituyen los hechos fríos y duros que no se pueden discutir y que los motores de análisis como Google Analytics, Amplitude o Mixpanel pueden escupir.

Por ejemplo, es posible que desee ver las tasas de rebote, el número total de conversiones o las páginas vistas/sesión.

Una vez que haya acumulado los datos cuantitativos, obtenga datos cualitativos. Dado que esto es subjetivo, existe la posibilidad de que surjan sesgos subconscientes, pero interpretar sus hallazgos es la única forma en que puede responder el "Por qué".

Use Hotjar para generar mapas de calor y registrar sesiones de visitantes. Las respuestas que puede encontrar no son definitivas, pero presenta nuevas posibilidades que contribuyen a una mejor hipótesis en general.

Pero antes de entrar en eso, es importante observar los datos cualitativos y cuantitativos en conjunto para tener una comprensión holística. Análisis es igual a consulta de datos y pensamiento crítico.

#2. Crear hipótesis creíbles

Seguir el método científico significa que debe crear una hipótesis creíble, una solución propuesta cuya validez requiere evaluación.

Matt Beischel, fundador de CorvusCRO, comparte los 3 componentes principales de una hipótesis: comprensión, respuesta y resultado.

Aquí hay un ejemplo de cómo se vería:

Para ayudarlo a simplificar y estandarizar la creación de hipótesis, tenemos un generador de hipótesis de prueba A/B.

En esta etapa, también desea comprender el tamaño de su muestra y calcular un punto de parada para la prueba en función de eso. Utilice nuestra calculadora de importancia de las pruebas A/B para eso.

Consejo de experto:

Una vez que sepa el tamaño de su muestra y cuánto tiempo debe ejecutar su prueba, debe establecer sus prioridades de prueba. Puede optar por probar diferentes partes del proceso, como una sola página, un sitio web completo, ventanas emergentes o anuncios pagados. Lo mejor es concentrarse en una parte del proceso a la vez, para que pueda obtener respuestas claras sobre qué cambios conducen a una mejor experiencia del cliente y tasas de conversión .

Allan Borch, fundador de DotcomDollar.com

Prioriza tu hipótesis

La experimentación tiene muchas ventajas, por lo que a menudo verá expertos que abogan por probar todo. Sin embargo, debe priorizar qué pruebas necesita ejecutar ahora y qué experimentos pueden esperar porque los recursos son limitados sin importar cuán pequeña o grande sea su empresa.

Entonces, los experimentadores recurren a modelos de priorización como RICE, PIE, ICE o PXL. Pero David Mannheim, consultor de personalización, sugiere que estos modelos tienen fallas:

Carecen de alineación con el contexto más amplio del negocio. La priorización debe ser de arriba hacia abajo, centrándose primero en la misión comercial, luego en los objetivos comerciales, y así sucesivamente. La mayoría de los modelos de priorización se enfocan en la 'ejecución', es decir, lo último dentro de un diagrama de jerarquía triangular de ejecución en la base, el concepto, el problema del usuario, los objetivos del producto, los objetivos comerciales y la misión en la parte superior .

Estos modelos también utilizan el "esfuerzo" como factor de puntuación, lo que significa que realmente se está absteniendo de crear funciones que potencialmente tienen el mayor impacto porque son complejas. En última instancia, estos modelos carecen de objetividad.

Andrea Saez, gerente sénior de marketing de productos en Product School, dice:

No hay manera de que puedas saber el alcance, el impacto o el esfuerzo en la mayoría de las cosas sin haber investigado adecuadamente si estás trabajando en las cosas correctas, incluso menos si no has hablado con nadie al respecto. Entonces, ¿cómo es posible que tenga alguna confianza ?.

La respuesta aquí es construir su propio modelo de priorización.

Paso 1: Inspírate con ejemplos

Paso 2: tenga en cuenta factores como la alineación con los objetivos comerciales, el potencial de iteración, el aprendizaje específico de la empresa y la inversión en recursos.

Paso 3: Asigne una ponderación a las pruebas que desea ejecutar

Paso 4: enjuague y repita hasta que encuentre un acrónimo que funcione para usted.

#3. Implementar la prueba

Tiene su investigación en su lugar y construyó una hipótesis creíble. Ahora es el momento de ir a batear.

La implementación exitosa requiere 3 cosas: la plataforma de prueba A/B adecuada, el equipo adecuado para codificar las pruebas y control de calidad y depuración.

Comencemos con el primero.

¿Qué hace que una buena plataforma de pruebas A/B para Shopify?

Idealmente, desea una herramienta única que le permita probar temas, precios, menús, colecciones de productos, páginas de búsqueda, ejecutar pruebas multivariadas y realizar un seguimiento de los ingresos.

Muchos complementos pueden ayudarlo a lograr una o más de estas cosas, pero ya sabemos que los complementos causan una sobrecarga de código, lo que no es una buena noticia para su SEO o conversiones.

Una plataforma de prueba dedicada como Convert Experiences se integra a la perfección con su tienda Shopify, le permite ejecutar todo tipo de pruebas que desee y tiene una aplicación de prueba Shopify A/B personalizada que puede usar, eliminando la posible sobrecarga de código.

A continuación, desea contar con el equipo adecuado para codificar las pruebas.

Nota: Hay una diferencia entre codificadores y codificadores que trabajan con equipos de pruebas A/B.

Ultimately, testing is incomplete without QA and debugging. Without QA, variation errors can crop up, causing statistical errors—a false positive or a false negative. Not to mention, you may end up collecting the wrong data that delivers zero value to your visitors.

Here are 4 best practices for QA of A/B tests:

• Develop a QA strategy
• Identify what to QA
• Focus on page experience
• Align QA with conversion goals

Pro Tip: Avoid these rookie A/B testing mistakes:

• You only test industry best practices
• You keep peeking at your “results”
• You give up after one test
• You fail to iterate and improve on wins
• You mess up revenue tracking

#4. Analyze & Learn From Your A/B Tests

Whether you have a winner or loser on your hands, analyzing what worked and learning from it to influence future A/B tests is crucial.

Because while A/B testing is a strategy to boost your revenue, you're also effectively “buying data” on your audience.

Here's a 7 step process to learn from A/B tests –

• Make sure your data is accurate, valid, and significant
• Check your micro, macro, and guardrail metrics
• Segment your results
• Check user behavior
• Continue to improve on winners
• Create a learning repository for future tests

The last step allows you to run tests in the future that are backed by your previous experiments' learnings.

Expert Tip: Be prepared to fail.

It is difficult to predict the conversion rate for your website even if you think you've created the perfect A/B test. As a new entrepreneur, I almost succumbed to the frustrations of seeing no success in the first few months. I am not used to failure and many entrepreneurs are like this. The focus should be to give the users the best experience and leave room for the unexpected .

Leslie Radka, Founder & Hiring Manager at GreatPeopleSearch

A/B Testing in Other Realms That Can Compound Your Shopify Store Gains

Don't stick to just your website. A/B testing can and should be applied to other channels and realms where customer engagement occurs.

A/B Testing Pop-Ups (with Privy)

Those pop-ups you have on your website? You can A/B test them too with tools like Privy. Experiment with your headline, offer, form, CTA, or images.

Privy's Convert tool allows you to present the pop-up in different formats and target visitors based on rulesets.

A/B Testing Emails

When it comes to email marketing, 3 core areas of improvement emerge—delivery, open rates, and CTR.

You can test your emails in this order:

• First, the subject lines to improve the open rate
• Then the body copy to make sure it's relevant
• Finally, the CTAs to get more clicks

What else can you test in your email? Check out our complete guide to A/B testing emails.

Here's how 2 Shopify entrepreneurs used A/B testing to grow their email marketing channel: [h5] #1. Grew Email List 3x Using Split Testing

The most effective strategy for testing content is A/B testing. A/B testing has proven, measurable, immediate results that tell us whether one or another content base is more effective at converting customers to sign up for emails, make a purchase, etc.

In retail, vanity metrics like direct traffic to your website are least effective for measuring content success, while A/B testing (ie, tracking conversion rate, user engagement, email funnels) is the most effective. We tested our email subscription CTA with split-testing and grew our email list over three times in one campaign. The better you know your ICP, the more effective your brand strategy will convert. Use A/B tests to understand your target demographic better, and spoon-feed them the content they respond best to .

Zach Goldstein, Public Rec

#2. Increased email open rate by 25% with emojis in subject lines

After seeing a study, I wanted to test out open rates using an emoji in the subject line vs. not using one. The study implied that using an emoji would help to enhance open rates, but I felt that it could come off as unprofessional and spammy.

I use the ActiveCampaign email platform alongside Shopify, and I actually integrate the two together to maximize customer communication. ActiveCampaign allows users to run many A/B tests so they can see what jives with their target audience. When the results were in, I had to admit that I was wrong because the emails with an emoji in the subject received a 25% higher open rate. It's safe to say that I've been pretty liberal with my emoji keyboard ever since, and I've noticed a spike in conversion rates, too .

Stephanie Venn-Watson, fatty15

A/B Testing on Social Media

Like paid ads, you can test your organic content on social to improve engagement. The heading, copy, images, and CTA can all be A/B tested.

When doing this manually, stagger the release of your posts to have a reasonable gap which will allow you to gather meaningful data.

Or you can use scheduling tools like Later, Buffer, or MeetEdgar to automate the publishing.

Ecommerce A/B Testing Pitfalls to Avoid

Our need for instant gratification also seeps into A/B testing. Jon Ivanco, Co-founder of Formtoro, believes most A/B testing is reactionary:

Brands want a quick fix that's cost-effective; they hate the idea of investing in long-term outlooks and gains. The only time they look at these things is when things aren't going well .

There are “experts” that are anything but experts, bad advice presented as best practices, and experiments designed to pick the low-hanging fruit.

Ivanco instead recommends getting the basics right:

– All tests to landing pages
– All tests from specific audiences
– Test one variable at a time
– Don't test unless you have a clearly articulated hypothesis and you can learn from if something goes right or if it fails
– Do all tests from the perspective of the customer journey
– Small things are part of a larger chain, try to isolate things as much as you can one step at a time

Give Privacy a Thought

No one wants to become a lab rat inadvertently.

The backlash to Facebook 2014's emotional contagion study is proof. Even Apple's privacy updates signal that users care about their privacy and don't want to be manipulated into buying products.

Laws around privacy—existing and upcoming—will continue to evolve. Each time a significant change is brought about, it will hurt your business unless you start thinking user-first and bake ethical A/B testing into your strategy.

So what does that mean for you?

• Take data privacy seriously when collecting data
• Rule out manipulative tactics
• Store and process data securely
• Respect user consent and allow them to opt-out of experiments

Do that and you will future-proof your A/B testing and build a better relationship with your audience.