¿Debería ejecutar experimentos simultáneos? Una guía para evitar resultados contradictorios

Existe cierto debate en el mundo de la optimización sobre si se deben o no ejecutar experimentos simultáneos. Algunos creen que ejecutar pruebas A/B simultáneas enturbiará sus resultados y producirá datos inexactos. Otros argumentan que ejecutar experiencias A/B en varias páginas de su sitio web al mismo tiempo puede ayudarlo a probar más cosas e identificar estrategias ganadoras más rápido.

Entonces, ¿cuál es el correcto?

En esta publicación de blog, exploraremos las ventajas y desventajas de los experimentos simultáneos y lo ayudaremos a decidir qué enfoque es mejor para su programa de optimización.

Después de leer este artículo de blog, podrá responder las siguientes preguntas:

• ¿Puedo ejecutar experiencias simultáneas de URL divididas?
• ¿Puedo ejecutar experiencias A/B simultáneas?
• ¿Puedo ejecutar una experiencia A/A y una experiencia A/B al mismo tiempo?

La respuesta corta es sí , varias experiencias pueden ejecutarse simultáneamente en una sola página o conjunto de páginas. Pero tenga en cuenta que la agrupación en una experiencia puede tener un impacto en los datos de otra experiencia que ocurre simultáneamente.

¿Cómo ocurre la superposición de experiencias y debería preocuparse?

Hay una cosa a tener en cuenta cuando se ejecutan experimentos simultáneos. En algunos casos, dos cambios pueden interactuar, dando como resultado un efecto diferente en el comportamiento cuando se combinan que cuando se aíslan. Esto puede ocurrir cuando los experimentos se ejecutan en la misma página, con el mismo flujo de usuario, etc.

Veamos algunos ejemplos de dónde podría ocurrir la superposición de experiencias y si debería considerarse un problema.

Probando el mismo elemento

Cambiar el diseño de las páginas de sus productos para resaltar las funciones de recompensa, como una política de devolución gratuita y entrega gratuita, es un ejemplo de una prueba A/B que puede ejecutar.

Uno de nuestros clientes probó este escenario exacto. Según los datos de su departamento de servicio al cliente, plantearon la hipótesis de que los clientes no conocían la política de devolución gratuita de la marca porque la función no era lo suficientemente visible en las páginas de productos. Luego realizaron una prueba A/B que mostraba la función de manera más prominente y midieron cómo respondían los clientes.

Así es como se ven el original y la variación:

Sin embargo, la implementación de la prueba fue un poco más compleja ya que los cambios no debían aplicarse a todas las páginas de productos. Algunos productos no eran elegibles para devoluciones gratuitas, ciertos artículos en oferta no podían modificarse, etc. Por estas razones, decidieron ejecutar otra experiencia A/B en paralelo cambiando el mismo elemento y agregando una copia de exención de responsabilidad en muchos de estas páginas diciendo: "El artículo no se puede devolver".

Como puede ver, las dos experiencias A/B están afectando al mismo elemento del sitio web y, por lo tanto, provocan algún tipo de superposición en los resultados, lo que dificulta sacar conclusiones claras.

Pruebas en la misma página

Otro ejemplo de una experiencia A/B fue cuando un cliente nuestro optimizó sus páginas de productos para aumentar las visitas al pedido.

A medida que analizaron cada elemento de las páginas de productos y rastrearon las conversiones de objetivos, descubrieron que los enlaces de la barra de navegación principal recibieron la mayor cantidad de clics, especialmente "Comprar ahora". Nuestro cliente reconoció la importancia de enviar más tráfico calificado a las páginas de categorías en lugar de dejarlas vagando en la página de inicio.

Como resultado, el cliente decidió reemplazar la sección "Comprar ahora" con otras categorías como "superahorro", "bazar", etc. Además, la sección "Comprar ahora" se movió al lado izquierdo del sitio para hacer la página más atractiva visualmente y atraer visitantes calificados.

Así es como se veía la página del producto al principio:

Mientras tanto, se estaba realizando otro experimento A/B en las páginas de productos para determinar si un color diferente del botón "Comprar ahora" generaría mejores conversiones.

Debido a que estas dos experiencias A/B están afectando a los mismos elementos en la misma página, es inevitable cierta superposición en los resultados.

Prueba de usuarios que participan en el mismo embudo/flujo

La superposición de experiencias también puede ocurrir cuando se prueba a los usuarios que participan en el mismo embudo. La mayoría de los sitios web generan conversiones a través de múltiples embudos. Si bien el enfoque principal puede estar en las compras, la creación o adquisición de cuentas también puede ser una fuerza impulsora importante en el negocio.

Es probable que la ejecución de experiencias en la página de un producto tenga un impacto en la conversión de compra; sin embargo, probar el diseño del formulario en una página de creación de cuenta puede ayudar a mejorar ese embudo. Las pruebas de adquisición incluyen todo, desde dirigir el tráfico al sitio hasta recopilar direcciones de correo electrónico con fines de marketing.

Tener experiencias en las mismas páginas del sitio web puede hacer que se superpongan, lo que genera errores. Es probable que los resultados se vean afectados si los objetivos de experiencia están alineados con esos mismos embudos.

Digamos que está tratando de obtener más registros completos. Al aterrizar en su sitio, se les pide a los usuarios que se registren:

Para configurar un embudo de conversión para suscripciones, puede realizar un seguimiento de los siguientes eventos:

• No. de usuarios al registrarse
• Número de registros completados
• Número de cargas de la pantalla de inicio

A continuación, puede formular varias hipótesis sobre cómo mejorar el embudo probando los siguientes cambios:

1. Agregar onboarding al proceso de registro
2. Acorte el formulario de registro para que sea más fácil de usar
3. Eliminar el registro por completo

En este caso, sin embargo, no es posible determinar el impacto exacto de un cambio de las pruebas A/B ya que las experiencias A/B afectan al mismo embudo, por lo que habrá cierta superposición entre sus resultados.

Ejecución de experiencias en todo el sitio

Puede haber ocasiones en las que necesite experimentar con un elemento que aparece en todas las páginas. Supongamos que desea probar cambiando el color o el tamaño de fuente de la llamada a la acción del pie de página para ver cuántas conversiones puede obtener.

El proceso es sencillo de implementar con Convert: simplemente agregue todas las páginas a su orientación.

¡Eso es todo!

Sin embargo, la orientación en todo el sitio afectará a otras pruebas A/B que se ejecuten en esas páginas, lo que dará como resultado una superposición en la experiencia.

Prueba de la misma audiencia/visitantes

Considere el siguiente caso de estudio: desea evaluar dos aspectos de su sistema de comercio electrónico, por lo que desarrolla dos pruebas A/B para usuarios móviles y usuarios de escritorio.

1. Está tratando de ver si hacer que el botón "Agregar al carrito" sea rojo en lugar de azul aumenta los clics.
2. Está probando un nuevo proceso de pago que reduce el número de pasos de cinco a dos para ver si obtiene más suscripciones.

Si ambas acciones conducen al mismo evento de éxito (una transacción completa), puede ser difícil determinar si el botón rojo o la mejor experiencia de pago impulsaron las conversiones en computadoras de escritorio y dispositivos móviles.

Para evitar la superposición de resultados y otros problemas de entrega de experiencia, debe ejecutar las pruebas anteriores en diferentes audiencias (por ejemplo, solo para dispositivos móviles o solo para computadoras de escritorio).

La única desventaja de las pruebas de segmentación es que sus números de tráfico serán más bajos, lo que puede afectar la duración de su prueba. Sin embargo, debido a que se basa en técnicas de personalización, este es el método preferido para evitar la superposición de experiencias cuando se realizan pruebas A/B. Cuando los segmentos se eligen con cuidado, su impacto en toda la experiencia será mínimo.

Ejecutar una experiencia que puede tener un impacto significativo en un objetivo que se comparte con otras experiencias

No hace falta decir que si sus objetivos son similares en todas las pruebas, sus resultados se centrarán en este objetivo individual. Para que cada experiencia cumpla su propósito, las metas de cada una no deben entrar en conflicto entre sí.

Estrategias para ejecutar pruebas exitosas

No existe una solución única para todos cuando se trata de ejecutar pruebas que no se superponen. A medida que avanza en cada etapa de su viaje de experimentación, sus necesidades dictarán cómo proceder.

Para ayudarlo a tomar una decisión informada, repasemos las estrategias más comunes que puede usar para lidiar con la superposición.

1. Experiencias Simultáneas sin Superposición (Aisladas)

La estrategia más sencilla suele ser la que ha estado usando hasta este momento: experiencias aisladas que se ejecutan simultáneamente.

Como discutimos anteriormente, las experiencias aisladas no se superponen y los resultados de una experiencia no afectarán los resultados de otra.

Los siguientes casos requieren esta estrategia:

• Cuando la superposición es técnicamente imposible : si está probando de una manera que excluye todas las posibles combinaciones de superposición mencionadas anteriormente.
• Cuándo se puede romper la experiencia del usuario : algunas combinaciones de experiencias pueden arruinar la experiencia del usuario, por lo que estas experiencias deben ejecutarse por separado.
• Cuando el objetivo principal es una métrica precisa, por lo que solo tienen sentido experimentos aislados.

En estos casos, no hay forma de que una experiencia pueda afectar a la otra si ejecuta dos experiencias simultáneamente en dos páginas diferentes con dos objetivos diferentes. Los visitantes que participen en la experiencia 1 no participarán en la experiencia 2 y viceversa.

Más allá de los casos anteriores, desde una perspectiva de eficiencia, ejecutar experiencias en carriles aislados simultáneos no tiene sentido. Ejecutar dos experiencias en carriles separados lleva el mismo tiempo que ejecutarlas una tras otra para cualquier cantidad de usuarios o sesiones. Si tiene 10 000 usuarios todos los meses y necesita ejecutar dos experiencias, cada una de las cuales requiere 5000 personas, todavía tardará un mes en completar la experiencia.

Además, esta estrategia tiene una desventaja obvia: correr experiencias en carriles aislados sin duda impedirá investigar interacciones potenciales entre variaciones.

Sería lo mismo que hacer un experimento con usuarios de computadoras de escritorio antes de que la variación ganadora esté disponible tanto para usuarios de computadoras de escritorio como móviles si hubiera líneas de prueba separadas. El impacto en los usuarios móviles puede ser el mismo que en los usuarios de escritorio, pero también es posible que haya una diferencia considerable.

2. Experiencias no simultáneas (secuenciales)

Si no hay forma de evitar la superposición de experiencias, debería considerar el uso de experiencias secuenciales. Significa que cada experiencia que tiene el potencial de superponerse con otra debe ejecutarse secuencialmente.

Puede usar las columnas Convertir "Iniciado/Planificado" y "Detenido" para tener visibilidad sobre sus pruebas secuenciales:

Esta estrategia se puede hacer aún más efectiva con una hoja de ruta de priorización.

Los marcos PIE e ICE son dos opciones efectivas para priorizar experiencias para su equipo.

El marco PIE (desarrollado por Widerfunnel) es un método de priorización popular que clasifica las pruebas según tres criterios: potencial, importancia y facilidad. Usando el puntaje PIE, puede clasificar y priorizar cada prueba según el puntaje promedio de cada uno de estos criterios.

El modelo Impact, Confidence, and Ease (ICE) (desarrollado por Sean Ellis de Growthhackers) es muy similar a PIE, excepto que utiliza un factor de confianza en lugar de "potencial".

No tener una hoja de ruta limitará su capacidad para aprovechar al máximo su tráfico y recursos.

Es posible, por ejemplo, acumular involuntariamente una acumulación de ideas para la página de inicio que deben implementarse una tras otra. Si este cuello de botella persiste, es posible que se vea obligado a esperar en lugar de poder probar otras partes de su sitio web al mismo tiempo. O bien, puede ejecutar varias pruebas simultáneamente sin tener en cuenta los posibles efectos de superposición, lo que produciría resultados sospechosos.

3. Experiencias simultáneas con superposición

Después de analizar sus experiencias, concluyó que se superponen; por lo tanto, es necesario aislarlos. ¿Cómo haces eso? ¡Es simple! Ejecute la primera prueba, luego la segunda, ¿verdad? La sección secuencial explica cómo funciona esto.

Imagina, sin embargo, que quieres hacer algunas pruebas durante el período de Navidad o cualquier temporada de vacaciones porque, por el motivo que sea, es cuando recibes más visitantes y las experiencias pueden tener un impacto más significativo. ¿Y que? ¿Eres capaz de ejecutar todas tus experiencias una tras otra? Obviamente no.

Puede ejecutar sus experiencias simultáneamente sin preocuparse por la superposición utilizando las estrategias a continuación.

una. Experiencias A/B/N

La primera estrategia de esta categoría es la prueba A/B/N, que implica probar más de dos variaciones a la vez. A/B/N no se refiere a una tercera variación, sino a cualquier cantidad de variaciones adicionales: A/B/C, A/B/C/D y cualquier otra prueba A/B extendida.

Los principios de las pruebas A/B/N siguen siendo los mismos independientemente de la cantidad de variaciones adicionales: dividir a los usuarios en grupos, asignar variaciones (generalmente de páginas de destino u otras páginas web) a grupos, monitorear el cambio de una métrica clave (generalmente tasa de conversión ), examine los resultados de la experiencia en busca de significancia estadística e implemente la variación ganadora.

Sin embargo, experimentar con demasiadas variaciones (cuando solo se puede elegir una) puede dividir aún más el tráfico al sitio web. Por lo tanto, puede aumentar la cantidad de tiempo y tráfico necesarios para lograr un resultado estadísticamente significativo y crear "ruido estadístico".

También es importante no perder de vista el panorama general cuando se ejecutan múltiples experimentos A/B/N. No hay garantía de que diferentes variables funcionen bien juntas, solo porque se desempeñaron mejor en sus experimentos.

En tales casos, considere realizar pruebas multivariadas para probar todas las variaciones y asegurarse de que las mejoras se lleven a cabo en las métricas de nivel superior.

b. Experiencias multivariadas (MVT): combine muchas experiencias en una sola prueba

Una experiencia multivariante (MVT) ejecuta numerosas combinaciones de diferentes cambios a la vez.

Para determinar qué elemento, de todas las posibles combinaciones, tiene mayor influencia en los objetivos, se deben modificar muchos elementos simultáneamente en la misma página.

A diferencia de las pruebas A/B/N, las pruebas multivariadas le permiten determinar qué combinación de cambios satisface mejor las demandas de sus visitantes. Con las pruebas multivariadas, puede determinar qué combinación de variables funciona mejor cuando se cambian varias variables.

Por ejemplo, si desea probar dos títulos diferentes, dos imágenes y colores de dos botones en la página, su prueba MVT se verá así:

La prueba MVT anterior prueba diferentes elementos (títulos, color e imagen) simultáneamente en diferentes combinaciones.

Cómo configurar un MVT en Convert Experiences

Primero, desde la pestaña Experiencias en su cuenta Convert, seleccione "Nueva experiencia":

Ahora puedes nombrar tu experiencia. Usemos "Mi primer MVT", seleccione la opción multivariante y haga clic en continuar:

Hay secciones y variaciones en un MVT. Las secciones son las ubicaciones de su página donde desea probar una o varias variaciones.

Los siguientes son ejemplos de secciones:

• Logo
• Titular
• Primer párrafo
• Formulario de suscripción

También hay variaciones (en estas secciones), que se estructuran de la siguiente manera:

• Sección: Logotipo
  
  
  • logotipo original
  • Variación 1) logotipo a la izquierda
  • Variación 2) logotipo a la derecha

• Sección: Titular
  
  
  • Titular original
  • Variación 1) titular "Buscar ahora mi amigo"
  • Variación 2) título "Dale una oportunidad a la búsqueda"
• Sección: Primer Párrafo
  
  
  • primer párrafo original
  • Variación 1) primer párrafo “rojo”
  • Variación 2) primer párrafo “azul”
• Sección: formulario de suscripción
  
  
  • Formulario de suscripción original
  • Variación 1) formulario de suscripción con campo adicional apellido
  • Variación 2) formulario de suscripción con casilla de verificación "documento técnico"
  • Variación 3) formulario de suscripción flotante a la izquierda
  • Variante 4) formulario de suscripción "rostro de mujer"

Así es como aparecerá la estructura anterior en Convert Visual Editor.

La URL de la página que desea probar se cargará en el Editor visual. Después de eso, puede editar la primera variación. Cambiar el contenido es tan simple como hacer clic en cualquier área resaltada en naranja. Al hacer clic en el signo más verde junto a los nombres de las variaciones, puede agregar nuevas variaciones.

Puedes, por ejemplo:

• Haga clic en un elemento para cambiar (los elementos se resaltan con bordes naranjas)
• Seleccione una acción en el menú, como cambiar una fuente de imagen

El resumen de la experiencia MVT se verá así:

MVT, sin embargo, viene con algunas restricciones.

La primera restricción se relaciona con la cantidad de visitantes necesarios para que los hallazgos de su experiencia multivariante sean estadísticamente significativos.

Aumentar el número de variables en una prueba multivariante puede generar muchas variaciones. A diferencia de una prueba A/B estándar, donde el 50 % del tráfico se asigna a la versión original y el 50 % a la variación, una prueba multivariante solo asigna el 5, 10 o 15 % del tráfico a cada combinación. En la práctica, esto da como resultado períodos de prueba más prolongados y la incapacidad de lograr la significación estadística necesaria para tomar una decisión.

Otra restricción es la complejidad de los MVT. Una prueba A/B suele ser más fácil de configurar y analizar que una prueba multivariada. Incluso la creación de una prueba multivariada básica requiere mucho tiempo y es muy fácil que algo salga mal. Pueden pasar algunas semanas o incluso meses hasta que aparezca una falla menor en el diseño de la experiencia.

Si no tiene mucha experiencia en pruebas, ejecutando una variedad de diferentes tipos de pruebas en diferentes sitios web, ni siquiera debería considerar una prueba multivariada. Podría estar mejor con la siguiente estrategia que estoy cubriendo, experiencias mutuamente excluyentes.

C. Experiencias mutuamente exclusivas

También puede ejecutar experiencias con superposición simultáneamente asegurándose de que sean mutuamente excluyentes. Tenga en cuenta que, dependiendo de su plataforma de prueba A/B, es posible que pueda hacer que las experiencias sean mutuamente excluyentes. Esencialmente, debe dividir su tráfico en tantos grupos como experiencias se están ejecutando y asegurarse de que cada grupo participe en una sola experiencia.

Convert permite la exclusividad mutua y, a continuación, le mostraremos cómo configurarlo para que los visitantes que ven la experiencia A no vean la experiencia B.

El orden en que se ejecutan las experiencias:

El primer paso para configurar esto es comprender cómo se ejecutan las experiencias de Convert. Las condiciones de experiencia se evalúan secuencialmente en una página, teniendo en cuenta su ID de experiencia.

La experiencia con el ID más bajo se evalúa primero y, una vez cumplidas todas sus condiciones, se inicia una nueva experiencia. Entonces, en la captura de pantalla a continuación, la experiencia con ID 100243925 se ejecuta primero y el resto sigue.

Dos experiencias mutuamente excluyentes

Debe seguir estos pasos si tiene dos experiencias ejecutándose simultáneamente y desea que sean mutuamente excluyentes:

1. Establecer la distribución del tráfico por debajo del 100 % en la primera experiencia

Configure la experiencia con el ID más bajo para usar menos del 100 % del tráfico. Puede hacerlo en la sección Distribución del tráfico del Resumen de la experiencia.

2. Establezca la Condición de audiencia de "La experiencia acumulada es No" en la segunda experiencia

Luego, en la segunda experiencia, establezca una condición de audiencia de "La experiencia acumulada es No". Puede encontrar esto si agrega una nueva audiencia (en Datos de visitantes). Esta condición significa que el visitante será evaluado solo si no lo ha sido antes. Esto evitará que el mismo visitante sea evaluado dos veces.

Muchas experiencias mutuamente exclusivas

Si tiene más de dos experiencias que deben ser mutuamente excluyentes, puede seguir estos pasos:

1. Establecer la distribución del tráfico para todas las experiencias por debajo del 100 %

Configure todas las experiencias paralelas para usar solo menos del 100% del tráfico. Puede hacerlo en la sección Distribución del tráfico del Resumen de la experiencia.

2. Establecer una audiencia avanzada basada en la cookie del visitante

Luego, en todas las experiencias excepto la experiencia con el ID más bajo, use una Audiencia avanzada basada en cookies de visitantes para excluir a los visitantes que se han incluido en las otras experiencias paralelas.

Por ejemplo, supongamos que tenemos estas 4 experiencias:

1. Experiencia A con ID 123456, distribución de tráfico 80%
2. Experiencia B con ID 123457, distribución de tráfico 50%
3. Experiencia C con ID 123458, distribución de tráfico 30%
4. Experiencia D con ID 123459, distribución de tráfico 75%

La experiencia B debería tener esta audiencia avanzada:

La experiencia C debería tener esta audiencia avanzada:

Y finalmente, la Experiencia D debería tener esta audiencia avanzada:

Como puede ver arriba, el valor de la cookie tiene el siguiente formato:

xxxxxx.{v.1-

Esto sucede porque si está tratando de excluir a los visitantes que se incluyeron en una experiencia configurada con menos del 100% de tráfico, aún se escribe una cookie si el visitante cumple con las condiciones de Área del sitio y Audiencia, pero debido a la distribución del tráfico, el visitante no fue incluido en esa experiencia.

La cookie Convert _conv_v se verá similar a esto:

exp:{12345678.{v.1-g.{}}}

Tenga en cuenta que en el formato anterior no hay valor de variación, solo v.1, porque el visitante no estaba incluido en la experiencia. Sin embargo, hacemos un seguimiento de esto con cookies para que la próxima vez que el visitante visite la página, se lo excluya nuevamente de la misma experiencia.

Conclusión

Tener múltiples experiencias ejecutándose simultáneamente presenta algunas complejidades: no siempre está seguro de qué pruebas aumentan las conversiones o si hay interacciones ocultas entre ellas. Sin embargo, esto no es un problema importante ya que existen estrategias para mitigar estas complejidades.

Discutimos 5 estrategias para lidiar con los problemas causados ​​por múltiples pruebas que se ejecutan al mismo tiempo:

1. Ejecutar experiencias simultáneamente cuando no se superponen entre sí
2. Ejecutar experiencias secuencialmente cuando no puede evitar la superposición de experiencias
3. Ejecutar experiencias A/B/N
4. Ejecución de pruebas MVT
5. Ejecución de experiencias mutuamente excluyentes

También mostramos cómo Convert es compatible con todas las estrategias de prueba anteriores, lo que la convierte en una herramienta muy versátil.

Es importante tener en cuenta todas estas complejidades a la hora de realizar pruebas A/B, para que puedas seleccionar la estrategia más adecuada en cada caso. Estaremos encantados de ayudarle si todavía tiene alguna pregunta.