La guía completa para pruebas multivariadas en 2022

¿Las pruebas multivariadas (MVT) no son solo varias pruebas A/B ejecutándose al mismo tiempo?

No. Ese es uno de los mitos más populares sobre MVT. Es mucho más matizado que eso.

Las pruebas multivariantes son como las pruebas A/B, pero está probando su control contra múltiples variantes, no una. Verás, no es solo A contra B, también es contra C, D, E, etc. Y es una manera eficiente para que los sitios de alto tráfico encuentren la combinación de cambios que funciona mejor.

Asi que…

• ¿Cuándo debería usar MVT en lugar de pruebas A/B?
• ¿Las pruebas multivariadas son lo mismo que las pruebas A/B/n?
• ¿Cuáles son algunos ejemplos de pruebas multivariadas?
• ¿Cómo puede ejecutar uno para obtener resultados confiables?

Responderemos a sus preguntas sobre pruebas multivariadas, aumentando sus habilidades de CRO y experimentación en el proceso para que, al final de esta guía, pueda implementar las suyas en 30 minutos.

Si está buscando llevar sus habilidades de experimentación al siguiente nivel, esta guía es para usted.

¿Suena bien? Vamos a empezar…

¿Qué es la prueba multivariada?

Imagine que desea probar diferentes versiones de varios elementos en una página web al mismo tiempo para saber cómo funcionan juntos, la prueba multivariante es la prueba que ejecuta.

La prueba multivariante (prueba MVT) es una técnica para probar múltiples variables en una página web en diferentes combinaciones. Estas posibles combinaciones crean más de una variante de la página, de ahí el “multi”.

Por lo tanto, las pruebas multivariadas son similares a las pruebas A/B/n porque estamos probando dos o más variaciones contra el control. La diferencia es que las pruebas A/B/n son univariables, mientras que las pruebas multivariantes prueban una combinación de cambios en tándem.

Por ejemplo, si desea probar dos títulos diferentes, dos imágenes y colores de dos botones en la página, su prueba MVT se verá así:

En la prueba MVT anterior, está probando diferentes elementos (títulos, color e imagen) a la vez en diferentes combinaciones para encontrar la mejor.

Pero eso no significa que no sea posible hacer más de dos variaciones de un solo elemento. Puede tener 3, 4 o más y probarlos al mismo tiempo. Las personas simplemente prefieren un cambio para poder rastrear el aumento en la tasa de conversión.

Otra cosa importante a tener en cuenta es que las pruebas MVT no son lo mismo que las pruebas concurrentes . Las pruebas simultáneas ejecutan múltiples experimentos en el mismo conjunto de muestras al mismo tiempo. Y esto puede causar interferencia.

Una prueba simultánea puede verse así: Ejecutar una prueba A/B para encontrar el mejor título entre dos versiones y ejecutar una prueba MVT para encontrar la mejor combinación de título, imagen principal y CTA o botón de acción en la misma página de destino en el Mismo tiempo.

En las pruebas A/B/n (o multivariadas), estamos trabajando con múltiples variantes que cumplen la misma hipótesis de comportamiento del usuario. Imagine muchas pruebas A/B en esa página de destino que se ejecutan a la vez para responder una pregunta. Como, "¿Qué versión de este lote nos da el mejor impulso?"

Pruebas multivariadas frente a pruebas A/B: ¿cuál es la diferencia?

Puede parecer que las pruebas MVT son una forma más avanzada de pruebas A/B para el ojo inexperto. Pero ambos tipos de pruebas son muy diferentes.

La diferencia entre las pruebas A/B y las pruebas multivariantes radica en la cantidad de variantes que se prueban a la vez. Las pruebas A/B tendrán una sola variante probada contra el control, mientras que las pruebas multivariadas tendrán dos o más.

Las pruebas A/B prueban un elemento. Por ejemplo, está probando agregar una imagen a su página web. Su experimento puede verse así:

• Control = Sin imagen
• Variación 1 = Imagen

En este caso, solo está probando la imagen en su sitio web, por lo que es una prueba A/B.

En las pruebas A/B/n, como en las pruebas multivariadas, puede tener múltiples variaciones. Pero la diferencia es que, en una prueba A/B/n, solo está probando un elemento (o variable), mientras que en una prueba multivariada, está probando varios elementos en cada variante.

Este es un ejemplo destacado de iProspect, una agencia asociada de Convert. La agencia realizó una prueba que incluía información de la página de precios. Su experimento contó con:

• Un control sin información de precios,
• Variación 1 con un precio inicial bajo,
• Variación 2 con un precio inicial alto.

¿Puedes adivinar qué tipo de prueba es esta?

En este caso, solo estamos probando un elemento, agregando información de precios, por lo que tenemos un tipo de prueba A/B/C (o A/B/n).

Cuando se trata de cuál es mejor entre las pruebas A/B y las pruebas multivariadas, eso depende de lo que esté tratando de lograr. Hay momentos en que los MVT son más eficientes que las pruebas A/B.

Si desea probar diferentes elementos en una página (y sus efectos de interacción), es más fácil usar MVT en lugar de pruebas A/B. Con las pruebas A/B, debe crear varias pruebas consecutivas para variaciones de elementos. Mientras tanto, multivariante los maneja a la vez.

¿Cuándo ejecutar pruebas multivariadas?

Cuando desee medir el rendimiento de una variante en comparación con su original, utilice la prueba A/B. Esto funciona si está cambiando un elemento, por ejemplo, un título diferente o un color de botón diferente. Siempre que esos cambios se incluyan en una variante y obtenga A vs B.

Cuando tenga más de una variante probada contra el control, pero solo cambie un elemento a la vez, use la prueba A/B/n.

Ilustremos: desea probar si agregar un título a su página de destino mejorará las conversiones. Puedes hacer una prueba A/B/n como Split Base, una agencia asociada de Convert. Hicieron una prueba para determinar si agregar un título basado en beneficios aumentaría las conversiones.

PD: ¡Lo hizo! Aumentó el resultado final en un 27%.

Utiliza pruebas multivariadas cuando tiene más de una variante y más de una variable. Digamos que tiene 2 ideas de titulares más y opciones de CTA y eso da como resultado la creación de variantes C y D, MVT es la forma más eficiente de ver cómo interactúan estos cambios.

“¿Qué pasa si utilizo el título 2 con el botón de color 3? ¿Cómo afectará eso al número de registros?”. Ese es el tipo de preguntas que responden los MVT: el efecto en el rendimiento causado por los cambios en los elementos de la página cuando funcionan juntos al mismo tiempo.

Las pruebas multivariadas irán más allá de probar un título y probarán más variaciones de esa página. Es más complejo de diseñar y ejecutar, por lo que vale la pena elegirlo en lugar de las pruebas A/B.

A menudo, las pruebas A/B son suficientes para proporcionar las respuestas que buscamos. MVT es mucho más adecuado para los casos en los que cree que una o más variantes tienen la posibilidad de vencer a su A y B.

Algunas de esas instancias son:

1. Tiene un alto volumen de tráfico y desea recopilar más aprendizaje en un período de tiempo más corto. Las pruebas multivariantes ofrecen a los sitios de alto tráfico la oportunidad de probar una combinación de ideas en un tiempo más corto, pero estas deben ser ideas de alta calidad para no desperdiciar recursos.
2. Necesita saber qué combinación de elementos resultó en un aumento de conversión. Porque una secuencia de varias pruebas A/B será redundante.

Es difícil implementar una variante que tenga todos los cambios deseados incorporados. Tal vez su plataforma de prueba no permita ese nivel de libertad. Esta es una forma de evitarlo. Pero si es imposible codificar estos cambios más tarde, no podrá usar los resultados de su prueba.

Los beneficios de las pruebas multivariadas

Las pruebas multivariadas tienen un impacto innegable en las tasas de conversión y los ingresos. Piénsalo. ¡Si no fuera así, nadie hablaría de usarlo!

Una de las ventajas de las pruebas de MVT es que le permite averiguar cómo los cambios en su sitio web afectan las tasas de conversión. Y las pruebas multivariantes le permiten medir el efecto de interacción entre estos cambios. Puede medir el efecto compuesto de diferentes cambios pequeños y ver cómo eso afecta su tasa de conversación.

Las desventajas de las pruebas multivariadas

Hay razones por las que solo los sitios web con una gran cantidad de tráfico y grandes presupuestos ejecutan pruebas multivariadas. Hablemos de las desventajas de ejecutar una prueba MVT.

1. Requiere un tamaño de muestra grande

Cuantos más cambios de elementos estés probando, más variaciones tendrás. Cada una de estas variantes debe recibir suficiente tráfico para alcanzar la estadística sig, por lo que tendrá que esperar más tiempo para obtener resultados precisos. Es por eso que muchos sitios web no pueden ejecutar pruebas MVT porque carecen de tráfico para ello.

2. Las pruebas MVT toman tiempo

Como mencionamos anteriormente, cada variante necesita tráfico y mucho. Cuantas más combinaciones esté probando, más variaciones diferentes y más tiempo tendrá que esperar.

Pero esto está justificado en la mayoría de los casos de CRO. Porque si tuviera que dividir una prueba MVT en una secuencia de pruebas A/B, gastaría más tiempo y tráfico.

3. Cuesta más funcionar

Necesitará más tiempo (y dinero) para desarrollar y garantizar la calidad de cada variante. Es por eso que su decisión de ejecutar estas pruebas en lugar de pruebas A/B más simples debe ser por razones sólidas, de lo contrario, el ROI de su prueba se verá afectado.

4. Eres más propenso a cometer errores

Cuando ejecuta pruebas A/B/N, no aplica las mismas estadísticas que utiliza para las pruebas A/B. Las variantes adicionales exigen un ajuste de las pruebas de significación estadística. El aumento de la tasa de error familiar (FWER, por sus siglas en inglés) significa que es más probable que cometa un error de tipo I y etiquete la variante incorrecta como ganadora.

Ejemplos de pruebas multivariadas que han mostrado un gran impacto

1. ¡Microsoft realizó una prueba multivariable en su sitio SMB y obtuvo una variante que aumentó la conversión en un 40%!

2. En 2009, YouTube ejecutó un MVT en su página de inicio para que más personas se registraran en una cuenta. Lo llaman el “experimento de las 1024 recetas”. Una variante ganó con un aumento del 15,7 %.

3. Booking.com es conocido por probar. Usan pruebas multivariadas para aprender cómo se usan las nuevas funciones con una audiencia más pequeña antes de implementarlas.

4. HawkHost quería ver el aumento en su página de inicio y lo consiguieron. Estos probaron su título, subtítulo e imagen principal en una prueba multivariante que resultó en un aumento del 204 % en las ventas. Eso es enorme.

5. El diseño de la página de destino de Amazon es el resultado de pruebas multivariantes. Lo usaron junto con el aprendizaje automático para encontrar el diseño óptimo que impulsara la conversión y alcanzaron un punto óptimo que aumentó la tasa de compra en un 21 % en 7 días.

Fuente

Estadísticas de pruebas multivariadas: Introducción al análisis multivariado

Si tiene curiosidad acerca de cómo funcionan las pruebas multivariadas debajo de la elegante interfaz de usuario de las herramientas de prueba y los principios detrás de ellas, vamos a emocionarlo:

El análisis multivariado (MVA) es un tipo de análisis estadístico en el que se analiza más de una variable dependiente junto con otras variables al mismo tiempo. Se basa en cómo funciona el mundo real: más de un factor es responsable de un determinado resultado.

No solo se usa en marketing digital (es decir, optimización de la tasa de conversión), como parte del análisis exploratorio de datos, se aplica en varios campos como atención médica, fabricación, transporte, etc. Impulsa una gran cantidad de toma de decisiones en el mundo corporativo. así como en el gobierno.

Aunque es complejo, es una forma precisa de analizar la relación entre las variables dependientes e independientes.

MVT y tráfico: ¿Cómo calcular el tamaño de la muestra para una prueba multivariante?

La mejor manera es usar nuestra herramienta de calculadora de tamaño de muestra. Esto le proporcionará todo lo que necesita para comenzar a diseñar una prueba multivariante saludable.

¿Cuándo detener una prueba multivariante?

Detener una prueba demasiado pronto puede generar errores, ya que los datos recopilados no serían suficientes para realizar un análisis preciso.

Es posible que haya escuchado a algunas personas decir que debe detenerse cuando hay un claro ganador, o detener una variación si su tasa de conversión cae por debajo del 10% y mover su tráfico a los de mejor desempeño; tenga la seguridad de que esto contaminará significativamente los resultados.

Nunca debe detener una prueba multivariante antes de:

1. Recolectar un tamaño de muestra lo suficientemente grande para cada variante. Por lo tanto, deje que se ejecute durante más tiempo para recopilar suficientes conversiones para que sea relevante.
2. Ejecutar 1 o 2 ciclos de venta completos para equilibrar el tráfico y los períodos de compras durante 30 a 60 días.
3. Alcanzar la significación estadística. Eso significa que cuando se presiona para vivir, debería poder replicar sus resultados con un 95% de precisión.

¿Cómo diseñar una prueba multivariante?

Las pruebas A/B y las pruebas multivariadas son similares en la forma en que están diseñadas y realizadas.

A continuación, describimos una metodología de prueba paso a paso para ejecutar un MVT. Pero aquí hay una toma rápida:

1. Identifique un problema y formule un objetivo: cuando revise sus datos, intente comprender qué experimentan los visitantes del sitio web y encuentre un problema. Formule una hipótesis (una solución con un objetivo) y base su prueba en esto.
2. Decide qué probar: tu hipótesis involucrará una combinación de elementos de la página web. Averigua qué harías con ellos para lograr el objetivo. Crea variantes de esto para ir en contra del original.
3. Calcule su marco de tiempo y el tamaño de la muestra: no tiene que hacerlo usted mismo. Utilice nuestra calculadora de tamaño de muestra previa a la prueba. Le ayudará a averiguar los números esenciales que necesita.
4. Cree la prueba: en su plataforma de prueba, configure sus variaciones en sus combinaciones.
5. Asegúrese de que funcione: realice pruebas de control de calidad en cada nuevo tratamiento para asegurarse de que funcionen según lo previsto.
6. Ejecute su prueba: comience a generar tráfico hacia ellos.

Ahora, echemos un vistazo de cerca a cada paso, desde la recopilación de datos hasta el control de calidad:

Recopilación de datos para pruebas multivariadas

¿Cómo se recopilan los datos durante las pruebas multivariadas? Hay dos enfoques principales a los que prestar atención:

1. Factorial completo

Así es como funciona: Cada variante en su MVT recibe cantidades iguales de todo el tráfico que llega a su sitio. Si tiene 5 variantes, cada una de ellas obtendrá el 20% del tráfico que llega a su sitio.

Por supuesto, para alcanzar la significación estadística, este método requerirá mucho tráfico y tendrá que ejecutarse durante mucho tiempo. Pero este rasgo también hace que el factorial completo sea la opción más precisa.

2. Factorial fraccional

A diferencia de su contraparte "completa", el factorial fraccionado solo prueba un subconjunto de sus variantes. Es por eso que hay "fracción" en su nombre.

Si tiene 10 variantes, probará 5 de ellas y, en función de los resultados, predecirá el rendimiento de las 5 que no probó.

Debido a esto, se ejecuta más rápido que el factorial completo, pero es significativamente menos preciso. Su beneficio es que puede vislumbrar cómo se verá la prueba completa antes de comprometerse.

¿Qué pasa con el método Taguchi? Algunos dicen que es otro nombre para el factorial fraccionado. Es complejo de usar. Por lo tanto, la mayoría de las herramientas no lo ofrecen.

Generación de hipótesis para pruebas multivariadas

Debe crear su hipótesis de prueba multivariada basada en datos cualitativos y cuantitativos precisos.

No desea adivinar ni usar ideas de prueba comunes que encontró en un blog para ejecutar sus pruebas. Elige algo relevante, como resolver un problema que encontraste mientras revisabas tus datos o probabas una idea que crees que puede producir un impulso.

Esto servirá como el objetivo de su prueba. Puede usar nuestro generador de hipótesis para ayudarlo a encontrar una sólida.

Garantía de calidad para pruebas multivariadas

Sin garantía de calidad, cualquier prueba puede inducir a error. Avanzar sin QA es arriesgado y puede causar errores costosos. Antes de confiar en los conocimientos de su prueba, pásela por varios puntos de control:

• Configuración de control de calidad: cuando decida la configuración que utilizará para su proceso de control de calidad, identifique casos de uso especiales para probar la experiencia del usuario en los dispositivos y navegadores en los que realizará el control de calidad, etc.
• Factores externos: reconozca los factores que no puede controlar y que pueden afectar la prueba, como eventos o días festivos, otras pruebas que se ejecutan al mismo tiempo, eventos y tráfico del sitio.
• Configuración del experimento: verifique la calidad de la formulación de hipótesis, la asignación de tráfico, si el parpadeo afectará la prueba, otros retrasos y errores, etc.
• Multinavegador y multidispositivo : debe verificar la tipografía, las fuentes y el esquema de color en todos los dispositivos y resoluciones de pantalla, verificar márgenes y rellenos, verificar la usabilidad, cómo funcionan los elementos de la página en varios dispositivos y más.

Y otras discrepancias que puede haber detectado: es necesario compartir la palabra sobre esto con su equipo para solucionarlo.

¿Cómo se ejecuta una prueba multivariante? Implementación de una prueba multivariante en Convert Experiences.

Crear una prueba multivariada en Convert Experiences requiere solo 4 pasos simples. Esto es lo que debe hacer:

1. Nombra tu experiencia
   
   En Convertir experiencias, seleccione "Nueva experiencia", luego "Multivariante" y asigne un nombre a su experiencia:

   

2. Haz la variación
   
   Después de que se carga la URL de la página que usa para la prueba, la primera variación está lista para ser editada. Puede editar la copia, agregar nuevas imágenes, lo que sea. En el siguiente ejemplo, hemos:
   
   – Hizo clic en un elemento para cambiar (está resaltado en naranja)
   – Seleccionó una acción en el menú, es decir, cambiar la fuente de la imagen

   

3. Nombra la variación
   
   Esto se explica por sí mismo. Querrá elegir algo que se destaque para usted en la elaboración de informes más adelante.
4. Definir los objetivos y las audiencias.
   
   Vaya al Resumen del experimento y configure su Audiencia y los Objetivos del experimento.
   
   ¡Ahí tienes! Tu experiencia está en marcha.

Ahora que comprende qué es una prueba multivariante y cómo configurar con éxito una prueba multivariante, analicemos algunas plataformas diferentes entre las que puede elegir. Muchas de las principales herramientas de pruebas A/B del mercado ofrecen pruebas multivariadas y pruebas A/B en un solo software. Entonces, ¿cuál se adapta mejor a tus necesidades?

Si el método de prueba multivariable es un factor decisivo para usted, está en el lugar correcto. La lista a continuación le brinda los 9 mejores jugadores para pruebas multivariadas en el mercado.

¿Cuáles son las mejores herramientas de pruebas A/B y multivariadas disponibles?

Aquí hay un vistazo a las herramientas de prueba multivariante preferidas por los expertos de CRO, junto con los métodos de prueba multivariante que ofrecen:

• Convertir Experiencias – Factorial Completo
• AB Tasty – Factorial Completo
• Google Optimize y Optimize 360: enfoque híbrido que no es factorial completo ni fraccional
• Adobe Target – Factorial completo y Taguchi
• Kameleoon – Factorial completo y Factorial fraccional
• Optimizely – Factorial completo, parcial y Taguchi
• Sitespect – factorial completo y factorial de fracciones
• VWO – Factorial completo
• Webtrends Optimize: factorial completo y factorial fraccional

¿Aún no está seguro de qué herramienta de prueba multivariante elegir? Consulte este desglose completo de las mejores herramientas de prueba multivariante.

Principales errores de pruebas multivariantes que se deben evitar en 2022

Estas pruebas solo pueden ayudarlo a lograr sus objetivos de optimización si las usa de la manera correcta.

Pero como somos humanos y nuestras herramientas no son perfectas, los errores ocurren. Puede reducir las posibilidades de arruinar sus pruebas evitando lo siguiente:

1. No probar la precisión de su herramienta MVT

Crea variaciones de tu página, pero no cambies nada. Mantenlo igual y ejecuta el resto. Dado que las personas ven lo mismo, los resultados deberían ser los mismos.

2. No partir de una hipótesis sólida

Ejecutar una prueba sin una línea de base y qué esperar es ejecutar a ciegas. No te ayuda ni a ti ni al sitio en el que estás probando. Genera una hipótesis primero.

3. Copiando a tus competidores

Su organización es única y sus objetivos son diferentes. Copiar a tus competidores no es beneficioso. No solo muchas de sus pruebas no se aplicarán a su caso, sino que es posible que no sepan lo que están haciendo.

4. Ejecución de pruebas durante eventos de temporada o eventos importantes del sitio/plataforma

Si su prueba no está destinada a un evento, no debería ejecutar una prueba multivariante durante uno. Los resultados no reflejarán el rendimiento exacto de un día normal.

5. asomándose

La tentación es difícil de resistir. Solo quieres ver cómo va. Tal vez incluso hizo una apuesta en una variante y quiere ver cuál está ganando. No.

No solo obtendrá expectativas inexactas, sino que también podría tomar decisiones equivocadas basadas en ellas. Puedes comprobar si se están ejecutando o si hay algún error, y listo.

6. No ejecutar sus pruebas el tiempo suficiente

Las pruebas multivariadas deben ejecutarse durante mucho tiempo. Piense en ello como pruebas A/B separadas que tienen que obtener suficiente tráfico para alcanzar la significación estadística. Deje que sus pruebas multivariantes se ejecuten durante el tiempo suficiente para que pueda obtener resultados precisos y significativos.

7. Hacer cambios mientras se ejecuta la prueba

Puede corregir errores, pero no puede rediseñar su sitio web o hacer cambios de copia. Cualquier cosa que cambie la apariencia de las variantes debe permanecer intacta después de que la prueba se active.

8. Olvidarse de detener una prueba después de obtener resultados precisos

Ocurre con más frecuencia de la que imaginas. Lo que esto significa es que, después de que tenga un ganador claro, seguirá mostrando al resto de su tráfico una versión más débil de su sitio. No quieres hacer eso.

9. Rendirse después de una prueba

Tal vez todas sus variantes resultaron peores que el control, ¿y qué? Acabas de aprender varias formas en que no funciona. Ejecute más pruebas y obtenga más información. Todo conocimiento es valioso.

10. No comprobar la validez después de la prueba.

Cuando todo esté dicho y hecho y haya obtenido sus resultados, ¿es ese el final? ¿Cierras la plataforma de pruebas y sigues adelante? Es una buena práctica sentarse y verificar si todo salió bien antes de confiar en la precisión de los resultados.

11. No ejecutar suficientes pruebas

Cuando realice una prueba, ya sea ganadora o perdedora, aprenda de ella. Use su nuevo conocimiento para crear una hipótesis más informada y vuelva a ejecutar. Y otra vez. Así es como haces que la experimentación funcione para ti.

12. No documentar las pruebas

Mantenga una base de datos de sus pruebas. Esto mejorará el rendimiento de su equipo de optimización, incluso si ese equipo es solo usted. Todos necesitamos aprender de experiencias anteriores para mejorar la siguiente.

Y también, para evitar perder tiempo en ejecutar las mismas pruebas dos veces.

Conclusión

Ya sea que tenga una tienda de comercio electrónico, SaaS o una simple página de destino, hay escenarios en los que tiene sentido ejecutar una prueba multivariante. Es posible que tenga un sitio web de alto tráfico, pero aún debe decidir si las pruebas multivariadas son adecuadas para su sitio web. Evalúe el costo, el tráfico y la necesidad de una variable múltiple antes de ejecutar una.