Herramientas de prueba multivariante más populares en 2022

Por lo tanto, actualmente está ejecutando pruebas A/B y desea ampliar su programa de pruebas.

Tiene buen tráfico, está viendo excelentes resultados y ahora quiere ejecutar muchas más pruebas y obtener esos datos lo antes posible.

Pero, ¿cómo puede comenzar a probar más rápido? O mejor aún, ¿cómo puede ejecutar más pruebas y obtener más información durante el mismo período de tiempo?

Ahí es donde entran en juego las pruebas multivariadas. Le permite probar múltiples variaciones a la vez, para ver cuál en particular funciona mejor.

En esta guía, desglosaremos qué es MVT, cómo funciona, qué necesita para usarlo y desglosaremos una selección de las mejores herramientas de prueba multivariante disponibles.

Todo, desde su precio y características, hasta cómo hacen negocios para que pueda tomar la decisión correcta al decidir qué herramienta de prueba multivariante obtener.

Así que vamos a sumergirnos en él...

¿Qué es la prueba multivariante?

La mejor manera de comprender las pruebas multivariadas es compararlas con otros métodos de prueba y ver en qué se diferencian.

Así que veamos una prueba A/B y una prueba multivariante y cómo se comparan.

Con una prueba A/B, probamos una sola variación contra una versión de control original. Tal vez tengamos una idea de cómo mejorar el título, así que creamos esa variación y luego vemos cuál funciona mejor.

Su prueba A/B se verá así:

Título 1 (control) vs Título 2 (la idea de variación)

Otra prueba que podríamos ejecutar es una prueba A/B/n.

Aquí es donde podemos probar múltiples variaciones contra el control, para encontrar el ganador general. Las pruebas A/B/n son univariables.

Por ejemplo, podríamos tener un montón de ideas para titulares y no estamos seguros de cuál funcionará. Pero debido a que tenemos el tráfico para ejecutar algunas variaciones de prueba y aun así obtener resultados precisos, decidimos probar varias ideas de titulares para ver cuál funciona mejor.

Titular 1 (control) vs Titular 2 vs Titular 3

Una vez que encontremos la variación del título ganador, podríamos probar un montón de imágenes de disparos de héroes y luego tal vez un montón de ángulos de CTA.

Como puedes adivinar, todo esto lleva tiempo, ¿verdad?

Otra opción es ejecutar una prueba en la que cambiamos un montón de cosas de una sola vez y vemos si eso mejora las métricas.

Tendemos a no hacer esto con la mayoría de las pruebas A/B a menos que estemos buscando hacer un cambio radical, es decir, lanzar un avemaría para tratar de encontrar un nuevo ganador porque todas las demás ideas de prueba están estancadas o no tienen ningún impacto.

Entonces, ¿por qué no recomendamos hacer cambios radicales como este para las campañas normales y qué tiene que ver con las pruebas multivariadas?

Probamos un elemento a la vez porque si hacemos grandes cambios y la nueva página gana o falla, no estamos seguros de cuál de esos cambios causó ese aumento.

Las pruebas multivariantes o MVT nos permiten probar múltiples variantes, al mismo tiempo que rastreamos cada uno de esos cambios y cómo afectan el resultado.

No solo podemos probar múltiples variaciones de elementos, sino que incluso podemos ejecutar diferentes combinaciones de ellos hasta encontrar el ganador final.

Digamos que queríamos mejorar nuestra página de inicio y tenemos algunas ideas de qué probar para ver el mayor aumento:

• El encabezado
• La imagen del disparo del héroe
• La CTA.

Con una prueba multivariada, no solo pudimos probar cada idea de título, opción de imagen de toma de héroe y ángulo de CTA, sino que también podemos probar cada combinación de esas variaciones para encontrar la combinación ganadora:

Titular 1 + Imagen destacada 1 + CTA 1 frente a

Titular 1 + Imagen destacada 2 + CTA 1 frente a

Titular 1 + Imagen destacada 1 + CTA 2 frente a

Título 2 + Imagen destacada 1 + CTA 1 frente a

Título 2 + Imagen destacada 2 + CTA 1 frente a

Título 2 + Imagen destacada 2 + CTA 2

Las pruebas multivariantes pueden ayudarlo a encontrar la mejor combinación de elementos y comprender qué causó esos cambios.

Aún así, realizar pruebas multivariadas adecuadas implica gastar mucho tiempo y recursos. ¿Está dispuesto a invertir tantos recursos, no solo para pruebas, sino también para control de calidad y análisis? Sin embargo, en algunos escenarios, podría ser la mejor opción. Veamos cuáles son esos.

¿Cuándo usar pruebas multivariadas?

¿Para qué se utilizan las pruebas multivariadas? Estas son algunas de las ocasiones en las que una prueba MVT puede ser más útil que una prueba A/B.

1. Cuando tiene mucho tráfico y desea aumentar su programa de pruebas

El tráfico es el principal quid de las pruebas multivariadas. Necesita un gran volumen de tráfico para poder probar cada cambio y confiar en los resultados de sus pruebas.

Pero si tiene el tráfico y desea ampliar sus pruebas para obtener más datos y tomar más decisiones, MVT le permitirá ejecutar varias ideas a la vez.

2. Cuando desea aumentar la sustentación y tiene algunas ideas, pero no quiere esperar para probarlas una por una

Algunas personas piensan que solo debe usar MVT para refinar las páginas web actuales con cambios menores, debido a la inversión de tiempo, pero no es cierto. Claro, puede usarlo para eso, pero también puede usarlo para pruebas más amplias de "qué pasaría si" de elementos más grandes.

(Tal vez no esté seguro de qué elemento proporcionará el mejor impulso y, por lo tanto, desea intentar arrojar algunas ideas hipotéticas inteligentes contra la pared para ver qué funciona).

Si tiene el volumen de tráfico para ejecutar un MVT, entonces es obvio no intentar encontrar combinaciones de páginas amplias mucho más rápido. Solo asegúrese de medir los efectos de ese tráfico DESPUÉS de la prueba de cada variación también, ya que esto le dará más información sobre su audiencia y por qué funcionó.

Por ejemplo, en Facebook, puede configurar anuncios de prueba multivariantes básicos, agregando variaciones de una imagen en miniatura, un título y una copia del cuerpo, etc.

La prueba se ejecutará y le dirá qué variación de ese anuncio obtiene el CTR más alto.

Si su objetivo fuera simplemente obtener clics, entonces este anuncio ganaría, ¿verdad?

Pero si todo ese tráfico luego rebota en la página a la que los envía, entonces todo lo que ha encontrado es una variación que hace que la audiencia haga clic, no una que hace que se queden y conviertan.

Es lo mismo cuando se ejecuta una prueba MVT en una página, especialmente si la usa como un método de recopilación de ideas más amplio. Compruebe lo que sucede en la página, pero también lo que sucede después de hacer clic.

3. Al refinar una prueba anterior para obtener un aumento incremental

También puede usar MVT para medir y mejorar pequeños refinamientos. De hecho, a muchas agencias les gusta usarlos para obtener aún más impulso en las campañas ganadoras actuales y probar pequeños cambios.

Supongamos que ya ha realizado pruebas A/B de una página varias veces para encontrar una variante ganadora, pero desea obtener el mayor aumento posible, incluso si es solo un 0,5 %. Puede ejecutar pruebas MVT en esa página para realizar más pruebas (porque con 100 000 visitantes al mes, ¡cada 0,5 % de ayuda se nota!)

4. Al buscar el máximo impulso posible a partir de una combinación de ideas (efectos de interacción)

A veces, una prueba A/B consecutiva puede darnos ganadores en papel, pero cuando los combinamos, no siempre son la opción de mayor rendimiento para nuestra página.

Aquí hay un ejemplo:

• Ejecuta una prueba de título y elige un ganador e implementa.
• Luego ejecuta una prueba de imagen de disparo de héroe en esa misma página con la variación del título ganador y el implemento.
• Luego ejecuta una prueba de CTA en la misma página con los elementos ganadores anteriores e implementa.

En teoría, esta debería ser la versión de mayor rendimiento de su página, pero pueden ocurrir cosas extrañas debido a la interacción o la falta de ella. En pocas palabras, es posible que un elemento perdedor en una prueba a veces supere al ganador de la prueba secuencial A/B cuando se combina con otra variación de elemento.

¿Cómo?

Bueno, tal vez un título perdedor de la primera prueba proporcione una tasa de conversión de back-end más alta cuando se combina con los ganadores de la prueba de imagen y CTA.

Esto puede suceder, pero nunca lo sabría si solo ejecutara pruebas A/B. En cambio, lo habría eliminado de las opciones antes de probar los otros elementos. Esta es la razón por la cual las pruebas multivariantes son tan poderosas. Le permite encontrar el rendimiento general más alto de la página, incluso si eso significa que está tomando un elemento de menor rendimiento de una parte de la prueba.

Mejor aún, incluso puede decirle qué elemento ayudó más...

5. Al buscar el elemento más importante en la página para su audiencia, para futuras pruebas y páginas

MVT no solo mostrará la combinación ganadora de sus diferentes variaciones y elementos, sino que también le mostrará el elemento que proporciona el mayor impulso.

Tal vez la imagen de tu héroe tenga más realce, pero también ves que, de todos los elementos de tu página de variación, ¿es el que más contribuye a tu resultado final?

Esto le dará una idea de dónde probar primero para obtener aún más mejoras, de modo que pueda concentrarse primero en las mejoras de tiro de héroe, etc.

6. Al aplicar el aprendizaje automático a su proceso de prueba

Debido a la naturaleza de MVT que requiere y rastrea grandes cantidades de datos e interacciones, en realidad se puede usar como una gran fuente para alimentar programas de prueba de aprendizaje automático.

ML requiere una gran cantidad de datos para funcionar mejor, pero una vez que los obtiene, en realidad puede comenzar a ver patrones y predecir resultados y comportamientos con menos tráfico a lo largo del tiempo. De hecho, sitios como Amazon están haciendo exactamente esto...

Ejemplos de pruebas multivariadas

Ejemplo de prueba multivariante n.º 1

Amazon usó MVT y aprendizaje automático para ajustar el diseño de sus páginas de destino, lo que resultó en un aumento del 21 % en la tasa de compra en solo 7 días.

Ejemplo de prueba multivariante #2

Booking.com utiliza pruebas multivariadas para probar nuevas funciones únicas para audiencias específicas y luego mide su rendimiento antes de implementarlas en todo el sitio.

Ejemplo de prueba multivariante #3

Microsoft vio un aumento del 40% en la tasa de conversión de su sitio web SMB, después de ejecutar una prueba MVT en varios elementos de página (¡8 × 4!)

Ejemplo de prueba multivariante #4

Sin embargo, no son solo los gigantes los que pueden usar MVT. HawkHost vio un aumento del 204 % en las ventas cuando realizó una prueba de MVT en su página de inicio (probando su título, subtítulo y captura principal).

Los pros y los contras de las pruebas multivariadas

Si las pruebas multivariadas son tan poderosas, ¿por qué no las usamos todos?

Verá, la belleza de una prueba A/B es que puede probar una idea rápidamente, con un tamaño de audiencia relativamente pequeño. Esto significa que la mayoría de las empresas pueden realizar una prueba, incluso si tienen un tráfico bastante bajo, y luego ver un resultado dentro de los 14 a 30 días.

Pero con una prueba multivariada, necesita una audiencia mucho más grande para ejecutar, porque está probando varias cosas a la vez. (Especialmente si está haciendo pruebas de varias páginas o probando múltiples combinaciones de variaciones).

Digamos que quisiéramos probar un titular en nuestra página de inicio:

• Control de titulares
• Variación del título

Solo estamos probando la variación única, por lo que son 2 opciones en total.

Ahora, como un ejemplo simple, digamos que queremos obtener 1,000 visitantes para cada versión de la página (la variante y el control) para que podamos estar seguros de que los resultados de la prueba son confiables.

(El tráfico necesario puede variar según la página y su tasa de conversión, pero simplifiquemos aquí para que se haga una idea).

Eso significa que necesitaríamos 2000 visitantes para ejecutar la prueba y confiar en los resultados, con 1000 visitantes yendo a cada página.

¿Y si quisiéramos probar:

• 3 titulares
• 3 imágenes de héroe, y
• 3 CTA?

No son 9 variantes en total, sino 27 combinaciones de 9 variantes (3x3x3).

Esto significa que si quisiéramos 1000 visitantes por variación, entonces nuestro requisito de tráfico sería de 27 000 visitantes para realizar la prueba y confiar en los resultados (basado en nuestra simplificación excesiva de que 1000 visitantes son suficientes por página).

En realidad, probablemente necesitaría más de 10 000 visitantes por variación para obtener datos precisos, ya que el tráfico por sí solo no es suficiente, también necesita ver las conversiones.

Esta es la razón por la que muchas empresas no ejecutan pruebas MVT, simplemente porque no tienen el tráfico para ejecutarlas de manera efectiva. De hecho, la mayoría de las agencias recomiendan tener alrededor de 100 000 visitantes mensuales antes de comenzar a ejecutar campañas MVT, a menos que la página ya tenga una tasa de conversión muy alta. E incluso entonces, todavía recomiendan ejecutar solo unas 6 variaciones como máximo, para poder ejecutarlas más rápido.

Pero si tienes ese tipo de tráfico?

Bueno, entonces MVT puede permitirle realizar el equivalente de muchas más pruebas en casi exactamente el mismo período de tiempo...

¿Qué sucede si tomamos el ejemplo anterior y permitimos que cada prueba se ejecute durante un ciclo de ventas completo de 30 días para obtener una ventana de medición precisa?

Suponiendo que tenemos el tráfico, podríamos ejecutar 27 combinaciones de prueba a la vez en esa página durante quizás 30 a 60 días como una sola prueba multivariante. ¡No está mal si lo comparas con ejecutar 27 pruebas A/B consecutivas en esa página, durante un período de 27 meses!

(Nuevamente, estoy simplificando aquí y asumiendo que ejecuta un ciclo de ventas completo en cada prueba).

Pero como puede ver, las pruebas multivariadas le permiten obtener información e ideas, implementarlas más rápido y reducir el tiempo de actividad en pruebas perdedoras consecutivas.

¡Bastante bien, ¿verdad?!

Obviamente, existen otros inconvenientes en las pruebas de MVT además de los requisitos de tráfico.

Debido a la gran cantidad de variaciones y combinaciones que puede ejecutar, aumenta considerablemente el tiempo de control de calidad antes y después de la prueba.

Debe asegurarse de que todas las variaciones funcionen y también tengan sentido. (No mostrar un título y una imagen que no coincidan, etc.), por lo que aumenta drásticamente el tiempo y el costo de configuración.

Además, asegúrese de comprobar los efectos.

Solo porque vea un aumento en la conversión en esa página en particular, realice un seguimiento hacia sus objetivos finales. Lo último que desea es más clics pero una experiencia de usuario deficiente o una tasa de rebote alta (o más clics pero sin ventas).

Las ventajas de las pruebas multivariadas

• Suponiendo que tiene el tráfico, las pruebas multivariadas le permiten probar muchas variaciones, rápidamente.
• MVT puede ayudarlo a escalar su programa de pruebas para encontrar más datos sobre lo que funciona y lo que no.
• Puede ayudarte a encontrar combinaciones ganadoras más rápido que las pruebas A/B consecutivas.
• Puede ayudarlo a encontrar combinaciones ganadoras que podría haber pasado por alto al realizar pruebas consecutivas. (Imagínese si un titular tuviera el segundo rendimiento y lo eliminara, pero junto con la variación de la tercera imagen, de alguna manera duplicara el aumento. Con una prueba consecutiva, se lo habría perdido. Una prueba multivariante requiere un mayor grado de efectos de interacción).
• Algunos software de prueba A/B le permitirán ver qué elemento en particular ayudó a proporcionar el mayor impulso (lo que le brinda una comprensión más profunda de su audiencia).
• También se puede usar para ayudar a encontrar cambios menores en páginas de alto rendimiento. (Imagínese que ya tiene una página de alto rendimiento y está disparando nuevas ideas para ver mejoras menores, como cambios de color).

Los contras de las pruebas multivariadas

• Necesita un alto volumen de tráfico para ejecutar, especialmente si desea una estadística de seguimiento para que pueda confiar en sus resultados y no ver falsos positivos o negativos (errores de tipo 1 y tipo 2), y poder estadístico para medir un porcentaje de elevación más pequeño.
• Los requisitos de tráfico crecen rápidamente cuantas más variaciones y combinaciones pruebes, así que tenlo en cuenta. Considere eliminar elementos adicionales si es posible que no brinden mucha sustentación. (es decir, pruebe el título antes de preocuparse por probar los colores del pie de página, etc. Siempre puede probarlos después si realmente lo desea).
• No es solo el tráfico lo que afecta el tamaño de la muestra. La tasa de conversión de la página actual y las variables afectan el volumen del tamaño de muestra necesario para alcanzar la significación estadística. Mejores conversiones pueden reducir el tráfico necesario, las conversiones más bajas aumentan ese requisito.
• El margen de error al probar más variables también aumenta el volumen de tráfico requerido antes de que pueda confiar en los resultados.
• Necesita ejecutar pruebas de control de calidad intensivas para asegurarse de que todas funcionen por adelantado.
• También debe ejecutar el control de calidad para asegurarse de que las variaciones tengan sentido juntas y no tengan combinaciones opuestas o conflictivas. (CTA que no coinciden con las ofertas, titulares para unas vacaciones en la playa mientras anuncian un viaje de esquí, o incluso colores de fuente y de fondo en conflicto o combinados).
• Si no tiene una fuente de alto tráfico, aún puede ejecutar una prueba de MVT, solo que puede tomar MUCHO más tiempo hasta que llegue a stat sig y pueda finalizar la prueba. (A veces varios meses o más). De hecho, a veces puede ser más rápido y eficiente simplemente ejecutar pruebas A/B consecutivas.
• Puede perder algunas percepciones de la audiencia, simplemente probando varias cosas a la vez. (Probar un solo elemento o ángulo puede ayudarlo a comprender mejor a su audiencia a veces).

Estadísticas de pruebas multivariadas: las matemáticas detrás de MVT

Así que vamos a nerd un poco...

Cuando se trata de pruebas multivariadas, utilizamos un método de análisis estadístico diferente a las pruebas A/B estándar o las pruebas divididas.

No quiero entrar demasiado en las matemáticas, pero aquí hay una simplificación:

• Con las pruebas A/B, usamos una prueba t (o prueba z) para medir la diferencia entre 2 o más conjuntos de resultados.
• Con las pruebas multivariadas, se usa otro método para encontrar los resultados de la prueba llamado ANOVA o 'Análisis de varianza'. No es necesario conocer todos los detalles, pero esto es lo fundamental. La principal diferencia es que ANOVA también mide la conexión y el impacto entre las variables. Esta es una de las principales fortalezas de MVT porque nos permite ver cómo las combinaciones de elementos se impactan entre sí.

Según la herramienta que utilice, se pueden ofrecer 3 tipos de métodos de prueba multivariable al ejecutar una campaña MVT. Cada uno de ellos afecta las matemáticas sobre cómo funcionará su prueba.

Llamamos a estos:

• factorial completo,
• Factorial de fracciones, y
• Taguchi.

Entonces, ¿qué significan?

Factorial completo

Casi todas las herramientas MVT ofrecerán pruebas factoriales completas como base para su modelo de prueba principal y es más o menos lo que desea usar todo el tiempo.

Este método se refiere a la distribución "completa" del tráfico en su prueba.

En pocas palabras, es donde prueba cada combinación a la vez, dividiendo el tráfico de la prueba en partes iguales entre cada variante.

Con una prueba A/B, divides el tráfico 50:50. Pero con un MVT, si tuviera 10 variantes, esto significaría que solo el 10% del tráfico va a cada variante.

Debido a la cantidad de variantes y el tráfico requerido para alcanzar la significación estadística con cada variación, el factorial completo requiere una fuente de tráfico muy grande, pero es el método más preciso.

Sin embargo, algunas plataformas de pruebas A/B también ofrecerán algo llamado prueba 'factorial de fracciones' como alternativa.

Fracción factorial

Este método intenta eludir algunos de los requisitos de tráfico más grandes probando solo una muestra más pequeña de variaciones y luego estimando las tasas de conversión finales en función de los resultados de las pruebas actuales .

Su objetivo no está en la precisión de predecir resultados confiables para escalar como de costumbre, es decir, si escalamos esto a X audiencia, funcionará de la misma manera.

En cambio, está diseñado para ayudarlo a ver dónde está comenzando a ocurrir la tracción inicial para que pueda obtener información antes de realizar pruebas más profundas o con otro método.

Digamos que tienes 10 variaciones que quieres probar.

El factorial fraccionado en realidad probará 5 de ellos y luego intentará inferir la tasa de conversión en esas otras 5 pruebas, según los resultados hasta el momento.

Como puede adivinar, esto no es tan preciso y puede generar errores y falsos positivos, y en realidad es una fuente de discusión entre los optimizadores y los especialistas en marketing. (Casi todos recomiendan factorial completo como el principal método de prueba).

Taguchi

Finalmente, tiene el método Taguchi de prueba multivariada. Originalmente diseñado como un método para medir el control de calidad frente a supuestos de pérdidas aceptables en I+D para la fabricación de productos.

La mayoría de las herramientas no ofrecerán esto debido a su complejidad de uso.

¿Cuándo detener una prueba multivariante?

Hay 3 cosas principales que debemos tener en cuenta al ejecutar cualquier prueba antes de detenerla:

• Para que la prueba se haya ejecutado lo suficiente como para haber recopilado un tamaño de muestra lo suficientemente grande para cada variante, y para que la prueba haya recopilado suficientes conversiones para ser relevante.
• Para que la prueba haya ejecutado 1 o incluso 2 ciclos completos de ventas (para equilibrar el tráfico y los períodos de compras durante 30 a 60 días).
• Y finalmente, para que los resultados sean estadísticamente significativos, es decir, si realizamos esta prueba en la naturaleza y la ampliamos, entonces podemos estar 95% seguros de que seguirá funcionando de la misma manera.

Le recomendamos que no detenga ninguna prueba antes de este punto. De lo contrario, los datos serán insuficientes para trabajar. Sin embargo, podemos detener y luego reiniciar una prueba si hay problemas con el rendimiento, como que los formularios de pago de una variante no funcionan, etc., pero idealmente, tratamos de ni siquiera mirar cuando se está ejecutando.

(Algunas agencias recomiendan detenerse temprano si hay un claro ganador, o incluso detener variaciones específicas si su tasa de conversión cae por debajo del 10%, y luego permitir que la prueba continúe mientras se filtra más tráfico a los de mayor rendimiento. Obviamente, esto puede afectar los resultados de la prueba en gran medida.)

¿Cómo configurar y realizar una prueba multivariante?

El proceso de configuración de una prueba multivariante es muy similar a una prueba A/B.

Paso #1: Decide tu objetivo final

Primero, debe formular una hipótesis para su página, su objetivo, sus resultados actuales y cómo cree que se puede mejorar.

Puede usar nuestro generador de hipótesis para ayudarlo a aclarar lo que quiere lograr y establecer algunas metas concretas.

Paso #2: Averigüe qué probar

Luego, decida qué elementos probar y qué variaciones cree que podrían mejorar sus resultados actuales.

Por ejemplo, puede pensar que probar los 'elementos centrales' en la mitad superior de la página aumentará las conversiones, por lo que querrá probar el título, la foto destacada y el texto del botón CTA.

Paso #3: Calcular el marco de tiempo de prueba

Antes de ejecutar la prueba o crear cualquier activo, le recomendamos que realice un cálculo del tamaño de muestra previo a la prueba, para que pueda estimar el marco de tiempo y los requisitos de tráfico para que se ejecute esta prueba. Esto le dará una idea de cuántas variaciones puede ejecutar de forma factible con su tráfico recurrente y aún así obtener resultados rápidos. (O incluso hacerle saber si necesita probar menos opciones).

En el ejemplo anterior, tienes 3 elementos: el título, la foto del héroe y el texto del botón CTA.

Si desea probar una sola variación para cada una, serían 2x2x2=8 combinaciones. Sabiendo esto, puede comenzar a calcular cuánto tráfico necesita.

Ingrese el tráfico de su página semanal actual y la tasa de conversión en la calculadora (junto con cualquier configuración de potencia y confianza).

Luego, establezca el número de páginas que desea probar. (8 en este ejemplo)

Esto le dará un marco de tiempo de cuánto tiempo necesita correr para poder detectar la elevación mínima.

Paso #4: Cree la prueba

A continuación, diríjase a su herramienta y configure las diferentes versiones y combinaciones para su prueba multivariante.

Comience seleccionando la opción de prueba multivariante.

Asígnele un nombre y luego agregue la URL de la página que desea probar (para que la herramienta pueda extraerla para las ediciones WYSIWYG).

En este ejemplo, vamos a trabajar para mejorar la tasa de conversión de nuestra página de inicio.

Una vez que la página se carga en la herramienta, debe configurar sus elementos de prueba.

Aquí en Convert, usamos 2 conversiones de nombres para las partes a editar en pruebas multivariadas:

• La Sección, que se refiere al elemento de la página que desea probar, como un título o CTA, y
• La variación, que es su edición de ese elemento en particular.

Le recomiendo que elija una sección a la vez para editar y agregar cada variación.

Asigne a la sección un nombre como "Título", luego continúe, edite y agregue las variaciones para esa sección. (Asegúrese de guardar cada variación a medida que trabaja en ella).

Luego pase a la siguiente 'sección' o elemento que desee probar. En este ejemplo, sería configurar otra toma de héroe de fondo y luego configurar una variación de texto del botón CTA.

Paso #5: Asegúrese de que todo funcione

Una vez que haya configurado cada variación, ejecute una prueba de control de calidad en cada nuevo tratamiento para asegurarse de que todos funcionen y que cada elemento encaje con sensatez. (No hay llamadas a la acción que compitan ni información/imágenes que no coincidan, ni duplique el color de la fuente y los botones).

Haga clic en 'guardar y continuar' y se cargará una nueva página. Luego, continúe y haga clic en la pestaña "Informes".

Desde aquí podrás ver variaciones de página e información sobre las mismas. Haga clic en el 'icono de ojo' al lado de cada página para ver una vista previa y probar el funcionamiento de los enlaces.

Desde aquí puede ejecutar una prueba de control de calidad y usar esa misma URL para pruebas móviles.

Paso #6: Empújalo en vivo

Siempre que todas las variaciones funcionen, puede comenzar la prueba y dejar que se ejecute hasta que tenga suficientes datos.

(Observe que hay una opción para enviar la prueba en vivo directamente desde la página del informe donde abrió las pruebas de control de calidad).

Las mejores herramientas de prueba multivariante para madurar su programa de optimización

Ahora que comprende cómo funcionan las pruebas multivariantes, analicemos las plataformas de optimización de sitios web en el mercado que ofrecen pruebas multivariantes. Cubriremos sus características junto con sus precios si ofrecen pruebas gratuitas y algunos otros detalles.

Una cosa rápida antes de hacer eso.

Recuerde que la herramienta que utiliza es SÓLO tan buena como la persona que la configura . Si el flujo de caja es escaso, primero invierta en alguien que lo ayude internamente (o comuníquese con una agencia externa) y solo use una herramienta más barata por ahora.

Está muy bien tener una increíble herramienta de prueba de MVT, pero no tiene sentido si la persona no puede configurarla correctamente, lo suficientemente rápido o comprender los datos.

#equiposobreherramientas

1. Convierte Experiencias

Calificación G2 : 4.7/5.0 (46 Reseñas)

Precios: a partir de $ 699 por mes, con $ 199 por cada 100k visitantes después de eso.

¿Ofrecen un plan gratuito o una prueba? Sí, 14 días de prueba gratis sin necesidad de tarjeta de crédito.

Costo por cada 100.000 visitantes: $199.

ventajas

• Totalmente compatible con la privacidad: nunca se almacenan datos personales
• Informes precisos debido al uso de cookies propias
• Rápido y sin parpadeos
• Ejecute pruebas ilimitadas
• Apilamiento de condiciones con más de 40 filtros para apuntar a segmentos de audiencia granulares
• Inserción flexible de JavaScript a nivel de proyecto, experimento y variación
• Activación de objetivos de condición JS personalizada
• Se integra con más de 100 herramientas de terceros (por ejemplo, Shopify, WordPress, Mixpanel, Hotjar)
• Atención al cliente humana 4 veces más rápida por teléfono, correo electrónico y chat.

Contras

• Segmentación básica de publicaciones en el plan Kickstart

Características de las pruebas multivariadas : factorial completo. También ofrecemos soporte directo y asesoramiento al ejecutar estas pruebas.

¿Lado del cliente, lado del servidor o ambos? Convert funciona como un editor WYSIWYG del lado del cliente, pero también se puede configurar en el lado del servidor y ejecutar JS personalizado.

¿Sirven Enterprise? Sí. Somos la herramienta elegida por empresas como Sony, Jabra, Unicef ​​y otras.

¿Ofrecen atención al cliente? Sí, desde el comienzo del juicio. ¿Que tipo? Chat en vivo, blog y base de conocimiento con más por venir.

¿Se preocupan por la privacidad ? Cumplimos totalmente con el RGPD. Incluso dejamos de usar herramientas para nuestro trabajo interno de otras empresas que no cumplen con el RGPD, eso es lo que significa para nosotros.

¿Se preocupan por el mundo? Sí. Está en nuestro ADN. Plantamos árboles, ejecutamos programas comunitarios, promovemos la diversidad desde la solicitud inicial, hacemos donaciones a organizaciones benéficas y mucho más. Diablos, somos 15x de carbono negativo.

Revisión de TrustRadius:

2. AB Sabroso

Calificación G2: 4.5/5.0 (76 Reseñas)

Precios: desde $1900/mes para 400 000 visitantes evaluados al mes para el plan Essentials. El plan Growth cuesta $3800/mes mientras que el plan Elite comienza en $5700/mes.

¿Ofrecen un plan gratuito o una prueba? No. Puede solicitar una llamada de demostración para ver sus nuevas funciones.

Costo por cada 100,000 visitantes: aproximadamente $475.

Ventajas:

• AI y ML integrados en la optimización
• Ejecuta experimentos ilimitados
• Interfaz de usuario limpia y fácil de usar
• Fácil de configurar y previsualizar pruebas
• Widgets dinámicos
• Múltiples integraciones
• Amplios informes analíticos
• Amplia gama de opciones de orientación disponibles, junto con personalización
• Atención al cliente confiable
• El precio es de rango medio

Contras:

• No hay automatización de marketing para brindar información sobre el rendimiento de la audiencia (especialmente para un experimento activo) y, a veces, requerirá atención al cliente para ver.
• La calculadora de Significancia Estadística es un poco básica en su UX
• La integración de Google Analytics es compleja, requiere codificación
• Sin prueba gratuita

Características de las pruebas multivariadas: factorial completo

¿Lado del cliente, lado del servidor o ambos? Ambas cosas

¿Frecuentista o bayesiano? bayesiano.

¿Es compatible con Full Stack? Sí.

Core Web Vitals ¿Listo? Sí. Esta herramienta carga rápido.

¿Tiene ML o IA? Sí.

¿Sirven Enterprise? Sí. Son la herramienta elegida por empresas como Disney, L'Oreal, Kalviyo y otras.

¿Ofrecen atención al cliente? Sí. Tienen una base de conocimientos y chat en vivo.

¿Les importa la privacidad? Sí. Las direcciones IP de los usuarios se utilizan para crear un código de identificación y luego se eliminan inmediatamente antes de pasar a la herramienta. Los códigos de identificación se anonimizan y luego se eliminan después de 13 meses.

¿Se preocupan por el mundo? Donan directamente a ONG, trabajan con grupos de acción social, reciclan y apadrinan colmenas.

Revisión de TrustRadius :

Cómo se ve esta herramienta de prueba multivariante en acción:

3. Optimización de Google y Optimización 360

Calificación G2: 4.3/5.0 (27 Reseñas)

Precios : Hay 2 versiones de esta herramienta. Optimize es gratuito, pero para funciones avanzadas, debe optar por Google Optimize 360.

El precio de Optimize 360 ​​es personalizado (aunque se rumorea que ronda los $150 000 por año). Para obtener su precio mensual, deberá completar un formulario para contactar a su equipo de ventas.

¿Ofrecen un plan gratuito? Sí.

Coste por cada 100.000 visitantes: N/A

Ventajas:

• Fácil de usar: se requieren pocos conocimientos técnicos
• Ideal para probadores A/B primerizos
• Integración rápida con Google Analytics
• Tiene una segmentación de audiencia súper detallada, gracias a los enormes recursos de datos de Google.

Contras:

• Limitado a 5 pruebas a la vez en el nivel gratuito
• Sin funcionalidad de editor de arrastrar y soltar
• No puedo subir tus imágenes directamente
• No se pueden probar aplicaciones, solo navegadores
• No apto para pruebas complicadas.
• UI/UX y los informes no son tan atractivos visualmente como la mayoría de las otras herramientas en el mercado
• El parpadeo ocurre a veces.

Funciones de prueba multivariante: Aparentemente, Optimize utiliza un enfoque híbrido que no es ni factorial completo ni fraccional. Según su base de apoyo

“Nuestros modelos nos permiten utilizar un enfoque híbrido, por lo que no tiene que hacer este compromiso. Servimos todas las combinaciones de una prueba, para que puedas conocer las interacciones y las mejores combinaciones. Pero también modelamos el hecho de que algunas variantes aparecen en las combinaciones, por lo que podemos conocer las variantes dentro de un factor, no solo las combinaciones”.

¿Lado del cliente, lado del servidor o ambos? Ambas cosas.

¿Frecuentista o bayesiano? Google Optimize utiliza métodos bayesianos en lugar de métodos frecuentistas, también conocidos como pruebas de significado de hipótesis nulas (NHST).

¿Es compatible con Full Stack? Sí.

Core Web Vitals ¿Listo? Sí. Esta herramienta se carga rápidamente, aunque puede parpadear, lo que podría causar problemas de CLS.

¿Tiene ML o IA? No.

¿Sirven Enterprise? Sí, pero solo a través de Optimize 360.

¿Ofrecen atención al cliente? Tienen un centro de recursos con consejos, tutoriales en video, comunidad de ayuda y más.

¿Les importa la privacidad? Cumplen con las leyes de protección de datos aplicables en los países donde se utilizan sus productos.

También trabajan con terceros y autoridades de protección de datos para mantener seguros los datos de los usuarios.

¿Se preocupan por el mundo? Google ha sido neutral en carbono desde 2007 y planea estar libre de carbono para 2030. Aparte de eso, son conocidos por numerosos gestos filantrópicos con su compromiso de mil millones de dólares.

Revisión de TrustRadius :

Cómo se ve esta herramienta de prueba MVT en acción:

4. Objetivo de Adobe

Calificación G2: 4.0/5.0 (29 Reseñas)

Precios : solo disponible después de un formulario de 11 partes, un correo electrónico y una llamada. La tarifa inicial es de $ 10,000 por mes.

¿Ofrecen un plan gratuito o una prueba? No.

Coste por cada 100.000 visitantes: N/A

ventajas

• La interfaz es fácil de usar.
• Proporciona informes de datos precisos en tiempo real
• Se integra bien con Adobe Analytics y está diseñado como una oferta de venta adicional
• Herramientas de personalización de sitios web tanto para principiantes como para expertos.
• Lo guía a través del proceso de configuración y prueba
• Tiene IA avanzada para probar y mejorar continuamente las campañas y la personalización

Contras

• La optimización a gran escala puede ser lenta
• Requiere un volumen de tráfico muy alto para funcionar mejor
• El editor basado en formularios requiere una curva de aprendizaje
• punto de precio alto
• Sin opción de prueba
• Funciona mejor cuando ya se usa Adobe Analytics
• Puede obtener información valiosa cuando se conecta a otras herramientas pagas de Adobe Marketing Cloud

Características de las Pruebas Multivariadas: Factorial Completo y Taguchi (como método de factorial parcial).

¿Lado del cliente, lado del servidor o ambos? Ambas cosas.

¿Sirven Enterprise? Sí. Casi exclusivamente por el costo.

¿Ofrecen atención al cliente? Sí, en forma de base de conocimientos y programas de formación en vídeo.

¿Les importa la privacidad? Sí, pero, irónicamente, requieren su correo electrónico y número de teléfono para obtener más información al respecto. Sin embargo, están trabajando mucho en datos propios para un seguimiento no intrusivo.

¿Se preocupan por el mundo? Mucho. Defienden la diversidad, trabajan para lograr edificios con energía 100% renovable, reducen las emisiones, ejecutan programas de acción comunitaria y mucho más.

Revisión de TrustRadius :

Cómo se ve esta herramienta de prueba multivariante en acción:

5. Camaleón

Calificación G2: 4.7/5.0 (24 Reseñas)

Precios : personalizados según sus necesidades. Obtienes tu precio único poniéndote en contacto con el equipo de ventas.

¿Ofrecen un plan gratuito? Sí.

Coste por cada 100.000 visitantes: N/A

ventajas

• Seguimiento de clics fácil de configurar
• Integración fluida con muchas otras herramientas
• Tiene un editor WYSIWYG fácil de usar para no desarrolladores
• Tecnología avanzada antiparpadeo
• Equipo de soporte experto y útil
• Planificación y ejecución precisa y detallada de las pruebas.

Contras

• El editor WYSIWYG se carga lentamente
• El panel de informes podría usar un poco más de personalización
• Necesita habilidad a nivel de desarrollador para implementar algunos escenarios complejos
• No se pueden archivar pruebas
• Los navegadores antiguos como IE7 están excluidos de las pruebas.

Funciones de prueba multivariante: factorial completo y factorial fraccional (a través de asignaciones en la configuración de la prueba).

¿Lado del cliente, lado del servidor o ambos? Ambas cosas. Puede realizar ediciones en el editor WYSIWYG, así como utilizar el editor de código integrado de Kameleoon para editar CSS y JS.

¿Sirven Enterprise? Sí. Lexus, Unity, Providence, Toyota y Rakuten usan Kameleoon.

¿Ofrecen atención al cliente? Sí. Incluso puede obtener un administrador de cuenta dedicado para que lo ayude con proyectos complicados.

¿Les importa la privacidad? Son compatibles con HIPAA, GDPR y CCPA. También tienen una función de gestión de consentimiento flexible para adaptar su política de privacidad para cada prueba A/B.

¿Se preocupan por el mundo? No pude encontrar evidencia de ninguna organización benéfica que patrocinen o causas ambientales que apoyen. Aunque es interesante saber que tienen dos camaleones vivos en sus oficinas de Alemania y Francia.

Revisión de TrustRadius :

Cómo se ve esta herramienta de prueba MVT en acción:

6. Optimizado

Calificación G2: 4.3/5.0 (109 Reseñas)

Precios : utilizan un modelo de precios personalizado. Pero Splitbase predice que cuestan al menos 36.000 dólares al año.

¿Ofrecen un plan gratuito? No. Detuvieron el plan gratuito en 2018.

Coste por cada 100.000 visitantes : N/A

Ventajas:

• Ejecuta experimentos ilimitados
• Interfaz de usuario limpia y fácil de usar
• La función de widget es divertida de usar
• Amplia gama de opciones avanzadas de segmentación disponibles
• Atención al cliente confiable

Contras:

• No proporciona información automática sobre el rendimiento de la audiencia (especialmente para un experimento activo)
• La integración de Google Analytics es compleja, requiere codificación
• El fragmento de Optimizely generalmente aumenta el tiempo de carga de la página

Funciones de prueba multivariante: Factorial completo, parcial y Taguchi.

¿Lado del cliente, lado del servidor o ambos? Ambas cosas. Optimizely ofrece experimentación del lado del cliente a través de un fragmento de Javascript y experimentación del lado del servidor a través de SDK para desarrolladores.

¿Frecuentista o bayesiano? El motor de estadísticas de Optimizely utiliza la experimentación secuencial, no los experimentos de horizonte fijo que vería en otras plataformas.

¿Es compatible con Full Stack? Sí.

Core Web Vitals ¿Listo? Sí, esta herramienta carga rápido.

¿Tiene ML o IA? Sí.

¿Sirven Enterprise? Debido al precio, atiende principalmente a un nivel empresarial. Marcas como Microsoft, IBM, HP, eBay, Yamaha, Pizza Hut y Atlassian lo utilizan.

¿Ofrecen atención al cliente? Sí. Tienen un banco de recursos para ayudar a los usuarios a despegarse y números de teléfono para pedir ayuda las 24 horas del día, los 7 días de la semana.

¿Les importa la privacidad? Toman en consideración las leyes de privacidad antiguas y nuevas y las integran en sus productos para que usted, el usuario, no tenga que preocuparse por el cumplimiento.

¿Se preocupan por el mundo? La mayoría de los nuevos empleados son enviados como voluntarios en la comunidad en su segundo día.

Revisión de TrustRadius :

Cómo se ve esta herramienta de prueba multivariante en acción:

7. Especificación del sitio

Calificación G2: 4.4/5.0 (50 Reseñas)

Precios : deberá ponerse en contacto con SiteSpect para obtener un precio personalizado de acuerdo con sus necesidades.

¿Ofrecen un plan gratuito? Sí, ofrecen una prueba gratuita.

Coste por cada 100.000 visitantes: N/A

Ventajas:

• Admite todos los lenguajes de marcado (HTML, WML, XML y JSON), hojas de estilo y lenguajes de secuencias de comandos
• Sin etiqueta javascript significa que no hay actualización de contenido o parpadeo
• Suficientemente versátil para probar casi cualquier escenario
• Pruebas no intrusivas
• Se integra con herramientas de análisis
• No es necesario modificar la versión de producción de su código.

Contras:

• Conocimientos técnicos necesarios para implementar las pruebas.
• Agrega un salto adicional que podría ralentizar un poco su sitio
• La interfaz de informes podría ser mejor

Funciones de pruebas multivariadas: factorial completo y factorial de fracciones (la herramienta recomienda cambiar a fraccionario si se prueban más de 128 combinaciones).

¿Lado del cliente, lado del servidor o ambos? Ambas cosas.

¿Frecuentista o bayesiano? SiteSpect utiliza una prueba t de dos colas cuando compara las variaciones con los controles para determinar el punto en el que los intervalos de confianza no se superponen y, por lo tanto, indican la importancia. SiteSpect también calcula la puntuación z y la utiliza en los informes.

¿Es compatible con Full Stack? Sí.

Core Web Vitals ¿Listo? Sí. Esta herramienta es increíblemente rápida.

¿Tiene ML o IA? Sí.

¿Sirven Enterprise? Sí. Staples, PetSmart, AmericanGirl y Urban Outfitters utilizan SiteSpect.

¿Ofrecen atención al cliente? La atención al cliente está disponible a través de llamadas telefónicas y correo electrónico para versiones gratuitas y de pago. También hay seminarios web pregrabados disponibles en su base de conocimientos.

¿Les importa la privacidad? Ellas hacen. Cuentan con certificación PCI DSS 3.2; Cumple con GDPR, CCPA y escudo de privacidad, y está listo para HIPAA.

¿Se preocupan por el mundo? Se sabe que SiteSpect patrocina algunos proyectos de caridad desde 2014.

Revisión de TrustRadius :

Cómo se ve esta herramienta de prueba multivariante en acción:

8. Pruebas VWO

Calificación G2: 4.2/5.0 (239 Reseñas)

Precios : desde $99/mes. Cualquier cosa más requiere un precio personalizado de acuerdo a sus necesidades. Y tendrá que ponerse en contacto con el equipo de ventas de VWO para obtener el suyo.

¿Ofrecen un plan gratuito? Sí, puede comenzar con una prueba gratuita de 30 días.

Costo por 100,000 visitantes: ~$500

Ventajas:

• Opciones de personalización flexibles para adaptar su prueba a muchos escenarios
• Fácil de planificar y ejecutar pruebas con poco conocimiento de codificación
• Equipo de soporte dedicado para guiarlo a través de cualquier desafío
• Tiene la capacidad de realizar un seguimiento de los objetivos a largo plazo.
• Posibilidad de agrupar pruebas
• Grabaciones útiles para observar a los usuarios y solucionar problemas

Contras:

• Hay una curva de aprendizaje para comprender la funcionalidad completa de VWO
• Los planes de precios cambian con frecuencia
• Solo prueban el lado del cliente

Funciones de prueba multivariante: factorial completo (aunque puede configurar porcentajes de tráfico por variación de página).

¿Lado del cliente, lado del servidor o ambos? Solo del lado del cliente.

¿Sirven Enterprise? Sí. Sus clientes empresariales incluyen Ubisoft, AMD, Penn Foster, Optimeria e IMB Bank.

¿Ofrecen atención al cliente? Sí, puede llamarlos cuando necesite ayuda. O consulte su página de recursos.

¿Les importa la privacidad? Sí. Cumplen con las principales leyes y regulaciones de privacidad, pero almacenan algunos datos de los visitantes en sus servidores.

¿Se preocupan por el mundo? Recientemente, el presidente de Wingify (la marca detrás de VWO), Paras Chopra, tuiteó su apoyo a un par de iniciativas de alivio de COVID, incluida la creación de un centro de atención de COVID de 10 camas en Delhi.

Revisión de TrustRadius :

Cómo se ve esta herramienta de prueba MVT en acción:

9: Optimización de tendencias web

Calificación G2: 4.9/5.0 (107 Reseñas)

Precio : comienza en $ 212 por mes, pero puede ser más bajo o más alto según lo que necesite. Tienen una estructura de precios muy flexible, pero debe hablar con los equipos de ventas para confirmar su precio.

¿Ofrecen un plan gratuito? Sí, por menos de 1.500 sesiones al mes.

Coste por cada 100.000 visitantes: N/A

Ventajas:

• Fácil de usar, adecuado para usuarios no técnicos con un editor WYSIWYG
• Apoya la colaboración en equipo
• Brinda información basada en datos
• El equipo de soporte muestra un interés genuino en su éxito.
• Integración fluida con su sitio web y las herramientas existentes
• Informes claros y directos

Contras:

• La interfaz de usuario puede ser difícil de usar para los nuevos usuarios
• Toma tiempo configurar incluso pruebas simples
• El costo del servicio completo es alto.

Características de las pruebas multivariadas: factorial completo y factorial fraccionado.

¿Lado del cliente, lado del servidor o ambos? Ambas cosas. Tienen un editor visual sin proxy para renderizado del lado del cliente y capacidades de prueba del lado del servidor también.

¿Sirven Enterprise? Microsoft, London North Eastern Railway, Marks and Spencer y Virgin Wines utilizan Optimize.

¿Ofrecen atención al cliente? Sí. Obtiene acceso a soporte técnico, capacitación y su propio consultor de optimización de conversión dedicado.

¿Les importa la privacidad? Son totalmente compatibles con GDPR.

¿Se preocupan por el mundo? En abril de 2021, Webtrends Optimize se desafió a sí mismo a 100 flexiones de brazos al día en un evento de GoFundMe para recaudar fondos para Cancer Research UK. E hicieron algo similar en 2020 llamado Xmas Charity Donations. Entonces, les importa.

Revisión del radio de confianza :

Aunque hay revisiones en Trust Radius para esta herramienta, la última fue en diciembre de 2019 y antes de eso en 2018. Debido a que una herramienta puede cambiar y también el servicio, extraje su última revisión de G2.

Cómo se ve esta herramienta de prueba multivariante en acción:

Conclusión

Así que ahí lo tienes.

Nuestra lista de las mejores herramientas de prueba A/B que ofrecen pruebas multivariadas en 2021. También mostramos qué método usan para probar, sus características, precios y reseñas.

Ahora puede comparar las mejores herramientas multivariantes a través de estos diferentes parámetros y elegir la que funcione mejor para sus necesidades de prueba.