¿Qué son las pruebas A/A y por qué debería importarles a los especialistas en marketing?

¿Has pasado por este escenario? Configura una prueba A/B para descubrir si su nueva combinación de botón y título generará más conversiones...

Dirige el mismo tráfico a sus páginas de destino posteriores al clic (el control y la variación) y se detiene después de un mes, cuando su software declara que su variación es la ganadora con un 99 % de confianza...

Implementa el nuevo diseño "ganador", pero varios ciclos comerciales más tarde, ese aumento del 50% en la tasa de conversión no muestra ningún impacto en su resultado final. Estas confundido. estas molesto…

Y probablemente sea víctima de un resultado de prueba falso positivo.

¿Qué es un resultado de prueba falso positivo?

¿Por qué ese aumento de la tasa de conversión del 50 % no se traduce en más ventas? La razón, dice Lance Jones de Copyhackers, es porque probablemente no existió.

Es completamente posible (incluso probable) que no vea el aumento en las ventas o los ingresos de su prueba porque nunca estuvo allí en primer lugar. Es posible que, sin saberlo, haya recibido un "falso positivo" en su prueba, conocido como error estadístico Tipo I, también conocido como rechazo incorrecto de una hipótesis nula verdadera. Eso es un bocado, así que simplemente lo recuerdo como un falso positivo.

Bocado o no, estos errores estadísticos Tipo 1 son más comunes de lo que piensas. Se estima que alrededor del 80% de los resultados de las pruebas AB son imaginarios.

Si está tomando decisiones clave basadas en falsos positivos, en el mejor de los casos, está dejando la optimización al azar. En el peor de los casos, en realidad está empeorando la tasa de conversión de sus páginas de destino posteriores al clic.

Afortunadamente, existen algunas formas de combatir los datos nocivos. Uno de ellos es similar a un método de prueba con el que probablemente ya esté familiarizado...

¿Qué son las pruebas A/A?

Las pruebas A/B implican dirigir el tráfico a dos páginas diferentes, una original (su control) y otra versión (su variación), para ver cuál funciona mejor.

Del mismo modo, las pruebas A/A implican dirigir el tráfico a dos páginas para ver cuál funciona mejor. Pero a diferencia de una prueba A/B, una prueba A/A enfrenta dos páginas idénticas entre sí, y en lugar de descubrir un aumento, su objetivo es no encontrar ninguna diferencia entre su control y variación.

¿Por qué harías una prueba A/A?

No lo culpamos por rascarse la cabeza y preguntarse "¿Qué diablos se lograría probando dos páginas idénticas entre sí?"

Puede sonar tonto, pero es una técnica que utilizan algunos probadores profesionales para probar su prueba A/B antes de probar. (¿Eh?)

Los resultados precisos de las pruebas requieren más que una significación estadística

Cualquiera puede ejecutar una prueba A/B, pero pocos pueden ejecutar una prueba A/B válida (recuerde: solo alrededor del 20% de los resultados de las pruebas son realmente legítimos).

Producir datos de prueba precisos implica más que alcanzar la significación estadística con un tamaño de muestra grande y representativo. Para estar seguro de sus resultados, debe asegurarse de que la muestra no esté contaminada por una serie de amenazas de validez.

Una de esas amenazas, el efecto del instrumento, es lo que las pruebas A/A son más útiles para combatir.

¿Qué es el efecto del instrumento?

La protección contra las amenazas de validez comienza incluso antes de comenzar las pruebas A/B. El efecto del instrumento, dice Peep Laja de CXL, es lo que envenena la mayoría de los resultados de las pruebas:

Este es el problema más común. Es cuando algo sucede con las herramientas (o instrumentos) de prueba que causan datos defectuosos en la prueba. A menudo se debe a una implementación de código incorrecta en el sitio web y sesgará todos los resultados.

Por eso, al configurar una prueba, es importante asegurarse de que sus herramientas estén configuradas correctamente y funcionen como deberían. Si no lo son, pueden surgir estos problemas comunes:

• Informes erróneos de los indicadores clave de desempeño. Solo un error en una herramienta puede mezclar sus datos, por lo que nunca debe confiar en una plataforma única para rastrear toda la información de su prueba. Como mínimo, integre con Google Analytics para verificar que las métricas que ve en su software de prueba y el seguimiento del sitio web sean precisas. Para obtener resultados aún mejores, verifique tres veces con otra herramienta. Sospeche de cualquier informe que no coincida relativamente.
• problemas de visualización de la página de destino posterior al clic. Pequeños errores de codificación pueden causar grandes amenazas de validez, como problemas de visualización, durante su prueba A/B. Por eso es crucial asegurarse de que sus páginas de destino posteriores al clic tengan el aspecto que se supone que deben tener en todos los dispositivos y navegadores, y que sus visitantes no se vean afectados por algo llamado "efecto de parpadeo". Entre otros, un sitio web lento puede causar este problema, que ocurre cuando su control se muestra momentáneamente a su visitante justo antes de la variación.
• Detener una prueba demasiado pronto. Algunos software de prueba declararán una página ganadora prematuramente, cuando el tamaño de una muestra no es lo suficientemente grande o representativo de su cliente objetivo. Recuerde: Alcanzar la significación estadística no significa que sea el momento de detener su prueba. Cuanto más lo ejecute, más precisos serán sus resultados.

Cualquiera de estos problemas (y más) puede dar lugar a un falso positivo al finalizar la prueba, por lo que Peep advierte a los evaluadores que estén atentos:

Cuando configure una prueba, obsérvela como un halcón. Observe que se registran todos los objetivos y métricas que rastrea. Si alguna métrica no envía datos (p. ej., datos de clics de agregar al carrito), detenga la prueba, encuentre y solucione el problema, y ​​comience de nuevo restableciendo los datos.

Pero no todos se sienten cómodos saltando de inmediato a las pruebas A/B con ambos pies, especialmente cuando se usa un nuevo software. Entonces, como precaución adicional, algunos profesionales realizan pruebas A/A para evaluar sus herramientas antes de comenzar las pruebas A/B.

Si su experimento está configurado correctamente, al final de una prueba A/A, ambas páginas deberían aparecer con una tasa de conversión similar. Sin embargo, como muestran los siguientes evaluadores, eso no siempre sucede.

Ejemplos de pruebas A/A

¿Los falsos positivos son realmente tan comunes? ¿Puede una página realmente superar a su clon? Estos muchachos utilizaron pruebas A/A para averiguarlo y revelaron sus hallazgos en las siguientes publicaciones de blog...

1. La prueba dividida de la página de inicio revela una deficiencia importante de las herramientas de prueba populares

El 11 de noviembre de 2012, el equipo de Copyhackers comenzó una prueba dividida A/A en su página de inicio, que se muestra a continuación:

El día 18, 6 días después, su herramienta de prueba se declaró ganadora con un 95 % de confianza. Sin embargo, en aras de la precisión, el equipo decidió dejar que la prueba se ejecutara un día más, momento en el que su software declaró ganador con un nivel de confianza del 99,6 %:

Su página de inicio funcionaba casi un 24 % mejor que la misma página , y solo había un 0,4 % de posibilidades de que el resultado fuera un falso positivo, según el software. Aún así, el equipo dejó que la prueba se realizara durante unos tres días más y las diferencias finalmente se equilibraron:

Pero ese no es el punto. El punto es: la herramienta de prueba se declaró ganadora demasiado pronto. Si el equipo de Copyhackers no lo hubiera mantenido funcionando, habría asumido incorrectamente que había un problema con su experimento. Lea más sobre la prueba aquí.

2. Pruebas A/A: cómo aumenté las conversiones en un 300 % sin hacer absolutamente nada

Este título sarcástico proviene del autor y autoproclamado "emprendedor en recuperación", David Kadavy, quien realizó una serie de pruebas A/A durante 8 meses en 750,000 suscriptores de correo electrónico. Durante ese tiempo, generó resultados estadísticamente significativos, como estos:

Entre esos resultados estaban:

• Un aumento del 9% en las aperturas de correo electrónico
• Un aumento del 300 % en los clics
• Una tasa de cancelación de suscripción un 51 % más baja

Él dice:

Para muchos emprendedores (incluido mi antiguo yo), esto parece "oh, ¡aumentó las aperturas en un 10%!" Incluso pueden introducirlo en la calculadora de importancia de Visual Website Optimizer y ver que p=.048. "¡Es estadísticamente significativo!" ellos (o yo) podríamos exclamar.

Sin embargo, la verdad es que todas estas fueron pruebas A/A. El contenido probado entre sí fue idéntico. Vea más de sus resultados aquí.

¿Deberías ejecutar pruebas A/A?

La respuesta a esta pregunta depende de a quién le preguntes.

Neil Patel, que seguía viendo grandes aumentos de conversión que no se traducían en más ingresos, dice: "Es muy importante que primero ejecute una prueba A/A, ya que esto le ayudará a asegurarse de que no pierde el tiempo con un software inexacto".

Por otro lado, Peep Laja de CXL dice que las pruebas A/A en sí mismas son una pérdida de tiempo. Entonces, ¿quién tiene razón?

Los dos problemas principales con las pruebas A/A

Desde un punto de vista teórico, las pruebas A/A tienen mucho sentido. Sobre todo, la precisión es lo más importante cuando se ejecuta una prueba A/B, y probar su prueba es solo una de las muchas formas de garantizarla.

Sin embargo, en entornos de prueba del mundo real, las pruebas A/A tienen el potencial de hacer más daño que bien. Craig Sullivan explica:

Para mí, el problema siempre es consumir tráfico real y tiempo de prueba, al tener que precargar el tiempo de ejecución de la prueba con un período de prueba A/A. Si estoy tratando de ejecutar 40 pruebas al mes, esto paralizará mi capacidad de hacer que las cosas funcionen. Prefiero tener medio día de pruebas de control de calidad en el experimento que ejecutar de 2 a 4 semanas de pruebas A/A para comprobar que se alinea.

Ese es el problema uno. Las pruebas A/A cuestan tiempo real y tráfico que podría estar utilizando para obtener más información sobre los visitantes de su sitio web con pruebas A/B.

El problema dos se ejemplifica en el estudio de caso de Copyhackers. Al igual que las pruebas A/B, las pruebas A/A deben diseñarse y monitorearse cuidadosamente, porque también son susceptibles a falsos positivos.

En otras palabras, su prueba A/A podría decirle que una página está funcionando mejor que la otra, cuando no es así (esa probabilidad es mucho mayor de lo que piensa, alrededor del 50 %).

Si el equipo de Copyhackers hubiera escuchado su herramienta de prueba y declarado ganador solo seis días después, habrían pasado aún más tiempo tratando de averiguar por qué su página de inicio funcionaba mejor que su gemela idéntica (cuando en realidad no lo era). .

El principal beneficio de las pruebas A/A

A pesar de estos problemas, las pruebas A/A tienen el potencial de ayudarlo a detectar problemas aún mayores durante las pruebas reales . Cuando los resultados de esas pruebas son en los que se basan las decisiones comerciales importantes, es un gran beneficio a considerar.

Si decide realizar una prueba A/A, existe una forma potencialmente menos derrochadora de hacerlo, llamada prueba A/A/B.

Pruebas A/A/B frente a pruebas A/A

El método tradicional de pruebas A/A desperdicia tráfico porque no le dice nada sobre sus visitantes al final. Pero, si agrega una variación "B" a esa prueba, podría. Aquí está la diferencia entre los dos:

• Prueba A/A = 2 páginas idénticas probadas entre sí
• Prueba A/A/B = 2 páginas idénticas y una variación probada entre sí

Una prueba A/A/B divide su tráfico en tres segmentos, lo que significa que llevará más tiempo alcanzar la significación estadística. Pero la ventaja es que, una vez que lo haga, tendrá datos sobre su herramienta de prueba y sus visitantes.

Compare los resultados de A contra A para determinar si puede confiar en su prueba. Si son estadísticamente similares, compare los resultados de A con B. Sin embargo, si no lo son, tendrá que descartar los resultados de toda la prueba (que tomó más tiempo que una prueba A/A tradicional para ejecutarse). ya que su tráfico está segmentado de tres maneras).

¿Los beneficios de las pruebas A/A superan los inconvenientes?

Algunos expertos dicen "sí", mientras que otros dicen "no". Andrew First de Leadplum parece pensar que la respuesta se encuentra en algún lugar entre:

Las pruebas A/A probablemente no deberían ser un asunto mensual, pero cuando está configurando una nueva herramienta, vale la pena tomarse el tiempo para probar sus datos. Si intercepta datos incorrectos ahora, tendrá más confianza en los resultados de sus pruebas meses después.

En última instancia, depende de usted. Si está utilizando una nueva herramienta, puede ser conveniente seguir el consejo de Andrew. Sin embargo, si no es así, probablemente sea mejor seguir el ejemplo de Craig Sullivan y, en su lugar, establecer un riguroso proceso de control de calidad previo a la prueba. Ahorre tiempo, recursos y tráfico para las pruebas A/B.

Aproveche al máximo sus esfuerzos de prueba y campañas publicitarias digitales, regístrese para una demostración de Instapage Enterprise hoy.