Cómo reducir la contaminación del tamaño de la muestra para obtener resultados precisos de las pruebas A/B

Pasaste horas elaborando estrategias para tu prueba.

Su equipo crea una hipótesis.

Ejecuta la prueba y espera los resultados.

Pero encuentras que tu prueba falló. Los resultados han sido contaminados. ¿Pero cómo?

No te castigues. Hay un pequeño y sucio secreto en el mundo de las pruebas llamado contaminación del tamaño de la muestra .

La contaminación de su audiencia de muestra puede, sin saberlo, hacer que las pruebas estén condenadas al fracaso incluso antes de que comiencen.

Hay una larga lista de posibles razones por las que fallan las pruebas, pero una de las más frustrantes es la contaminación del tamaño de la muestra.

Este artículo te ayudará a entender:

• Por qué se produce la contaminación del tamaño de la muestra.
• Cómo saber si tu prueba está contaminada.
• Pasos a seguir para minimizar la contaminación del tamaño de la muestra.

Echemos un vistazo…

Tamaño de muestra 101

Definición de tamaño de muestra

Puede usar herramientas como la calculadora de duración de prueba A/B de Convert, que ofrece una calculadora de tamaño de muestra o una calculadora de tamaño de muestra CXL.

La mayoría de las calculadoras en línea son fáciles de usar. Con la calculadora de Convert, solo necesita ingresar tres valores:

• Tasa de conversión existente
• Mejora esperada
• Nivel de confianza

Ejemplo:

Si la tasa de conversión existente es del 3 % y la mejora esperada es del 20 % al probar dos variaciones con un nivel de confianza del 95 %, necesitaría un tamaño de muestra de 42 034 para obtener resultados confiables. Con 2000 visitantes diarios a este grupo de prueba, tomaría 22 días según nuestra calculadora de duración.

Determine quién estará en su muestra

La forma más fácil de responder a esta pregunta de "¿QUIÉN?" o el segmento, es revisando los datos demográficos y las fuentes de los visitantes actuales de su sitio web. Aproveche los datos existentes para obtener pistas. ¿Quiénes son? ¿De dónde están viniendo?

Herramientas como Convert Experiments realmente le permiten probar usando un segmento específico de los visitantes de su sitio web y crear audiencias personalizadas.

Varios factores pueden ayudarlo a encubrir el 'quién':

• Tipo de tráfico
  ¿Recibes tráfico estacional? ¿Espera una afluencia de visitantes en función de las próximas vacaciones? ¿Tus cifras de tráfico fluctúan según el día de la semana?
  
• Fuente de trafico
  ¿De dónde viene tu tráfico? Las personas se comportan de manera diferente según la fuente desde la que ingresan a su sitio. Por ejemplo, es posible que un visitante de LinkedIn no interactúe con su sitio de la misma manera que alguien que viene de Facebook.
  
  Examine Google Analytics para obtener una descripción general de la participación de los visitantes según la fuente.

• Nuevo contra viejo
  Las estadísticas muestran que los visitantes que regresan permanecen en su sitio más tiempo que los visitantes nuevos. Piense en cómo afectará esto a su prueba.

El objetivo de esta etapa de consideración es ayudarlo a crear muestras representativas .

La Encyclopedia of Survey Research Methods define muestras representativas como:

Una muestra representativa es aquella que tiene una fuerte validez externa en relación con la población objetivo que la muestra pretende representar. Como tal, los resultados de la encuesta se pueden generalizar con confianza a la población de interés.

Para asegurarse de tener una muestra representativa, Convert sugiere realizar una prueba durante al menos un ciclo comercial. Esto garantiza que su prueba tenga tiempo para tener en cuenta la variación de visitantes que puede ocurrir dentro de un ciclo.

¿Qué es la contaminación del tamaño de la muestra?

Ahora que comprende cuál es el tamaño de la muestra, puede explorar los factores que pueden corromper el tamaño de su muestra y arruinar su prueba. Así es como el tamaño de la muestra afecta la validez. Los factores del tamaño de la muestra que afectan negativamente los resultados de las pruebas se conocen como contaminación del tamaño de la muestra.

Invespcro define la contaminación de la muestra como:

“…factores que invalidan los datos de la prueba A/B al influir en las muestras o los datos utilizados al realizar la prueba”.

Este problema es más común. Mira esta denuncia:

Muestra sesgada

En la mayoría de los casos, desea un muestreo aleatorio, lo que significa que cada visitante de su sitio web tiene la misma posibilidad de ver una variación particular antes de que se clasifiquen. Una vez colocado en un cubo, el usuario verá la misma variante durante la prueba.

Sin embargo, si usa una herramienta de prueba A/B que no realiza bien la aleatorización, la aleatorización no está garantizada y puede invalidar la prueba.

Una forma sencilla de combatir el muestreo sesgado es utilizar una buena herramienta de prueba A/B como Convert, que realiza correctamente la aleatorización y la segmentación. Comience su prueba con una prueba A/A para verificar si la aleatorización funciona correctamente.

Desea ser consciente del potencial de sesgo de la muestra cuando considere los detalles de su prueba.

Fuentes que causan la contaminación del tamaño de la muestra

Hay cuatro tipos comunes de contaminación de muestras: tiempo, dispositivo, navegador y cookie.

Veamos cada uno de ellos…

Momento

La duración de su prueba influye en la validez de sus resultados. Por lo tanto, no es de extrañar que "cuánto tiempo debo ejecutar mi prueba A/B" sea una pregunta común.

Los profesionales de CRO tienen ideas contradictorias sobre lo que es un punto de referencia aceptable. En realidad, sus variables de prueba deberían impulsar la duración adecuada de su prueba.

Una solución sencilla puede parecer simplemente permitir que su prueba se ejecute y ejecute y ejecute. Pero esto también puede causar problemas. El tiempo adicional significa un aumento en la contaminación potencial de factores externos.

Quieres encontrar el punto dulce.

Otro error común con respecto a la duración de la prueba es detener una prueba demasiado pronto. Es posible que esto no provoque una contaminación del tamaño de la muestra, pero puede afectar negativamente a su prueba.

Lo mismo es cierto si detiene la prueba cuando alcanza la significación estadística. Para una prueba válida, también debe alcanzar el tamaño de muestra calculado para su MDE (Efecto mínimo detectable) deseado.

Del mismo modo, nunca detenga una variante de una prueba en ejecución. Esto provocará una contaminación catastrófica . No podría comparar la variante "detenida" con el control "en ejecución en todo momento". No tendría forma de comparar "manzanas con manzanas". Nunca detenga y luego reinicie una variante en una prueba.

No interrumpa sus pruebas hasta que los datos sean consistentes para la cantidad del tamaño de la muestra.

Contaminación por cookies

Las cookies pueden causar la forma más insidiosa de contaminación del tamaño de la muestra.

Según la definición de Techopedia, las cookies son:

Una cookie es un archivo de texto que un navegador web almacena en la máquina de un usuario. Las cookies son una forma en que las aplicaciones web mantienen el estado de la aplicación. Los sitios web los utilizan para la autenticación, el almacenamiento de información/preferencias del sitio web, otra información de navegación y cualquier otra cosa que pueda ayudar al navegador web mientras accede a los servidores web. Las cookies HTTP se conocen con muchos nombres diferentes, incluidas las cookies del navegador, las cookies web o las cookies HTTP.

Como comerciantes, las cookies le permiten rastrear el comportamiento de sus visitantes en su sitio.

La vida útil de las cookies es volátil. Los visitantes pueden eliminarlos a su menor antojo.

Cuanto más se ejecute la prueba, más vulnerable será a que se eliminen las cookies, lo que de nuevo conduce a otra forma de contaminación del tamaño de la muestra. Para mitigar este fenómeno, Convert aconseja a los clientes que realicen pruebas durante no más de 90 días.

Contaminación del dispositivo

Los visitantes visitan su sitio desde múltiples dispositivos: dispositivos móviles, computadoras portátiles, tabletas, computadoras de escritorio e incluso relojes inteligentes.

Solo piensa en tu comportamiento de navegación. Es posible que vea algo en su dispositivo móvil mientras está en los gimnasios. Más tarde en el día, puede volver a visitar el sitio web en su computadora de escritorio.

Si esto sucede en los límites de su prueba A/B, puede parecer que dos personas diferentes visitaron su sitio cuando en realidad es la misma persona navegando desde dos dispositivos diferentes.

Aún más peligroso para sus esfuerzos de prueba es que esta misma persona puede ver una variante diferente en cada dispositivo.

Hay un ejemplo inverso de esto. ¿Qué sucede cuando dos personas usan el mismo dispositivo para visitar su sitio web?

Imagina que dos hermanos viven en la misma casa. Comparten una computadora de escritorio. Ambos se están preparando para las vacaciones y necesitan pedir camisetas y calzado nuevos. Si se está ejecutando una prueba A/B en el sitio de comercio electrónico en el momento de su visita, los datos mostrarían a estas dos personas como un solo usuario, nuevamente, corrompiendo el tamaño de la muestra.

Contaminación del navegador

Cuando la persona promedio se conecta a Internet, no considera la ramificación que tendrá el uso de diferentes navegadores para visitar el mismo sitio web en una prueba A/B. Pero ir al mismo sitio web de un navegador a otro, como Safari y luego Chrome, puede conducir a una contaminación de tamaño de muestra similar a la que ocurre con múltiples dispositivos.

Sin embargo, esta forma específica de contaminación es rara, ya que la mayoría de las personas se limitan a usar un navegador preferido por dispositivo.

Nuevos peligros

Los navegadores, el tipo de dispositivo, las cookies y la duración de las pruebas son los contaminantes de tamaño de muestra más comunes, pero parece que un nuevo contaminante está entrando en la conversación. Los profesionales de la industria se quejan de que los bots crean contaminación en el tamaño de la muestra.

Afortunadamente, en Convert, contamos con sólidas medidas de mitigación de bots integradas en nuestra herramienta, por lo que no será un problema.

Consejos sobre cómo reducir la contaminación del tamaño de la muestra

Debido a que la contaminación del tamaño de la muestra es un problema importante, muchas empresas han ideado soluciones creativas, como colocar a los usuarios en diferentes cubos según la ubicación.

Pero tales tácticas pueden despojar a las pruebas de la "aleatoriedad del usuario" y pueden reducir su confianza en que los resultados de la prueba son válidos.

A continuación hay algunas cosas que puede hacer para reducir las posibilidades de contaminación de la muestra:

• Ejecute la prueba para dispositivos separados.
• Ejecute la prueba para navegadores separados.
• Identificar patrones. ¿Cómo han sido sus datos en el pasado? Debería ser similar durante las pruebas: consistencia de los datos.

Aquí hay algunas cosas más a considerar...

Comprender la varianza

La varianza y la desviación estándar van de la mano con la consistencia. Esencialmente, le dirán qué tan lejos del promedio están sus números. Una varianza baja significa que sus datos son consistentes con el promedio, lo que lo pone en un menor riesgo de contaminación.

Puede hacer los cálculos a mano usted mismo o simplemente usar una calculadora de desviación estándar simple.

Tenga en cuenta los posibles problemas de muestreo

Existen problemas inherentes a las pruebas A/B, incluida la posibilidad de contaminación del tamaño de la muestra.

El conocimiento de los posibles problemas de tamaño de la muestra le permite tomar mejores decisiones a medida que elige sus objetivos de prueba, crea tratamientos y ejecuta experimentos.

Ahora puede vencer la contaminación de las muestras

Las buenas prácticas de prueba significan que comienza sus proyectos con una comprensión completa de lo que puede salir mal.

La contaminación del tamaño de la muestra es un subproducto negativo que se experimenta cuando realiza pruebas A/B. Su trabajo es reducir estos efectos negativos tanto como pueda para que pueda tener una prueba exitosa.

Recuerde, la mitigación ocurre antes de que comience su prueba.

Use una herramienta robusta como Convert que le brinda la capacidad de segmentar pruebas, combatir bots molestos, usar buenas técnicas de aleatorización, todo dentro de una plataforma simple que admite pruebas complejas.

Su estrategia de experimentación y el poder de su software marcarán la diferencia en qué tan bien minimiza la contaminación del tamaño de la muestra.

Ahora que conoce este posible punto ciego en sus pruebas, no puede sorprenderlo.