Estadísticas de pruebas A/B: por qué las estadísticas son importantes en la experimentación

Una guía rápida de estadísticas y pruebas A/B: los términos que debe conocer

Es casi imposible realizar un experimento de prueba A/B razonable sin controlar las estadísticas.

Si bien una plataforma como Convert Experiences puede encargarse de todas las mediciones, razonamientos y análisis estadísticos por usted, tener una comprensión básica de algunos términos estadísticos ciertamente lo ayudará.

Empecemos con lo básico.

Muestra y Población

Usar todo el tráfico de su sitio web para pruebas A/B, en teoría, le daría una idea general de su población. Sin embargo, esto puede ser un uso subóptimo de los recursos ya que la población en su totalidad es imposible de capturar. Aquí es donde las muestras son útiles. Si bien existen diferentes métodos de muestreo, el uso de un enfoque de muestreo aleatorio ayuda a garantizar que no haya sesgos inherentes en la selección de la muestra. Este enfoque está inspirado en la práctica médico-farmacéutica de los Ensayos Controlados Aleatorios.

Media, mediana y moda

En términos más simples, la media representa el promedio, la mediana representa los valores situados en el medio cuando todos los números están alineados linealmente (el ^percentil 50 en la distribución) y la moda es el valor más repetido. Estos tres términos son útiles cuando revisa las estadísticas de resumen de una prueba A/B.

Varianza y desviación estándar

Estos son conceptos muy importantes que miden la dispersión en los puntos de datos. En otras palabras, qué tan lejos están los datos de la media. La desviación estándar es la raíz cuadrada de la varianza. Esta es la razón por la cual la Desviación Estándar es un mejor juez de la dispersión ya que tiene la misma unidad de medida que la media. Por ejemplo, la estatura promedio de los hombres adultos en los EE. UU. es de 70 pulgadas con una desviación estándar de 3 pulgadas. Si usáramos Variance en este ejemplo, el valor sería 9 pulgadas cuadradas, por lo que es menos intuitivo. Piense en la desviación estándar como la desviación "habitual" de los datos.

Hipótesis nula y alternativa

A La hipótesis nula apela al statu quo. Su hipótesis nula indicaría que cualquier cambio que haya observado en los datos, por ejemplo, el ascensor, se debe a la pura aleatoriedad. Una hipótesis alternativa sería que el cambio no es aleatorio, sino que indica un efecto causal, lo que significa que sus cambios tuvieron un impacto en sus usuarios.

Por ejemplo, suponga que está tratando de desarrollar el mejor título para su página de destino. Tienes una variante de control y una variante alternativa. Realiza una prueba A/B y obtiene diferentes tasas de conversión para ambos, por lo que hay un aumento (positivo o negativo). La hipótesis nula aquí sería que la diferencia se debe a la aleatoriedad. La hipótesis alternativa afirmaría que el cambio es atribuible a una determinada variante.

Al ejecutar una prueba A/B, obtendrá uno de los siguientes cuatro resultados:

• Usted rechaza la Hipótesis Nula.
• No rechaza la hipótesis nula.
• Rechaza falsamente la Hipótesis Nula.
• Usted falla falsamente al rechazar la Hipótesis Nula.

Idealmente, los resultados a y b deberían ser los objetivos a los que apuntar, ya que esos son los escenarios de los que puede aprender algo. Así es como puede mejorar su producto y, en última instancia, aumentar sus resultados. Los resultados c y d corresponden a los errores a continuación.

Errores tipo I y tipo II

Las dos últimas opciones en los posibles resultados de su prueba A/B son errores de tipo I y tipo II, también conocidos como falsos positivos y falsos negativos.

Un error de tipo I es cuando se rechaza falsamente una hipótesis nula verdadera. Es decir, el cambio que observó se debió al azar, pero concluyó lo contrario, por lo que es un falso positivo. En la mayoría de los casos, todo lo que se requiere para disminuir los falsos positivos es aumentar el nivel de confianza requerido para alcanzar la significación estadística. Por lo general, se establece en un 95 %, pero para experimentos de misión crítica, es posible que desee configurarlo en un 99 % de confianza, lo que reducirá las posibilidades de cometer dicho error a solo el 1 %.

Los errores de tipo II son exactamente lo contrario. Aquí, fallas al rechazar una Hipótesis Nula falsa. Esto significa que hubo un impacto real, positivo o negativo, en la tasa de conversión, pero no pareció ser significativo desde el punto de vista estadístico y usted declaró falsamente que se debió al azar. La mayoría de las veces, esto se debe a la falta de poder estadístico.

En el lenguaje del poder estadístico, la letra griega α representa los errores de tipo I y β representa los errores de tipo II. Es fácil confundirse entre poder estadístico y significación estadística.

Esta tabla lo deja claro:

Confianza estadística

Cuantos más visitantes reciba su prueba, más aumentará su confianza estadística, hasta que alcance el 99 % si la deja funcionar el tiempo suficiente. Pero, por lo general, a menos que sea una misión crítica, un nivel de confianza del 95 % se considera lo suficientemente bueno para la mayoría de las pruebas A/B (garantiza que la probabilidad de obtener un falso positivo, es decir, un error de tipo I, es del 5 % como máximo).

Poder estatico

El poder estadístico se refiere a la probabilidad de detectar un efecto cuando lo hay.

El poder estadístico y la confianza estadística son conceptos relacionados que trabajan juntos para medir la evolución de una prueba A/B. Idealmente, ambos deben pasar los valores de umbral antes de finalizar la prueba (más sobre esto a continuación).

Intervalo de confianza y margen de error

En general, el resultado de su experimento de prueba A/B sería algo así como "La tasa de conversión es 3% +/- 1%". En esta declaración, el '1%' representa su margen de error. En resumen, esta es la desviación en los resultados de conversión que es razonable para mantener aceptables los resultados de la prueba. Cuanto menor sea el margen de error, más confiables serán los resultados de su prueba. A medida que aumente el tamaño de su muestra, notará que el margen de error disminuye.

Si ejecuta pruebas A/B con Convert Experiences, obtiene acceso al Informe de experiencia que detalla la variación, la tasa de conversión, la mejora, la confianza y las conversiones en visitantes mensuales únicos . Debe obtener al menos un 97% de confianza para declarar un ganador. De manera predeterminada, la plataforma Convert se optimizó para comenzar a informar sobre los análisis del experimento solo después de que se hayan logrado cinco conversiones. Para garantizar la confiabilidad de las pruebas, Convert utiliza pruebas Z de dos colas.

Al comienzo de su experimento, si una de las variantes está funcionando significativamente mejor, aún debe continuar con la duración estipulada de la prueba. Los primeros resultados pueden ser causados ​​por ruido o aleatoriedad.

Efectos mínimos detectables

MDE es la elevación mínima a lograr, por encima de la cual vale la pena implementar el cambio. Prepararse para una prueba eligiendo un MDE bajo le permite a su experimento capturar cambios más granulares. Establecer un MDE más alto significa que su experimento puede detectar solo cambios importantes y, por lo tanto, funciona incluso con tamaños de muestra más pequeños. El problema aquí es que hacer un cambio drástico para generar un aumento lo suficientemente grande, en la mayoría de los casos, no será posible a menos que su sitio web nunca haya sido optimizado antes.

La mejor manera de pensar en MDE es usar nuestra calculadora de tamaño de muestra. Comience ingresando su tráfico y conversiones semanales y vea qué se puede lograr durante un período de tiempo.

Valor P

Cassie Kozyrkov, directora científica de decisiones de Google, acuñó una definición muy simple para explicar el valor P: “¡Cuanto más bajo es el valor P, más ridícula parece la hipótesis nula!”

La forma en que lo usamos es comparándolo con el nivel de significancia. Digamos que tenemos un nivel de significación del 5 %, que corresponde directamente a un nivel de confianza del 95 %, entonces, tan pronto como el valor p sea inferior a 5/100 = 0,05, podemos decir que nuestra prueba ha alcanzado la significación estadística y puede rechazar la hipótesis nula.

Si queremos estar aún más seguros, establecemos nuestro nivel de significancia en 1 % y luego esperamos a que el valor p caiga por debajo de 0,01. Eso equivaldría a un 99% de confianza en nuestros resultados.

Distribución del tráfico

La distribución de tráfico ayuda a asignar un cierto porcentaje de tráfico al experimento. Suponga que tiene 100 visitantes a su sitio web cada mes. A partir de esto, puede optar por asignar el 30 % del tráfico al experimento. De forma predeterminada, cada variante de su prueba A/B recibirá una parte igual del tráfico. Entonces, si tiene dos variantes, cada una obtendrá el 15% del tráfico.

El uso de Convert Experiences lo ayuda a configurar esta asignación de tráfico con unos pocos clics. A medida que evoluciona su proceso de experimentación, puede crear más variantes y optimizar la asignación para satisfacer sus necesidades.

¿Cómo pueden ayudar las estadísticas en las pruebas A/B?

¿Por qué no puede simplemente comparar el rendimiento de las variantes A y B?

Ejecutar un experimento de prueba A/B utilizando incluso una plataforma conveniente como Convert Experiences requiere algunos recursos en términos de tiempo y energía. Entonces, ¿no tendría sentido simplemente crear dos variantes, medir sus respectivas tasas de conversión y elegir la que tenga mejor rendimiento?

Si bien suena pragmático e ingenioso, puede conducir a conclusiones erróneas e incluso a resultados mal interpretados, ya que no se realizaron pruebas estadísticas sobre los datos. Entonces observar un cambio no es suficiente, uno debe saber cuánto tiempo esperar para estar seguro de ese cambio, y para eso, uno tiene que realizar una prueba estadística como una prueba Z, una prueba T o una prueba G.

Mirar el aumento o el tamaño del efecto por sí solo no lo ayudará a:

una. Determinar los factores causales probables asociados con la obtención de una variante

Una prueba A/B, por diseño, lo obligaría a elegir dos variantes que solo tienen algunas diferencias materiales. Para un conjunto más grande de diferencias, generalmente optaría por una prueba multivariante más extensa.

Las pruebas A/B funcionan según la regla de que, desde el principio, conoce las variables dependientes e independientes del experimento. Por ejemplo, si crea dos conjuntos con diferentes CTA en el mismo diseño, sabe que la diferencia en las CTA es el factor causal si puede refutar la hipótesis y ver un cambio en las conversiones.

Si simplemente ejecuta dos variantes completamente diferentes, incluso si obtiene una tracción relativamente mejor en una, no lo ayudaría a obtener información sobre su audiencia ni a determinar por qué funciona.

b. Diferenciar entre aleatoriedad y causalidad

La estructura de una prueba A/B requeriría una hipótesis nula y una hipótesis alternativa. La Hipótesis Nula generalmente ahondaría en que la aleatoriedad es el factor causal y no la eficacia de una de sus variantes, al determinar las tasas de conversión. Una Hipótesis Nula no se refuta cuando no se alcanza la significación estadística en el tiempo, y se asume que cualquier variabilidad posterior es el resultado de la aleatoriedad. Por otro lado, si puede rechazar la Hipótesis Nula, significa que existe una alta probabilidad (en el nivel de confianza establecido, por ejemplo, 95% o 99%) de que haya descubierto un factor causal con un impacto positivo o negativo en el conversiones

C. Asignar costos solo a los cambios con mayor probabilidad de conversiones mejoradas

Las pruebas A/B realizadas también vendrían con medidas estadísticas como niveles de significación, intervalos de confianza y márgenes de error. Dichos conceptos analíticos no existen en la mayoría de los análisis ad-hoc.

Tomemos, por ejemplo, una comparación entre dos páginas de envío de formularios con algunas diferencias materiales en el diseño y visualización de la información. Uno funciona relativamente mejor que el otro. Ahora, ¿cómo determina que podrá replicar los resultados? Dado que no tiene ningún dato que muestre qué tan significativos fueron los resultados del experimento, no hay forma de juzgar si los resultados del experimento se pueden replicar o no.

Evaluación y eliminación de su exposición a errores de tipo I y tipo II para las pruebas A/B

Los errores de tipo I (una hipótesis nula verdadera se rechaza o se obtiene un falso positivo) y los errores de tipo II (una hipótesis nula falsa no se rechaza o un falso negativo) pueden tener graves consecuencias en los activos de mercado que está optimizando con las pruebas A/B.

Ninguna herramienta puede mostrarle explícitamente un error de Tipo I o Tipo II, pero puede ayudarlo a minimizarlos, por ejemplo, asegurándose de que se alcance un nivel de confianza del 95 % o más, y que el poder estadístico haya alcanzado al menos el 80 %.

Suponga que crea dos variantes de la página final en su ciclo de compra, muéstrelas a unos 10 000 visitantes durante 10 días y obtenga los resultados. Ve un mejor rendimiento para una variante y, por lo tanto, la aplica en su sitio web de comercio electrónico.

El problema aquí es que se enterará de un error de Tipo I o Tipo II en su experimento de prueba A/B después de que no pueda replicar los resultados de su experimento en la realidad. Hay mejores formas de asegurarse de que no tenga errores de tipo I y tipo II en su prueba A/B.

Primero, asegúrese de que el tamaño de su muestra sea lo suficientemente grande para garantizar una experimentación estadística sólida. Puede usar la calculadora de Convert para obtener el tamaño de muestra correcto.

Luego, asegúrese de tener un nivel de significación de al menos el 95 % y no detenga la prueba hasta que su potencia haya alcanzado el 80 %. Con el MDE y la duración del experimento correctos proporcionados por la calculadora, puede estar virtualmente seguro de controlar los errores de tipo I o tipo II. El primero está directamente influenciado por el nivel de significación que establezca, y el segundo por el poder estadístico con el que está dispuesto a vivir. Idealmente, su nivel de confianza debería ser superior o igual al 95% y su poder estadístico debería haber acumulado al menos un 80%. En ambos casos, cuanto más, mejor. Si ambos parámetros alcanzan el 99%, asegura que el riesgo de errores tipo I o II está bien controlado e inferior al 1%.

Tanto el descubrimiento como la eliminación de tales problemas son posibles solo debido al pensamiento estadístico en el que opera la prueba A/B.

Determinar si su experimento de prueba A/B es escalable o no

En el ejemplo anterior, incluso si ve que una variante gana a su alternativa durante un mes, no podrá escalar su experimento fácilmente. Esto se debe a que el tamaño de la muestra de 10 000 visitantes era bastante pequeño.

Las estadísticas de las pruebas A/B le brindan muchas guías heurísticas para garantizar que su prueba sea escalable y también lo sean sus resultados. Los resultados de cada experimento de prueba A/B allanarán el camino para más pruebas en el futuro.

En primer lugar, comience por asegurarse de recibir suficiente tráfico todos los meses para probar cualquier variante de la interfaz de usuario o los elementos de la experiencia de usuario de su plataforma. Los expertos de Convert recomiendan un tráfico de al menos 10 000 visitantes y 1000 conversiones en cada variante para tener resultados estadísticamente sólidos. Una vez que los tenga, asegúrese de no probar varios elementos a la vez, de permitir que la prueba se ejecute durante un tiempo considerable y de que pueda alcanzar un nivel razonable de importancia.

Si tiene un pequeño grupo de visitantes, aún puede realizar pruebas A/B en campañas de correo electrónico, campañas de redes sociales e incluso grupos de anuncios de Google. O bien, puede optar por un MDE alto para obtener información amplia sobre su audiencia.

Hacer que los experimentos sean rentables

Asignar cualquier porcentaje de su tráfico para una prueba A/B es un costo. Estás mostrando una página posiblemente subóptima o un elemento UX a tu audiencia y, por lo tanto, podrías estar perdiendo algunos ingresos potenciales. Si bien la prueba A/B le dará una idea definitiva para escalar un elemento o página más optimizado que pueda recuperar estos ingresos probables perdidos, este costo puede usarse como una restricción para optimizar su proceso de prueba.

Después de realizar una prueba A/B, puede pasar a una prueba A/B/n donde tendrá varias variantes más para probar.

Muchas calculadoras gratuitas disponibles en línea le mostrarán el tamaño de muestra que necesita para obtener resultados precisos de esta prueba. Estas calculadoras se basan en una suposición simplista: calculan el tamaño de la muestra para una prueba A/B y luego lo multiplican por el número de variantes con el experimento. Esta es una forma ineficiente de proceder. Nuestra calculadora ofrece opciones eficientes de corrección de comparación múltiple como Šidak, por lo tanto, use siempre las herramientas adecuadas en cada paso de su experimentación para asegurarse de obtener los resultados necesarios sin perder el dinero adicional incurrido por errores de cálculo.

Estimación y control de la aleatoriedad en su muestra

Si bien existen varios principios matemáticos complejos de aleatoriedad, la mayoría de ellos indican la misma característica: imprevisibilidad.

La aleatoriedad puede percibirse como lo opuesto a una causalidad claramente definida. En lugar de saber qué elementos fueron responsables de la mayor conversión, debe confiar en algunos factores externos indefinidos como los factores causales probables de los resultados. Dado que no controla estos factores externos, no puede replicar los resultados de su prueba a escala.

Si no está utilizando un proceso de prueba A/B estadísticamente sólido, no se molestaría en examinar el impacto de la aleatoriedad. Pero, la aleatoriedad seguirá existiendo. Puede terminar desplegando capital en un activo de marketing que convierte durante la prueba pero que no funciona a escala. Peor aún, puede terminar diluyendo el impacto de su embudo de conversión existente.

Las estadísticas de las pruebas A/B pueden ayudarte a resolver este problema. Cuando formula una hipótesis, está creando un escenario en el que la aleatoriedad podría ser la razón de los resultados modificados. Si puede refutar este escenario, en esencia ha refutado la aleatoriedad como la causa de mejores conversiones. Con más pruebas por delante en el proceso centradas en otras áreas del embudo de conversión, puede eliminar aún más el espacio para la aleatoriedad en el proceso de optimización de la conversión.

Lo ideal sería definir un criterio de evaluación general (OEC) con una métrica principal y otras métricas de protección y ejecutar experimentos para optimizar el primero y asegurarse de que los últimos no se degraden. Por ejemplo, desea aumentar las tasas de conversión (métrica principal), pero no quiere que disminuya la participación de los usuarios, porque eso indicaría clientes insatisfechos.

Un gran libro, probablemente el libro más importante sobre experimentación hasta la fecha, es Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing, de Ron Kohavi, Diane Tang, Ya Xu.

Asegurarse de que no necesita una prueba multivariada más completa

Herramientas integrales como Convert Experiences pueden ayudarlo a ejecutar múltiples pruebas A/B. Si bien esto puede parecer una funcionalidad trivial, puede ayudarlo a comprender si necesita una prueba multivariante más completa o si los resultados de su prueba A/B son lo suficientemente satisfactorios.

Todo esto depende de lo que haga justo después de haber entendido los resultados de la prueba. ¿Comienza a implementar la página o el elemento ganador o realiza más pruebas? Si el tamaño de la muestra, el nivel de significancia y el MDE son satisfactorios, por lo general puede implementar la alternativa ganadora. Si está del otro lado, puede usar más pruebas para encontrar la causa de las diferentes tasas de conversión.

Por ejemplo, suponga que está probando si tener un cierto CTA en su página de destino está ayudando con mejores conversiones o no. Ejecutas tu prueba A/B y tienes un claro ganador. Pero, algunas medidas estadísticas como el nivel de significación no se cumplen. Entonces, toma la variante ganadora y crea otra variante para realizar otra prueba A/B.

Si los resultados se replican, puede tener una mayor confianza en la variante ganadora. Si no puede replicar los niveles de conversión de la primera prueba, es posible que necesite una prueba multivariable para encontrar el elemento responsable del aumento de las conversiones.

Las pruebas A/B pueden ayudarlo a evitar la dependencia de los datos autoinformados

Incluso la más pequeña de las variables puede tener un gran impacto en el comportamiento del usuario detectado. Por ejemplo, el efecto de parpadeo tiene un impacto considerable en las tasas de conversión. El parpadeo es la situación en la que su página de destino predeterminada se muestra antes de su página variante cuando un visitante es parte de su tráfico de muestra que se utiliza para las pruebas A/B. Esto puede conducir a resultados contaminados, incluso cuando está ejecutando un proceso analíticamente consistente.

Cuando puede haber posibles problemas con los procesos estadísticos y analíticos, como las pruebas A/B, ejecutar un proceso autoinformado solo puede conducir a resultados más subóptimos o incluso falsos. Los procesos de autoinforme a menudo están contaminados por varios sesgos y datos ruidosos, ya que toda la responsabilidad de recordar las preferencias e informarlas recae en el usuario, que no tiene ningún incentivo para ser honesto. Además, existen sesgos de pedido y otros factores externos que pueden conducir a datos defectuosos.

Las pruebas A/B lo colocan en la silla de observación y eliminan la necesidad de cualquier forma de informe del usuario. Con herramientas como Convert, ni siquiera tiene que preocuparse por el parpadeo.

Toma de decisiones organizacionales basadas en datos

Un experimento de prueba A/B no deja espacio para conjeturas en el proceso. En cada paso, su plataforma de pruebas recopila observaciones, registra datos y realiza análisis. De esta manera, independientemente de las preferencias de sus superiores, inversores o agencias, los resultados que obtenga estarán basados ​​en datos.

Cuando hay varias partes interesadas involucradas en el proceso, es fácil que el resultado final no sea óptimo. Las pruebas A/B son un proceso analítico que elimina el espacio para cualquier toma de decisiones jerárquica o pensamiento sesgado.

Por ejemplo, su agencia puede recomendar una revisión de la interfaz de usuario para su página de destino porque se sumará a sus facturables para el mes y, si se hace correctamente, es posible que ni siquiera obstaculice sus conversiones. Sin embargo, con una prueba A/B, si su hipótesis nula se mantiene sólida, sabrá con certeza que tales cambios no son necesarios por el momento. Dado que tiene los datos para respaldar su razonamiento, no tiene que sucumbir a las posturas ni siquiera al liderazgo en su empresa. Esto también puede ayudarlo a luchar contra HiPPO (la opinión de la persona mejor pagada). Los datos no mienten y un test A/B es la mejor prueba que tienes a tu disposición.

Comprender los resultados del experimento con cálculos transparentes

Comprender los resultados de su prueba A/B es casi tan importante como ejecutar una prueba estadísticamente rigurosa. Cualquier herramienta puede ejecutar la prueba, comparar las alternativas y arrojarle un ganador. Lo que necesita es una indicación de una relación causal. Si bien las medidas estadísticas pueden resaltar esto, Convert Experiences se ha diseñado para brindar transparencia en los cálculos.

La plataforma tiene un tiempo de actividad del 99,99 %, permite más de 90 integraciones de terceros, permite el seguimiento de objetivos de terceros y admite verificaciones de errores y códigos. De esta manera, al final del proceso de prueba, tendrá una idea clara de qué elemento es el ganador, por qué es más preferible y si necesita más pruebas para estar más seguro de escalarlo.

Uso de estadísticas A/B para avanzar hacia la madurez de CRO

¿Qué es la madurez de CRO y cómo pueden las pruebas A/B estadísticamente sólidas ayudarlo a llegar allí?

Si bien la optimización de la tasa de conversión puede parecer una forma de pensar aislada, requiere cambios basados ​​en procesos en toda la empresa para tratar de centrarse más en las conversiones. El desafío es que CRO es un campo relativamente nuevo. En una encuesta de 2018, cerca del 62% de los especialistas en marketing habían estado trabajando en CRO durante menos de 4 años.

Un especialista en CRO de Shopify creó una jerarquía de cómo las empresas tienden a trascender hacia la madurez de CRO. A medida que profundice en esta jerarquía, descubrirá cómo la experimentación estadística sólida es fundamental para la evolución de sus procesos organizacionales:

1. Realización de investigaciones cualitativas y cuantitativas para identificar puntos de contacto subóptimos

Su panel de control de Google Analytics a menudo lo ayudará a explorar las páginas o los puntos de contacto en la experiencia del consumidor que requieren atención inmediata. Resolver un problema específico como altas tasas de rebote en la página de inicio, carritos abandonados, formularios incompletos y omitir suscripciones de correo electrónico se puede utilizar como punto de partida para optimizar el embudo de conversión.

2. Formulación de ideas de prueba y experimentación basadas en la investigación realizada anteriormente

Las estadísticas de las pruebas A/B pueden ayudarlo a comprender el rendimiento de referencia para su sitio web e incluso la competencia. Puede usar esto para comprender qué elementos están retrasados ​​y comenzar las variantes de pruebas A/B que pueden funcionar mejor.

3. Ejecutar ideas de prueba y experimentación con las prioridades más altas

Cuando esté configurando sus ideas de pruebas A/B en Convert Experiences, establecerá métricas como MDE. Dichas métricas lo ayudarán a priorizar las pruebas que tendrán el máximo impacto en su negocio, en relación con la asignación de recursos necesarios para ejecutar el experimento.

4. Análisis y registro de los resultados de las pruebas

Una vez que haya realizado la prueba, se vuelve fundamental comprender por qué obtuvo los resultados que está viendo. Aquí es donde las plataformas como Convert Experiences pueden ayudarlo a filtrar entre la aleatoriedad y la causalidad de alta probabilidad. Con sus cálculos transparentes, Convert Experiences lo ayudará a comprender por qué su variante ganadora funciona mejor.

5. Creación de pruebas de seguimiento

Una vez que haya realizado las pruebas A/B y obtenido los resultados, puede pasar a pruebas multivariadas más completas o realizar una prueba A/B con otra variante. Convert facilita la realización de un conjunto variado de pruebas estadísticas que pueden ayudarlo a aumentar su confianza para respaldar la variante ganadora.

El Modelo de Madurez de CRO se enfoca en un proceso holístico a través de la estrategia y la cultura, las herramientas y la tecnología, las personas y las habilidades, y el proceso y la metodología de una empresa, donde se realiza un seguimiento del progreso de la empresa a través de niveles de madurez como: principiante, aspirante, progresivo, estratégico, y Transformador.

Convert Experiences aporta un riguroso análisis de datos a su proceso de pruebas A/B, no requiere codificación para realizar las pruebas, proporciona resultados visual y analíticamente accesibles y es transparente sobre los resultados de las pruebas. Con la plataforma en el centro de sus planes de pruebas A/B, la madurez de su CRO empresarial puede avanzar hacia las etapas de transformación con mayor facilidad.

Pruebas A/B en acción: estudios de casos comparativos

1. Usar Google Analytics y convertir experiencias para la generación de hipótesis

Google Analytics puede ser un excelente punto de partida para comprender las posibles áreas de mejora en su sitio web. La caída repentina en el tráfico, las altas tasas de rebote en comparación con los tiempos de página, etc. pueden ser indicadores sólidos de posibles problemas.

Mapee todos los desafíos que ve en sus informes de Google Analytics. Paralelamente a esto, realice una encuesta cualitativa en su sitio web, identificadores de redes sociales y campañas de correo electrónico preguntando a sus audiencias qué están buscando. Además de esto, puede usar Hotjar para comprender cómo los visitantes navegan por los elementos de cada página.

Con base en todos estos datos, puede crear variantes perspicaces y ejecutar pruebas A/B. Si ya está usando Convert Experiences, también puede usar la herramienta de generación de hipótesis Convert Compass para acelerar aún más el proceso.

2. Aumentar las conversiones de carritos abandonados a través de pruebas A/B

Los carritos abandonados son costosos para su sitio web y bastante inconvenientes para sus visitantes, ya que ambos han invertido mucho tiempo y recursos para llegar a este punto, pero la conversión no funcionó.

Usando Convert Experiences integrado con otras plataformas, puede formular un enfoque estructurado para enfrentar este desafío.

• Primero, comience con la integración de Convert Experiences en su Shopify, WooCommerce, PrestaShop, BigCommerce o cualquier otra plataforma de comercio electrónico que esté utilizando.
• Luego, use Google Analytics para establecer objetivos en sus plataformas y use herramientas como Hotjar o Crazy Egg para evaluar el posible problema.
• Con Convert Experiences, puede usar estos datos, formular hipótesis y ejecutar pruebas A/B de manera organizada. Los clientes han observado un aumento de ingresos de más del 26% utilizando un enfoque similar.

3. Optimización de la página de destino

Las páginas de destino son bastante fundamentales para todo el proceso de conversión. Para extraer el máximo valor de sus páginas de destino, puede usar una variedad de herramientas como Google Analytics, Adobe Analytics, Kissmetrics, Baidu Analytics u otras herramientas líderes para el caso de uso. Convert Experiences se integra a la perfección con estas plataformas para ayudarlo a filtrar las páginas de destino de baja conversión.

A continuación, puede usar la integración de Hotjar y Convert para comprender qué elementos de su página no funcionan. Con herramientas avanzadas como mapas de calor, puede obtener una comprensión visual de cómo los visitantes acceden a los diferentes elementos de su página. Más allá de esto, puede usar Convert Compass para generar hipótesis y luego ejecutar pruebas en la plataforma.

Una vez que haya realizado su prueba, puede usar la integración entre Convert y las principales plataformas de creación de páginas de destino como LanderApp, Instapage o Hubspot CMS. Estas integraciones lo ayudarán a ejecutar experimentos de prueba A/B sencillos en sus páginas de destino.

Usando el mismo flujo de trabajo, los expertos de CRO han encontrado incrementos de conversión del 27% con tasas de agregar al carrito que aumentan en un 13%.

Lograr un ROI más alto con pruebas A/B 'higiénicas'

1. Umbral de tráfico del sitio web : Convert recomienda que tenga un tráfico de al menos 10 000 visitantes y conversiones superiores a 1000 disponibles para cada variante que se esté probando.

2. Usar la herramienta adecuada para las pruebas A/B : no tener la plataforma de prueba adecuada puede brindarle resultados contaminados, hacer que ejecute pruebas subóptimas o causar restricciones severas en sus recursos. Convert Experiences se ha diseñado para eliminar estos parámetros clave al tiempo que garantiza que el proceso de prueba sea accesible, transparente y fluido.

3. Definición de objetivos de prueba : sus objetivos como empresa deben estar alineados. Por ejemplo, mientras está optimizando para obtener el máximo de registros, algunas otras unidades de su equipo no deberían optimizar los procesos consiguientes para obtener el máximo de ventas. La UX incoherente puede causar más daño que una UX subóptima.

Por lo tanto, mantenga la uniformidad de objetivos entre todo el conjunto de miembros del equipo. En el nivel de prueba, asegúrese de definir claramente el tamaño de la muestra, la duración, la significación estadística, la hipótesis y el MDE antes, durante y después de ejecutar su prueba A/B.

4. Excluyendo el tráfico interno: cuando ejecuta una prueba A/B, muchos de los miembros de su equipo visitarían las páginas o los puntos en el recorrido del cliente para evaluar la página de manera objetiva. Esto puede generar ruido en los resultados de sus pruebas.

Convert Experiences ha sido diseñado para filtrar dicho tráfico y enfocarse solo en los segmentos de audiencia que ha definido, para registrar, agregar y analizar datos en el proceso de prueba A/B.

Reflexiones finales sobre las estadísticas de las pruebas A/B

Las pruebas A/B son un ejercicio analítico riguroso que solo se puede ejecutar con rigor estadístico. Sin las estadísticas creadas en el proceso, las pruebas A/B son puras conjeturas.

Convert Experiences le permite tener experimentos de prueba A/B optimizados, accesibles, confiables y eficientes en recursos. While the process of A/B testing can seem a little overwhelming at first, it certainly unlocks value in the form of the right insight and analytical proven ideas it gives you. Make sure you never run an A/B test in isolation – it has to be followed up with more tests, and even multivariate tests.
With consistent optimization and unlimited tests made available by Convert Experiences, you can expect your enterprise to become a more analytical and data-driven operation in no time.