Todos los diferentes tipos de pruebas que puede ejecutar en su sitio (+ cuándo ejecutarlas)

El mundo de la experimentación ha ido más allá de las simples pruebas A/B de color de botones.

Pueden tener su lugar en la cartera de experimentos que está ejecutando, pero con suerte, en este punto, no son sinónimos de experimentación o CRO.

La experimentación puede ser mucho más grande.

Usando diferentes tipos de experimentos, podemos aprender sobre la variación en nuestros sitios web, probar experiencias novedosas, descubrir nuevas rutas de página, dar grandes saltos o pequeños pasos e identificar la combinación óptima de elementos en una página.

Lo que espera aprender de un experimento debe reflejarse en su diseño, y el diseño de experimentos va mucho más allá de simplemente probar A contra B usando una hipótesis concreta.

De hecho, hay todo un subcampo de estudio conocido como diseño de experimentos (DoE) que cubre esto.

Diseño de experimentos: una introducción al diseño experimental

El diseño de experimentos (DoE) es un método científico utilizado para determinar la relación entre los factores que afectan un proceso y el resultado de ese proceso.

El diseño de experimentos es un concepto popularizado por el estadístico Ron Fisher en las décadas de 1920 y 1930.

DoE nos permite comprender cómo las diferentes variables de entrada afectan la salida de un proceso cambiando sistemáticamente las entradas y observando los cambios resultantes en la salida. Este enfoque se puede utilizar para optimizar un proceso, desarrollar nuevos productos o características, o aprender qué elementos funcionan mejor en conjunto.

En marketing, usamos DoE para mejorar nuestra comprensión de cómo los diferentes elementos en una página (los factores) afectan las tasas de conversión (el resultado). Al diseñar experimentos de manera efectiva, podemos identificar qué elementos tienen el mayor impacto en las tasas de conversión.

Hay muchos tipos diferentes de experimentos, y cada tipo se puede usar para aprender cosas diferentes sobre su sitio web o aplicación.

En este artículo, cubriré 16 tipos de experimentos.

Los quisquillosos podrían notar que estos no son todos diseños experimentales fundamentalmente diferentes; más bien, algunos son "tipos" diferentes debido a cómo genera su hipótesis o qué marcos subyacen a sus razones para realizar el experimento.

Algunos, además, no son del todo "experimentos", sino reglas de optimización basadas en modelos de aprendizaje automático.

Aún así, cada uno de los siguientes tiene un propósito distinto y puede verse como una herramienta única en el conjunto de herramientas de un experimentador.

1. Prueba A/A

Una prueba A/A es un concepto simple: está probando dos versiones de una página que son idénticas.

¿Por qué harías esto?

Hay un montón de razones, principalmente en busca de la calibración y la comprensión de los datos subyacentes, el comportamiento del usuario y los mecanismos de aleatorización de su herramienta de prueba. Las pruebas A/A pueden ayudarlo a:

• Determine el nivel de variación en sus datos
• Identifique errores de muestreo dentro de su herramienta de prueba
• Establezca tasas de conversión de referencia y patrones de datos.

Ejecutar pruebas A/A es extrañamente controvertido. Algunos lo juran. Algunos dicen que es una pérdida de tiempo.

¿Mi toma? Probablemente valga la pena ejecutar uno al menos una vez, por todas las razones antes mencionadas. Otra razón por la que ME ENCANTA ejecutar pruebas A/A es para explicar las estadísticas a los novatos.

Cuando le muestra a alguien un experimento "significativo" con dos días de datos recopilados, solo para revelar más tarde que era una prueba A/A, entonces las partes interesadas generalmente entienden por qué debe ejecutar un experimento hasta su finalización.

Si desea leer más sobre las pruebas A/A (en realidad, es un tema muy amplio), Convert tiene una guía detallada sobre ellas.

2. Prueba A/B sencilla

Todo el mundo sabe lo que es una prueba A/B simple: estás probando dos versiones de una página, una con un cambio y otra sin él.

Las pruebas A/B son el pan y la mantequilla de la experimentación. Son fáciles de configurar y fáciles de entender, pero también se pueden usar para probar grandes cambios.

Las pruebas A/B se usan más comúnmente para probar cambios en una interfaz de usuario, y el objetivo de una prueba A/B simple casi siempre es mejorar la tasa de conversión en una página determinada.

La tasa de conversión, por cierto, es una métrica genérica que cubre todo tipo de proporciones, como la tasa de activación de los usuarios de nuevos productos, las tasas de monetización de los usuarios freemium, las tasas de conversión de clientes potenciales en el sitio web y las tasas de clics.

Con una simple prueba A/B, tiene una hipótesis singular y cambia un elemento a la vez para aprender todo lo que pueda sobre los elementos causales de su cambio. Esto podría ser algo como un cambio de título, un cambio de color o tamaño de botón, agregar o eliminar un video, o realmente cualquier cosa.

Cuando decimos "prueba A/B", en su mayoría usamos un término genérico para abarcar la mayoría del resto de los tipos de experimentos que enumeraré en esta publicación. Por lo general, se usa como un término general que significa "cambiamos *algo* (grande, pequeño o muchos elementos) para mejorar una métrica".

3. Prueba A/B/n

Las pruebas A/B/n son muy similares a las pruebas A/B, pero en lugar de probar dos versiones de una página, está probando varias versiones.

Las pruebas A/B/n son similares, en cierto modo, a las pruebas multivariadas (que exploraré a continuación). Sin embargo, en lugar de una prueba "multivariante", consideraría que se trata de una prueba multivariante.

Las pruebas multivariadas son útiles para comprender las relaciones entre los diferentes elementos de una página. Por ejemplo, si quiere probar diferentes títulos, imágenes y descripciones en la página de un producto, y también quiere ver qué combinaciones parecen interactuar mejor, usaría una prueba multivariable.

Las pruebas A/B/n son útiles para probar múltiples versiones de un solo elemento y no se preocupan tanto por los efectos de interacción entre los elementos.

Por ejemplo, si desea probar tres títulos diferentes en una página de destino, usaría una prueba A/B/n. O simplemente puede probar siete versiones completamente diferentes de la página. Es solo una prueba A/B con más de dos experiencias probadas.

Las pruebas A/B/n son opciones sólidas cuando tiene mucho tráfico y desea probar varias variantes de manera eficiente. Por supuesto, las estadísticas deben corregirse para múltiples variantes. También hay mucho debate sobre cuántas variantes se deben incluir en una prueba A/B/n.

A menudo, puede impulsar algunas variantes más originales y creativas al probar varias experiencias a la vez en lugar de iterativamente a través de múltiples pruebas A/B simples.

4. Prueba multivariante

Una prueba multivariada es un experimento con múltiples cambios. Cuando una prueba A/B/n está probando las versiones compuestas de cada variante entre sí, una prueba multivariada también tiene como objetivo determinar los efectos de interacción entre los elementos probados.

Imagina, por ejemplo, que estás rediseñando una página de inicio. Hizo una investigación de conversión y descubrió problemas de claridad con su título, pero también tiene algunas hipótesis sobre el nivel de contraste y claridad en su CTA.

No solo está interesado en mejorar cada uno de esos dos elementos de forma aislada, sino que también es probable que el rendimiento de estos elementos dependa. Por lo tanto, desea ver qué combinación de nuevos titulares y CTA funciona mejor.

El diseño de experimentos se vuelve mucho más complicado cuando ingresa al territorio multivariado. Hay algunos tipos diferentes de configuraciones de experimentos multivariantes, incluido el diseño factorial completo, el diseño factorial parcial o fraccionario y las pruebas de Taguchi.

Y solo como una cuestión de sentido común estadístico, las pruebas multivariantes casi con seguridad requieren más tráfico que las pruebas A/B simples. Cada elemento adicional o experiencia que cambie aumenta la cantidad de tráfico que necesita para obtener un resultado válido.

5. Prueba de orientación

Las pruebas de orientación, mejor conocidas como personalización, consisten en mostrar el mensaje correcto a la persona adecuada en el momento adecuado.

Con una prueba de orientación, puede crear diferentes versiones de una página y mostrar cada versión a un grupo diferente de personas. El objetivo suele ser aumentar las tasas de conversión mostrando contenido relevante para cada usuario.

Tenga en cuenta que la personalización y la experimentación no son sinónimos. Puede personalizar una experiencia sin tratarla como un experimento. Por ejemplo, puede decidir con cero datos o intención de recopilar datos, que usará un token de nombre en sus correos electrónicos para personalizar los mensajes con el nombre del destinatario.

¿Personalización? Sí. ¿Experimentación? No.

Pero también puede ejecutar experimentos dirigidos a segmentos específicos de usuarios. Esto es especialmente común en la experimentación de productos, donde puede aislar cohortes en función de su nivel de precios, tiempo de registro, fuente de registro, etc.

Las mismas estadísticas se aplican a los experimentos de personalización, por lo que es importante elegir segmentos significativos para orientar. Si te vuelves demasiado granular, por ejemplo, si te diriges a los usuarios de Chrome móvil de Kansas que tienen entre 5 y 6 sesiones, no solo será imposible cuantificar el impacto estadísticamente, sino que es poco probable que también sea un impacto comercial significativo.

La personalización generalmente se ve como una extensión natural de las pruebas A/B simples, pero en muchos sentidos, presenta una tonelada de nueva complejidad. Por cada nueva regla de personalización que emplea, es un nuevo "universo" que ha creado para que sus usuarios lo administren, actualicen y optimicen.

Las herramientas de personalización predictiva lo ayudan a identificar segmentos objetivo, así como experiencias que parecen funcionar mejor con ellos. De lo contrario, las reglas de personalización a menudo se identifican mediante la segmentación posterior a la prueba.

6. Prueba de bandido

Una prueba de bandido, o el uso de algoritmos de bandido, es un poco técnica. Pero básicamente se diferencian de las pruebas A/B porque están constantemente aprendiendo y cambiando qué variante se muestra a los usuarios.

Las pruebas A/B suelen ser experimentos de "horizonte fijo" (con la advertencia técnica de usar pruebas secuenciales), lo que significa que usted predetermina un período de prueba cuando ejecuta la prueba. Al finalizar, toma la decisión de implementar la nueva variante o volver al original.

Las pruebas de Bandit son dinámicas. Actualizan constantemente la asignación de tráfico a cada variante en función de su rendimiento.

La teoría es la siguiente: entras en un casino y te topas con varias máquinas tragamonedas (bandidos con múltiples brazos). Asumiendo que cada máquina tiene recompensas diferentes, el problema del bandido ayuda a “decidir qué máquinas jugar, cuántas veces jugar cada máquina y en qué orden jugarlas, y si continuar con la máquina actual o probar con una máquina diferente”.

El proceso de decisión aquí se divide en "exploración", en la que intenta recopilar datos e información, y "explotación", que capitaliza ese conocimiento para producir recompensas superiores a la media.

Entonces, una prueba de bandido en un sitio web buscaría encontrar, en tiempo real, la variante óptima y enviar más tráfico a esa variante.

7. Algoritmos evolutivos

Los algoritmos evolutivos son una especie de combinación entre pruebas multivariadas y pruebas de bandidos. En el contexto de los experimentos de marketing, los algoritmos evolutivos le permiten probar una gran cantidad de variantes al mismo tiempo.

El objetivo de un algoritmo evolutivo es encontrar la combinación óptima de elementos en una página. Funcionan creando una "población" de variantes y luego probándolas entre sí. La variante de mejor rendimiento se utiliza como punto de partida para la próxima generación.

Como sugiere el nombre, utiliza iteraciones evolutivas como modelo para la optimización. Tienes un montón de versiones diferentes de títulos, botones, texto del cuerpo y videos, y unes cada uno de ellos para crear nuevas mutaciones, e intentas dinámicamente eliminar las variantes débiles y enviar más tráfico a las variantes fuertes.

Es como una prueba multivariada con esteroides, aunque con menos transparencia en los efectos de interacción (por lo tanto, un menor potencial de aprendizaje).

Estos experimentos también requieren bastante tráfico del sitio web para funcionar bien.

8. Prueba de ruta de página dividida

Una prueba de ruta de página dividida también es un tipo muy común de prueba A/B.

En lugar de cambiar un elemento en una sola página, está cambiando la ruta completa que un usuario toma a través de su sitio web.

Con una prueba de ruta de página dividida, básicamente está probando dos versiones diferentes de su sitio web, producto o embudo. El objetivo suele ser encontrar la versión que genere más conversiones o ventas. También puede ayudar a identificar puntos de entrega en el embudo, que pueden diagnosticar áreas de enfoque para una mayor optimización.

Básicamente, en lugar de cambiar la copia de un botón, cambias la siguiente página a la que te envían los botones si haces clic en ella. Es una manera poderosa de experimentar con el recorrido del cliente.

9. Prueba de existencia

La prueba de existencia es un concepto interesante. Lo que intenta hacer es cuantificar el impacto (o la falta del mismo) de un elemento dado en su producto o sitio web.

Según un artículo de CXL, "En pocas palabras, eliminamos elementos de su sitio y vemos qué sucede con su tasa de conversión".

En otras palabras, está probando para ver si un cambio tiene algún efecto.

Estratégicamente, esta es una estrategia tan subestimada. A menudo asumimos, ya sea a través de nuestra propia heurística o mediante investigación cualitativa, qué elementos son los más importantes en una página.

Seguramente, el video de demostración del producto es importante. La prueba de existencia es una forma de cuestionar esa creencia y obtener rápidamente una respuesta.

Solo quitas el video y ves que pasa.

¿Aumenta o disminuye la tasa de conversión? Interesante: eso significa que el elemento o el inmueble que ocupa tiene un impacto de alguna manera.

¿Sin impacto? Eso también es interesante. En ese caso, señalaría el enfoque de mi equipo en otras partes de la experiencia digital, sabiendo que incluso eliminar el elemento por completo no hace nada para nuestros KPI.

10. Prueba de puerta pintada

Una prueba de puerta pintada es similar a una prueba de existencia en cierto modo. Son muy comunes para probar nuevas ofertas, así como para probar la demanda de nuevas características del producto.

Básicamente, una prueba de puerta pintada es un experimento para ver si las personas realmente usarán una nueva función o no. En realidad, no gasta el tiempo y los recursos para *crear* la nueva oferta o función. Más bien, crea una "puerta pintada" para ver si las personas que pasan incluso intentarán abrirla (es decir, crea un botón o una página de destino y ve si las personas incluso hacen clic en él, lo que infiere interés).

El objetivo de una prueba de puerta pintada es averiguar si hay alguna demanda de lo que está probando. Si las personas realmente están usando la nueva función, entonces sabrá que vale la pena seguirla. Si no, entonces sabes que no vale la pena y puedes desechar la idea.

También se conocen como pruebas de humo .

Las pruebas de puertas pintadas son una excelente manera de probar nuevas ideas sin invertir mucho tiempo o dinero.

Debido a que en realidad no tiene una oferta o experiencia creando, generalmente no puede usar KPI como la tasa de conversión. Más bien, debe modelar su umbral mínimo de valor esperado. Por ejemplo, crear una función X costará Y, por lo que, dados nuestros datos de referencia existentes, necesitaremos ver la tasa de clics de Y para justificar la creación de la experiencia "real".

Una lista de espera previa al lanzamiento es, en cierto modo, una prueba de puerta pintada (con el famoso ejemplo de las navajas de afeitar de Harry).

11. Prueba de descubrimiento

Las pruebas de descubrimiento, que saqué de la Metodología de prueba basada en la disciplina de Andrew Anderson, tienen que ver con aumentar el rango de opciones posibles.

Casi siempre son una versión de las pruebas A/B/n con múltiples variantes, pero no necesariamente tienen que diseñarse de esa manera. El propósito más amplio de estos es probar opciones fuera del rango de lo que normalmente habría considerado razonable. Esto mitiga su propio sesgo, que puede limitar el alcance de las opciones que alguna vez considere.

En lugar de definir una hipótesis de manera estrecha, espera salir de sus propios sesgos y potencialmente aprender algo completamente nuevo sobre lo que funciona con su audiencia.

Para hacer una prueba de descubrimiento, toma una parte de su producto o sitio web y genera un montón de variantes diferentes. El objetivo es que cada variante sea bastante diferente de la anterior, lo que le brinda una amplia gama de opciones diferentes. El objetivo es encontrar algo que funcione, incluso si no sabe de antemano qué es.

En las pruebas de descubrimiento, es importante asignar su experimento a su macro-KPI y no optimizarlo para microconversiones. También es importante realizar pruebas en experiencias significativas y de alto tráfico, ya que querrá poder estadístico adecuado para descubrir mejoras entre las muchas variantes.

Para ver un ejemplo de un experimento como este, consulte el ejemplo de Andrew Anderson de Malwarebytes, donde probaron 11 variantes muy diferentes.

12. Prueba iterativa

Existe un concepto conocido en informática como el "problema de escalar colinas". Básicamente, los algoritmos de escalada de colinas buscan encontrar el punto más alto en un paisaje comenzando desde abajo y moviéndose constantemente hacia arriba.

El mismo concepto se puede aplicar a los experimentos de marketing.

Con una prueba iterativa, comienzas con un pequeño cambio y luego sigues haciéndolo más grande hasta llegar al punto de rendimientos decrecientes. Este punto de rendimientos decrecientes se denomina “máximo local”. Un máximo local es el punto más alto del paisaje al que se puede llegar desde el punto de partida.

El objetivo de una prueba iterativa es encontrar el máximo local para un cambio dado. Esta puede ser una forma muy efectiva de probar cosas como cambios en la oferta o cambios en los precios, así como cualquier elemento que haya encontrado impactante a través de la investigación o mediante pruebas de existencia.

Básicamente, sabe que el elemento X es importante, y sabe que hay margen de maniobra adicional para mejorar el KPI Y al mejorar el elemento X. Por lo tanto, realiza varios intentos pequeños e iterativos para cambiar el elemento X hasta que parece que ya no puede mejorar la métrica (o es extremadamente difícil hacerlo).

Un ejemplo fácil de una prueba iterativa proviene de mi propio sitio web. Ejecuto ventanas emergentes de imanes de plomo. Sé que impulsan los correos electrónicos, y es probable que haya un punto de rendimiento decreciente, pero no creo que lo haya alcanzado todavía. Entonces, cada pocos meses, cambio una variable, ya sea el título, la oferta en sí o la imagen, con la esperanza de obtener un pequeño impulso.

13. Prueba innovadora

A diferencia de las pruebas iterativas, las pruebas innovadoras buscan encontrar colinas completamente nuevas para escalar.

Según un artículo de CXL, las pruebas innovadoras están "diseñadas para explorar territorios desconocidos y encontrar nuevas oportunidades".

Las pruebas innovadoras tienen que ver con probar algo completamente nuevo. Suelen ser un poco más arriesgados que otros tipos de experimentos, pero también pueden ser muy gratificantes. Si está buscando grandes ganancias, entonces las pruebas innovadoras son el camino a seguir.

Los rediseños completos de la página de inicio o de la página de destino se incluyen en esta categoría. Las pruebas de descubrimiento son una forma de prueba innovadora. Las pruebas de color de los botones serían exactamente lo contrario de una prueba innovadora.

Una prueba innovadora debería hacer que usted o sus partes interesadas se sintieran un poco incómodos (pero recuerde, la belleza de los experimentos es que tienen una duración limitada y limitan su desventaja).

CXL dio un ejemplo de una prueba innovadora que realizaron para un cliente aquí:

14. Prueba de no inferioridad

Se utiliza una prueba de no inferioridad para determinar si un nuevo tratamiento no es peor que el tratamiento estándar.

El objetivo de una prueba de no inferioridad es mostrar que el nuevo tratamiento es al menos tan efectivo como el tratamiento estándar.

¿Por qué harías una prueba como esta?

Muchas razones. La mejor que se me ocurre es si tiene una variante que es "mejor" en alguna otra dimensión (es más económica de mantener, se adhiere mejor a los estándares de la marca, etc.), pero quiere asegurarse de que no dañe su KPI del negocio principal.

O desde el punto de vista de los ensayos clínicos médicos, imagine que se ha desarrollado un fármaco que cuesta 1/10 de lo que cuesta el medicamento comúnmente recetado. Mientras no funcione *peor* que el medicamento existente, su asequibilidad significa que es una opción mucho mejor para implementar.

Otra razón por la que ejecuto esto es si el tratamiento es fuertemente favorecido por un ejecutivo o una parte interesada. Odio decírtelo, pero el hecho de que tengamos acceso a los datos como profesionales de la experimentación no significa que evitemos el desorden del pensamiento sesgado y la política humana.

Estoy feliz de tomar la prueba ocasional enviada por HiPPO y ejecutarla a través de un umbral más bajo de certeza como una prueba de no inferioridad. Siempre y cuando no arruine *mis* KPI, no hay nada de malo en implementarlo y gana el favor político.

15. Bandera característica

Los indicadores de funciones son una técnica de desarrollo de software que le permite activar o desactivar ciertas funciones o funciones y probar nuevas funciones en producción.

Sin entrar en una tonelada de detalles técnicos, le permiten probar funciones en producción o implementarlas lentamente para subconjuntos más pequeños de usuarios, mientras mantienen la capacidad de reducir rápidamente o eliminar la función si no funciona.

En muchos sentidos, son una metodología de garantía de calidad. Pero, de nuevo, en muchos sentidos, también lo son las pruebas A/B.

El término "indicador de función" es algo así como un término general que incluye muchas funcionalidades de "alternar" relacionadas, como lanzamientos controlados, pruebas en producción, desarrollo continuo, reversiones y puertas de funciones.

16. Cuasi Experimentos

Finalmente, la categoría de experimentos más complicada, amplia y difícil de definir: los cuasi-experimentos.

Los cuasi-experimentos a menudo se usan cuando no es posible asignar usuarios aleatoriamente a grupos de prueba.

Por ejemplo, si está probando una nueva función en su sitio web, puede ejecutar una prueba A/B, una marca de función o incluso un brazo de personalización.

Pero, ¿qué sucede si desea probar un montón de cambios de SEO y ver sus efectos en el tráfico? O incluso más, ¿su impacto en las conversiones de blogs? ¿Qué sucede si desea probar la eficacia de los anuncios en vallas publicitarias al aire libre?

En un número sorprendentemente grande de casos, es difícil, si no imposible, establecer un experimento bien organizado y realmente controlado.

En estos casos, diseñamos cuasi-experimentos para arreglárnoslas con lo que tenemos.

En el caso de los cambios de SEO, podemos usar herramientas como Causal Impact para cuantificar los cambios en una serie temporal. Especialmente si controlamos nuestro experimento en función de las páginas o alguna otra dimensión identificable, esto nos dará una buena idea longitudinal de si nuestra intervención funcionó o no.

En el caso de anuncios de radio o vallas publicitarias, podemos intentar seleccionar ubicaciones geográficas representativas y cuantificar el efecto a lo largo del tiempo utilizando estadísticas bayesianas similares.

Este es un tema complejo, por lo que vincularé a dos excelentes recursos:

• Cómo Netflix ejecuta cuasi-experimentos
• Cómo Shopify ejecuta cuasi-experimentos

Conclusión

Espero que esto te haya convencido de que las pruebas A/B van mucho más allá de cambiar tu título o botón de CTA para optimizar las tasas de conversión.

Cuando amplía su apertura de lo que puede lograr la experimentación, se da cuenta de que es una herramienta de aprendizaje increíble.

Podemos mapear elementos impactantes en una página de destino, identificar la combinación óptima de elementos, descubrir una ruta de página de usuario nueva y mejorada, desarrollar nuevas funciones y experiencias sin arriesgar una deuda técnica o una experiencia de usuario deficiente, e incluso probar nuevos canales de marketing. e intervenciones fuera de nuestro sitio web o fuera de nuestro producto.