"Pruebe todo": desde el papel hasta la práctica

Seamos claros.

Nunca es un error ejecutar más pruebas A/B, incluso si no afectan directamente las ventas y los ingresos, siempre que las ejecute bien y aprenda del proceso.

Pero…

Cada prueba requiere una inversión de tiempo, esfuerzo, capital humano y más .

Entonces, ¿por qué algunos expertos abogan por probar todo? ¿Y cuál es el término medio... especialmente para ti... sí... estás leyendo este artículo?

Ahora es posible que tenga toneladas de buenas ideas de prueba y desee saber si debe probarlas todas. ¡Pero ese no es el punto! Como menciona Natalia en una entrevista con Ben Labay de Speero:

Hay cientos de grandes ideas por ahí, pero ese no es el punto. El punto es encontrar el adecuado para trabajar en el momento adecuado .

Puede sonar tentador comenzar a probar todo aleatoriamente, pero es clave priorizar la prueba de la hipótesis correcta en el momento adecuado .

Con la priorización correcta, puede cultivar una mentalidad de "probar todo" . Sin embargo, la mayoría de los modelos de priorización de hipótesis se quedan cortos.

Profundicemos un poco más para comprender si debe hacer una prueba A/B de todo, cómo la priorización lo ayuda a tomar decisiones y cómo crear su propio modelo de priorización que supere las limitaciones de las opciones tradicionales.

Probar todo: ¿Por qué se recomienda?

Comencemos examinando este enfoque controvertido: ¿Tiene sentido probar todo?

Vamos, elige un bando.

¿Cuál es su acción predeterminada?

¿Qué es "apetecible" para usted sin leer el resto de este artículo y recopilar más datos?

¿Hecho?

Ahora veamos si nuestro razonamiento se alinea con el tuyo.

Antes de abordar el enigma de "probar todo", debemos comprender qué implican las pruebas A/B y sus resultados.

Validez estadística

Las pruebas A/B son una forma estadísticamente válida de ver si los cambios que tiene en mente afectan sus indicadores clave de rendimiento (KPI).

Por ejemplo, si tu objetivo es conseguir más visitas a tu blog, puedes añadirlo al menú de navegación principal. El nuevo menú ya no es una copia del anterior . Pero este cambio es inútil si no impacta positivamente en el comportamiento de los visitantes de su sitio.

El simple hecho de que las dos versiones sean estructuralmente diferentes no importa. En general, lo que importa es la realización del resultado que deseaba y anticipaba. ¿Está la gente más inclinada a visitar el blog cuando lo ven en el menú principal que cuando está escondido en el pie de página ?

El sentido común podría decir SÍ , debería haber un efecto (positivo) . Pero es posible que su prueba no muestre ningún cambio en las métricas que eligió monitorear como medida de impacto.

Si esto es cierto, entonces las pruebas A/B también mitigan el riesgo.

Mitigación de riesgos

La implementación de cambios en todo el sitio es compleja y un juego de pelota completamente diferente.

Puede terminar haciendo un cambio y correr el riesgo de desperdiciar recursos creando funciones que los usuarios no desean y personalizando elementos del sitio web que no producen los resultados esperados. Esta es una de las principales razones por las que las pruebas A/B son necesarias, ya que es la prueba de fuego para la solución propuesta antes de que se implemente.

Las compilaciones de prueba A/B (especialmente las compilaciones del lado del cliente) consumen menos recursos que los cambios en el sitio web codificados y las características de alta fidelidad. Esto le da luz verde para no tomar una ruta en particular, especialmente cuando los resultados indican que los KPI clave no se están moviendo en la dirección correcta.

Sin pruebas, invierte en experiencias que simplemente no funcionan. Es un riesgo ciego que toma, sin saber que es posible que deba volver al diseño anterior para proteger los ingresos y el rendimiento.

Georgi, el creador de Analytics-toolkit.com, incluso argumenta que las pruebas A/B son, en esencia, una herramienta de gestión de riesgos:

¿Por qué arriesgarse cuando se puede probar?

(—Más sobre eso más adelante en el blog. ¡Sigue leyendo!—)

Análisis de tendencia

Cuando ejecuta constantemente pruebas de las que aprende , comienza a detectar tendencias en la respuesta de su audiencia a entradas específicas. Es mejor no asumir que puede obtener algo de valor de una sola iteración. Pero el metanálisis (en un entorno de prueba A/B de una sola variable) a lo largo del tiempo puede darle la confianza para priorizar potencialmente la prueba de una hipótesis en particular sobre otras.

Algunos expertos están detrás de probar todo, dado que la experimentación tiene muchos beneficios.

Por otro lado, muchos expertos abogan por al menos inspirarse en los resultados repetibles de experimentos anteriores para responder a las grandes preguntas .

El editor jefe de GoodUI, Jakub Linowski, se encuentra entre los más notables. Argumenta que los experimentos generan conocimiento que permite la predicción. Piensa que es importante buscar conocimientos, tácticas, patrones, mejores prácticas y heurística.

El conocimiento que obtienes de los experimentos te ayuda a hacer predicciones más confiables. Esto, a su vez, le permite crear hipótesis más precisas y priorizarlas mejor.

A primera vista, estas perspectivas pueden parecer contradictorias. Pero refuerzan el mismo argumento, “ la experimentación trae certeza en un mundo incierto ”.

Usted hace las suposiciones sobre su conjunto de datos o transfiere las creencias de las pruebas realizadas para obtener resultados finales similares deseados, en múltiples verticales e industrias.

En Convert, nos inspiramos en ambas vistas y vemos cómo una faceta construye la siguiente de las siguientes dos formas simples.

Aprendizaje y pruebas: el dúo práctico para pruebas inspiradas

Cuestionar todo

Esta es una enseñanza perdurable de los maestros estoicos .

Cuando cuestionas todo lo que te rodea, te das cuenta de que eres un compuesto de lo que recoges de las personas que conoces, la cultura en la que vives y las heurísticas que tu cerebro elige seguir.

Este “instinto visceral” que normalmente nos impulsa no suele ser nuestro.

Por ejemplo, muchos de nosotros soñamos con llevar un estilo de vida lujoso centrado en el consumo. ¿Pero esto realmente vino de nosotros? ¿O somos víctimas de la publicidad, los medios y Hollywood?

Los medios de comunicación y la publicidad comenzaron a jugar un papel importante en la configuración de los sueños y deseos de la persona individual para convertirse principalmente en un consumidor... y se hizo posible seducir a la persona individual y hacerle creer que lo que desea es una decisión libre que surge de su interior. él (pero en realidad, está cautivo de cientos de anuncios que generaron el deseo que dijo que es subjetivo y crearon para él el deseo automático .

Abdel Wahab El-Messiri

Hacer cambios y tomar decisiones comerciales utilizando SÓLO su propio "instinto" es imprudente. Si no podemos estar seguros de que los cambios que queremos hacer y las decisiones que queremos aplicar en nuestro negocio provienen de nosotros, ¿por qué nos apegamos a ellos?

Cuestionar todo es fundamental . Su intuición, mejores prácticas, modelos de priorización, etc.

Y si cuestionamos todo, el siguiente paso es someterlo a verificación matemática a través de experimentos. Porque detenerse en el cuestionamiento no cierra el ciclo de la incertidumbre a la certeza.

Aprende de los experimentos

No puedes aprender si no pruebas.

Asegúrese de cuantificar correctamente sus conocimientos. Debe aprovechar los datos cualitativos y cuantitativos en las pruebas A/B para traducir sus aprendizajes en algo significativo. Por ejemplo, agrupe el impacto promedio por contexto, tipo de prueba, ubicación de la prueba, KPI monitoreados, resultado de la prueba, etc.

Un gran ejemplo de este enfoque metódico es la base de datos GOODUI .

Identifica patrones que se repiten repetidamente en las pruebas A/B, lo que ayuda a las empresas a lograr conversiones mejores y más rápidas.

GOODUI presenta 124 patrones basados ​​en 366 pruebas (solo miembros) y agrega más de 5 nuevas pruebas confiables cada mes. Al aprender de los experimentos y cuantificar esos aprendizajes en patrones, la base de datos GOODUI acorta el tedioso proceso de prueba A/B y permite a los clientes obtener más ganancias.

Inspírate con estos patrones:

Patrón n.º 2: etiquetas de iconos: https://goodui.org/patterns/2/

Patrón n.º 20: respuesta enlatada: https://goodui.org/patterns/20/

Patrón #43: Títulos largos: https://goodui.org/patterns/43/

Pero enfócate en… priorizar las ideas

Priorice las ideas que se alineen con sus objetivos comerciales generales mientras considera los resultados específicos de la empresa.

Imagínate esto.

Diriges un negocio con una base de clientes decente. Sin embargo, la tasa de retención de estos clientes está por debajo del 15% . Su objetivo principal es construir un negocio sostenible que retenga a los clientes a un ritmo mucho más alto. Este objetivo debe influir en su priorización.

Supongamos que tiene dos ideas y desea saber cuál probar primero: una que probablemente aumente la tasa de retención y otra que probablemente aumente las ventas de nuevos clientes . Probablemente deberías priorizar la primera idea a pesar de que la última tiene un potencial de mejora mucho mayor.

Esto se debe a que una mayor tasa de retención de clientes significa un negocio más estable a largo plazo. Esto se alinea perfectamente con sus objetivos y estrategia comerciales generales.

La otra idea puede generar muchas más ventas nuevas. Pero eventualmente, su empresa aún perderá más del 85% de sus clientes.

Los modelos de priorización para la experimentación siempre fallan en considerar la importancia estratégica de lo que se está probando. Observan el impacto probable, el esfuerzo, etc., de una amplia gama de ideas diferentes, pero no consideran cuál de esas ideas se alinea mejor con la estrategia y la dirección del negocio .

Jonny Longden, a través de Probar todo

¿Dónde se quedan cortos la mayoría de los modelos de priorización?

Si es un optimizador entusiasta, es posible que tenga una larga lista de ideas para pruebas A/B. Pero no puede probarlos todos a la vez, incluso si decide probar todo, debido al tráfico y los recursos limitados .

Es como tener una larga lista de cosas por hacer y saber que no puedes abordar todo al mismo tiempo. Así que prioriza y comienza con los que tienen la MAYOR PRIORIDAD. Esto se aplica a generar ganancias con la experimentación. Con una priorización adecuada, su programa de pruebas será mucho más exitoso.

Pero la priorización en las pruebas A/B, como escribió David Mannheim en su artículo, es muy difícil. Esto se debe principalmente a que

• A menudo produce ideas que no están enfocadas ni alineadas con los objetivos comerciales.
• No considere la iteración y el aprendizaje de experimentos anteriores.
• Use modelos de priorización disfuncionales e intente agregar marcos arbitrarios al problema.

Y estas son también algunas áreas que incluso los modelos de priorización más populares tienden a pasar por alto y se equivocan. Pero ¿por qué es eso? Aquí hay algunos elementos críticos que contribuyen a su falta de priorización adecuada.

• Factores engañosos: los factores que utilizan para seleccionar las pruebas son muy engañosos. Primero está el esfuerzo, dando la impresión de que las ideas de bajo esfuerzo merecen una priorización rápida.
• Función de peso: la mayoría de los modelos asignan pesos arbitrarios a los factores. No puedes simplemente priorizar al azar; necesitas una razón para ello.
• Iteraciones complejas: no pueden distinguir las iteraciones de prueba existentes (impulsadas por el aprendizaje) de las ideas nuevas con fines de priorización.

Para empezar, el marco de priorización de PIE clasifica las hipótesis según:

• Potencial de mejora
• Importancia
• Facilitar

Pero, ¿cómo se determina objetivamente el potencial de una idea de prueba? Si pudiéramos saber esto de antemano, como dice Peep Laja, Fundador de CXL, explicó, no necesitaríamos modelos de priorización.

El modelo PIE es muy subjetivo. Tampoco se alinea bien con los objetivos comerciales y promueve soluciones de bajo riesgo. La facilidad es engañosa, ya que sugiere que se deben priorizar las ideas de bajo esfuerzo.

Cuanto mayor sea el riesgo, mayor será la recompensa .

Y esto solo se aplica si te desafías a ti mismo con ideas más sofisticadas.

Otro modelo popular, el modelo de puntuación ICE (Impacto, Confianza y Facilidad), es muy parecido a PIE y tiene los mismos defectos que PIE .

El marco PXL es una mejora sobre estos dos y hace que cualquier evaluación de "potencial" o "impacto" sea mucho más objetiva. Sin embargo, todavía tiene sus defectos.

En primer lugar, no considera alinearse con los objetivos comerciales . En segundo lugar, no distingue las iteraciones de prueba actuales de las ideas nuevas.

David Mannheim, vicepresidente global de optimización de la tasa de conversión de Brainlabs, reveló que el 50 % de los más de 200 experimentos que crearon para un cliente en su anterior consultora, User Conversion, eran iteraciones entre sí. También crearon una vez un valor mejorado del 80% a partir de la hipótesis original y declararon:

Sabíamos que el "concepto" funcionaba, pero al alterar la ejecución, más de 6 iteraciones diferentes, podría agregar, vimos una ganancia incremental de más del 80% en el original .

En su "Informe de experimentos informados sobre la experiencia en ejecución ", Convert descubrió que casi todos los expertos entrevistados estaban de acuerdo en que el aprendizaje impulsa la ideación exitosa. Esto se puede respaldar aún más con la versión de H&M de los patrones de aprendizaje.

Casi todos los demás experimentos que realizamos en H&M en nuestro equipo de productos están respaldados por un aprendizaje documentado de un experimento anterior u otra metodología de investigación .

Matías Mandiau

¿Cómo crear su propio modelo de priorización de pruebas A/B?

La priorización fomenta la mentalidad de "probar todo". Imparte confianza para probar (primero) las ideas e hipótesis que hacen mella más grande en el problema más apremiante.

Pero cada negocio es diferente. Por lo tanto, no puede haber un enfoque de priorización de experimentos único para todos . El contexto, como señaló David, es rey .

Esencialmente, todos los modelos son incorrectos, pero algunos son útiles .

George EP Box, un estadístico

De los ejemplos anteriores, podemos decir que todos los modelos tienen fallas, pero algunos son útiles. El secreto es crear el modelo más útil e impactante para su negocio.

Aquí hay cuatro pasos para construir un modelo:

1. Inspírate con ejemplos

Una de las formas más fructíferas de desarrollar un buen modelo de priorización es elegir las capacidades de diferentes modelos, mezclar y combinar, y producir una combinación con detalles limitados.

Por ejemplo, puede inspirarse en el enfoque de evaluación más objetivo de PXL , que hace preguntas como "¿Agregar o quitar elemento?" . Al mismo tiempo, puede considerar el ángulo de impacto de ICE y agregarlo.

2. Haz espacio para los factores que cuentan

Incluya factores que se alineen con sus objetivos comerciales . Esto lo ayudará a concentrarse más en los impulsores de crecimiento centrales y los KPI, como el valor de vida útil del cliente (LTV) y la tasa de retención de clientes, no solo en las métricas y los resultados a nivel superficial.

Como se mencionó anteriormente, el aprendizaje específico de la empresa también es crucial al priorizar los experimentos. ¿Ciertas soluciones superan consistente e históricamente a otras para su audiencia?

Además, considere el potencial de iteración . Las iteraciones pueden ayudar a avanzar más hacia la solución de un problema comercial en particular y tener más éxito. Si es cierto, las hipótesis con potencial de iteración pueden y deben priorizarse sobre las pruebas independientes. Además, la experimentación no es más que un volante donde los esfuerzos se alimentan entre sí.

Finalmente, tenga en cuenta la inversión de recursos , incluida la complejidad, el tiempo, el costo y las medidas tradicionales utilizadas para priorizar los experimentos.

3. El peso es crítico

Decida qué quiere obtener de las pruebas que ejecuta. ¿Está explorando ideas nuevas e innovadoras ? ¿O explotar un área problemática hasta encontrar una solución?

Personaliza el sistema de puntuación para que se adapte a tus necesidades. Consideremos dos tipos diferentes de experimentos para entender esto mejor.

1. Agregar el blog al menú de navegación aumentará las visitas al blog.
2. La disminución de los formularios en la página de pago reducirá la tasa de abandono del carrito.

Para este ejemplo, supongamos que solo hemos seleccionado dos factores para nuestro modelo de priorización. Uno es el potencial de iteración y el otro es el potencial de impacto y califica cada hipótesis en una escala de 1 a 5 para cada factor.

Nuestro objetivo principal para las pruebas ahora es solucionar el problema de abandono de tarjeta para un sitio de comercio electrónico . Deberíamos dar más peso al potencial de iteración, ya que probablemente no lo arreglaremos con una prueba. Y es probable que iteremos muchas veces dentro de una sola hipótesis antes de reducir notablemente el abandono del carrito.

Podemos sopesar el factor potencial de iteración duplicando su puntuación.

Démosle a la primera hipótesis un “4” para el factor potencial de impacto. Y "2" para el potencial de iteración. Luego, para la hipótesis de llenado de formularios, "3" para los factores potenciales de impacto e iteración.

Sin el énfasis en el potencial de iteración, sería un empate: “4 + 2 = 3 + 3”

Pero después de duplicar la puntuación en este factor , la hipótesis número dos gana:

El puntaje final para la primera hipótesis : "4 + 2 (2) = 8 "

La puntuación final para la segunda hipótesis : “3 + 3(2) = 9 “

La conclusión es que el resultado de la priorización del mismo marco debe cambiar a medida que cambian las consideraciones externas e internas.

4. Enjuague y repita hasta que encuentre el acrónimo correcto

Trate de no esperar buenos resultados con una sola iteración. Siga modificando hasta que termine con el modelo de priorización correcto para su negocio.

Por ejemplo, ConversionAdvocates creó su propio marco, IIEA , que significa:

• Visión
• Ideación
• Experimentación
• Análisis

El IIEA intenta resolver dos problemas importantes de la mayoría de los modelos enumerando los objetivos comerciales y de aprendizaje de cada experimento antes del lanzamiento.

Cualquiera que sea el acrónimo que termine creando, revíselo y reevalúelo constantemente. Sina Fak, directora de optimización de ConversionAdvocates, mencionó que han estado perfeccionando IIEA durante los últimos cinco años.

Desde 2013, han utilizado este marco personalizado para ayudar a varias empresas a resolver problemas críticos, como reducir costos y aumentar las conversiones.

Puede que el tuyo no sea un ICE o PIE conveniente, pero los resultados serán deliciosos.

Con su nuevo modelo de priorización ultra útil, puede tomar prestado del aprendizaje heredado Y potencialmente "probar todo" .

¡Un ganar-ganar en nuestro libro!