¿Cómo trabajar con herramientas de prueba A/B para el éxito de la optimización? Los 6 factores principales explicados
Publicado: 2021-08-26Invertir en la herramienta de prueba A/B adecuada para su negocio es solo el primer paso. La verdadera magia radica en sus procesos y estrategia.
Pero, ¿qué procesos y estrategias posicionan su programa de optimización para obtener los mejores resultados posibles?
En este artículo, le mostraremos 6 maneras en las que puede hacer que su herramienta de prueba A/B trabaje lo mejor posible para usted y obtenga el ROI más alto .
Pero antes de comenzar, hay algunos aspectos clave a tener en cuenta al usar herramientas de prueba A/B. Estos aspectos tienen que ver con:
- Los límites de las herramientas.
- Los límites del equipo de proveedores detrás de la herramienta, y
- Los límites de sus propios procesos de optimización y cultura que pueden introducir inconvenientes en el uso exitoso de las plataformas de pruebas A/B.
Ahora, profundicemos en esas 6 formas de extraer los máximos beneficios:
- 1. Comience con la educación (no se salte esto)
- La herramienta es tan buena como la hipótesis
- La mejor hipótesis puede descarrilarse sin una ejecución adecuada
- 2. Utilice la flexibilidad de la herramienta a su favor
- integraciones
- Pago de autoservicio
- 3. Comprobar las amenazas introducidas por la herramienta (validez)
- ¿La herramienta de prueba A/B afecta sus vitales web principales?
- ¿Su herramienta de prueba A/B causa parpadeo?
- ¿Su herramienta de prueba A/B tiene en cuenta los factores de privacidad?
- ¿Su herramienta de prueba A/B causa contaminación cruzada entre los grupos de control y tratamiento?
- 4. Mire bajo el capó de las estadísticas y considere contratar talento dedicado
- 5. Configure su herramienta para su uso y adopción
- Empezar bien
- Utilice las funciones de gestión de proyectos de su herramienta
- La nomenclatura es importante
- Asegúrese de estar utilizando bien el soporte del proveedor
- 6. Mida el resultado correcto para su programa de pruebas A/B
- Próximos pasos
1. Comience con la educación (no se salte esto)
Aquí es donde inviertes en las personas que usan las herramientas. Porque, ya sea gratis o de pago, las ganancias de su herramienta de prueba A/B son tan buenas como las manos que la manejan.
No es lo mismo un software de pruebas A/B en manos de un probador principiante que ese mismo software en manos de un experto.
El optimizador Ace Simar Gujral de OptiPhoenix entiende esto. Dirige capacitación sobre herramientas para nuevos empleados, pero va más allá de "cómo usar una herramienta de prueba A/B" para enfatizar la capacitación y la estrategia de procesos.
Jonny Longden de Journey Further dice que el 80 % de su inversión debe estar en personas y el 20 % en tecnología:
Por lo tanto, su primer paso para obtener los máximos beneficios de ROI de la optimización es educarse a sí mismo y a su equipo sobre los procesos y estrategias de prueba A/B correctos .
Puede comenzar con el programa de pruebas CRO y A/B de CXL. De hecho, como cliente de Convert, tendrá acceso a este programa de capacitación de CXL.
La capacitación es lo que prepara a un probador para:
- Piensa en grandes hipótesis para probar
- Priorice probar primero las áreas de alto impacto
- Lea los datos correctamente y extraiga información valiosa
- Encuentre ideas de prueba
- Probar las cosas correctas
… y más.
Es la base de lo que es correcto acerca de las pruebas A/B de alto rendimiento. Porque…
La herramienta es tan buena como la hipótesis
Afrontémoslo: su herramienta solo cumplirá sus órdenes.
Y si su oferta se basa en malas hipótesis, las pruebas A/B no le darán los resultados que desea.
Hay formas de construir una gran hipótesis, pero eso solo es posible cuando se crean a partir de datos sólidos. Esto es más que solo la recopilación de datos, sino también su procesamiento e interpretación. Por lo tanto, la actitud hacia el análisis de datos que informa su hipótesis debe ser la del crecimiento empresarial.
Utilice sus datos para encontrar problemas dentro de su producto o negocio y revelar oportunidades de mejora. Ahí es donde empezar.
Esto también es un trampolín educativo para futuras hipótesis. Aprender de las pruebas ilumina nuevos conocimientos sobre lo que funciona y lo que no. El error común aquí es ver una prueba fallida como un fracaso.
Todos estos experimentos lo ayudan a ver más en sus estrategias, para evitar un giro equivocado o seguir adelante con lo que funciona, de cualquier manera, está usando su herramienta correctamente.
Cree una hipótesis sólida utilizando nuestro generador de hipótesis de prueba A/B gratuito.
La mejor hipótesis puede descarrilarse sin una ejecución adecuada
Incluso si su hipótesis es acertada, es posible que no obtenga el máximo provecho de ella sin una ejecución adecuada.
Esto podría suceder por varias razones.
Por ejemplo, podrías estar
- Ejecutar las pruebas durante demasiado tiempo
- No ejecutar las pruebas el tiempo suficiente
- Ejecutar demasiadas pruebas al mismo tiempo
- Prueba en el momento equivocado, o
- Configurar la prueba de forma incorrecta.
Un contribuyente importante a los problemas aquí es la ausencia de una o más de 3 cosas:
- La mentalidad y las tácticas de experimentación correctas
- Conocimientos técnicos y teóricos de calidad
- Comprensión suficiente para utilizar la herramienta.
Para los dos primeros, la educación de alta calidad y la experiencia práctica lo cubren. Para el último, su herramienta de prueba A/B le debe una sesión de incorporación que elimina todos los malentendidos exclusivos de su caso de uso.
Aquí en Convert, hemos encontrado una fuerte correlación entre los clientes que tienen una sólida capacitación técnica y buscan educación sobre herramientas con nuestros expertos y la posibilidad de obtener valor de nuestra aplicación.
Asegúrese de que la incorporación de la aplicación que se le proporciona esté centrada en el usuario y no en las características . Desea un proveedor que haya tenido en cuenta los siguientes factores al diseñar la incorporación:
- El valor central que busca de la herramienta
- Los pasos que debe seguir para experimentar ese valor central
- La fricción que experimentas en el camino
- Su facilidad de uso.
Y cuando llegue el momento de poner en marcha sus experimentos ganadores, es posible que se quede atascado en la cola de desarrollo. Tal vez no haya un desarrollador dedicado en el equipo de optimización o el equipo principal de desarrollo web esté ocupado en proyectos "más grandes".
Pero estos pequeños cambios pueden tener grandes efectos, y usted también lo ha demostrado, por lo que merecen la misma atención por parte de los desarrolladores. Divida la cola de desarrollo de su producto para que los arreglos pequeños reciban la misma atención que las tareas grandes y urgentes.
2. Utilice la flexibilidad de la herramienta a su favor
Otra forma de usar su herramienta lo mejor que pueda es aprovechar su gama completa de funciones, pero solo en lo que se aplica a su uso exclusivo, por supuesto.
Puedes usar:
integraciones
Las integraciones son la columna vertebral de la creación de una pila interconectada de herramientas en equipo para impulsar sus esfuerzos de optimización de tasa de conversión, marketing o pruebas A/B.
Podría ser extraer datos de múltiples herramientas de su pila e informar hipótesis, enviar estos datos a tantas plataformas como sea posible, incluido Google Analytics, o ejecutar pruebas A/B en sus campañas de marketing por correo electrónico.
Esto es lo que dice Silver Ringvee, CTO de Speero, al respecto:
Asegúrese de no mantener sus datos aislados dentro de su herramienta de prueba. Recomendaría enviar sus datos de experimentación a tantas herramientas y destinos relevantes como sea posible. De esta manera, puede profundizar en los grupos de variantes en su herramienta de análisis, analizar el comportamiento del usuario usando algo como Hotjar y calcular el impacto en métricas a largo plazo como LTV o rotación dentro de su almacén de datos .
Pago de autoservicio
Esto es especialmente cierto para las empresas que recién comienzan con las pruebas A/B y realmente no tienen un presupuesto interminable para sobrevivir. El objetivo es mejorar constantemente la velocidad de las pruebas .
Así que asegúrese de que la herramienta le permita comprar más usuarios probados según sea necesario, sin pausar su plan hasta que actualice a un nivel de mayor precio (después de conversaciones agotadoras con representantes de ventas).
Sería ideal si puede actualizar para acceder a las funciones que solo necesita esporádicamente cuando lo desee. Y baje de categoría cuando su programa de pruebas esté pasando por una pausa para que pueda usar el presupuesto para mejorar las habilidades de su equipo. No te pierdas esta oportunidad.
Además, las herramientas costosas vienen con una gran promesa que rápidamente se vuelve exagerada. No se deje convencer por las campanas y silbatos que le permitirán probarlo todo. Rara vez necesitas hacer eso.
En su lugar, concéntrese en la herramienta que le permitirá probar lo que necesita su negocio . Y aquí es donde entran la educación y la estrategia de prueba.
En Convert, permitimos actualizaciones y degradaciones del plan de autoservicio, opciones de pago mensual y también la capacidad de comprar usuarios probados adicionales.
3. Comprobar las amenazas introducidas por la herramienta (validez)
Antes de poner toda su confianza en sus resultados, asegúrese de comprender completamente cómo funciona la herramienta elegida y cómo implementó la prueba.
El objetivo aquí es ver si sus datos se han dañado de alguna manera, para que sepa cuánta confianza depositar en los resultados.
¿La herramienta de prueba A/B afecta sus vitales web principales?
Asegúrese de haber implementado su herramienta de prueba A/B de una manera que no diezme su clasificación en los motores de búsqueda. No quieres el debate entre SEO y CRO. Los dos van de la mano.
No hay casi ningún cambio que haría en su sitio para fines de CRO que afectará su posición con Google. Cualquier cambio que realice generalmente afectará las palabras clave, el contenido de la página y la experiencia del usuario. Eso es solo 3 de los más de 200 factores de clasificación.
Y dado que aumenta las conversiones en esas páginas, también está enviando señales positivas a Google de que a las personas les encanta su contenido. Hay una tasa de rebote más baja y el número de visitantes está aumentando.
De acuerdo con Rand Fishkin de Moz, mientras no hagas cambios locos en tu página, deberías ver a CRO y SEO como compañeros de equipo, no como factores opuestos.
Lectura adicional: Core Web Vitals para pruebas A/B: ¿Su software de pruebas A/B está ralentizando su sitio?
¿Su herramienta de prueba A/B causa parpadeo?
No desea los datos de prueba de sesgo de parpadeo. Elija una herramienta que no parpadee.
El parpadeo puede arruinar la integridad de los datos que recopila de la experimentación porque se vuelve obvio para los visitantes de su sitio web que algo extraño está sucediendo con su página web. Cuando echan un vistazo a la versión original antes de que aparezca la variante, surgen signos de interrogación en sus mentes. No hace falta decir que mostrar diferentes versiones de su página al mismo visitante estropea la experiencia del usuario.
Debe implementar el código de la herramienta de una manera que no admita explícitamente el parpadeo. Así es como puedes hacer eso.
Esto es lo que los expertos tienen que compartir sobre algunos de los efectos reales del parpadeo en la optimización de sitios web:
Aunque disfrutamos tener personalización en nuestras experiencias, en muchos casos no queremos saber que nos están personalizando, la razón es que queremos tener el CONTROL, de acuerdo con la teoría de la autodeterminación, queremos tener autonomía y “CONTROL” de lo que estamos haciendo.
Por lo tanto teniendo el efecto de parpadeo donde muestra el control por segundos y luego cambia a la variante; no podemos volver a la primera versión aunque intentemos recargar la página o retroceder desde que se guardó la cookie. Provoca desconfianza y ansiedad. “¿Por qué no puedo volver a lo que he visto antes?” “Me gustó la primera página que vi, ¿cómo puedo volver atrás?”
En definitiva, provoca desconfianza a la marca que tiene este problema, aumenta la tasa de rebote y la pérdida de conversiones .
Carlos Alberto Reyes Ramos, Speero
El parpadeo afecta sus pruebas de MUCHAS maneras. Cada vez que pueda eliminar por completo el parpadeo en sus experimentos, hágalo. Hay estrategias que puede tomar para asegurarse de que no ocurra el parpadeo. Recomiendo tomar esas estrategias tanto como pueda, especialmente para las pruebas que involucran componentes en la parte superior del pliegue. Alternativamente, si sabe que un componente específico que desea probar es más propenso a parpadear, considere rediseñar su prueba para que aún pruebe la hipótesis pero no modifique ese componente en particular .
He sido parte de experimentos en los que estábamos haciendo pruebas de promoción de precios. ¿Te imaginas si tu parpadeo tardara tanto en ejecutarse, que un usuario viera una promoción y luego pasara a otra promoción? Estaría furioso como usuario. Si el parpadeo es lo suficientemente malo, honestamente debe tener en cuenta en sus experimentos si una prueba se perdió debido a que se demostró que la hipótesis era incorrecta, debido al parpadeo o a ambos. Estás probando dos variables en este caso, no una.
Si le preocupa el impacto que el parpadeo puede estar causando en su sitio, puede optar por probar la misma experiencia de la página de destino pero introduciendo el parpadeo. De esta manera, podrá probar el parpadeo y analizar los resultados de una manera 'no inferior' para ver los impactos que el parpadeo puede estar causando para ese elemento específico.
En general, este es un último esfuerzo si el parpadeo es inevitable: siempre debe hacer todo lo posible para ejecutar experimentos que no tengan ningún tipo de parpadeo .
Shiva Manjunath, Speero
¿Su herramienta de prueba A/B tiene en cuenta los factores de privacidad?
A menudo, cuando la herramienta de prueba A/B no utiliza cookies de origen, debido a la prevención de seguimiento en los navegadores, los visitantes del sitio existentes pueden contarse en informes o, peor aún, exponerse tanto al tratamiento como al control.
Esta prevención de seguimiento incluye:
- Prevención de seguimiento inteligente (ITP) de Safari
- Protección de seguimiento mejorada (ETP) de Mozilla, y
- Prevención de seguimiento desde Microsoft Edge
Según el porcentaje de su tráfico que utilice estos navegadores, variará la magnitud del efecto que tendrán en su análisis de marketing.
Debido a estas prevenciones, los navegadores conservan las cookies durante diferentes períodos de tiempo. Desde 30 días hasta 24 horas. Dado que las cookies ayudan a las herramientas a reconocer a los usuarios, esto afecta el recuento de nuevos usuarios y altera el cálculo de la tasa de conversión.
Digamos, por ejemplo, que la vida útil de las cookies es de 24 horas, la misma persona que visita su sitio con 2 días de diferencia se registrará como 2 usuarios diferentes.
Si esto le sucede a 100 usuarios y 50 de ellos acaban convirtiendo, la tasa de conversión (que es el número de conversiones dividido por el número de usuarios) será de 0,25. Porque esos 100 usuarios se registran como 200 personas diferentes. Se supone que la tasa de conversión es 0,50.
Esto afecta varias métricas relacionadas con el usuario. Para que continúe obteniendo los datos que necesita para sus pruebas y análisis de marketing con la mayor precisión posible, elija una herramienta que tenga soluciones para un mundo sin cookies.
¿Su herramienta de prueba A/B causa contaminación cruzada entre los grupos de control y tratamiento?
Otra cosa que puede arruinar la integridad de los resultados de su prueba es la contaminación cruzada entre los grupos de control y tratamiento. No se supone que el resultado de su prueba esté influenciado por los de otra prueba.
Si tiene la intención de ejecutar varias pruebas en un sitio web o una página web, su herramienta debe incluir una función valiosa: la prevención de colisiones.
Si el rediseño de su prueba no tiene en cuenta el impacto indirecto del grupo de control al grupo de variantes (que es común en los experimentos de redes sociales) y no ha evitado la colisión, entonces esta es una trampa legítima de prueba A/B.
4. Mire bajo el capó de las estadísticas y considere contratar talento dedicado
La herramienta no es el lugar número uno para invertir la mayor parte de su presupuesto de pruebas. Si esa es su estrategia, es posible que incluso tenga dificultades para demostrar el ROI de sus pruebas A/B.
Si su organización está en el camino de absorber completamente una cultura de experimentación y tomar decisiones basadas en datos en todo momento, incluso si ha democratizado los datos con éxito y se ha puesto manos a la obra en esa área, todavía tiene mucho sentido invertir en un talento dedicado para ese propósito. Y si te lo puedes permitir, un equipo.
Esto se debe a que experimentar no produce los resultados deseados a largo plazo cuando es solo una tarea secundaria para alguien de su equipo de marketing. Incluso un probador del 50 % siempre superará a un probador del 1 %.
También querrá centrarse más en las habilidades de liderazgo y comunicación de su talento para promover esa cultura de pruebas en su organización. Proponer grandes hipótesis y ejecutar pruebas A/B sólidas, pruebas divididas o pruebas multivariadas son habilidades que se pueden aprender.
Cuando se trata de su herramienta de prueba A/B, desea poder confiar en los resultados que está obteniendo. Vaya con una opción que esté abierta sobre su enfoque estadístico.
Ya sea bayesiano o frecuentista, su talento dedicado con sólida experiencia en estadísticas debería ser capaz de comprender cómo se calculan esos números. De esa manera, puede extraer información mucho más precisa y obtener el valor total del dinero invertido en su herramienta.
Incluso si está utilizando una de las mejores herramientas gratuitas de prueba A/B, Google Optimize, necesita esta información. Desafortunadamente, todo lo que puede aprender sobre GO es que usa Bayesian pero no compartirá sus consideraciones previas con usted. Esta es una falta de transparencia y un gran problema.
¿Quizás es hora de considerar la transición a pruebas más confiables?
Por otro lado, con los motores de estadísticas de Frequentist, los colaboradores pueden mirar solo los niveles de significancia estadística y sacar conclusiones incorrectas. ¡Ah, el pecado ilógico de asomarse! Se supone que debes esperar hasta que alcance el tamaño de la muestra.
Lo que puede hacer al respecto es establecer reglas contra el espionaje. No desea que las personas se presenten con conclusiones erróneas que afecten la calidad de las decisiones.
Elija siempre proveedores con motores de estadísticas transparentes.
Convert Experiences utiliza una prueba Z de 2 colas con un nivel de confianza de 0,05 (95 %) (es decir, 0,025 para que cada cola sea una distribución simétrica normal) con la opción de cambiar esto entre 95 % y 99 %.
5. Configure su herramienta para su uso y adopción
Una de las barreras para que otros miembros de su organización adopten una cultura de prueba es que algunas de estas herramientas vienen con una curva de aprendizaje bastante empinada .
Pero puede hacer que las cosas sean un poco más acogedoras y fáciles de comprender para un usuario promedio. Así es cómo:
Empezar bien
Puede abrumar fácilmente a los demás si hay muchas funciones que parecen demasiado técnicas como para molestarlas.
Si no está utilizando estas funciones sofisticadas, busque una herramienta liviana que reduzca la sobrecarga de funciones. Los productos de VWO están bien preparados para esto (sí, un competidor... pero este aspecto de ellos es realmente sorprendente).
Utilice las funciones de gestión de proyectos de su herramienta
Esta es una manera fantástica de incluir a otros y trabajar sin problemas en las pruebas A/B como equipo.
Además, otras personas pueden utilizar la misma herramienta para diferentes propósitos. Por ejemplo, Convert tiene la capacidad de tener varios proyectos en una cuenta, y cada proyecto puede manejar subdominios ilimitados.
La nomenclatura es importante
Configure de tal manera que cualquier miembro de su equipo pueda usar la herramienta y tener una idea de lo que ha estado sucediendo. La familiaridad, en este caso, genera adopción.
Crear una convención de nomenclatura para sus pruebas puede parecer una exageración cuando comienza por primera vez, pero a medida que aumenta la velocidad de la prueba y aumentan las iteraciones de las pruebas antiguas, se alegrará de haberlo hecho.
El nombre de un experimento A/B debe ser breve y descriptivo. Un buen nombre contiene la siguiente información.
- Autor (desarrollador o equipo; solo relevante si varios equipos están trabajando en una sola cuenta)
- Página(s) objetivo, tipo de página o grupo de páginas
- Cambios (una breve descripción de los cambios que se están probando)
- Audiencia(s) objetivo (grupo de dispositivos, fuente de tráfico, geolocalización, etc.)
- Información de versión
Algunos ejemplos:
Amazon marketing – Beneficios HP ATF – Móvil – V2 (HP significa Home Page y ATF significa Above The Fold)
Amazon marketing – Promocionar enlace a reseñas en páginas de destino – Escritorio
Producto de Amazon – Prioridad 1 – Función de comparación estacionaria PDP – Móvil (Relanzamiento).
Silver Ringvee, CTO, Speero
Asegúrese de estar utilizando bien el soporte del proveedor
Comprenda todas las formas en que puede comunicarse con el equipo de soporte. Necesitará un equipo altamente receptivo y bien informado para brindarle la asistencia que necesita al ejecutar las pruebas.
Averigüe si su plan incluye soporte por correo electrónico, chat y teléfono.
Mira esta comparación de herramientas de prueba A/B. (Tenga en cuenta que Convert ofrece las 3 opciones de soporte con todos los planes).
Además, utilice su CSM como socio responsable. Hágales saber sus objetivos, para que puedan orientarlo en la dirección de los recursos correctos, en cuanto a herramientas. Si no tiene especialistas en marketing dedicados o talento de experimentación o necesita consultas, a menudo sus proveedores conocen a los profesionales que son excelentes para usar su herramienta. Y estaría feliz de hacer la presentación.
6. Mida el resultado correcto para su programa de pruebas A/B
Parece que no puede obtener la atención que tanto necesita en un programa de prueba A/B si no lo atribuye a las ganancias de ingresos. Por lo general, los ejecutivos exigen números exactos para validar la necesidad de una prueba A/B.
“¿Qué porcentaje de elevación deberíamos esperar? ¿Y cuánto agregará eso a los ingresos de este año?
Pero eso no es para lo que está diseñada la experimentación . Las pruebas A/B están destinadas a agregar una medida de certeza o confianza a las ideas, ya sea que una hipótesis sea cierta o no.
De hecho, ese enfoque puede llevar a problemas como:
- Establecer expectativas que no pueden cumplirse de manera realista,
- Atribuir ganancias solo a las pruebas A/B e ignorar a otros jugadores clave,
- Ver una prueba fallida como un fracaso total, en lugar de información sobre lo que funciona (aumento de las ganancias) y lo que no (mitigación de riesgos),
- Crear extrapolaciones inexactas de los resultados de las pruebas.
Dicho esto, no desea utilizar su herramienta de prueba A/B para realizar un seguimiento de los clics en los enlaces. En su lugar, elija el objetivo de prueba A/B correcto. Y aproveche el poder de las opciones de objetivos avanzados de su herramienta para obtener granularidad sobre lo que está rastreando y por qué.
A continuación, le mostramos cómo elegir los objetivos y las métricas correctos que debe seguir:
- Comience con los objetivos que son importantes para su negocio . De esa manera, puede elegir objetivos de prueba A/B que se alineen con los objetivos del negocio.
Si el objetivo del negocio es aumentar los ingresos mediante la adquisición de más clientes, su experimentación debe orientarse a generar clientes potenciales.
- Elige tus objetivos primarios y secundarios. Los principales serían aquellos que se vinculan directamente con los objetivos del negocio, como las descargas de aplicaciones y las solicitudes de demostración.
Las metas secundarias respaldan las metas primarias porque son microconversiones que generalmente conducen al logro de la meta secundaria en algún momento en el futuro. Estos podrían ser interactuar con su contenido o suscribirse a boletines.
La idea aquí es reconocer los factores que contribuyen al logro de los objetivos principales del negocio.
- Decidir qué medir. Estos son sus indicadores clave de rendimiento (KPI): métricas que indican dónde se encuentra en relación con los principales objetivos comerciales.
Cuando reconoce esto, es más fácil medir y mejorar las métricas que impactan directamente en el crecimiento positivo del negocio.
Si no configura sus objetivos correctamente, celebrará microobjetivos que no mueven la aguja o invertirá constantemente en "Ideas de Big Sky" que son difíciles de calibrar, diseñar, implementar y terminar pareciendo fallas. . El equilibrio está en el medio.
Próximos pasos
Usar su herramienta de prueba A/B al 100 % de su capacidad no siempre será posible, pero usarla para obtener los máximos beneficios para su negocio es algo por lo que puede esforzarse.
El primer paso, si aún no ha elegido uno o no se siente seguro con lo que tiene actualmente, es encontrar la herramienta adecuada para sus necesidades. Luego, con estas 6 estrategias, es todo el camino desde allí.
Reserve una demostración con Convert para averiguarlo.
Solicita tu demostración