¿Cómo tratar los datos cualitativos y cuantitativos para ganar las pruebas A/B?

Si lo desglosamos en sus conceptos básicos, CRO se trata menos de conversiones y más de comprender a su audiencia y cómo interactúan con su sitio web.

Cuanto más los comprenda, lo que quieren y cómo actúan en su sitio, mejor será la experiencia del cliente y las ofertas que podrá ofrecer.

Esto significa que nuestro principal objetivo como evaluadores es obtener la mayor cantidad de información posible . Cuantos más datos tengamos, mejor podremos planificar las pruebas e intentar ver un aumento en los resultados.

¿El problema?

No siempre somos buenos para recopilar o comprender esos datos. Tal vez no conocemos las herramientas a usar, los procesos para encontrar la información, o tal vez no estamos analizando y obteniendo información precisa, ya sea por falta de experiencia o, lo que es peor, agregando nuestro propio sesgo que corrompe los resultados.

Eso es lo que vamos a cubrir en la guía de hoy: cómo recopilar información sobre su audiencia, comprenderla y usarla. Incluso profundizaremos y veremos a otros evaluadores y sus procesos para que pueda obtener aún más ideas y conocimientos para sus nuevas pruebas.

Siga leyendo para obtener más información, o haga clic aquí para aprender "cómo usar los datos para generar pruebas A/B ganadoras".

Cuando se trata de probar y encontrar información para su sitio o aplicación, hay dos tipos de datos que queremos analizar.

Ejemplos de análisis de datos cuantitativos podrían ser:

• Medir el tráfico a una página
• La tasa de rebote de ese tráfico
• El CTR
• tasa de suscriptores
• Tasa de ventas
• Valor medio de venta.

La mayoría de los programas de prueba comenzarán con un análisis técnico para obtener datos sobre lo que funciona o no funciona en un sitio web, y luego un análisis cuantitativo para obtener una línea de base sobre el rendimiento actual del sitio, antes de pasar a un análisis cualitativo.

Ejemplos de datos cualitativos son

• Investigación de usuarios
• Mapas de desplazamiento
• seguimiento de clics
• Mapeo de calor
• Encuestas.

El objetivo es simplemente obtener una mejor comprensión de la audiencia y cómo interactúan, para que podamos detectar posibles problemas en el uso del sitio o conocer cualquier problema externo que pueda afectar sus acciones en el sitio.

Por ejemplo, aunque sabemos que un CTA no recibe muchos clics, solo a través de las entrevistas con los clientes descubrimos que el lenguaje no es claro o no resuena con la audiencia.

¿Cuál es la forma correcta de usar los datos en las pruebas A/B?

Aunque parece que solo estamos rastreando eventos de conversión específicos o monitoreando el comportamiento de los usuarios, el objetivo es combinar datos cuantitativos y cualitativos . Tal vez para encontrar fallas técnicas o problemas comunes, pero idealmente, los combinamos para que podamos educarnos y obtener una visión más holística de nuestra audiencia.

No solo queremos información inmediata tampoco. Queremos averiguar por qué suceden las cosas y luego dar un paso más para encontrar la causa raíz.

Digamos que hacemos una investigación cuantitativa y vemos que la tasa de conversión en una página es baja. ¿La oferta o el producto simplemente no se desean? ¿O necesitamos mejorar el proceso?

Luego ejecutamos un mapa de calor en la página de destino y vemos que la mayoría de la audiencia no hace clic en un CTA específico, por lo que podemos formular una hipótesis de por qué. ¿Quizás el lenguaje no es claro?

Pero luego, en una inspección más profunda, vemos que para algunos dispositivos simplemente está fuera de la pantalla, mientras que en otros, no se destaca lo suficiente como para que quede claro que es un botón para presionar.

• Si solo observáramos los datos cualitativos, entonces pensaríamos que es un CTR bajo.
• Si todo lo que observáramos fueran los datos cualitativos, entonces podríamos suponer que las personas simplemente no están haciendo clic.

Pero al combinarlos, podemos ver mucho más profundo. (Así es como realmente entendemos los datos en las pruebas A/B).

El viejo dicho es cierto en que "lo que se mide se gestiona". La clave, por supuesto, es asegurarse de que no estamos tomando decisiones basadas en conjuntos de datos limitados o defectuosos, así que SIEMPRE mire múltiples fuentes de datos.

Aprender a reducir la velocidad, preguntar por qué y dejar que los datos se hundan lo ayudará a convertirse en un probador y solucionador de problemas mucho mejor.

En lugar de tratar de encontrar la respuesta de inmediato, pregúntese si tiene suficiente información:

• ¿Tus usuarios tienen un problema fácilmente reparable (botón roto o CTA débil) o podría haber más en esto que también podría mejorarse?
• ¿Tiene un sesgo inherente o experiencia previa que está afectando sus ideas iniciales?
• ¿Podrías averiguar más sobre tu audiencia primero?

¿Qué pasa si al analizar más a fondo este problema de CTA y diseño, encuentra que la mayoría de su audiencia usa dispositivos móviles obsoletos con diferentes resoluciones de pantalla y velocidades de carga? Podría ser que se estén perdiendo la mayor parte de su contenido e interacciones y no solo su CTA y páginas de ventas. ¡Incluso tus redes sociales y el contenido de tu blog podrían verse afectados!

Profundiza de nuevo. ¿Por qué tienen estos dispositivos? ¿No pueden permitirse un dispositivo más caro? ¿No es importante para ellos? Si no, entonces ¿qué es?

No intente simplemente tomar todas sus decisiones a partir de lo que tiene hasta ahora. Tómate tu tiempo, piensa y profundiza en cualquier resultado que obtengas. Encuentra la razón por la cual.

Grandes errores que se deben evitar al recopilar y analizar datos

Ahora, no se preocupe si usted es el tipo de probador que intenta encontrar una idea inmediata de su investigación inicial, ya que no está solo en esto.

Este es solo uno de los pocos problemas recurrentes que la mayoría de las personas tienen cuando intentan recopilar o comprender sus datos...

Problema #1: Recopilación de datos para probar una opinión

¿Está utilizando datos para descubrir nuevos conocimientos? ¿O está utilizando datos para validar ideas actuales?

Está bien usar datos para validar una idea. Ese es el objetivo de la hipótesis. Tenemos una idea de lo que está mal y cómo solucionarlo, por lo que tratamos de demostrarlo con la prueba y sus resultados.

¡Pero no olvides el método científico! No podemos apegarnos a nuestras ideas y opiniones. Necesitamos confiar en los datos y encontrar la verdadera razón. Eso es lo que nos importa. Está bien estar 'equivocado' con una hipótesis. ¡Descubrir una perspectiva diferente de una prueba fallida simplemente te enseña más sobre tu audiencia!

Solo tenga cuidado con los datos que le dicen una cosa, pero usted los sesga para tratar de probar otra cosa.

Problema #2: Análisis de patrocinio sin articular claramente el problema

Un problema común en las pruebas (e incluso en la mayoría de las empresas) es que la persona que analiza los datos no siempre es el analista.

En cambio, el analista se utiliza como un medio para obtener información en informes para un tercero que está tratando de resolver un problema. (Se convierten casi en un tablero glorificado).

Aquí hay un ejemplo:

• Tu jefe tiene un objetivo y un problema.
• Tienen una idea aproximada de la solución y la causa, por lo que le piden al analista datos sobre XYZ, pero sin contexto. Están tratando de averiguar si este problema y la solución podrían funcionar.
• Por lo general, hay ida y vuelta para solicitar más datos. Esta solicitud apoya falsamente la idea o no se ha llegado a un mayor entendimiento.
• Y así se presentan nuevas pruebas o ideas, y el problema permanece sin resolver.

No es genial, ¿verdad?

Pero imagínese si el jefe acudiera al analista con el contexto del problema particular y trabajaran juntos para articular el problema y encontrar la causa raíz.

Esto podría acelerar la comprensión y las nuevas pruebas para resolverlo.

Problema n.º 3: Confiar en una sola fuente de datos sin sumergirse en diferentes perspectivas

Hemos insinuado esto antes, pero es muy importante no ceñirse a una sola fuente de datos, ya que limita gravemente su comprensión y las posibles soluciones e ideas de prueba.

Cuantas más fuentes tenga, mejor podrá pintar una imagen de lo que está sucediendo y por qué.

Sí, lleva tiempo, pero la optimización de la tasa de conversión se trata de comprender a esa audiencia. Haz el trabajo y aprende tanto como puedas.

¡Mientras mas sabes es mejor!

vía GIPHY

Problema #4: No priorizar el pensamiento crítico como una habilidad

Nuestros cerebros son raros. Funcionamos con un sistema de impulsos básicos, impulsores emocionales y experiencias previas. El objetivo es mantenernos vivos, procrear y tomar decisiones sin gastar demasiada energía.

Sabiendo esto, siempre es inteligente para los probadores (y cualquier propietario de un negocio) estar al tanto del proceso de pensamiento crítico y sesgos cognitivos y cómo afectan nuestra comprensión y decisiones...

¿Qué es el pensamiento crítico?

El pensamiento crítico es la capacidad de analizar hechos y datos para formar un juicio sin prejuicios .

Hay cientos de cosas diferentes que intervienen en nuestra toma de decisiones, una de las cuales es el sesgo de las decisiones basadas en experiencias o situaciones de vida anteriores. A estos los llamamos sesgos cognitivos .

Aquellos que practican el pensamiento crítico entienden esto, por lo que usan un proceso específico para ayudarlos a hacer juicios imparciales:

• Identificación . Encuentra el problema.
• Reunir datos . Asegúrate de usar múltiples fuentes. Asegúrese de no agregar sesgos a la selección de fuentes.
• Análisis ¿Puedes confiar en estas fuentes? ¿Son confiables? ¿Es el conjunto de datos lo suficientemente grande como para ser verdad?
• Interpretación + Inferencia. ¿Qué patrones puedes ver a partir de estos datos? ¿Qué te está diciendo hasta ahora? ¿Qué es lo más significativo? ¿Estás viendo causalidad o correlación?
• Explicación ¿Por qué piensas que esto está sucediendo?
• Autorregulación . ¿Tiene algún sesgo cognitivo que afecte este análisis y pruebe las hipótesis? ¿Estás haciendo suposiciones incorrectas? Trabaje a través de ellos para estar seguro.
• Mente abierta y resolución de problemas. Con su comprensión actual, ¿cómo puede resolver este problema? ¿Necesitas aprender más primero?

Como puede ver, tener un proceso para analizar esta información es increíblemente importante. Sin embargo, incluso entonces, debe observar cualquier sesgo subconsciente que podría estar afectando la forma en que toma decisiones y analiza estos datos.

¿Qué son los sesgos cognitivos?

Los sesgos cognitivos son códigos de trampa para que nuestros cerebros ahorren energía en las decisiones mediante el reconocimiento de patrones. El problema, por supuesto, es que nuestros sesgos no siempre son correctos y pueden afectar nuestras decisiones y acciones, de manera positiva o negativa. Ik Esto es especialmente notable cuando se trata de pruebas.

Aquí hay unos ejemplos:

• Sesgo de acción : ¿La tendencia a querer tomar medidas incluso cuando los datos sugieren que no se puede hacer ninguna mejora?
• Sesgo de anclaje: la tendencia a basar las decisiones en información previamente adquirida.
• Sesgo de autoridad: la tendencia a otorgar un mayor valor a las opiniones desde posiciones de autoridad.

¿Puede ver cómo esto podría afectar su análisis de datos e ideas de prueba?

Hay demasiados de estos para que los cubra aquí (algunos estiman alrededor de 150 en total). Le recomiendo que haga su propia lista. Luego, puede intentar desarrollar un proceso de pensamiento crítico para analizar sus datos como describimos antes y hacer una "lista de verificación" de cualquier sesgo potencial que pueda afectar su análisis.

Problema #5: Tomando la correlación como causalidad

Esto casi se relaciona con un sesgo cognitivo, en el que vemos patrones en los datos que pueden existir, pero que pueden no ser la causa del resultado.

Simplemente ocurren juntos a menudo como un subproducto o una simple coincidencia.

Por ejemplo, la mayoría de los surfistas no trabajan a media mañana y en su lugar surfean. (Es cuando tienes el mejor viento marino para las olas).

Para la persona que observa en la playa, usted supondría que tal vez estas personas no tenían trabajo o se reportaron enfermas. Sin embargo, después de tener varias conversaciones en el océano, quedó claro que casi todos los que practican surf trabajaban para sí mismos y, por lo tanto, pueden elegir sus horas.

Ahora bien, algunos de ellos comenzaron a surfear porque tenían esta flexibilidad y tiempo libre (Correlación), pero otros eligieron profesiones donde pudieran tener esta flexibilidad para poder ir a surfear (Causación).

Bastante genial, ¿verdad?

Sin embargo, el hecho es que incluso después de la investigación inicial y las 'entrevistas', sería fácil obtener una visión inexacta del conjunto de datos. Asegúrese de mirar sus datos con una mente abierta y profundice más para encontrar la causa real.

Diferentes métodos de recopilación de datos cualitativos y cuantitativos

¿Qué podemos utilizar para recopilar estos datos?

Para la recopilación de datos cuantitativos, generalmente buscamos dos tipos de herramientas:

• Una herramienta de análisis como Google Analytics o un proveedor externo para obtener resultados actuales.
• Una herramienta de prueba A/B como Convert Experiences para que pueda medir el cambio numérico en el rendimiento entre las variaciones y el control.

Ambos nos darán datos numéricos sin procesar.

(Consulte nuestra guía de comparación de herramientas de prueba A/B aquí para que pueda ver cuál funciona mejor para usted).

Para la investigación cualitativa, buscamos una selección más amplia, ya que probamos múltiples elementos diferentes:

• Mapeo de calor
• seguimiento de clics
• Registro visual
• Grabaciones de usuarios
• Inspecciones in situ, y
• Encuestas directas a clientes.

El seguimiento ocular tiende a ser la herramienta de mayor costo debido a sus requisitos de hardware. Hay algunas opciones de software disponibles para instalar y usar internamente, mientras que otra opción es contratar empresas externas que configuren anteojos o cámaras de seguimiento ocular para verificar los movimientos oculares y las ubicaciones de interés.

Para mapeo de calor, seguimiento de clics, registro básico de usuarios y encuestas, puede usar una herramienta de bajo costo como Hotjar que combina todas estas características. Lo ayuda a detectar problemas comunes y obtener información casi inmediata sin tener que obtener asistencia de terceros, y *casi* realiza funciones similares a las del seguimiento ocular.

Finalmente, también puede llevar la grabación de usuarios un paso más allá y contratar agencias que traerán usuarios independientes para usar su página web, hacer que realicen tareas establecidas y luego registrar sus interacciones y pasarle la información.

Nota al margen:

Aunque no los enumeramos en la sección de herramientas cuantitativas, a veces hay una superposición donde las herramientas cualitativas se pueden usar para la adquisición de datos cuantitativos.

Puede usar una herramienta de encuesta y medir las respuestas de X número de participantes para obtener un valor numérico de sus pensamientos sobre el texto de ventas y cómo creen que responderán.

Sin embargo... Esto sigue siendo subjetivo ya que lo que la gente dice no siempre es lo que hace .

Siempre es una buena idea medir sus comentarios sobre una acción (lo que dicen) y luego medir también la respuesta de la acción real (la acción que toman). A veces, esto puede darle una idea más profunda de qué ofrecer y cómo enmarcarlo.

¿Cómo abordan los profesionales de la experimentación los datos cualitativos y cuantitativos?

¿Quiere saber cómo recopilan y usan los datos los profesionales? Recientemente entrevistamos a 7 profesionales de CRO como parte de nuestra serie "Piensa como un profesional de CRO".

No estropearé sus entrevistas, ya que recomiendo encarecidamente que las lea; sin embargo, he extraído algunos datos interesantes sobre cómo piensan sobre los datos a continuación, así como mis pensamientos sobre sus métodos...

Gursimran Gurjal – OptiPhoenix

Los datos cuantitativos generalmente son buenos para descubrir agujeros de conversión básicos para comprender dónde caen los usuarios, cómo funcionan los diferentes canales, CR desde diferentes dispositivos, dónde salen los usuarios del sitio web, etc., mientras que los datos cualitativos nos ayudan a descubrir detalles de por qué los usuarios caen o toman una determinada acción .

La combinación de "Dónde + Por qué" junto con la experimentación pinta una imagen completa del comportamiento del usuario.

El estudio de datos cualitativos, como mapas de calor, grabaciones de sesiones, resultados de encuestas o pruebas de usabilidad, requiere mucho más tiempo para crear un patrón estadísticamente significativo, mientras que los datos cuantitativos son más fáciles de analizar. Cuando desea recopilar información más detallada y significativa, es importante no solo confiar en GA o Hotjar para recopilar datos, sino impulsar sus propios eventos personalizados para que los datos sean más significativos, como etiquetar la grabación para todos los usuarios que obtienen un error en el proceso de pago, enviar un evento a GA para el cual filtrar o la opción de clasificación se está utilizando más, etc., para que pueda aprovechar al máximo los datos disponibles .

Agregar etiquetas personalizadas para obtener una línea completa de datos es una idea fantástica. De esta manera, no solo puede ver el problema y adónde condujo, sino también dónde se originó y la fuente del tráfico.

Haley Carpenter, experta sénior en estrategia de CRO

Recuerda constantemente que todos tenemos prejuicios. Sepa que es su trabajo informar con la mayor veracidad y precisión posible. La integridad es un valor clave para mantener alto.

Además, verifique dos veces su trabajo o haga que otra persona lo revise si no está seguro de algo. A veces, un segundo par de ojos puede ser extremadamente beneficioso, especialmente si ha estado mirando algo durante horas, días o semanas.

Una vez tomé un curso de antropología donde tuvimos que transcribir grabaciones. El profesor enfatizó que era de suma importancia mantener las transcripciones fieles a la persona que pronunció las palabras. Ni siquiera debíamos hacer algo tan pequeño como cortar una palabra de dos letras o corregir un pequeño error gramatical.

He guardado esta lección conmigo hasta el día de hoy y la aplico al análisis de datos... especialmente a las grabaciones de pruebas de usuarios. Es importante mantener su análisis lo más fiel posible a los datos originales.

Tener múltiples ojos en la investigación y los resultados es una excelente manera de no perder ningún problema, eliminar posibles sesgos y obtener diferentes puntos de vista. Esto a menudo puede conducir a conocimientos que un solo evaluador habría pasado por alto.

Rishi Rawat – Comercio sin fricciones

Mis puntos de vista sobre los datos cuantitativos:

Los datos son los datos. No entrecierres los ojos para darle sentido. No se ate emocionalmente a ella. Exprese su hipótesis antes de que comience la recopilación de datos. Si los datos desmienten sus instintos, rediseñe una nueva prueba y ejecútela. Los datos son los datos. Respétalo.

Mis puntos de vista sobre los datos cualitativos:

Tenemos una versión controvertida de este tema. No creemos en la investigación del usuario final, lo que significa que no hablo con las personas que compraron el producto. No es que no crea que este tipo de investigación es importante, lo es; es caro Prefiero obtener todos mis datos cualitativos del fundador o inventor del producto en el que estoy trabajando.

Cuando la experiencia de usuario del comprador final es simplemente una instantánea de la compra que se realizó en ese momento, el inventor tiene contexto sobre todo el viaje. Quiero obtener mi 'sensación' cuantitativa del fundador. El fundador/inventor tiene tanto conocimiento institucional que le dará vueltas la cabeza. Es solo que han estado en el 'medio' tanto tiempo que no saben por dónde empezar. Aquí es donde entran en juego las habilidades de hacer preguntas del optimizador. El optimizador ayuda al creador con la vista exterior. Doy mucho valor a este tipo de datos cualitativos

Ahora, esta es una idea interesante...

En CRO tendemos a centrarnos en el usuario para entender el customer journey. El problema es que los clientes a veces no saben qué es lo que está mal o cómo articularlo.

Sin embargo, del mismo modo, el dueño del negocio puede conocer el producto de adentro hacia afuera pero ser pobre en comunicarlo. Para ellos, es obvio porque tienen toda la experiencia, pero para el cliente, ese mensaje puede estar perdiendo algo. En un mundo ideal, si está realizando pruebas para otra empresa, desea hablar tanto con la audiencia como con el propietario.

Si no tiene tiempo ni recursos, hable con el propietario de la empresa. Como dice Rishi, a menudo tienen toda esta información que se puede extraer. Nuestro trabajo como probadores es encontrar dónde falta eso y cómo podría conectarse con el cliente.

Sina Fak – Defensores de la conversión

La realidad es que todos los datos tienen un sesgo incorporado.

Todo, desde cómo se recopilaron los datos, hasta los datos de muestra que se utilizan para el análisis, hasta la persona que revisa los datos y ejecuta el análisis, hay un elemento de sesgo que no podemos controlar por completo.

Los datos por sí solos no le darán toda la historia. Solo le dará un punto de partida para comprender parte de la historia y sacar ideas. La única forma de tratar los datos de manera que cuenten una historia imparcial es ponerlos a prueba y realizar un experimento con ellos.

Esto se relaciona con lo que decíamos antes.

Cada prueba e investigación tiene sesgo. Podemos intentar negar algo de eso con el pensamiento crítico y los procesos de análisis, pero aún puede colarse.

Pruebe la idea, descubra y pruebe un poco más. No olvides el método científico. Podemos 'fallar adelante' y encontrar las respuestas que estamos buscando también.

Jakub Linowski – GoodUI

En general, cuantas más medidas coherentes tengamos, más fiables y fidedignos pueden llegar a ser nuestros experimentos.

Cuando se trata de comparar los resultados de las pruebas A/B, hay algunas maneras en que podemos hacerlo:

● Comparación de varias métricas del mismo experimento (p. ej., consistencia del efecto entre adiciones al carrito, ventas, ingresos, compras devueltas, etc.)

● Comparación de datos históricos en experimentos separados (por ejemplo, consistencia del efecto entre dos experimentos separados ejecutados en 2 sitios web separados)

No olvide que el análisis de datos Quant y Qual es tan importante POST TEST como lo es en nuestra planificación inicial.

Tener un proceso implementado para verificar los posibles problemas y ubicaciones para el 'momento aha' puede dar mejores resultados que una mirada inicial.

(A veces, los datos están ahí y los perdemos).

Eden Bidani - Copia de luz verde

Trato de trabajar tanto como sea posible con ambos tipos de datos uno al lado del otro frente a mí. Para mí, eso ayuda a equilibrar la imagen completa.

Los datos cualitativos dan profundidad y significado a los datos cuantitativos, y los datos cuantitativos proporcionan la dirección general en cuanto a qué elementos de los datos cualitativos deben tener más peso .

Tener ambos conjuntos de datos juntos para que pueda comparar y contrastar es la mejor manera de analizar y comprender lo que está sucediendo.

Esto se relaciona con lo que decíamos antes sobre tener un solo conjunto de datos para encontrar los problemas y las soluciones. Si todo lo que tuviéramos fuera uno, llegaríamos a conclusiones diferentes. Use ambos para tratar de encontrar esa correlación.

Shiva Manjunath – Speero

La forma en que trato de abordar el análisis Quant + Qual es como un interrogatorio policial. Hay un motivo o una hipótesis, pero no puede asumir que la persona que trajo para interrogarla es inocente o culpable. Se supone que la persona traída (datos del experimento) es inocente, y es su trabajo demostrar su culpabilidad más allá de toda duda razonable (importancia estadística).

Por lo tanto, puede ver los datos usted mismo, entrevistar a otras personas (datos cualitativos) y tal vez mirar los extractos bancarios o los registros de cuándo alguien entró/salió del trabajo para ver si su coartada se verifica (datos cuantitativos).

Tal vez no sea el mejor ejemplo, pero siempre hay que abordarlo de manera objetiva. Y corrobore las fuentes de datos (por ejemplo, mapas de calor con encuestas en el sitio con datos cuantitativos) para generar una historia y ver si eso respalda o no la hipótesis. ¡ Con rigor estadístico, obviamente !

Me encanta esta analogía y me recuerda a Sherlock Holmes y se relaciona directamente con las pruebas.

aun no tengo datos (O no lo suficiente). Es un error capital teorizar antes de tener datos. Insensiblemente, uno comienza a tergiversar los hechos para que se adapten a las teorías, en lugar de las teorías para que se adapten a los hechos.

Como experimentadores, debemos eliminar todos los sesgos. Ya sea por experiencia o simplemente porque se nos ocurrió la hipótesis. En cambio, debemos tratar los resultados de manera justa y encontrar la verdad.

Nuestro objetivo no es tener razón. ¡Es encontrar lo que funciona para que podamos construir sobre eso!

¿Cuál es la mejor manera de utilizar los datos para diseñar pruebas ganadoras?

Si ha estado probando por un tiempo, entonces sabe que la mayoría de las pruebas no crean ganadores. De hecho, solo alrededor de 3/10 ganarán, mientras que los demás se considerarán fracasos.

Sin embargo, la terminología de ganar o fallar no es muy buena. Sí, la prueba no brindó impulso, pero nos brinda datos que podemos usar para mejorar y averiguar por qué.

Recuerda:

No nos enfocamos en una sola prueba. Incluso si gana, todavía usamos un proceso iterativo de aprendizaje y mejoras. Probamos, aprendemos, planteamos hipótesis y volvemos a probar.

Esto nos ayuda a crear un circuito de retroalimentación de nuevos datos para apoyar o refutar ideas.

• Probamos y fallamos, pero aprendemos.
• Tomamos esos aprendizajes y los probamos hasta que ganamos y obtenemos una mejora.
• Y luego continuamos probando hasta que alcanzamos los máximos locales y no podemos mejorar más.

No se concentre en tratar de obtener un ganador de inmediato. Este es el camino rápido para afirmar que CRO no funciona para usted. En su lugar, convierta los datos en conocimientos y aprenda más cada vez.

Es posible que esté cerca de un ganador, pero solo necesita una mejor ejecución.

O puede que estés cerca de un momento de sorpresa que puede cambiar fundamentalmente todo tu mensaje. ¡Apégate y sigue aprendiendo con cada prueba!

Cree ese circuito de retroalimentación en su proceso de procesamiento y prueba de datos.

¿Pero lo más importante? ¡Asegúrese de que puede acceder y comprender los datos que está recopilando, que está utilizando esos datos correctamente y que puede confiar en ellos!...

Cómo mejorar la accesibilidad de los datos en la organización

Está muy bien tener datos con los que trabajar, ¡pero es inútil si no puedes acceder a ellos para aprender!

Algunas empresas a menudo tendrán un cuello de botella en su flujo de datos al tener acceso a sus datos solo a través de su científico de datos. Si necesita la información, entonces necesita acceder o trabajar con ellos directamente, lo que causa problemas.

Una excelente manera de superar esto es democratizar el acceso a los datos:

• Permita el acceso a los datos para herramientas tradicionalmente de un solo rol (GA, etc.) a los equipos que lo necesitan,
• Considere el uso de herramientas de autoservicio que tengan capacidades integradas de informes de datos que todo el equipo pueda usar,
• Cree un repositorio de aprendizaje centralizado de resultados de datos. Esto permite que toda la organización obtenga información sobre los datos, no solo el equipo de pruebas directo.

¿Por qué preocuparse por el acceso a los datos?

Porque el acceso a los datos aumenta la cantidad de decisiones que se pueden tomar y que pueden afectar el ROI de su negocio.

El truco, por supuesto, es asegurarse de que una vez que tenga acceso, pueda encontrar lo que desea...

Cómo mejorar la usabilidad de los datos mediante la recopilación de datos en los que se puede confiar

La usabilidad de los datos se refiere a la facilidad con la que se pueden usar los datos para responder preguntas.

Si lo miramos desde una perspectiva general, el objetivo con sus datos debería ser:

• Para encontrar información que afecte el ROI del negocio . Sin eso, son solo datos de información sin ningún objetivo.
• Para encontrarlos rápido y no tener que luchar para conseguir la información.
• Y usar esos conocimientos para tomar decisiones rápidas y confiables . Ya sea porque los datos son confiables o porque los comprende y no manipula los resultados ni recibe falsos positivos.

Como puede adivinar, puede haber algunos problemas aquí, dependiendo de los sistemas y procesos que tenga implementados.

Ya hemos discutido lo importante que es poder acceder a esa información y los beneficios de tener herramientas o procesos que tienen capacidades de autoservicio para abrir informes de datos en toda la empresa.

Pero ahora que tenemos acceso a esos datos, debemos asegurarnos de que podemos encontrar la información que queremos y poder confiar en ella.

Idealmente, debe ejecutar procesos de manera proactiva para organizar sus conjuntos de datos:

• Haga que las métricas más importantes sean fáciles de encontrar.
• Utilice modelos de referencia y objetivos para encontrar conjuntos de datos específicos que las herramientas tradicionales pueden no rastrear.
• Garantice la sincronización entre las fuentes de datos para que no se pierdan las actualizaciones, ediciones y nueva información.
• ¡Y permita que su equipo de ciencia de datos analice su big data para que pueda encontrar fácilmente toda esta información y confiar en ella!

Una vez que tenga en mente este objetivo final para sus datos, será más fácil comenzar a desarrollar procesos de preparación por adelantado para los nuevos conjuntos de datos que ingresen. (Es mucho más fácil recordar etiquetar acciones específicas por adelantado cuando sabe que quiere estar poder encontrarlos más tarde).

Cómo realizar análisis de datos imparciales para generar conocimientos que informen hipótesis

Entonces, ¿cómo usamos estos datos para obtener información e ideas?

Bueno, alerta de spoiler, en realidad hemos estado cubriendo esto a lo largo de esta guía hasta ahora.

• Trate de usar múltiples fuentes de datos para obtener una imagen más amplia.
• Intente utilizar procesos imparciales para recopilar esos datos. Si es posible, no se limite a datos demográficos o dispositivos específicos.
• Utilice el pensamiento crítico para evaluar la información.
• Mire los sesgos cognitivos y cómo pueden estar afectando su análisis.
• Asegúrese de investigar cada fuente de datos combinada. (Técnico, Cuantitativo y Cualitativo juntos).

Permita que el aprendizaje de las pruebas inspire más pruebas

Debería tratar sus pruebas como un circuito de retroalimentación para seguir mejorando. Esto puede estar en su prueba actual para seguir mejorando y obtener más impulso, o incluso puede aplicar esto a pruebas más antiguas donde sus nuevos conocimientos podrían ayudar aún más.

De cualquier manera, el objetivo debe ser probar, aprender, mejorar y repetir hasta que no puedas levantar más.

Pero... ¿Cómo hacemos realmente para aprender de los resultados de esas pruebas?

Bueno, la buena noticia es que escribimos una guía de 7 pasos para aprender de los resultados de las pruebas A/B que puedes consultar aquí.

Si no tiene tiempo en este momento, aquí hay un resumen rápido:

• Comience por asegurarse de que puede confiar en sus resultados. ¿Son precisos? ¿Son significativos? ¿Confías en ellos? ¿Se realizó la prueba durante el tiempo suficiente? ¿Hubo factores externos que influyeron en ellos?
• Vaya micro y macro. Solo porque una prueba ganó o falló, necesita ver cómo afecta sus métricas de barandilla. Irónicamente, un aumento en el CTR puede significar ventas más bajas si atrae a la audiencia equivocada. Del mismo modo, una caída en el CTR puede ser un aumento en las ventas, ya que ahora solo puede ser atractivo para la mejor audiencia. Así que revisa tus métricas, no solo los resultados de tus pruebas.
• Profundice y segmente sus resultados. No todas las audiencias, canales de tráfico y dispositivos tendrán el mismo rendimiento. Algunos canales pueden estar rotos. Esto puede sesgar los resultados donde parezca bueno o malo, ya que no tiene una imagen detallada. (Esto también puede brindarle información sobre las variantes que funcionarán mejor en ciertos canales, lo que lo ayudará a segmentar su entrega para obtener un mayor impulso).
• Comprobar el rendimiento y el comportamiento del usuario. Just because we ran a qualitative and quantitative data analysis before, doesn't mean you should skip it after the test. In fact, this is the best way to understand what happened and how you got these results.
• Learn from the failures. ¿Qué salió mal? How can you fix this?
• Learn from the winners and improve further. Did you get a new aha moment? Do you have more ideas of how to improve the page again after the QA and Qual analysis? Keep pushing for more lift!
• Don't forget what you did! Get in the habit of creating and using a learning repository. This way you can see past tests, learn from them, train new staff and even go back and apply new insights to old ideas.

Conclusión

Así que ahí lo tienes. Our entire guide to using technical, quantitative, and qualitative data to create winning tests.

It doesn't matter if it's A/B, split URL, or multivariate testing. You can use this same methodology to learn more from every test you run, so go ahead. Run those tests, learn from those mistakes, analyze that data and then let us know how much lift you got!