Necesita un repositorio de aprendizaje de pruebas A/B para ejecutar experimentos basados ​​en la experiencia (dicen los expertos)

¿Siente que su programa de pruebas carece de estructura o impacto?

¿Está ejecutando pruebas sin un plan de ataque y no está seguro de qué priorizar o dónde trabajar a continuación?

¿Quizás se pierde tratando de recordar qué pruebas ha probado antes, qué funcionó y qué falló?

¿O tal vez acaba de unirse a un programa existente y no tiene idea de lo que ya se ejecutó, cómo funcionó o por dónde empezar?

Puede ser fácil perderse en la maleza cuando se realizan pruebas A/B, pero afortunadamente, hay una forma sencilla de resolver todo esto.

Recientemente entrevistamos a 5 CRO profesionales y una cosa quedó clara de inmediato: si desea ejecutar experimentos basados ​​en la experiencia y hacer crecer su cultura de prueba, necesita tener un repositorio de información centralizado.

¿Qué es un repositorio de aprendizaje?

En pocas palabras, es una ubicación singular para almacenar toda la información sobre las pruebas anteriores que ha realizado.

• La página de destino,
• La hipótesis y lo que implementaste,
• Los elementos de prueba y variantes,
• Los resultados,
• Su impacto en métricas importantes, etc.

Puede ser tan básico como una carpeta en una computadora portátil o un proyecto de Asana, pero un repositorio de aprendizaje es mucho más que un sistema de archivo glorificado...

Un "repositorio de aprendizaje de experimentación" permite a las empresas y partes interesadas en general ver qué experimentos se han realizado hasta la fecha y qué aprendizajes se han obtenido. El repositorio brinda al lector la capacidad de consumir el contenido en su propio tiempo y velocidad, lo cual es importante en un negocio global.

– Max Bradley, Gerente de experimentación web en Zendesk

Esto significa un fácil acceso a todo su equipo de todas sus pruebas anteriores, lo que en realidad puede ayudarlo a construir esa cultura de prueba.

¿Cómo?

Cuantas más personas participen en las pruebas y vean cómo se ejecutan las pruebas, más rápido adoptarán la mentalidad.

Al ver qué pruebas ya se han ejecutado y sus resultados, puede generar nuevas ideas y ángulos para cualquier persona que tenga acceso a esta información. Esto puede conducir a un ¡ajá! momento en diferentes áreas de la empresa fuera del equipo de pruebas, que luego pueden probar por sí mismos o presentar al equipo de pruebas.

Por ejemplo, si el departamento de anuncios pagados identificó el idioma más efectivo que obtuvo un aumento en las pruebas de página, entonces es posible que deseen probarlo en el texto de su anuncio, búsqueda paga o redes sociales, ya que claramente resuena con la audiencia.

El acceso a pruebas anteriores no solo abre nuevas ideas con miembros externos del equipo, sino que también reduce el tiempo dedicado a tratar de encontrar información importante.

Sin embargo, hay más en un repositorio de aprendizaje que solo acceso a toda la empresa y ahorro de tiempo:

Los aprendizajes son el principio central de la creación de productos significativos y efectivos, y la única forma de recopilar aprendizajes significativos y validados es realizando experimentos y recopilando todos esos aprendizajes en un repositorio central. Los aprendizajes en este repositorio se pueden usar en muchos ejercicios como, por ejemplo: árboles de oportunidades/soluciones, donde trabaja para lograr un objetivo de usuario determinado con varios enfoques de solución diferentes.

La clave para ejecutar experimentos basados ​​en la experiencia es tener un repositorio central que sea accesible, estructurado, buscable y debidamente actualizado/administrado. Hacer esto con éxito puede tener un efecto exponencial en la productividad y la calidad del resultado general del programa de experimentación .

– Matthias Mandiau, especialista en experimentación y análisis de datos del Grupo H&M

Como dice Matthias, cuanto más podamos entender a nuestra audiencia, mejor podremos ofrecerles productos y servicios.

Es posible que no obtengamos la información de inmediato, pero puede ponernos en el camino correcto y, a partir de ahí, podemos mejorar aún más y ofrecer el mejor producto y experiencia de usuario.

¿Mejor aún?

Continuar aprendiendo y administrando los resultados de nuestras pruebas puede ayudarnos a evitar errores costosos...

Has realizado experimentos, ahora evita estos errores

Tener un lugar para almacenar y acceder a datos anteriores es excelente, pero no es el único beneficio.

De hecho, durante nuestras entrevistas, encontramos una serie de errores comunes en los programas de evaluación de los que se habló una y otra vez, casi todos los cuales se rectificaron al tener un repositorio de aprendizaje.

No respetar los datos de la empresa "caros"

Uno de los argumentos más convincentes a favor de un repositorio de aprendizaje es el simple hecho de que todos los datos de las pruebas son propiedad de la empresa.

Estás gastando tiempo y dinero valiosos recopilando esos datos. Lo último que desea hacer es no almacenarlo ni usarlo, o peor aún, nunca volver a él para ayudarlo a planificar nuevas pruebas y aprender de las anteriores:

¿Por qué invertir tanto dinero en un programa de experimentación cuando no se está cuidando el principal resultado del mismo (los aprendizajes)?

Una buena visión general es clave para comprender en qué se ha trabajado ya, en qué se debe centrar ahora y en qué se debe trabajar pronto. También así el conocimiento no depende de las personas, porque las personas van y vienen en las empresas.

Además de eso, permite un mejor intercambio de conocimientos, una mejor incorporación, preparar mejores casos de negocios, una mejor investigación...

– Matías Mandiau

Tener una vista completa de su programa de pruebas puede ayudarlo no solo a evaluar mejor, sino también a capacitar al nuevo personal o incluso a los líderes del equipo. (Y omita el problema de perder todos los conocimientos cuando el gerente de CRO deja la empresa).

¿Cómo?

Bueno, ahora los nuevos miembros pueden ver lo que se ha intentado antes, lo que funcionó y tal vez lo que tenía el potencial de funcionar, pero no se implementó correctamente o podría repetirse más...

Perdiéndose el desarrollo de un "instinto visceral" en toda la empresa basado en la experiencia (y los datos)

No hay nada de malo en usar tu intuición para generar ideas de prueba. A veces, simplemente tiene una intuición a partir de datos o experiencias que pueden ayudarlo a formular una hipótesis y completar una prueba inicial.

Sin embargo, debe tener cuidado de confiar siempre en este instinto visceral todo el tiempo y no prestar atención a la investigación y los datos.

Una cosa que le digo a mi equipo (en Bouqs) es... cuando no tiene datos (aprendizaje registrado/artefactos de las pruebas), tiene que tomar decisiones basándose en su instinto o en el instinto de las partes interesadas. Una base de datos de aprendizajes crea un
instinto para todos nosotros que podemos usar como un control de instinto, pero uno que no es solo nuestro o sesgado.

– Natalia Contreras-Brown, VP de Gestión de Producto en The Bouqs

Las empresas más grandes con los programas CRO más maduros están casi todas basadas en datos. Toman decisiones basadas en lo que los datos les dicen que es más importante y, a menudo, es por eso que se convierten en líderes del mercado.

No se convierta en culpable de probar solo las elecciones y opiniones viscerales, y no se concentre solo en las métricas. Tómese el tiempo para encontrar la perspectiva contextual de cada resultado de la prueba. Siga la información y, lo más importante, rastree y guarde lo que sucedió y por qué cree que sucedió, para que no cometa el error de olvidar lo que intentó y por qué funcionó.

Repetición de pruebas que se han ejecutado antes

Ya hemos insinuado esto, pero sin hacer un seguimiento de lo que está haciendo, es muy fácil volver a ejecutar una idea de prueba que ya probó o perder una idea de prueba porque cree que ya se ejecutó.

Un repositorio de aprendizaje ayuda a evitar que se vuelvan a ejecutar experimentos que se hayan realizado anteriormente. También reduce el tiempo dedicado a responder consultas sobre resultados y aprendizajes de las partes interesadas para el equipo de experimentación.

–Max Bradley

Sé amable contigo mismo y con tu futuro equipo y mantén un registro de lo que has estado ejecutando y todos los detalles de cada prueba.

Puede ser que desee ejecutar algo similar pero sin los detalles de lo que intentó antes, puede ser fácil perderse o pasar otros 30 días obteniendo datos que debería haber guardado.

Comunicación deficiente o falta de acceso a la información

Una de las mayores diferencias en los equipos de CRO maduros es su capacidad para comunicarse o acceder a la información de forma rápida y sencilla. No solo en la facilidad de acceso, sino en la eficiencia con la que pueden proporcionar la información correcta.

Tener un repositorio de aprendizaje bien documentado y organizado puede reducir las barreras de comunicación e incluso ayudar a no dejar de lado los flujos de trabajo de prueba, mientras busca información y pone las cosas en pausa.

(Un repositorio de experimentación) es un sistema de gestión del conocimiento que contiene todos los datos en un grado detallado y es accesible para el equipo en general, pero lo más importante es que facilita la producción de artefactos de comunicación (capa de comunicaciones) para las personas adecuadas en el formato correcto en el momento. tiempo correcto.

Es la 'capa de datos' en el flujo de trabajo de prueba, como se ve aquí:

– Ben Labay, Director General / CRO y Experimentación @ Speero by CXL

Dejar el aprendizaje (y el dinero) sobre la mesa

No olvide que la mayoría de las pruebas fallan. Es solo a través de la iteración y el aprendizaje de pruebas anteriores que usted mejora y obtiene esas ganancias que afectan el ROI.

Sin hacer un seguimiento de lo que ha ejecutado y dónde ha estado, se vuelve muy difícil avanzar y ver el progreso, o incluso sentirse seguro en su proceso de prueba.

Stefan Thomke lo dijo bien: “a pesar de estar inundados de información proveniente de todas las direcciones, los gerentes de hoy operan en un mundo incierto donde carecen de los datos correctos para informar las decisiones estratégicas y tácticas”. La experimentación valida y la validación nos ayuda a aprender . Es vital recopilar esos aprendizajes en un repositorio al que se pueda acceder fácilmente para revisar esos aprendizajes para futuras decisiones.

– David Mannheim, vicepresidente de CRO, BrainLabs

Aquí hay una representación visual del proceso ideal de Ruben de Boer:

Aprender y mejorar de cada prueba que ejecuta es increíblemente importante. No solo está directamente relacionado con el éxito de sus pruebas futuras, sino que incluso puede ayudarlo a expandir las ganancias actuales a otras áreas o incluso a otros sitios.

Casi todos los demás experimentos que realizamos en H & M en nuestro equipo de productos están respaldados por un aprendizaje documentado de un experimento anterior u otra metodología de investigación.

– Matías Mandiau

Este hábito de aprender y reiterar surge una y otra vez con casi todos los que entrevistamos.

En Brainlabs, alrededor del 40-50 % de nuestros experimentos para Flannels, una conocida tienda de ropa masculina, fueron iteraciones entre sí. Esto demostró el poder de los aprendizajes dentro de un solo experimento y cómo eso puede convertirse en algo más; porque siempre estamos aprendiendo de cómo el estímulo práctico puede afectar una variable .

– David Manheim

Vamos a darle otro ejemplo.

Digamos que tiene una página de captura de clientes potenciales y el diseño que utiliza funciona bien para una página. Luego, puede adaptarlo a otros en su sitio para ver si también aumenta la elevación allí.

¿Qué pasa si eres una agencia con múltiples clientes en nichos similares?

Los conocimientos y las ganancias de una empresa podrían conducir a ideas y diseños que también pueden funcionar para sus otros clientes...

Lo que funcionó una vez, tiene una buena probabilidad de no haber sido completamente explotado todavía:

• Puede volver a funcionar con mayor intensidad (para el mismo cliente)
• Puede funcionar de nuevo en otro lugar (para el mismo cliente)
• Puede funcionar de nuevo para alguien completamente diferente.

En otras palabras, las ganancias pasadas tienen un potencial predictivo que puede acelerar la optimización (más ganancias, mayor probabilidad de éxito, mayor magnitud de los efectos).

– Jakub Linowski, GOODUI.org

Drip Agency hizo exactamente esto con 2 de sus clientes.

Tomaron diseños de diseño de página ganadores de un cliente, luego los probaron en otro para aumentar las conversiones de inmediato.

GoodUI hizo algo similar. Tomaron ideas e información de prueba ganadoras de un cliente y las usaron como base para probar otras páginas en el sitio.

¡Esto les dio un aumento del 42% en las conversiones!

Luego lo llevaron un paso más allá.

En lugar de simplemente implementar diseños ganadores para un cliente, realizaron un estudio de caso para ver si puede predecir las pruebas ganadoras en función de campañas anteriores en varios sitios web.

La teoría es que ciertos diseños de UX pueden funcionar en otras industrias.

Y así, realizaron 51 pruebas usando diseños de diseño ganadores anteriores y lograron una tasa de éxito del 71 % cuando usaron ganadores anteriores para ayudar a diseñar nuevas pruebas en otros sitios.

Bastante genial, ¿verdad?

Bueno, aquí hay otra razón por la que un repositorio de aprendizaje es tan útil y es por lo que los buenos evaluadores miran a los ganadores anteriores.

Si lo piensa, GoodUI es básicamente un tipo de repositorio de aprendizaje, ya que es una base de datos de pruebas anteriores y ganadores en múltiples sitios e industrias.

La cuestión es que, a menudo, verán diseños reutilizados en otros sitios y notarán que patrones particulares proporcionarán impulso. Tal vez alguien más hizo la prueba pero funcionó, etc.

Siendo las cookies inteligentes que son, GoodUI utiliza estos patrones particulares como inspiración para ejecutar pruebas para nuevos clientes...

Y tiene sentido, ¿verdad? Una vez que haya solucionado los problemas técnicos y haya decidido una página para probar, no está de más mirar los elementos de prueba anteriores en páginas similares y lo que funcionó.

Puedes inspirarte en otros sitios cuando empieces, pero todos los expertos están de acuerdo. Debe comenzar a construir su propio repositorio tan pronto como pueda.

Invierta en un repositorio de experimentación

Jakub Linowski dijo en LinkedIn que si observa profesiones como médicos, ingenieros, atletas y militares, verá que la mayoría de sus éxitos y crecimiento se basan en los aprendizajes que han generado de experimentos anteriores.

Con esa imagen mental, puede imaginar qué tan rápido puede crecer el campo CRO en su conjunto cuando los experimentos no siempre tienen que comenzar desde el nivel 0. Pero sin un repositorio de aprendizaje, ese es exactamente el caso.

Y muchos equipos internos de CRO son culpables de esto.

Si trae esta idea más cerca de casa, está claro cómo construir sobre lo que ya sabe es una forma sólida de combinar los esfuerzos de su programa de experimentación.

Repositorio = Mayor probabilidad de éxito del experimento

Solo cuando tienes la mentalidad de aprender pruebas (y pruebas pasadas) realmente valoras lo que ofrece la experimentación, es decir, una idea de lo que funciona y lo que no, dado el contexto y las circunstancias.

20 “buenas decisiones” en UX, UI, Producto, Marketing (gracias a la experimentación) pueden ayudar a flexionar los músculos de la toma de decisiones y agudizar el instinto. Cuanto más vea sus opiniones derribadas o validadas, más brújula tendrá para descubrir qué funciona y qué necesita su audiencia.

Aquellos que prueban por el bien de las tasas de conversión se pierden este panorama general. Se trata de aprender lo que necesita tu audiencia, y no de tener razón.

Vamos a mostrarte cómo:

Cómo estructurar su repositorio de aprendizaje

Un repositorio de aprendizaje está destinado a eliminar los silos de datos, fomentar la colaboración y fortalecer la comunicación.

Si el suyo no está estructurado correctamente, será extremadamente difícil cumplir con esos requisitos básicos. Pero lo que pasa con la estructuración de su repositorio de aprendizaje es que hay opciones. Trabajan de manera diferente para diferentes organizaciones.

Eso no es un problema porque le describiremos los 3 modelos y luego podrá imaginar cuál se alinearía perfectamente con su equipo, departamento u organización. Aún mejor, los expertos recomiendan un modelo específico.

Parece haber un ganador en términos de estructura de equipo de experimentación: Centro de Excelencia.

1. Un Centro de Excelencia (CoE) habilita y equipa equipos de experimentación específicos del departamento

En este modelo, el equipo de experimentación es el CoE para el programa de experimentación de toda la organización.

Por lo tanto, son una especie de conserje para cualquiera en otros departamentos que quiera realizar experimentos. Los revisas y te ayudan a configurarlo.

Luego supervisan la integridad de estos experimentos y mantienen todo alineado con los amplios objetivos de experimentación de la organización.

Estructurar de esta manera hoy eliminará los problemas de la línea descendente mañana. Porque todo se mantiene en el mismo camino, es fácil de monitorear y construir un repositorio de aprendizaje de esta manera es fácil de coordinar.

El principal desafío aquí es que no sería tan accesible como un modelo descentralizado.

2. Las unidades descentralizadas se ubican en todos los departamentos y hacen que todos participen

Las unidades descentralizadas están en varios departamentos y ejecutan las pruebas reales. Esta es una gran estrategia porque tienen el mayor conocimiento de sus propios ciclos de crecimiento y métricas, por lo que están en la mejor posición para diseñar y ejecutar experimentos de alto impacto.

En este modelo, todos pueden realizar pruebas, independientemente de su departamento y nivel de experiencia con la experimentación. Cuando se combina con CoE, atrae a algunos admiradores...

Soy un gran admirador de la experimentación descentralizada y trabajo junto con un centro de excelencia para controlar la calidad y evangelizar las pruebas AB. En mi experiencia, estas estructuras funcionan mejor para aquellas culturas que verdaderamente abrazan el poder de la experimentación. En términos de un repositorio de aprendizaje, esto debería seguir su ejemplo; los miembros del equipo deben estar capacitados para realizar experimentos y resaltar los aprendizajes de los frutos de su trabajo .

– David Manheim

La responsabilidad de mantener el repositorio de aprendizaje también sigue su ejemplo.

3. Administrado por una persona para recopilar y mantener los aprendizajes de experimentación

Sin embargo, a diferencia del modelo CoE solo, el repositorio de aprendizaje del modelo descentralizado es más difícil de coordinar.

Es útil tener un rol designado que sea responsable de documentar y mantener los aprendizajes. Y hay algo beneficioso en esto:

Administrado por el gerente del programa/proyecto (manteniendo un registro) y el estratega de prueba principal (que ingresa las 'historias), pero si se hace correctamente, puede tener entradas en todas las etapas, ya que las entradas llegan como entradas de formularios, como formularios de emisión, nuevos rastreadores de campaña, nuevas ideas de soluciones de prueba, etc.

– Ben Labay , Director General / CRO y Experimentación @ Speero by CXL

Matthias Mandiau está de acuerdo con Ben.

Prefiero un híbrido entre centralizado/descentralizado:

El repositorio siempre debe ser accesible (nube).

Necesidad de poder combinar diferentes metodologías de investigación para crear hipótesis sólidas.

La configuración y la gestión del repositorio y la propiedad deben estar a cargo de 1 equipo/administrador (centralizado). Es bueno hacer un seguimiento del KPI de rendimiento de macroexperimentos de alto nivel en el nivel central.

Cada equipo de producto que trabaja con experimentación debe tener una parte interesada (analista de datos/CRO) que tenga la responsabilidad de cuidar adecuadamente todos los aprendizajes recopilados que se cargan en el formato correcto en el repositorio central. También es bueno hacer un seguimiento del KPI de rendimiento de microexperimentos a nivel de equipo de producto dentro del equipo descentralizado. Podría ser un panel que esté vinculado a GA o al repositorio, por ejemplo .

En Zendesk, un administrador está a cargo de mantener el repositorio, pero las entradas provienen de los "propietarios de prueba":

Actualmente tenemos el repositorio administrado por un equipo dentro de la empresa con una persona que asume la propiedad general. Se solicita a los "propietarios" de la prueba que agreguen los aprendizajes posteriores a la finalización de la prueba en el área respectiva del repositorio.

–Max Bradley

Y así es como una persona (o un pequeño equipo) que administra un modelo de tipo descentralizado puede mantener el repositorio de aprendizaje de experimentación eficiente y de calidad garantizada.

Es similar a lo que está haciendo GoodUI: aprovechar los aprendizajes de todos los verticales y clientes para crear un excelente recurso de información de experimentación.

Por lo tanto, incluso si aún no tiene un repositorio de aprendizaje, tiene un pozo de conocimientos para aprovechar. Los planes de Convert vienen con una suscripción con descuento de GoodUI.

Cómo documentar sus aprendizajes

Al igual que cualquier sistema de archivo organizado, su repositorio de aprendizaje no puede ser un lugar para volcar datos. Debe haber una forma definida y adecuada de documentar los aprendizajes para que sea útil para todos.

Esto significará una representación visual intuitiva de los datos, historias de datos sin jerga y un método fácil para ubicar pruebas específicas cuando sea necesario.

Así es cómo.

Capture y registre todos los metadatos de las pruebas

El primer paso obvio es recopilar los datos de las pruebas. Pero, ¿qué datos recopilas? Es fácil decir recopilar todo, pero eso puede volverse abrumador y desalentador.

Entonces, ¿cuáles son los datos que debe incluir en su repositorio de experimentos?

Son los metadatos completos de un concepto de prueba. Y principalmente debe hacer un seguimiento de las entradas en función de las preguntas que deben hacerse, que son estándar en las categorías:

• Tipos de prueba
• Paginas
• Puntos de contacto
• Audiencias
• Áreas de superficie de crecimiento

Pero no estándar DENTRO de estas categorías, por ejemplo, las audiencias diferirán según la empresa, pero todas las empresas probarán en diferentes segmentos de audiencias.

-Ben Labay

¿Y cómo se ve esto?

Exploremos cada una de esas categorías para que tengas una idea más clara:

• Tipos de prueba

¿Qué tipo de prueba era? ¿Prueba A/B? ¿MVT? ¿Pruebas A/B/n?

• Paginas

Aquí especifica la página o páginas de su sitio donde se realizó la prueba. ¿Es la página de inicio? ¿Una página de producto específica? ¿La página de precios de su marca SaaS?

• Puntos de contacto

Los puntos de contacto son áreas en el viaje de su cliente donde interactúan con su marca. Esto podría ser un anuncio, un catálogo de productos, una publicación de blog, correos electrónicos de marketing, su aplicación, etc.

• Audiencias

¿Quién es su público objetivo para la prueba? ¿Se dirige a segmentos específicos en función de algún criterio? ¿Datos de comportamiento? ¿Metas? ¿Fuente de visitantes? ¿Geolocalización? ¿O todos son seleccionados al azar?

• Áreas de superficie de crecimiento

Esto se refiere a una interacción o característica que alienta a los usuarios a permanecer en su sitio o profundizar en su relación con su marca. Entonces, es una especie de gancho que aumenta el valor de cada visitante. Puede ser una oferta de prueba gratuita o una demostración.

Para enriquecer sus metadatos, también querrá incluir:

• fechas
• URL/regex
• Iteración en una prueba anterior: enlace a una prueba anterior que es la base de la prueba sobre la que está informando.

Y sella esto con información más impactante. Incluir…

• Capturas de pantalla de A y B
• Aislado o no (# de cambios)
• % de impacto con intervalos de confianza
• Tipo de métrica

– Jakub Linowski

Mientras más, mejor. Pero manténgalo relevante y útil.

Aquí hay otro ejemplo de Max Bradley de Zendesk:

Para un informe o repositorio de seguimiento básico, el informe de Convert también le mostrará el ganador y lo que probó.

Respete los diferentes estilos de aprendizaje mientras conserva la información

Debe apelar a las diversas formas en que las personas prefieren consumir información al almacenar datos de experimentación.

Hay ciertas cosas a tener en cuenta al hacer eso...

Hemos probado muchos métodos diferentes. Como agencia, estamos tratando con múltiples partes interesadas de diferentes empresas en un momento dado. Ahí radica el desafío: las personas adquieren conocimientos y aprenden de manera diferente. ¿Son aprendices visuales, auditivos o cinestésicos? ¿Dónde están en la clave Myers-Briggs? Cómo comunicarse con sus partes interesadas es casi tan importante como el contenido en el que se comunica. A partir de mi experiencia, he aprendido que un repositorio de aprendizaje debe tener dos cosas para tener éxito:

• Temable y memo'd para que se filtre fácilmente
• Sucinto para aprendizajes escaneables.

– David Manheim

Puede proporcionar tanta información como sea posible sobre el experimento informado. Y hacerlo en varios formatos. Es por eso que necesita capturas de pantalla, grabaciones de video y una historia para dar contexto a todos los números.

Recuerde mantenerlo relevante, conciso y escaneable .

Etiquete sus pruebas para maximizar los aprendizajes

Etiquetar sus pruebas mantiene todo al alcance de la mano.

También le ayuda a comprender el propósito de una prueba de un vistazo.

Si su repositorio crece constantemente, algún día tendrá miles de pruebas registradas y cientos de personas que lo utilizarán para deslizar ideas, extraer información e informar decisiones.

Los aprendizajes serán más útiles si las personas pueden tener una idea de la posición de cada prueba en el espectro de soluciones de su organización.

Cómo comunicar sus aprendizajes para obtener el máximo efecto

Su repositorio de aprendizaje solo beneficiará su programa de experimentación cuando las personas realmente lo usen.

Entonces, además de hacerlo accesible, preséntelo al resto de su equipo y organización de una manera que tenga sentido y despierte interés en la experimentación.

Pero, ¿cómo haces eso? Estos son números y algunos términos específicos de la industria que podrían malinterpretarse. ¿Cómo logra que personas de diversas disciplinas aprecien los aprendizajes que ha recopilado?

Comunicar las pruebas A/B puede ser complicado, pero si sigue estos pasos, derribará esas barreras y aprovechará al máximo su repositorio de aprendizaje.

Conviértelo en un hábito

En primer lugar, si la experimentación es un concepto extraño en el lugar donde se encuentra, crear un hábito de aprender puede llevar algún tiempo. Por lo tanto, empaca un poco de paciencia contigo en este viaje.

Su tarea aquí es hacer que esto sea parte de sus actividades semanales habituales. Podría ser parte de la inspiración de la lluvia de ideas o un juego que juegas para cerrar reuniones. Por ejemplo, su propia versión de "¿qué prueba ganó?"

Es parte del gran panorama de construir una cultura donde la experimentación es una norma...

Acostúmbrate a repasar los aprendizajes con el equipo de una manera coherente, divertida e inspiradora. Tiene que ser parte del negocio como de costumbre. Al menos una vez a la semana debe haber una reunión para analizar hipótesis y experimentar resultados. Cada sprint debe contener al menos 1 o 2 experimentos y hacer de la experimentación un hábito crea una cultura positiva.

– Matías Mandiau

Además de presentarlo en las reuniones de equipo, las pruebas del repositorio también son muy fáciles de compartir en los boletines de aprendizaje. Tener el hábito de agregarlos aquí también facilita la adopción de la experimentación en todo el sitio.

Sea humilde y transparente para generar confianza

Puede parecer genial convencer a la gente de que la experimentación tiene todas las respuestas, pero eso será engañoso. Ayude a sus colegas a comprender cómo funciona todo, qué representan los números y cuánta confianza puede depositar en una determinada perspectiva que ha extraído.

No presente ideas como si vinieran con un 100% de certeza. En cambio, muéstreles que esta es una de las mejores formas en que puede tomar decisiones, en lugar de "intuición" y mejores prácticas.

Hacer lo contrario les hará perder la confianza en el repositorio de aprendizaje que ha creado y podría abandonarse para acumular polvo.

Aquí hay algunos consejos más de Ben Labay de Speero sobre cómo comunicar los resultados:

No oculte las pruebas que perdió. En cambio, utilícelo como una oportunidad para mostrar el beneficio de doble cara de las pruebas.

Si obtiene una victoria, tiene una idea de lo que funciona. Si se perdió, ha aprendido lo que no funciona, por lo que evita hacer un cambio que perjudique las métricas clave.

En ambos casos, ha aprendido acerca de algo que se puede mejorar.

Cuando presente, estructúrelo en una historia que muestre la aplicación de los conocimientos en el mundo real e invite a las partes interesadas a participar en la escritura de la historia, tal como lo hace Max:

Presentamos los aprendizajes más recientes cada dos semanas a nuestro equipo más amplio y mensualmente a la empresa en general. Intentamos ser lo más transparentes posible presentando pruebas que perdieron tanto como aquellas que ganaron. Además de esto, les pedimos a todos los revisores que envíen sus ideas o hagan cualquier pregunta que tengan en nuestro canal dedicado de Slack. Siempre que sea posible, también buscamos demostrar el beneficio en términos reales además del aumento porcentual, lo que hace que sea más impactante para los lectores.

–Max Bradley

No bloquee el aprendizaje, involucre a todos

La experimentación no es solo para equipos de marketing, optimización, producción o crecimiento. Ser una organización basada en datos significa saturar la mayor parte de los procesos de toma de decisiones con información extraída de pruebas bien hechas.

Y su repositorio de aprendizaje se encuentra justo en el medio de toda la misión.

Entonces, haz que todos participen.

Sí, las personas tendrán diferentes niveles de experiencia en el campo, pero no dejes que eso dañe el programa. Siempre que cada equipo tenga a alguien o personas con una experiencia más profunda con la experimentación, tendrá algo en marcha.

También es alentador tener algunas personas en el equipo que están más familiarizadas con la experimentación y otras que tienen menos experiencia con ella. Tener al menos 2 o 3 personas en el equipo con experiencia en experimentación hace una gran diferencia .

– Matías Mandiau

La influencia se propaga naturalmente de esta manera.

Invierta en un nuevo par de ojos y polinización cruzada de ideas

A veces, una perspectiva diferente te dará ideas en las que no habías pensado. Por lo tanto, no deje que sus aprendizajes de experimentación descansen en una burbuja.

Esté dispuesto a compartirlo con otros expertos en su campo y vea qué puede aprender de sus comentarios.

¿Tal vez hay algo que no funcionó en un segmento de clientes, pero hay una versión ligeramente diferente que puede funcionar para otro?

¿O tal vez te has topado con algo sobre lo que todo el mundo está debatiendo y ahora puedes unirte a la conversación para obtener más información?

Le encantará lo que puede descubrir cuando involucre a otros expertos en CRO. Incluso las llamadas de asesoramiento pueden ser parte de su estrategia para obtener un punto de vista diferente.

Asesoramiento: www.goodui.org/coaching: una o dos llamadas mensuales con equipos de experimentación para: revisar los planes de prueba, proporcionar comentarios sobre los diseños de prueba y descubrir qué ha funcionado para otros.
– Jakub Linowski

Haz que el aprendizaje sea compartible

Algunas personas usan Notion, otras usan Google Slides y algunos expertos en CRO sugieren usar tableros Miro, pero el propósito es el mismo...

Comunicar los datos de prueba y los conocimientos con el resto del equipo (o cualquier otra parte interesada) para asegurarse de que los aprendizajes tengan suficiente alcance.

Cuando utiliza esas herramientas en línea como Notion, Google Slides, Miro y cualquier otra que encuentre atractiva para su equipo, facilita el acceso al repositorio desde cualquier dispositivo y desde cualquier lugar.

Esto es excelente para equipos remotos y para obtener el nuevo par de ojos del que hablamos anteriormente.

Es portátil y se puede compartir fácilmente. Ahora realmente está dando alas a sus aprendizajes de experimentación para tener un impacto total.

Use Insights para planificar pruebas

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

Así que vamos a desglosarlo todo...

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

Sus características incluyen:

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• Progress reports
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

¿Por qué?

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

Comience el repositorio desde el día 1. Comience a educar a las partes interesadas que la experimentación se trata de validación y aprendizaje, no necesariamente de dinero. Cuanto más demuestre "aprendimos X de esta prueba" o "Y de esa prueba", más alineados estarán usted y sus partes interesadas.

– David Manheim

3. Genera aceptación con pruebas

Si nadie o solo unas pocas personas documentan sus pruebas y comparten información entre departamentos, deberá demostrar por qué todos los demás deben unirse al esfuerzo.

Demostrar con éxito los beneficios de un repositorio de aprendizaje para el soporte de C-suites es solo el primer paso. Lo siguiente que tendrá que hacer es comunicar estos beneficios también a otras partes interesadas.

Matthias compartió una forma fantástica de hacerlo:

Comience pequeño, delgado y ágil. Ponga en marcha experimentos, recopile aprendizajes y haga un buen esfuerzo para documentarlos. Haga un informe decente después de cada experimento y también realice envíos frecuentes (mensual, trimestral, anual). Concéntrese en los experimentos de peces gordos con un impacto positivo y aprendizajes sólidos al principio. Los resultados positivos motivan a las personas a comenzar.

Una vez que haya recopilado un par de aprendizajes de fuerte impacto, también puede ser útil mostrar resultados negativos y explicar qué impacto negativo habría habido si implementáramos esto sin experimentar. Luego explique cuán importantes son estos aprendizajes para los negocios y para tomar mejores decisiones sobre productos.

4. Una vez que esté funcionando, comience a buscar herramientas específicas (aprenda y actúe primero, compre después)

Cuando haya configurado un repositorio simple en Presentaciones de Google o cualquier plataforma gratuita que elija y haya completado los pasos 2 y 3, podrá invertir dinero en una herramienta.

No se apresure e inyecte dinero en un repositorio de aprendizaje hasta que esté seguro de que hay un retorno de la inversión alentador para obtener.

Conclusión

Si hay una gran conclusión que obtiene de este artículo es que debe comenzar a ver los aprendizajes de experimentación como un activo de la empresa. Este activo le ahorrará tiempo y dinero. Y impulsará un programa de optimización más basado en datos en su organización.

No se limite a ejecutar una prueba, obtener una victoria o fallar y luego apresurarse a su próxima idea. Tomarse el tiempo para comunicar y estructurar lo que ha descubierto en su repositorio de aprendizaje le dará estructura a su viaje de experimentación.

Además de eso, es la forma más sencilla de pasar el testigo, evaluar el impacto de las pruebas y promover una cultura de experimentación emocionante.

¿Y cómo empiezas a conseguir todo esto?

Haz lo que dicen los expertos: empieza de forma sencilla.