Cómo realizar una reunión de experimentación que transformará su empresa (y cómo lo hago yo en Workato)

En su mayor parte, odio las reuniones.

Lo he dicho muchas veces, en artículos, tweets y con mis colegas.

Principalmente, no me gusta cuando las personas usan las reuniones como una muleta para evitar hacer el trabajo, o cuando las personas organizan reuniones de manera deficiente y hacen perder el tiempo a todos.

Pero como líder, reconozco la importancia de algunas reuniones. Particularmente, en mi caso, la reunión semanal de experimentación.

Así es: la piedra angular del programa de experimentación en Workato es solo una reunión. No hacemos standups diarios (los hacemos de forma asíncrona en Slack); en cambio, solo una reunión al comienzo de la semana con algunos otros artefactos y rituales para mantener la máquina en movimiento.

Este será mi primer y único artículo que profundiza en los detalles de cómo dirijo esta reunión, por qué la dirijo de esa manera y cómo la equilibro con otras herramientas del programa de experimentación (como correos electrónicos, bases de datos para compartir conocimientos y lecturas).

Antes de guiarlos a través de las minutas, me gustaría comenzar haciéndoles una pregunta de alto nivel: ¿por qué celebrar esta reunión en primer lugar?

¿Cuál es el propósito de una reunión del equipo de experimentación?

Toda reunión necesita un propósito. Si no tiene un propósito, no debería suceder.

Las tres utilidades de mi reunión semanal de experimentación son las siguientes:

• Aprendizaje e intercambio de ideas
• Priorización de iniciativas
• Identificación y eliminación de cuellos de botella en el proceso

Esto significa que eliminamos la mayoría de los otros puntos de conversación que no cumplen con estos de la reunión.

La experimentación se acelera con el aprendizaje.

Cuando comienzas a construir un programa de experimentación, tienes que hacer el trabajo duro de sentar las bases.

• Obtener una herramienta de prueba adecuada.
• Asegúrese de que esté integrado con su herramienta de análisis y esté rastreando los datos de manera adecuada.
• Comunicarse con los ejecutivos para establecer expectativas adecuadas para la experimentación.

Sin embargo, una vez que comience a escalar la experimentación, lo que aprenda en cada experimento actuará como un potenciador para el resto de su programa.

A medida que pasa de 5 a 10 experimentos al mes, lo bien que aprenda de los ganadores, los perdedores y los no concluyentes afectará la tasa de éxito del próximo lote de experimentos que ejecute. Y todo esto debería ser fundamental para influir en cómo prioriza su hoja de ruta.

Puede parecer una pérdida de tiempo, pero no lo es. Brian Balfour, fundador de Reforge, también enfatiza la importancia de los aprendizajes para llevar a cabo una reunión de crecimiento:

Así que pasamos gran parte de nuestra reunión analizando los aprendizajes y compartiendo ideas.

Esto es especialmente útil si su reunión es multifuncional o tiene miembros de otros equipos en la llamada, ya que a menudo obtiene perspectivas que normalmente no obtendría.

Por ejemplo, a menudo tendremos especialistas en marketing de productos en nuestra reunión de experimentación para que aparezcan y compartan descubrimientos recientes de la investigación de clientes o para compartir próximos cambios narrativos estratégicos.

Las cosas cambian; la priorización es ágil

En mi reunión, quiero dejar en claro hacia dónde apuntamos, qué pasos estamos tomando para llegar allí y quién es responsable de qué.

Esa es la siguiente parte de la reunión.

De lo que hemos aprendido surge la pregunta, "¿qué vamos a hacer a continuación?"

Nuestro experimento de la página de inicio se perdió, entonces, ¿qué aprendimos y qué haremos a continuación?

Gran parte de la priorización se realiza de forma asíncrona y trimestralmente, al menos los experimentos más grandes y los cubos temáticos más amplios de nuestros proyectos.

Pero dejamos mucho margen de maniobra para pequeños cambios e iteraciones en la hoja de ruta en función de los cambios estratégicos y lo que hemos aprendido de los experimentos anteriores, y usamos parte de la reunión para mover las cosas y reflejar eso.

Identificación y eliminación de cuellos de botella en el proceso

Finalmente, es importante descubrir los cuellos de botella del proceso, especialmente si se encuentra en la fase de escalado de un programa de experimentación.

Esto requiere un pensamiento sistémico, y es el trabajo central del líder del equipo o del administrador del programa. Efectivamente, deberá identificar y medir cada paso del proceso de experimentación desde la idea hasta la producción.

¿Qué pasos toman más tiempo, o mejor dicho, más tiempo de lo esperado? ¿Y cómo puede usar esta reunión semanal para identificar esos retrasos y desfases de tiempo para asegurarse de que el resto del proceso no se vea demasiado afectado?

Esta es una parte crítica de la reunión semanal, y más, en términos generales, para mantener su tren de experimentación en marcha.

Qué evitar en las reuniones de experimentación

Puede realizar sus reuniones como desee, pero para la reunión semanal de experimentación del equipo, dos cosas tienden a ser una enorme pérdida de tiempo.

• Obtener datos ad-hoc o pedirle a cualquiera que lo haga
• Lluvia de ideas e ideación no estructuradas

Cuando obtenga datos ad-hoc o le pida a alguien que lo haga, anótelo. Si solicita repetidamente un poco de información, agréguela a su lista de verificación del proceso. No debería ser algo que surja en cada reunión (desperdicia mucho tiempo y concentración). Aquí es donde los paneles y los informes son útiles.

En cuanto a la lluvia de ideas no estructurada, en realidad no soy un enemigo de eso en general.

Pero hay un momento y un lugar y, por lo general, un método para la locura.

Cuando dedica una cantidad excesiva de tiempo a presentar ideas durante su reunión semanal, reduce el tiempo dedicado a identificar los cuellos de botella del proceso y asegurarse de que está ejecutando los experimentos correctos.

Si surge una buena idea al azar, está bien. Si se convierte en una sesión de lluvia de ideas poco estructurada, debe poner el pie en el suelo y desconectarlo.

Cómo dirijo mis reuniones semanales del equipo de experimentación

Muy bien, entonces, ¿cómo organizo mi reunión semanal del equipo de experimentación?

Tendré que ofuscar algunos detalles sobre los experimentos reales que realizamos y los resultados, por supuesto, pero cubriré cada parte con tanto detalle como pueda.

La gente

Primero, las personas que asisten cada semana son parte de las funciones centrales de experimentación estratégica. Es un grupo pequeño que incluye analistas, especialistas en marketing de rendimiento, desarrolladores web y gerentes de productos. Mi gerente también atiende cada cierto tiempo, pero no en todas las llamadas.

Tengo reuniones separadas con nuestro equipo de diseño ya que son un centro de excelencia en nuestra empresa.

Estas personas asisten regularmente, y luego invito a "invitados" de vez en cuando de equipos adyacentes como diseño, marketing de marca o marketing de productos. Además, para estas llamadas de invitados, generalmente organizamos una sesión separada, ya que su propósito suele ser presentar nuevas ideas, mejorar la comunicación del equipo o generar ideas.

Para hacer esto más genérico, en la mayoría de los casos, su reunión de experimento debe incluir personas que toman decisiones sobre la estrategia y personas que ejecutan esa estrategia. Por lo general, esto es:

• Líder/gerente de programa
• Gerente de producto
• Desarrolladores
• Diseñadores
• analistas

El horario

Dirijo esta reunión todos los lunes a las 3:00 p. m., hora central. Los lunes por la mañana son excelentes para prepararse y hacer un trabajo profundo, o para atar cabos sueltos de la semana anterior. Por la tarde, el equipo está bien preparado para discutir la próxima semana. Esto también nos permite saber en qué se supone que debemos trabajar y priorizar durante la semana.

Luego, a lo largo de la semana, tendremos controles asincrónicos y reuniones 1:1 para discutir los detalles de lo que decidimos trabajar durante la reunión del equipo del lunes.

No usamos una plataforma de diapositivas en este momento, pero podemos incorporarla. Si ese es el caso, mantendré las secciones individuales sujetas a nuestros límites de tiempo enumerados anteriormente, y el mazo se enviará el viernes de la semana anterior (con el objetivo de no pasar más de 20 minutos el lunes por la mañana armando la sección de cada persona) . Por el momento, principalmente recorremos nuestra base de datos Airtable, que usamos para la gestión de proyectos.

La agenda

Aquí está mi agenda exacta:

Duración de la reunión: 45 minutos

• Ponerse al día informal: 5-10 minutos
• Aprendizajes de experimentos/investigaciones concluidos: <10 minutos
• Priorización/preparación del backlog: <10 minutos
• Identificación de cuellos de botella/bloqueadores: resto del tiempo (10-15 minutos)

Ya repasamos cada una de las secciones anteriores y su propósito.

Le daré algunas herramientas y marcos que también pueden ayudar con cada uno de los anteriores.

Aprendizajes de experimentos/investigaciones concluidos.

Lo principal que necesita aquí es un buen sistema de documentación.

Antes de ejecutar un experimento, necesito que se complete un documento de experimento con las siguientes secciones:

• Fondo
• Objetivo de aprendizaje
• Hipótesis
• Predicción (que es diferente a una hipótesis).
• Diseño de experimentos (cuantitativo y creativo)
• Seguimiento (lo que sucede al concluir)

Luego, después de ejecutar el experimento, se completan dos secciones más:

• Resultados
• aprendizajes

Y en nuestra reunión, cubrimos brevemente los resultados y cubrimos más profundamente la sección de aprendizajes. Quien sea el “dueño” del experimento es quien presenta los aprendizajes, y luego hay una breve discusión sobre cómo podemos aplicarlos. A veces, esto significa probar a una escala más amplia o simplemente escalar los aprendizajes a experiencias similares. A veces esto significa iterar de una manera significativa.

Sus dos herramientas preferidas en este paso deberían ser:

• El documento del experimento (haga clic aquí para robar mi plantilla)
• El sistema de intercambio de conocimiento del experimento / Wiki

Priorización/preparación del backlog: <10 minutos

Existe un debate sobre la utilidad de esta parte, pero me gusta mantenerla como una discusión grupal porque, a diferencia de la simple producción web o la gestión de productos, la experimentación está sujeta a muchas presiones externas, bloqueos y caprichos.

Por ejemplo, es posible que no tengamos la aceptación de un experimento particularmente grande que habíamos planeado, o que tengamos un bloqueo del diseño. Pero aún queremos mantener nuestra cadencia de prueba, por lo que en ese caso, podemos seguir siendo ágiles y avanzar en una idea de menor esfuerzo del trabajo pendiente.

En algunas organizaciones, esta toma de decisiones recae exclusivamente en el líder del equipo de experimentación. Me gusta abrir la discusión al grupo.

¿Por qué?

Primero, no quiero aplastar al equipo bajo el peso de mis puntajes de priorización. Parte del valor de la experimentación está en aprender cosas que no esperaba aprender, y al permitir la autonomía de priorización de otros en el equipo, obtenemos ideas sobre la mesa que yo no habría puesto allí. Esto también ayuda a mejorar la comunicación y la relación general del equipo.

En segundo lugar, las personas están más emocionadas de trabajar en cosas en las que eligieron trabajar. Si empiezo a asignar todas las ideas, estoy limitando la pasión que la gente puede sentir por los experimentos individuales (lo que, en muchos sentidos, limita el potencial del experimento para ganar).

Entonces, en esta sección, estamos trabajando básicamente con dos herramientas:

• El kanban de gestión de proyectos (usamos Airtable; aquí hay una gran plantilla).
• La matriz de priorización (usamos PXL).

Identificación de cuellos de botella/bloqueadores: resto del tiempo

Finalmente, identificar cuellos de botella.

Esto es duro. Al principio, está haciendo dos cosas:

• Encontrar patrones en las entregas tardías
• Hacer preguntas cualitativas y abiertas al equipo

En mi Airtable (que lamento decir que no puedo compartir), tengo cuatro columnas en cada tarjeta:

• Diseño debido
• Diseño entregado
• Desarrollo debido
• Desarrollo entregado

Esto se suma a los pasos de Kanban que seguimos:

• Ocurrencia
• Documento de experimento en progreso
• Documento de experimento en revisión
• En desarrollo
• Seguro de calidad
• QA'd y listo para lanzar
• Correr
• Concluido
• Empujado a la producción

Esto me permite ver dónde se están retrasando las cosas. Si, por ejemplo, hemos hecho 10 pruebas y ninguna ha sido implementada, tenemos un problema de producción. O tal vez nuestros experimentos se estancan en el control de calidad y tenemos una acumulación de experimentos listos para publicar esperando su lanzamiento.

En la etapa de desarrollo, también queremos ver si estamos esperando que el diseño o los desarrolladores creen la experiencia. Si nos quedamos atrás repetidamente, significa que debemos refactorizar las prioridades de estos equipos o aumentar potencialmente el número de empleados.

Las preguntas cualitativas suenan así:

• ¿Alguien necesita algún apoyo de mí esta semana?
• ¿Existen posibles obstáculos para lograr nuestras metas esta semana?

Las respuestas a estos deben permitirle solucionar estos cuellos de botella a corto plazo y también identificar patrones cuando se repiten para solucionarlos a largo plazo.

Llenando los vacíos: otras herramientas útiles del programa de experimentación

La reunión del equipo de experimentación no es la única herramienta que debe estar en el conjunto de herramientas de su gerente.

De hecho, el mayor error que veo que cometen los gerentes de experimentación es tratar de hacerlo todo en una sola reunión.

Más bien, desea distribuir sus rituales y artefactos para usar la mejor herramienta para cada trabajo que desea realizar.

La reunión del equipo de experimentación logra tres cosas:

• Aprendizajes y puntos de vista
• Priorización y asignación de trabajo
• Identificación y correcciones de bloqueadores.

Otros objetivos del programa de experimentación que le pueden interesar son los siguientes:

• Obtener ideas de otros equipos.
• Mantener a los ejecutivos y las partes interesadas informados sobre el ROI y los resultados
• Compartir resultados con otros equipos para difundir el conocimiento fuera de la experimentación

Dependiendo de su organización, es posible que tenga más en lo que trabajar, como mantener marcadores de experimentación o trabajar con científicos de datos para implementar el proceso DataOps para automatizar partes del análisis o su plataforma.

Pero para los propósitos anteriores, encuentro que estas herramientas son de bajo esfuerzo y altamente efectivas:

• El correo electrónico de revisión de la experimentación
• La reunión de lectura de experimentación interfuncional
• El archivo de experimentación/herramienta de intercambio de conocimientos

El correo electrónico de revisión de la experimentación

La reunión de su equipo de experimentación no debe dedicarse a revisar los resultados, en su mayor parte. Esto debe hacerse de manera efectiva en un tablero y un correo electrónico semanal que usted, el administrador del programa, debe enviar al resto del equipo y a las partes interesadas.

Debe incluir:

• Experimentos pasados ​​que han concluido + resultados
• Experimentos actualmente en ejecución
• Experimentos futuros

Cualquier análisis de autoservicio y paneles también se pueden incluir aquí. Me gusta crear gráficos de resultados visualmente atractivos y enlaces a más detalles para los nerds del grupo. Pero, en general, a su vicepresidente no le importarán mucho las estadísticas detalladas de cada prueba individual. Por lo tanto, este correo electrónico es para obtener visibilidad de sus esfuerzos y compartir resultados y aprendizajes de alto nivel.

La reunión de lectura de experimentación interfuncional

Los equipos de experimentación nunca deben actuar como un silo territorial. Limita la difusión del conocimiento que obtiene su equipo y también limita la entrada de ideas disruptivas.

Así que cada trimestre, me gusta realizar una lectura de experimentación interfuncional en la que repasamos todos los experimentos que hemos realizado y los aprendizajes de alto nivel, y luego abrimos el micrófono para que el resto de los equipos comenten y presenten ideas.

Esto les da a los otros equipos, para mí, generalmente marketing de productos, marca, producto y generación de demanda, una mirada a lo que hemos aprendido. Tal vez puedan usarlo para influir en su trabajo, mensajes y diseño.

También les permite poner cosas en nuestro radar que tal vez no conocíamos: una próxima campaña, un experimento realizado en el flujo de incorporación, etc.

El archivo de experimentación/herramienta de intercambio de conocimientos

Finalmente, la herramienta más subestimada en un programa de experimentación es algún lugar para almacenar todos sus resultados y aprendizajes. Preferiblemente, esta es una herramienta con una buena funcionalidad de búsqueda y etiquetado.

Esto permite que las partes altamente interesadas y comprometidas simplemente observen por sí mismas lo que se ha ejecutado.

Personalmente, uso una combinación de Airtable y Google Docs. Pero puede usar Notion, Confluence o una herramienta de archivo de prueba A/B dedicada como Experimentos efectivos.

Conclusión

La reunión del equipo de experimentación es un ritual importante que puede hacer o deshacer la eficiencia de su equipo (velocidad y calidad del experimento) y efectividad (cuán visible y respetado es su equipo en la organización).

Trate a la reunión ya los participantes con respeto y manténgase fiel a su propósito. Evite las distracciones y el aumento del alcance: existen otras herramientas para la lluvia de ideas y la elaboración de informes. Y pronto descubrirá que, en lugar de temer otra reunión, espera con ansias esta porque es altamente productiva. Ahí es donde hemos aterrizado de todos modos.