Como realizar uma reunião de experimentação que transformará sua empresa (e como eu faço isso no Workato)

Na maioria das vezes, eu odeio reuniões.

Já disse isso muitas vezes, em artigos, tweets e para meus colegas.

Principalmente, eu não gosto quando as pessoas usam as reuniões como uma muleta para evitar que o trabalho seja feito, ou quando as pessoas realizam reuniões mal e desperdiçam o tempo de todos.

Mas como líder, reconheço a importância de algumas reuniões. Particularmente, no meu caso, a reunião semanal de experimentação.

Isso mesmo – a base do programa de experimentação da Workato é apenas uma reunião. Não fazemos standups diários (fazemos isso de forma assíncrona no Slack); em vez disso, apenas uma reunião no início da semana com alguns outros artefatos e rituais espalhados para manter a máquina em movimento.

Este será meu primeiro e único artigo mergulhando profundamente nos detalhes de como administro esta reunião, por que a administro dessa maneira e como a equilibro com outras ferramentas de programa de experimentação (como e-mails, bancos de dados de compartilhamento de conhecimento e leituras).

Antes de apresentar a ata, gostaria de começar fazendo uma pergunta de alto nível – por que fazer esta reunião em primeiro lugar?

Qual é o propósito de uma reunião de equipe de experimentação?

Toda reunião precisa de um propósito. Se não tem um propósito, não deveria acontecer.

As três utilidades da minha reunião semanal de experimentação são as seguintes:

• Compartilhamento de aprendizado e insights
• Priorização de iniciativas
• Identificação e eliminação de gargalos do processo

Isso significa que eliminamos da reunião a maioria dos outros pontos de discussão que não os atendem.

A experimentação é acelerada pelo aprendizado

Quando você começa a construir um programa de experimentação, você tem que fazer o trabalho duro de estabelecer as bases.

• Obtendo uma ferramenta de teste adequada.
• Certificando-se de que está integrado à sua ferramenta de análise e que você está rastreando os dados adequadamente.
• Comunicar-se com os executivos para definir as expectativas adequadas para a experimentação.

Uma vez que você comece a escalar a experimentação, no entanto, o que você aprender em cada experimento atuará como um potencializador para o resto do seu programa.

À medida que você passa de 5 a 10 experimentos por mês, o quão bem você aprende com vencedores, perdedores e inconclusivos afetará a taxa de sucesso do próximo lote de experimentos que você executar. E tudo isso deve ser fundamental para influenciar como você prioriza seu roteiro.

Pode parecer perda de tempo, mas não é. Brian Balfour, fundador da Reforge, também enfatiza a importância dos aprendizados na condução de uma reunião de crescimento:

Assim, passamos grande parte de nossa reunião percorrendo aprendizados e compartilhando insights.

Isso é especialmente útil se sua reunião for multifuncional ou tiver membros de outras equipes na chamada, pois muitas vezes você obtém perspectivas que normalmente não teria.

Por exemplo, muitas vezes fazemos com que os profissionais de marketing de produtos em nossa reunião de experimentação apareçam e compartilhem descobertas recentes de pesquisas com clientes ou compartilhem as próximas mudanças narrativas estratégicas.

As coisas mudam; priorização é ágil

Na minha reunião, quero deixar claro para onde estamos mirando, quais passos estamos dando para chegar lá e quem é responsável e responsável por quê.

Essa é a próxima parte da reunião.

Fluindo do que aprendemos vem a pergunta: “o que vamos fazer a seguir?”

Nosso experimento de página inicial foi perdido – então, o que aprendemos e o que faremos a seguir?

Muita priorização é realmente feita de forma assíncrona e trimestral – pelo menos os maiores experimentos e os mais amplos grupos temáticos de nossos projetos.

Mas deixamos muito espaço de manobra para pequenas mudanças e iterações no roteiro com base em mudanças estratégicas e no que aprendemos com experimentos anteriores, e usamos parte da reunião para mudar as coisas para refletir isso.

Identificação e eliminação de gargalos do processo

Por fim, é importante descobrir os gargalos do processo, especialmente se você estiver na fase de dimensionamento de um programa de experimentação.

Isso requer pensamento sistêmico e é o trabalho principal do líder de equipe ou gerente de programa. Efetivamente, você precisará identificar e medir cada etapa do processo de experimentação, desde a ideia até a produção.

Quais etapas levam mais tempo, ou melhor, mais tempo do que o esperado? E como você pode usar essa reunião semanal para identificar esses atrasos e atrasos para garantir que o restante do processo não seja excessivamente afetado?

Esta é uma parte crítica da reunião semanal, e mais, de um modo geral, para manter seu trem de experimentação nos trilhos.

O que evitar em reuniões de experimentação

Você pode realizar suas reuniões como quiser, mas para a reunião semanal de experimentação da equipe, duas coisas tendem a ser uma enorme perda de tempo.

• Extrair dados ad-hoc ou pedir a alguém para fazê-lo
• Brainstorming e ideação não estruturados

Quando você extrai dados ad-hoc ou pede a alguém para fazê-lo, anote isso. Se você solicitar repetidamente alguns dados, adicione-os à sua lista de verificação do processo. Não deve ser algo que apareça em todas as reuniões (perde muito tempo e foco). É aqui que os painéis e os relatórios são úteis.

No brainstorming não estruturado, na verdade não sou um odiador disso em geral.

Mas há um tempo e lugar e normalmente um método para a loucura.

Quando você gasta uma quantidade excessiva de tempo colocando ideias em campo durante sua reunião semanal, você reduz o tempo gasto identificando gargalos do processo e certificando-se de que está executando os experimentos certos.

Se surgir uma boa ideia aleatória, tudo bem. Se isso se transformar em uma sessão de brainstorming vagamente estruturada, você precisa colocar o pé no chão e colocá-lo offline.

Como realizo minhas reuniões semanais da equipe de experimentação

Tudo bem, então como eu realmente administro minha reunião semanal da equipe de experimentação?

Terei que ofuscar alguns detalhes sobre os experimentos reais que realizamos e os resultados, é claro, mas cobrirei cada parte com o máximo de detalhes possível.

As pessoas

Em primeiro lugar, as pessoas que comparecem todas as semanas fazem parte das principais funções estratégicas de experimentação. É um pequeno grupo que inclui analistas, profissionais de marketing de desempenho, desenvolvedores da Web e gerentes de produto. Meu gerente também atende de vez em quando, mas não em todas as chamadas.

Tenho reuniões separadas com nossa equipe de design, pois eles são um centro de excelência em nossa empresa.

Essas pessoas frequentam regularmente e, de vez em quando, convido “convidados” de equipes adjacentes, como design, marketing de marca ou marketing de produto. Além disso, para essas chamadas de convidados, geralmente apenas marcamos uma sessão separada, já que seu objetivo geralmente é apresentar novas ideias, melhorar a comunicação da equipe ou fazer um brainstorming.

Para tornar isso mais genérico, na maioria dos casos, sua reunião experimental deve incluir pessoas que tomam decisões sobre estratégia e pessoas que executam essa estratégia. Normalmente, isso é:

• Líder/gerente de programa
• Gerente de produto
• Desenvolvedores
• Designers
• Analistas

O horário

Eu dirijo esta reunião todas as segundas-feiras às 15h, horário central. As manhãs de segunda-feira são ótimas para se preparar e fazer um trabalho profundo, ou amarrar as pontas soltas da semana anterior. À tarde, a equipe está bem preparada para discutir a próxima semana. Isso também permite que todos saibamos no que devemos trabalhar e priorizar ao longo da semana.

Então, ao longo da semana, teremos check-ups assíncronos e reuniões individuais para discutir as especificidades do que decidimos trabalhar durante a reunião de equipe de segunda-feira.

Não usamos uma apresentação de slides neste momento, mas podemos incorporá-la. Se for esse o caso, manterei as seções individuais vinculadas aos nossos limites de tempo listados acima, e o baralho será enviado na sexta-feira da semana anterior (com o objetivo de não gastar mais de 20 minutos na segunda-feira de manhã montando a seção de cada pessoa) . No momento, percorremos principalmente nosso banco de dados Airtable, que usamos para gerenciamento de projetos.

A agenda

Aqui está minha agenda exata:

Duração da reunião: 45 minutos

• Recuperação informal: 5-10 minutos
• Aprendizados de experimentos/pesquisas concluídos: <10 minutos
• Priorizando / preparando o backlog: <10 minutos
• Identificando gargalos/bloqueadores: resto do tempo (10-15 minutos)

Já percorremos cada uma das seções acima e seu propósito.

Vou dar-lhe algumas ferramentas e estruturas que podem ajudar com cada um dos itens acima também.

Aprendizados de experimentos/pesquisas concluídas.

A principal coisa que você precisa aqui é um bom sistema de documentação.

Antes de um experimento ser executado, exijo que um documento do experimento seja preenchido com as seguintes seções:

• Fundo
• Objetivo do aprendizado
• Hipótese
• Previsão (que é diferente de uma hipótese).
• Design do experimento (quant e criativo)
• Acompanhamento (o que acontece após a conclusão)

Então, depois que o experimento é executado, mais duas seções são preenchidas:

• Resultados
• Aprendizados

E em nossa reunião, abordamos brevemente os resultados e abordamos mais profundamente a seção de aprendizados. Quem foi o “dono” do experimento é quem apresenta os aprendizados, e então há uma breve discussão de como podemos aplicá-los. Às vezes, isso significa testar em uma escala mais ampla ou simplesmente dimensionar os aprendizados para experiências semelhantes. Às vezes, isso significa iterar de maneira significativa.

Suas duas ferramentas de escolha nesta etapa devem ser:

• O documento do experimento (clique aqui para roubar meu modelo)
• O sistema de compartilhamento de conhecimento do experimento / Wiki

Priorizando / preparando o backlog: <10 minutos

Há um debate sobre a utilidade desta parte, mas eu gosto de manter uma discussão em grupo porque, diferentemente da simples produção na web ou gerenciamento de produtos, a experimentação está sujeita a muitas pressões externas, bloqueios e caprichos.

Por exemplo, podemos não ter o buy-in para um experimento particularmente grande que planejamos, ou podemos ter um bloqueador de design. Mas ainda queremos manter nossa cadência de testes, então, nesse caso, podemos permanecer ágeis e avançar uma ideia de menor esforço da lista de pendências.

Em algumas organizações, essa tomada de decisão cabe exclusivamente ao líder da equipe de experimentação. Eu gosto de abrir a discussão para o grupo.

Por quê?

Primeiro, não quero esmagar a equipe sob o peso de minhas pontuações de priorização. Parte do valor da experimentação está em aprender coisas que você não esperava aprender e, ao permitir autonomia de priorização de outras pessoas da equipe, temos ideias na mesa que eu não teria colocado lá. Isso também ajuda a melhorar a comunicação geral da equipe e o relacionamento.

Em segundo lugar, as pessoas estão mais animadas para trabalhar em coisas que escolheram para trabalhar. Se eu começar a atribuir todas as ideias, estou limitando a paixão que as pessoas podem sentir por experimentos individuais (o que, de muitas maneiras, limita o potencial de vitória do experimento).

Então, nesta seção, estamos basicamente trabalhando com duas ferramentas:

• O kanban de gerenciamento de projetos (usamos Airtable – aqui está um ótimo modelo).
• A matriz de priorização (usamos PXL).

Identificando gargalos/bloqueadores: resto do tempo

Por fim, identificar gargalos.

Isto é difícil. No começo, ele está fazendo duas coisas:

• Encontrando padrões em entregas atrasadas
• Fazer perguntas qualitativas e abertas à equipe

No meu Airtable (que lamento dizer que não posso compartilhar), tenho quatro colunas em cada cartão:

• Projeto devido
• Projeto entregue
• Desenvolvimento devido
• Desenvolvimento entregue

Isso é um acréscimo às etapas do Kanban que seguimos:

• Idéia
• Documento de experiência em andamento
• Documento do experimento em revisão
• Em desenvolvimento
• Garantia da Qualidade
• Com controle de qualidade e pronto para lançamento
• Corrida
• Concluído
• Empurrado para produção

Isso me permite ver onde as coisas estão ficando atrasadas. Se, por exemplo, executamos 10 testes e nenhum deles foi implementado, temos um problema de produção. Ou talvez nossos experimentos falhem na garantia de qualidade e tenhamos um acúmulo de experimentos prontos para publicação esperando para serem lançados.

No estágio de desenvolvimento, também queremos ver se estamos esperando o design ou os desenvolvedores para criar a experiência. Se ficarmos para trás repetidamente, isso significa que precisamos refatorar as prioridades dessas equipes ou potencialmente aumentar o número de funcionários.

As perguntas qualitativas soam assim:

• Alguém precisa de algum apoio meu esta semana?
• Existem potenciais bloqueadores para atingir nossos objetivos esta semana?

As respostas para isso devem permitir que você corrija esses gargalos no curto prazo e também identifique padrões quando eles se repetem para serem corrigidos no longo prazo.

Preenchendo as lacunas: outras ferramentas úteis do programa de experimentação

A reunião da equipe de experimentação não é a única ferramenta que deve estar no kit de ferramentas do seu gerente.

Na verdade, o maior erro que vejo os gerentes de experimentação cometerem é tentar fazer tudo em uma reunião.

Em vez disso, você deseja espalhar seus rituais e artefatos para usar a melhor ferramenta para cada trabalho que deseja realizar.

A reunião da equipe de experimentação realiza três coisas:

• Aprendizados e insights
• Priorização e alocação de trabalho
• Identificação e correções do bloqueador.

Outras metas do programa de experimentação com as quais você pode se interessar são as seguintes:

• Obtendo ideias de outras equipes
• Mantendo executivos e stakeholders informados sobre ROI e resultados
• Compartilhamento de resultados com outras equipes para disseminar conhecimento fora da experimentação

Dependendo da sua organização, você pode ter mais em que trabalhar, como manter os placares de experimentação ou trabalhar com cientistas de dados para implementar o processo DataOps para automatizar partes da análise ou sua plataforma.

Mas para os propósitos acima, considero essas ferramentas de baixo esforço e altamente eficazes:

• O e-mail de revisão da experimentação
• A reunião de leitura de experimentação multifuncional
• O arquivo de experimentação / ferramenta de compartilhamento de conhecimento

O e-mail de revisão da experimentação

Sua reunião de equipe de experimentação não deve ser gasta analisando resultados, na maioria das vezes. Isso deve ser feito efetivamente em um painel e em um e-mail semanal que você, o gerente do programa, envia para o restante da equipe e quaisquer partes interessadas.

Deve incluir:

• Experimentos anteriores que concluíram + resultados
• Experimentos em execução no momento
• Experimentos futuros

Quaisquer análises e painéis de autoatendimento também podem ser incluídos aqui. Eu gosto de criar gráficos de resultados visualmente atraentes e links para mais detalhes para os nerds do grupo. Mas, em geral, seu vice-presidente não vai se importar muito com as estatísticas detalhadas de cada teste individual. Portanto, este e-mail é para dar visibilidade aos seus esforços e compartilhar resultados e aprendizados de alto nível.

A reunião de leitura de experimentação multifuncional

As equipes de experimentos nunca devem agir como um silo territorial. Você limita a disseminação do conhecimento que sua equipe ganha e também limita o fluxo de ideias disruptivas.

Então, a cada trimestre, eu gosto de fazer uma leitura de experimentação multifuncional onde passamos por todos os experimentos que fizemos e aprendizados de alto nível, e então abrimos o microfone para o resto das equipes comentarem e apresentarem ideias.

Isso dá às outras equipes – para mim, geralmente marketing de produto, marca, produto e geração de demanda – uma visão do que aprendemos. Talvez eles possam usá-lo para influenciar seu trabalho, mensagens e design.

Também permite que eles coloquem em nosso radar coisas que talvez não sabíamos – uma campanha futura, um experimento executado no fluxo de integração etc.

O arquivo de experimentação / ferramenta de compartilhamento de conhecimento

Finalmente, a ferramenta mais subestimada em um programa de experimentação é algum lugar para armazenar todos os seus resultados e aprendizados. De preferência, esta é uma ferramenta com boa funcionalidade de pesquisa e marcação.

Isso permite que as partes altamente interessadas e engajadas simplesmente procurem por si mesmas o que foi executado.

Pessoalmente, eu uso uma combinação de Airtable e Google Docs. Mas você pode usar o Notion, o Confluence ou uma ferramenta de arquivamento de teste A/B dedicada, como o Effective Experiments.

Conclusão

A reunião da equipe de experimentação é um ritual importante que pode fazer ou quebrar a eficiência da sua equipe (velocidade e qualidade do experimento) e eficácia (quão visível e respeitada sua equipe é na organização).

Trate a reunião e os participantes com respeito e permaneça fiel ao seu propósito. Evite distrações e desvios de escopo – existem outras ferramentas para brainstorming e relatórios. E rapidamente você descobrirá que, em vez de temer outra reunião, você anseia por esta porque é altamente produtiva. É onde nós pousamos de qualquer maneira.