Как провести экспериментальную встречу, которая изменит вашу компанию (и как я это делаю в Workato)

По большей части я ненавижу встречи.

Я говорил это много раз в статьях, твитах и ​​своим коллегам.

В основном мне не нравится, когда люди используют встречи как костыль, чтобы избежать выполнения работы, или когда люди плохо проводят встречи и тратят время всех впустую.

Но как руководитель я признаю важность некоторых встреч. В частности, в моем случае, еженедельные экспериментальные встречи.

Правильно — краеугольным камнем программы экспериментов в Workato является всего одна встреча. Мы не проводим ежедневные стендапы (мы делаем это асинхронно в Slack); вместо этого всего одна встреча в начале недели с добавлением некоторых других артефактов и ритуалов, чтобы машина продолжала двигаться.

Это будет моя первая и единственная статья, в которой я подробно расскажу о том, как я провожу эту встречу, почему я провожу ее именно так и как я уравновешиваю ее с другими программными инструментами для экспериментов (такими как электронная почта, базы данных для обмена знаниями и отчеты).

Прежде чем познакомить вас с протоколом, я хотел бы начать с вопроса высокого уровня — зачем вообще проводить эту встречу?

Какова цель собрания экспериментальной группы?

У каждой встречи должна быть цель. Если у этого нет цели, этого не должно быть.

Три полезности моей еженедельной экспериментальной встречи следующие:

• Обучение и обмен опытом
• Приоритизация инициатив
• Выявление и устранение узких мест процесса

Это означает, что мы исключаем из собрания большинство других тем для обсуждения, которые не соответствуют этим.

Экспериментирование ускоряется обучением

Когда вы начинаете строить программу экспериментов, вам нужно проделать тяжелую работу по закладке основ.

• Получение надлежащего инструмента тестирования.
• Убедитесь, что он интегрирован с вашим инструментом аналитики, и вы правильно отслеживаете данные.
• Общение с руководителями, чтобы установить правильные ожидания для экспериментов.

Однако, как только вы начнете масштабировать эксперименты, то, что вы узнаете в каждом эксперименте, будет действовать как потенциометр для остальной части вашей программы.

Когда вы проходите 5–10 экспериментов в месяц, то, насколько хорошо вы учитесь у победителей, проигравших и безрезультатно, повлияет на вероятность успеха следующей партии экспериментов, которые вы проводите. И все это должно быть ключевым фактором, влияющим на то, как вы расставите приоритеты в своей дорожной карте.

Это может показаться пустой тратой времени, но это не так. Брайан Бальфур, основатель Reforge, также подчеркивает важность обучения при проведении собрания по развитию:

Поэтому мы проводим большую часть нашей встречи, изучая уроки и делясь идеями.

Это особенно полезно, если ваша встреча является межфункциональной или на ней присутствуют участники из других команд, поскольку вы часто получаете точки зрения, которых обычно не видите.

Например, мы часто приглашаем маркетологов на нашу экспериментальную встречу, чтобы поделиться последними открытиями, сделанными в ходе исследования клиентов, или поделиться предстоящими изменениями в стратегическом повествовании.

Вещи меняются; расстановка приоритетов гибкая

На своем собрании я хочу прояснить, к чему мы стремимся, какие шаги мы предпринимаем для достижения этой цели, и кто за что отвечает и за что отвечает.

Это следующая часть встречи.

Из того, что мы узнали, возникает вопрос: «Что мы собираемся делать дальше?»

Наш эксперимент с домашней страницей проиграл — так что же мы узнали и что будем делать дальше?

На самом деле большая часть приоритизации выполняется асинхронно и ежеквартально — по крайней мере, самые крупные эксперименты и самые широкие тематические сегменты наших проектов.

Но мы оставляем много места для маневра для небольших изменений и итераций дорожной карты на основе стратегических изменений и того, что мы узнали из прошлых экспериментов, и мы используем часть встречи, чтобы изменить ситуацию, чтобы отразить это.

Выявление и устранение узких мест процесса

Наконец, важно выявить узкие места процесса, особенно если вы находитесь на этапе масштабирования экспериментальной программы.

Это требует системного мышления, и это основная работа руководителя группы или руководителя программы. По сути, вам нужно определить и измерить каждый шаг процесса экспериментирования от идеи до производства.

Какие шаги занимают больше всего времени, вернее, больше времени, чем ожидалось? И как вы можете использовать это еженедельное собрание для выявления этих задержек и временных задержек, чтобы убедиться, что остальная часть процесса не слишком затронута?

Это важная часть еженедельной встречи и, вообще говоря, более важная часть для того, чтобы держать ваш поезд экспериментов на ходу.

Чего следует избегать на экспериментальных встречах

Вы можете проводить встречи так, как хотите, но для еженедельных групповых экспериментальных встреч две вещи, как правило, являются огромной тратой времени.

• Извлечение специальных данных или просьба к кому-либо сделать это
• Неструктурированный мозговой штурм и идеи

Когда вы получаете специальные данные или просите кого-то сделать это, запишите это. Если вы постоянно запрашиваете немного данных, добавьте их в контрольный список процесса. Это не должно быть чем-то, что всплывает на каждой встрече (это тратит много времени и внимания). Здесь полезны информационные панели и отчеты.

Что касается неструктурированного мозгового штурма, я на самом деле не против этого в целом.

Но есть время и место, и, как правило, метод безумия.

Когда вы тратите чрезмерное количество времени на выдвижение идей во время еженедельных совещаний, вы сокращаете время, затрачиваемое на выявление узких мест в процессе и на то, чтобы убедиться, что вы проводите правильные эксперименты.

Если появится случайная хорошая идея, это нормально. Если это превратится в слабо структурированный сеанс мозгового штурма, вам придется приступить к делу и отключиться от него.

Как я провожу еженедельные собрания экспериментальной группы

Хорошо, а как мне на самом деле проводить еженедельные собрания экспериментальной группы?

Конечно, мне придется запутать некоторые детали реальных экспериментов, которые мы проводим, и результатов, но я расскажу о каждой части настолько подробно, насколько смогу.

Люди

Во-первых, люди, которые посещают каждую неделю, являются частью основных функций стратегического экспериментирования. Это небольшая группа, в которую входят аналитики, маркетологи, веб-разработчики и менеджеры по продуктам. Мой менеджер тоже иногда присутствует, но не на каждом вызове.

У меня есть отдельные встречи с нашей командой дизайнеров, так как они являются центром передового опыта в нашей компании.

Эти люди посещают меня регулярно, а затем я время от времени приглашаю «гостей» из смежных команд, таких как дизайн, бренд-маркетинг или продуктовый маркетинг. Кроме того, для этих гостевых звонков мы обычно просто назначаем отдельную сессию, поскольку ее цель обычно состоит в том, чтобы представить новые идеи, улучшить взаимодействие в команде или провести мозговой штурм.

Чтобы сделать это более общим, в большинстве случаев на вашей экспериментальной встрече должны присутствовать люди, которые принимают решения о стратегии, и люди, которые реализуют эту стратегию. Как правило, это:

• Ведущий/менеджер программы
• Менеджер по продукту
• Разработчики
• Дизайнеры
• Аналитики

Расписание

Я провожу эту встречу каждый понедельник в 15:00 по центральному времени. Утро понедельника отлично подходит для подготовки и выполнения серьезной работы или подведения итогов прошлой недели. К полудню команда хорошо подготовлена ​​к обсуждению предстоящей недели. Это также позволяет нам всем знать, над чем мы должны работать и расставлять приоритеты в течение недели.

Затем, в течение недели, у нас будут асинхронные проверки и встречи один на один, чтобы обсудить детали того, над чем мы решили работать во время собрания команды в понедельник.

В настоящее время мы не используем слайд-колоду, но мы можем включить ее. Если это так, я буду держать отдельные разделы привязанными к нашим ограничениям по времени, указанным выше, и колода будет отправлена ​​​​в пятницу на предыдущей неделе (с целью не тратить более 20 минут в понедельник утром на сбор разделов для каждого человека) . На данный момент мы в основном проходим через нашу базу данных Airtable, которую мы используем для управления проектами.

Повестка дня

Вот моя точная повестка дня:

Продолжительность встречи: 45 минут

• Неформальная встреча: 5-10 минут
• Выводы из завершенных экспериментов/исследований: <10 минут
• Расстановка приоритетов/обработка невыполненной работы: <10 минут
• Выявление узких мест/блокаторов: остальное время (10-15 минут)

Мы уже прошлись по каждому из вышеперечисленных разделов и их назначению.

Я дам вам несколько инструментов и фреймворков, которые также могут помочь с каждым из вышеперечисленных.

Уроки из завершенных экспериментов/исследований.

Главное, что вам здесь нужно, это хорошая система документации.

Перед запуском эксперимента я требую, чтобы документ эксперимента был заполнен следующими разделами:

• Фон
• Задача обучения
• Гипотеза
• Предсказание (отличное от гипотезы).
• Дизайн эксперимента (количественный и творческий)
• Последующие действия (что происходит после заключения)

Затем, после запуска эксперимента, заполняются еще два раздела:

• Полученные результаты
• Обучение

И на нашей встрече мы кратко расскажем о результатах и ​​более подробно рассмотрим раздел обучения. Кто бы ни был «владельцем» эксперимента, он представляет полученные знания, а затем проводится краткое обсуждение того, как мы можем их применить. Иногда это означает тестирование в более широком масштабе или просто сопоставление полученных знаний с аналогичным опытом. Иногда это означает осмысленное повторение.

Двумя вашими инструментами выбора на этом этапе должны быть:

• Документ эксперимента (нажмите здесь, чтобы украсть мой шаблон)
• Система обмена знаниями об экспериментах / Wiki

Расстановка приоритетов/обработка невыполненной работы: <10 минут

По поводу полезности этой части ведутся споры, но мне нравится проводить групповое обсуждение, потому что, в отличие от простого веб-производства или управления продуктом, эксперименты подвержены множеству внешних воздействий, блокирующих факторов и капризов.

Например, у нас может не быть поддержки для особенно большого эксперимента, который мы запланировали, или у нас может быть блокировщик из-за дизайна. Но мы по-прежнему хотим поддерживать нашу частоту тестирования, поэтому в этом случае мы можем оставаться гибкими и продвигать идею с меньшими усилиями из бэклога.

В некоторых организациях принятие решений возлагается исключительно на руководителя экспериментальной группы. Мне нравится открывать дискуссию в группе.

Почему?

Во-первых, я не хочу раздавить команду тяжестью своих оценок за приоритеты. Часть ценности экспериментирования заключается в изучении вещей, которые вы не ожидали узнать, и, предоставляя автономию расстановки приоритетов от других в команде, мы получаем на столе идеи, которые я бы туда не выложил. Это также помогает улучшить общую командную коммуникацию и взаимопонимание.

Во-вторых, людям больше нравится работать над тем, над чем они сами решили работать. Если я начну распределять все идеи, я ограничу страсть людей к отдельным экспериментам (что во многих отношениях ограничивает потенциал эксперимента к победе).

Итак, в этом разделе мы в основном работаем с двумя инструментами:

• Канбан управления проектом (мы используем Airtable — вот отличный шаблон).
• Матрица приоритетов (мы используем PXL).

Выявление узких мест/блокаторов: остальное время

Наконец, выявление узких мест.

Это трудно. В начале он делает две вещи:

• Выявление закономерностей в задержке доставки
• Качественный и открытый вопрос команде

В моем Airtable (которым, к сожалению, я не могу поделиться) у меня есть четыре столбца на каждой карточке:

• Дизайн из-за
• Дизайн выполнен
• Срок разработки
• Разработка завершена

Это в дополнение к шагам Канбана, которым мы следуем:

• Идея
• Экспериментальный документ в процессе
• Документ об эксперименте на рассмотрении
• В развитие
• Гарантия качества
• QA проверено и готово к запуску
• Бег
• Заключено
• Запущено в производство

Это позволяет мне видеть, где дела отстают от графика. Если, например, мы выполнили 10 тестов, но ни один из них не был реализован, у нас проблема с продакшеном. Или, возможно, наши эксперименты застопорились из-за контроля качества, и у нас накопилось множество готовых к публикации экспериментов, ожидающих запуска.

На этапе разработки мы также хотим увидеть, ждем ли мы дизайна или разработчиков для создания опыта. Если мы постоянно отстаем, это означает, что нам нужно изменить приоритеты этих команд или, возможно, увеличить численность персонала.

Качественные вопросы звучат так:

• Кому-нибудь нужна поддержка от меня на этой неделе?
• Есть ли потенциальные препятствия для достижения наших целей на этой неделе?

Ответы на эти вопросы должны позволить вам устранить эти узкие места в ближайшей перспективе, а также определить закономерности, когда они повторяются, чтобы исправить их в долгосрочной перспективе.

Заполнение пробелов: другие полезные инструменты программы для экспериментов

Совещание команды экспериментаторов — не единственный инструмент, который должен быть в наборе инструментов вашего менеджера.

На самом деле, самая большая ошибка, которую я наблюдаю у руководителей экспериментов, заключается в том, что они пытаются сделать все это за одно собрание.

Скорее, вы хотите распространить свои ритуалы и артефакты, чтобы использовать лучший инструмент для каждой работы, которую вы хотите выполнить.

Совещание экспериментальной группы решает три задачи:

• Уроки и идеи
• Расстановка приоритетов и распределение работы
• Идентификация блокировщика и исправления.

Другие цели экспериментальной программы, которые могут вас заинтересовать, следующие:

• Получение идей от других команд
• Держите руководителей и заинтересованных лиц в курсе рентабельности инвестиций и результатов
• Обмен результатами с другими командами для распространения знаний вне экспериментов

В зависимости от вашей организации у вас может быть больше работы, например, ведение таблиц результатов экспериментов или работа с учеными по данным для реализации процесса DataOps для автоматизации частей анализа или вашей платформы.

Но для вышеуказанных целей я считаю, что эти инструменты не требуют больших усилий и очень эффективны:

• Письмо с отзывом об эксперименте
• Кросс-функциональное собрание по подведению итогов экспериментов
• Архив экспериментов / инструмент для обмена знаниями

Письмо с отзывом об эксперименте

На совещании группы экспериментаторов не следует по большей части обсуждать результаты. Это должно быть эффективно сделано на панели инструментов и в еженедельном электронном письме, которое вы, руководитель программы, отправляете остальной команде и любым заинтересованным сторонам.

Он должен включать:

• Прошлые эксперименты, завершившиеся + результаты
• Текущие эксперименты
• Будущие эксперименты

Любая самостоятельная аналитика и информационные панели также могут быть включены сюда. Мне нравится создавать визуально привлекательные диаграммы результатов и ссылаться на более подробную информацию для зануд в группе. Но по большому счету вашего вице-президента мало заботит подробная статистика каждого отдельного теста. Таким образом, это электронное письмо предназначено для того, чтобы привлечь внимание к вашим усилиям и поделиться результатами и знаниями высокого уровня.

Кросс-функциональное собрание по подведению итогов экспериментов

Экспериментальные группы никогда не должны действовать как территориальные бункеры. Вы ограничиваете распространение знаний, которые получает ваша команда, а также ограничиваете приток революционных идей.

Поэтому каждый квартал я люблю проводить кросс-функциональные эксперименты, на которых мы проходим через все эксперименты, которые мы провели, и высокоуровневые знания, а затем мы открываем микрофон для остальных команд, чтобы комментировать и предлагать идеи.

Это дает другим командам — для меня, как правило, маркетингу продукта, бренду, продукту и формированию спроса — взглянуть на то, что мы узнали. Возможно, они смогут использовать его, чтобы повлиять на свою работу, обмен сообщениями и дизайн.

Это также позволяет им обращать внимание на вещи, о которых мы, возможно, не знали — предстоящая кампания, эксперимент с потоком адаптации и т. д.

Архив экспериментов / инструмент для обмена знаниями

Наконец, самый недооцененный инструмент в программе экспериментов — это место для хранения всех ваших результатов и знаний. Желательно, чтобы это был инструмент с хорошими функциями поиска и тегирования.

Это позволяет очень заинтересованным и вовлеченным сторонам просто посмотреть на то, что было запущено.

Лично я использую комбинацию Airtable и Google Docs. Но вы можете использовать Notion, Confluence или специальный архивный инструмент A/B-тестирования, такой как Effective Experiments.

Вывод

Собрание команды экспериментаторов — важный ритуал, который может повысить или понизить эффективность вашей команды (скорость и качество экспериментов) и результативность (насколько заметна и уважаема ваша команда в организации).

Относитесь к собранию и его участникам с уважением и оставайтесь верными его цели. Избегайте отвлекающих факторов и расширения масштаба — есть и другие инструменты для мозгового штурма и отчетности. И вскоре вы обнаружите, что вместо того, чтобы бояться очередной встречи, вы с нетерпением ждете этой, потому что она очень продуктивна. Вот где мы приземлились в любом случае.