Как создать систему связи для вашей команды A/B-тестирования

Мы можем проводить лучшие в мире тесты и получать самые точные данные, но если на них не воздействовать, они становятся бесполезными.

Жизненно важные результаты испытаний, которые могут изменить лицо компании, могут остаться незамеченными и затеряться в шуме или, что еще хуже, стать предметом дискуссий против мнений, даже когда доказательство находится прямо перед вами.

Это может быть невероятно разочаровывающим и проклятием для многих команд A/B-тестирования. Хотя ясно одно. Если мы хотим преодолеть это, нам нужно научиться лучше общаться:

• Чтобы упростить общение с заинтересованными сторонами,
• Чтобы получить действия по результатам,
• Чтобы собрать новые тестовые идеи со всей команды,
• И многое другое.

К счастью, это именно то, что мы собираемся рассказать в сегодняшнем руководстве. Почему общение важно для A/B-тестирования, как его улучшить и как структурировать доставку этой информации в зависимости от того, с кем вы разговариваете в компании. (Примечание. Это руководство предназначено для компаний, которые проводят внутреннее тестирование. Если вы работаете с агентством, вам будет полезно прочитать это подробное руководство.)

Итак, давайте погрузимся…

Что такое культура экспериментирования и почему она зависит от общения?

По мере того, как программа A/B-тестирования «созревает», она отходит от простого тестирования на наличие улучшений и начинает развиваться. Конечная цель в идеале — стать компанией, управляемой данными. Бизнес, который принимает решения на основе данных и информации, а не мнения.

Это может помочь компании расти и делать предложения на основе того, что нужно их аудитории и рынку, и это ключевая методология для многих лидеров рынка.

Большая часть этой эволюции уходит от простого тестирования на большее количество конверсий и даже мысли об экспериментах в одном отделе, а вместо этого движется к культуре экспериментов . Именно здесь вся компания принимает мышление и практику экспериментирования . (Где тестирование демократизировано и используется в каждой команде и отделе.)

Это не только помогает заручиться поддержкой (поскольку все применяют принципы тестирования), но вы будете удивлены, сколько улучшений вы сможете найти во всей своей компании, когда примете эти новые способы мышления. Подъем на странице продаж — это здорово, но представьте, если бы ваш отдел возвратов заметил новый способ снизить отток клиентов, просто проведя A/B-тестирование своих процессов коммуникации?

Хотя реальность жесткая. Желать этой культуры и создавать ее не так просто, как если бы все согласились с этой идеей.

Распространенные ошибки, из-за которых компании терпят неудачу в построении культуры экспериментирования

Программы тестирования испытывают затруднения при сбое связи. На самом деле, все проекты могут потерпеть неудачу, когда нарушается коммуникация.

В исследовании Института управления проектами они обнаружили, что 56% неудачных проектов связаны с плохой коммуникацией.

В то время как 86% руководителей и сотрудников в исследовании Pumble заявили, что они считают плохую коммуникацию причиной крупных неудач. Интересно, что в том же исследовании они обнаружили, что в командах с хорошей коммуникацией эффективность повысилась на 25%. (Они также обнаружили, что 80% завершенных проектов обычно имеют план коммуникации).

Как видите, научиться лучше общаться жизненно важно. Но когда мы смотрим на проблемы коммуникации в программах CRO, мы обычно обнаруживаем следующие основные проблемы…

Проблема № 1: информация застревает в хранилищах и не передается всем командам, которые могут использовать это, чтобы помочь своим отделам.

В исследовании, проведенном Speero, компании, которые проводили эксперименты в течение более длительного периода времени, делятся своими результатами между отделами и иерархиями (67%), в то время как новички делают это нечасто или вообще не делают этого в некоторых случаях (94%).

Вопрос № 2. Сделайте так, чтобы один человек отвечал за переход мышления к культуре экспериментов.

Не поручайте изменение одному человеку. Поручите им отвечать за коммуникацию, но не ждите, что они будут обеспечивать ресурсы для программы или быть ключевым фактором ее успеха. Это может произойти только в результате общеорганизационного осознания.

При этом один правильный человек МОЖЕТ оказать огромное влияние, но обычно это никогда не тестировщик, а исполнительный директор…

Проблема № 3. Руководящие заинтересованные стороны заинтересованы только в увеличении бюджета и не создают нисходящих примеров для подражания, что приводит к отсутствию изменений и внедрению в компании.

Если вы хотите построить культуру, то это должно идти сверху вниз.

Проблема № 4: отчетность только по доходам, а не по статистике

Управление данными означает понимание всех областей вашего бизнеса и их влияния. Переход к культуре экспериментов начинается с того, КАК вы представляете данные. Это не всегда может быть связано только с рентабельностью инвестиций. Воспользуйтесь возможностью рассказать о том, как идти на риск и учиться с первого дня.

Проблема № 5: Неэффективное общение

Или это может быть так же просто, как попытки получить и доставить необходимую информацию. Либо к нему трудно получить доступ, либо люди его не потребляют.

Дело в том, что пока вы не наладите четкие каналы связи, вам будет сложно масштабировать свою программу тестирования и создать нужную культуру тестирования.

Итак, давайте покажем вам, как улучшить.

Как структурировать общение в экспериментальной программе?

Чтобы лучше понять это, мы собираемся порекомендовать матрицу назначения RACI. Это таблица распределения обязанностей, которая поможет вам спланировать каждую из ключевых целей, вех, задач и обязанностей в вашем проекте для каждого из вовлеченных людей или «заинтересованных сторон».

Определите заинтересованные стороны в вашей экспериментальной программе

Цель матрицы RACI — помочь вам создать поток общения, а также обеспечить выполнение задач.

Вы можете использовать его аббревиатуру, чтобы спланировать, кто ваши заинтересованные стороны и какое место они занимают в вашем проекте:

• Ответственный . Кто отвечает за выполнение задач или принятие решений? Обычно это группа людей.
• Подотчетный . Кто будет подписывать задачи и следить за выполнением контрольных точек? Кто будет ставить задачи ответственным за их выполнение? Обычно это руководитель проекта, и он играет особую роль, поэтому он может принять окончательное решение.
• Проконсультировался . С кем необходимо проконсультироваться по задачам проекта? Кто должен внести свой вклад в задачу, чтобы помочь ее выполнить?
• Информированный . Кто должен быть проинформирован о статусе проекта? Кому нужны обновления о прогрессе, но не нужна повседневная информация?

Иногда эти люди могут выполнять несколько ролей, и им может потребоваться посещение разных собраний или каналов связи, но лучше четко указать, кто чем занимается и куда их включить. Таким образом, вы можете решить, как общаться и передавать информацию между этими позициями.

Когда дело доходит до программы A/B-тестирования, ваш обычный список заинтересованных сторон включает:

• Обзор C-suite (информированный)
• Руководитель группы/менеджер проекта (подотчетный)
• Тестировщики (Консультанты, Ответственные)
• Разработчики (ответственные)
• Дизайнеры (ответственные)
• QA-исследователи (Консультанты, Ответственные)

Теперь очевидно, что не все команды тестирования одинаковы, поэтому вот лучший способ определить ваши заинтересованные стороны и создать собственную матрицу RACI.

• Начните с составления плана каждой из задач, необходимых для завершения этого проекта. Для упрощения вы можете сначала просто добавить основные вехи. Имейте их как нисходящий столбец на левой стороне.
• Затем перейдите к определению каждой из заинтересованных сторон в этом проекте. Имейте их в виде строки в верхней части матрицы.
• Затем начните заполнять каждую ячейку словами «Ответственный», «Подотчетный», «Консультируемый» или «Информированный». Вам пока не нужно заполнять их точные задачи, пока это всего лишь рекомендация.
• Убедитесь, что для каждой задачи определено по крайней мере одно заинтересованное лицо, ответственное за нее!
• В то же время убедитесь, что за каждую задачу отвечает только ОДНА заинтересованная сторона. Таким образом, вы не получите конфликтующих или пропущенных задач.
• Когда у вас будет этот приблизительный план, вы можете использовать его, чтобы пообщаться со своими заинтересованными сторонами и заполнить конкретные задачи для каждой вехи, а также подтвердить, что все согласны с этой оценкой.

Примечание:

Не каждую ячейку нужно заполнять. Главное — убедиться, что кто-то подотчетен, кто-то несет ответственность, только те, с кем нужно консультироваться, и люди не информируются обо всем, что им не нужно.

Заранее определитесь с инструментами коммуникации для программы экспериментов

Два основных решения — решить, какие инструменты использовать и как будет работать ваша команда. Ваше общение будет личным, синхронным или асинхронным?

С ростом удаленной работы и международных команд формирование асинхронных привычек на раннем этапе может принести пользу даже командам, работающим на местах. (Мы рассмотрим некоторые из них по ходу дела, но у Zapier есть несколько замечательных руководств по управлению асинхронной командой.)

Затем вам нужно определиться с вашими инструментами и КАК вы будете их использовать.

Убедитесь, что вы все используете одни и те же инструменты заранее и спланируете, как их интегрировать, это поможет предотвратить пропущенные сообщения или проблемы с плохим общением.

На самом деле отсутствие ясности в этом вопросе является основной причиной провала планов коммуникации. В исследовании, проведенном Citrix и Economic Times, они обнаружили, что сотрудники тратят почти 25% своего времени на поиск информации для выполнения своей работы, когда отсутствует четкая коммуникационная или информационная инфраструктура.

С учетом сказанного, вот список моих 5 лучших инструментов для команд тестирования :

• Slack для повседневного общения
• Асана для управления проектами
• Zoom, Skype или Meet для звонков
• Электронная почта для бронирования собраний в календаре, отправки сообщений и взаимодействия с другими командами, которые могут не участвовать в ваших проектах Slack или Asana.
• Тестовая база данных/репозиторий для обучения, чтобы отслеживать, что вы пробовали до сих пор, результаты A/B-тестирования, что сработало, а что нет, знания и идеи. Он не только создаст резервную копию всей вашей работы, но и может помочь новым тестировщикам, И это фантастический способ сохранить тесты и использовать их для отчетности перед топ-менеджерами, командами и даже всей компанией (подробнее об этом ниже). .

4 различных типа общения для этих заинтересованных сторон

Итак, теперь, когда вы определили, кто ваши заинтересованные стороны и какое место они занимают в вашей диаграмме RACI, пришло время решить, КАК вы собираетесь с ними общаться, что вам нужно освещать и как часто.

Ниже я составил краткую диаграмму RACI на основе своих рекомендаций, но вы можете изменить ее в соответствии со своими потребностями.

Есть 4 основные коммуникационные цели, каждая из которых соответствует модели RACI:

• Видение и миссия (информация)
• Дорожная карта (подотчетный)
• Процесс (Консультация, Ответственный)
• Результаты, уроки и победы (информированные)

1. Видение и миссия

Этот тип коммуникации направлен на то, чтобы вовлечь всех в конечную цель. Обычно делается только один раз в начале проекта, но не стесняйтесь подводить итоги каждый квартал и пересматривать усилия и действия.

Теоретически это может быть ограничено исполнительной командой, руководителем проекта и командой тестирования, но я считаю, что если вы хотите создать культуру экспериментов, вы должны определить свое видение этого проекта и получить одобрение всей компании. включив их в свое видение экспериментального проекта.

В исследовании, проведенном TradePress, они обнаружили, что 85% сотрудников утверждают, что наиболее мотивированы, когда получают информацию о компании, но 74% считают, что упускают эту информацию.

Так что поделитесь своим видением экспериментов со всей организацией. Это не только помогает создать эту культуру и объединить людей, но вы также можете найти другие команды, которые могут помочь в достижении вашей цели, о которой вы, возможно, и не подозревали.

Пример

Недавно я приобрел базовую страховку автомобиля от AA.

Я не слишком задумывался о покрытии, я просто хотел как можно скорее покрыть новую машину. Через 24 часа я решил, что хочу перейти на их самый полный пакет, который работал почти на 55% больше в месяц, так что большая разница в рентабельности инвестиций.

Проблема в том, что было довольно трудно начать платить им больше денег. Давайте посмотрим на точки трения и где нам может помочь член команды, не связанный с тестированием (особенно если он настроен на экспериментирование).

Точка трения №1 . Не было обновления в один клик (хотя я мог получить вторую цитату).

Точка трения №2. В онлайн-чате мне сказали, что единственный способ обновиться — позвонить напрямую.

Точка трения №3. Во время звонка такой возможности не было. Меня отправили в общий список ожидания на 25 минут.

Если бы цель АА заключалась в том, чтобы увеличить количество участников в своих комплексных планах, веб-мастер мог бы легко обнаружить проблемы одним щелчком мыши. (Я должен представить, что это случается часто, поскольку не было четких данных о том, что покрывает каждый уровень, и поэтому я ожидаю, что многие люди могут получить базовый план как можно скорее, чтобы они могли сразу же управлять транспортным средством, прежде чем изучить более подробно позже.)

Классная идея может заключаться в том, что если кто-то заполнит другую заявку на транспортное средство, которое уже находится под их прикрытием на другом уровне, то это также может быть триггером, чтобы связаться с ним напрямую?

Колл-центр, казалось, имел дело со всеми звонками, включая отмены, претензии и обновления. Это означает, что они хорошо обученные операторы, но нет быстрого пути к обновлению и трате больше денег! (Нет возможности нажать X, чтобы поговорить об обновлении.)

Тестировщик может не подумать об этом, потому что когда вы в последний раз запускали QA на своих телефонных линиях и в чате, верно? Но кто-то в этой конкретной роли может уловить общие проблемы, язык и жалобы и сообщить об этом команде тестирования — вот почему корпоративная культура так важна, и почему я думаю, что вы должны включить их в свое видение и миссию.

2. Связь с дорожной картой

Это ваш план атаки. Он должен установить конечную цель, основные вехи на этом пути, а затем задачи, связанные с этими вехами.

Исполнительные команды захотят узнать об основных достигнутых вехах, а также о ежемесячном и квартальном прогрессе.

Руководители групп захотят того же, но также еженедельных отчетов. Таким образом, они могут убедиться, что они находятся на цели, чтобы выполнять задачи и соответствующим образом общаться с членами команды.

Команды оптимизации должны знать основные вехи и свои OKR, чтобы достичь их. Они должны предоставлять еженедельные отчеты, а затем ежемесячно + ежеквартально встречаться с руководителем группы, чтобы убедиться, что все идет по плану.

3. Коммуникация в процессе A/B-тестирования

Цель здесь состоит в том, чтобы убедиться, что все идет по пути достижения вех дорожной карты.

Здесь вы можете разбить проводимые эксперименты и то, как они связаны, запросить ресурсы и выделить бюджет и т. д. Если дорожной картой был список рецептов, то это «как сделать торт».

Отслеживание этого гарантирует своевременное завершение проектов, помогает сосредоточить усилия, устраняет повторяющиеся задачи или пропущенные проблемы с задачами, а также поддерживает участие руководителей высшего звена, если они представлены позже. Опять же, это может быть охвачено ежемесячными и ежеквартальными звонками.

4. Результаты A/B-тестирования, уроки и победы

Здесь вы видите и делитесь своим влиянием. В зависимости от заинтересованной стороны, все они должны в той или иной степени видеть это. Руководитель проекта и группа тестирования — это те, кто собирает эту информацию воедино, а затем делится ею с высшим руководством и всей компанией.

Есть 3 основные области, где вы можете поделиться этим:

• информационный бюллетень,
• Ваш учебный репозиторий,
• И если вы действительно пытаетесь создать культуру экспериментов, обучающий канал Slack.

Итак, давайте посмотрим, как вы можете их использовать.

Информационный бюллетень «Ваши победы и что, если»

Цель этого внутреннего информационного бюллетеня — получить поддержку и создать культуру экспериментов.

В нем должны быть представлены текущие тесты и их результаты, а также идеи и выводы. Это помогает вовлечь всех и увидеть силу экспериментов в действии. Не только это, но и конкретные результаты тестирования могут также помочь получить дополнительную информацию, которая влияет на несколько ролей.

Вы также можете получить дополнительный бай-ин, объявив о предстоящих тестах на следующий месяц и запустив викторину «Угадай тест».

Этот метод может помочь вам геймифицировать и создать культуру тестирования, где люди могут весело провести время, пытаясь угадать, какая версия победит и почему. Это помогает вовлечь все заинтересованные стороны, но также может удалить мнения о тестах, когда они видят данные, лежащие в основе результатов, помогая развивать подход, основанный на данных , а не « это всегда делалось так ».

Это простая идея, но она отлично работает.

Ваш учебный репозиторий

Ваш репозиторий — это больше база данных всех ваших выигранных и неудачных тестов, ваших выводов из каждого теста, того, что вы пробовали, и изображений каждого теста.

На самом деле, его основная цель — помочь не повторять тестовые идеи случайно, а также помочь в обучении новых экспериментаторов.

Тем не менее, доступность этой информации для всей компании также может помочь заинтересовать и привлечь больше вашей компании, особенно если вы дадите ссылку на результаты тестирования, хранящиеся в репозитории, из вашего информационного бюллетеня!

Сделайте еще один шаг и добавьте веселья и изюминки в то, как вы представляете эту информацию:

Вам не нужны причудливые миниатюры, но вы можете просто намекнуть на результат теста за последний месяц, угадать тест в информационном бюллетене, а затем отправить их в репозиторий для получения всей информации.

Желающие получить ответ могут найти результат, а те, кто увлекается экспериментами, могут посмотреть дальше на то, что вы тестировали!

Общайтесь и поощряйте свои эксперименты

Наконец, вы можете получить еще больше вовлеченности, поделившись своими выигрышами в универсальном канале Slack, посвященном победам и полученным знаниям.

Это именно то, что делает Specsavers:

Specsavers не только проводят еженедельные и ежемесячные встречи, но и имеют канал «обучения», где любой, кто занимается оптимизацией, может поделиться тем, что они узнали. Это помогает создать диалог и ускорить поиск новых идей.

Хотите сделать еще один шаг вперед?

Используйте тот же канал для стимулирования вашего общения и тестирования. Вы будете удивлены инновациями и идеями, которые появятся, когда ваша команда сможет получить непосредственную личную выгоду от улучшения новых тестовых идей!

Это часто может привести к большему обмену идеями и идеями и оказать эффект домино на другие команды и участников.

Как часто вы должны общаться со своими заинтересованными сторонами?

Как правило, частота общения зависит от заинтересованных сторон и их ролей/целей в различных методах общения, а также от того, какую цель общения вы пытаетесь достичь.

Не со всеми нужно постоянно общаться, поэтому давайте разберем каждую группу заинтересованных сторон в порядке наиболее частого общения до наименее и того, что вы должны освещать.

Как правильно организовать каждый тип коммуникации с заинтересованными сторонами?

Главное — смотреть на каждую заинтересованную сторону через призму их статуса RACI.

Экспериментальная группа + ведущий (подотчетный, ответственный, консультирующий)

• Совещание по первоначальному видению и дорожной карте, а также план процесса.
• Доступна ежедневная связь при необходимости. (Slack отлично подходит для этого.)
• Еженедельный прогресс того, над чем они работали. Не для микроуправления, а для того, чтобы получить представление о том, что работает, и о процессе достижения целей дорожной карты. Асана отлично подходит для этого. Также можно проверить тесты и проекты, которые завершились на этой неделе, и любые достигнутые вехи.
• Обсуждается ежемесячный анализ тестов и извлеченных уроков, а также планирование новых тестов/итеративные тесты. Ежемесячное совещание по дорожной карте, чтобы убедиться, что все команды находятся на правильном пути.
• Ежеквартальное планирование и анализ дорожной карты. Используйте это, чтобы принять решение придерживаться текущего процесса или отредактировать и настроить.

Команда продукта (консультация)

• Первоначальная концепция и дорожная карта, а также план процесса (особенно если вы пытаетесь создать культуру экспериментов в масштабах всей компании).
• Еженедельные отчеты о прогрессе, если вы работаете над проектами вместе.
• В противном случае ежемесячные и ежеквартальные аналитические отчеты и отчеты об обучении должны распространяться среди команд, чтобы они также могли принимать меры по результатам.

C-Suite (информированный)

• Совещание по первоначальному видению и дорожной карте, а также план процесса.
• Ежемесячные и ежеквартальные планы и отчеты о ходе работы, а также тесты и выводы. Обязательно предоставьте информацию, основанную на их целях (подробнее об этом позже).

Остальная часть компании (информированная)

• Начальное видение и дорожная карта, встреча и цели. Им не нужны все детали, но конечная цель и основные вехи помогут им понять план. «Мы стремимся повысить рентабельность инвестиций, улучшив наш процесс продаж, а также сократив отток клиентов во втором квартале, прежде чем рассматривать повторные продажи в третьем квартале и т. д.».
• Ежемесячные информационные бюллетени с отчетами о тестах, уроках и победах, чтобы помочь им поддерживать вовлеченность и развивать культуру. Проведенные тесты покрытия, выводы и идеи, что сработало, а что нет. В качестве бонуса вы можете обсудить предстоящие новые тесты и провести викторину на предмет того, что, по их мнению, будет лучше всего.

Одна ключевая вещь, которую нужно понять, заключается в том, что вы должны определить и определить эти темпы и частоту общения заранее, прежде чем начинать свой проект , чтобы каждая заинтересованная сторона знала свои обязанности и когда ожидать или предоставлять информацию.

Как передать результаты A/B-тестирования высшему руководству?

Поскольку общение с топ-менеджерами является распространенной проблемой, с которой сталкиваются программы тестирования, и поскольку их участие и поддержка являются важной частью обеспечения бесперебойной работы вашей программы тестирования, я хотел просто повторить здесь передовой опыт.

Мы подробно писали об этом в другом руководстве здесь, но вот краткий обзор:

• Помните о ритме и частоте , о которых вы договорились.
• Обязательно сосредоточьте общение на конкретной цели. Это встреча по дорожной карте, проверка процесса или обновленная информация об обучении?
• Познакомьте их с реалиями проекта с первого дня.
• Попробуйте вовлечь их , поделившись своими знаниями и кампаниями «угадай тест». Помните, что нисходящее внедрение лучше всего подходит для экспериментальных культур.
• Представьте информацию как можно проще . Чему вы научились заранее и как пришли к идее теста. То, что вы тестировали. Покажите контроль, варианты и победителя. Как это работало на микро- и макроуровне. Включите результаты.
• Сделайте так, чтобы они хорошо выглядели. Не сосредотачивайтесь только на разделении доходов, но представляйте результаты с тем, что их волнует в первую очередь. Затем поделитесь дополнительными идеями и свяжите их с тем, как это поможет им достичь своих целей.
• Не возлагайте вину на мнения . Если тесты не увенчались успехом, выясните, почему и как это поможет вам и им. Может быть, вы сэкономили небольшое состояние, не выпустив изменение дизайна вживую? Суть в том, что вы не хотите, чтобы они чувствовали угрозу или обвинение. Экспериментирование заключается в том, чтобы учиться на неудачах, чтобы найти то, что работает.
• Если тест прошел успешно, укажите эффекты ROI и MRR вместе с фактической целевой метрикой. Возможно, ваш тест проводился не на странице, которая напрямую влияет на доход, но постарайтесь дать представление о моделях конкретного роста и о том, как он влияет на бизнес в целом. (Больше потенциальных клиентов, меньше оттока, больше времени на странице, что приводит к более высокой рентабельности инвестиций.)
• Вы можете столкнуться с недовольством результатами, особенно со стороны людей, чье эго или роль напрямую связаны с тестом. (Возможно, они являются экспертами по X, но для вашей аудитории их советы малоэффективны). Признайте, что результаты могут быть неправильными, но сформулируйте это так: «Да, это может быть неправильно, но что, если это правильно? Как это может повлиять на нас?». Таким образом, вы перенесете важность с них на ситуацию.

Вывод

Итак, у вас есть это. Наше подробное руководство по улучшению коммуникации в командах A/B-тестирования, чтобы вы могли создать культуру экспериментов.

Вы столкнетесь с некоторыми кривыми обучения, но держитесь этого. Чем больше вы общаетесь, тем больше у вас шансов пройти через это и увидеть преимущества!