Как работать с агентством A/B-тестирования (и достичь всех целей роста)

Жесткая правда: аутсорсинг A/B-тестирования не гарантирует роста.

Мы бы хотели, чтобы это было так просто. Даже в случае с экспертами мирового уровня ошибочные ожидания, смешанные с неправильными направлениями, часто приводят к бесплодному сотрудничеству.

С другой стороны, есть более разумный и продуктивный способ сотрудничества с вашим агентством A/B-тестирования. Это секрет истории успеха, которая привлекла вас к работе с экспертами по CRO.

В этой статье мы покажем вам этот секрет — четкий пошаговый план сотрудничества и партнерства с лучшими агентствами CRO или A/B-тестирования. К концу вы будете знать, как работать с CRO-агентствами, чтобы достичь всех своих целей роста.

Давайте копать…

Четыре веские причины присоединиться к агентству A/B-тестирования

Когда вы углубитесь в эти четыре причины, вы найдете звезды для совместной работы. Мы называем это индексом сотрудничества .

Для этого мы наметили уровень сотрудничества, который необходим для достижения успеха в адаптации CRO-агентства, и они связаны с каждой из этих четырех причин (или преимуществ).

Чтобы закрепить эти преимущества, вам придется внести определенную долю сотрудничества в ваше партнерство. Вот что представляют эти звезды.

Например, если вам просто нужна помощь в сборке A/B-теста, сотрудничество не обязательно должно быть исчерпывающим, но оно все же должно быть. Именно поэтому он получает две звезды.

Теперь это решено, так что давайте продолжим.

1. Помощь в сборке A/B-теста

СОТРУДНИЧЕСТВО:

Если ваша программа оптимизации созрела до определенного момента, вы определенно не волк-одиночка, выполняющий всю операцию от начала до конца. Вам нужны инженеры и разработчики.

Но проблема здесь в том, что в большинстве отделов оптимизации нет преданных своему делу инженеров и разработчиков.

Когда вы сталкиваетесь с гипотезой, которую вы уверены в проверке, это снижает вашу эффективность, если вам приходится просить и занимать ресурсы у команды разработчиков для их реализации.

Более того, хотя основной аспект «кодирования» остается прежним, разработка продукта и создание теста — это два совершенно разных контекста, требующих изменения мышления.

Поэтому не полагайтесь на штатных агентов, которые отдают предпочтение чему-то другому, кроме успешной настройки тестов для масштабирования вашей программы. Есть стратегия получше, которая также привнесет гибкость в вашу программу экспериментов…

Аутсорсинг .

В данной ситуации это не только желательно, но и логично. В агентствах есть не только специальная команда разработчиков, но и специалисты по сборке, включая партнеров по конвертации BrillMark и EchoLogyx, которые эффективно в 10 раз увеличивают ваши внутренние усилия.

Клиенты, которые хотят расширить свою программу тестирования в несколько раз, должны стремиться привлечь внешние агентства. Исходя из моего опыта, существует предел того, насколько они могут расширить свою программу тестирования с помощью внутренней команды. Например, если внутренней команде удается разработать два теста в месяц на основе ресурсов, доступных для поддержки разработки A/B-тестирования и контроля качества, и они хотят увеличить это число до 10 тестов в месяц, им лучше обратиться в агентство. кто может обеспечить эту специальную поддержку .

Тасин Реза, Echologyx

2. Помощь с телеметрией

СОТРУДНИЧЕСТВО:

Мы много говорили о важности настройки правильных каналов сбора данных и обработки качественных и количественных данных с целью устранения предвзятости.

Агентства A/B-тестирования понимают, почему разные платформы сообщают разные цифры для одного и того же события или действия. Они могут оценить, насколько пагубно это несоответствие, и помочь внутренней команде преобразовать это во влияние на окончательные результаты испытаний.

Без этой бесценной информации, как вы можете доверять своим результатам, когда источники данных часто расходятся во мнениях по критическим показателям?

Как отмечает Чад Сандерсон, наивно полагать, что различные входные данные согласуются друг с другом в результате. Агентства A/B-тестирования привносят в смесь эту столь необходимую грамотность данных.

Это одна из причин, по которой Алекс Биркетт (цитируется ниже) работает с агентствами — чтобы добавить необходимую целостность к результатам A/B-тестирования. Как вы понимаете, это требует еще большего сотрудничества, чем просто помощь в тестовой сборке.

В подавляющем большинстве случаев, когда я работал с агентством A/B-тестирования, я нанимал их исключительно для разработки экспериментов и обеспечения качества. Это связано с тем общим фактом, что ограничивающим ресурсом большинства организаций являются инженеры. Использование аутсорсингового агентства по разработке A/B-тестирования позволило мне увеличить пропускную способность качественного опыта, и я могу доверять тому факту, что эксперименты хорошо спланированы, потому что они привыкли работать на платформе, которую я использую.

Недавно я подумал о том, чтобы найти фирму с полным спектром услуг, которая поможет с разработкой A/B-тестирования, а также с двумя другими узкими местами: телеметрией и исследованием клиентов. Настроить надлежащие конвейеры данных сложно, и если ваша фирма, проводящая A/B-тестирование, сделает это, это хорошо согласует стимулы (они явно хотят правильно определить свою ценность, поэтому им нужна правильная аналитика). А исследований клиентов всегда не хватает, даже если я многое делаю сам. Чем больше, тем лучше, а у специалистов иногда есть труднодоступные инструменты .

Алекс Биркетт, соучредитель Omniscient Digital

Следующая причина требует такого же сотрудничества для успеха, как и аутсорсинг для помощи с телеметрией.

3. Помощь в исследовании клиентов

СОТРУДНИЧЕСТВО:

Исследование клиентов, без сомнения, является самым дорогим, трудоемким и утомительным аспектом создания достоверной гипотезы. Но, как показывает иерархия доказательств, это основа, на которой сидят контролируемые онлайн-эксперименты (A/B-тесты).

Здесь есть несколько вещей, которые могут пойти не так:

• У внутренних команд нет ноу-хау, чтобы правильно структурировать вопросы исследования клиентов.
  
  Они могут вводить в заблуждение, быть предвзятыми и, в конечном счете, стремиться подтвердить существующее мнение, а не исследовать проблему, выявленную количественными данными.
  
  Внешний исследователь привнесет более нейтральную точку зрения на раскопки этой золотой жилы.

• У внутренних команд нет возможности погрузиться в ошеломляющее множество точек зрения, что может только настоящий эксперт.
  
  Каковы все углы, чтобы исследовать? Как вы выдвигаете лучшие гипотезы с таким уровнем перспективы, не опираясь на богатый и разнообразный опыт?

4. Помощь в проповедническом экспериментировании

СОТРУДНИЧЕСТВО:

Да, участие в экспериментах должно исходить от топ-менеджеров.

Эта «компетенция», о которой говорит Мануэль Да Коста, имеет здесь решающее значение. Экспериментирование встроено в ДНК бизнеса.

• Часть энтузиазма вокруг обещания «большего количества» выигрышных тестов принесет.
• Часть понимания того, как эти разрозненные успехи в первые дни программы CRO могут развиваться от оптимизации метрики до поддержки принятия решений в компании.
• Часть мандата «экспериментирование не подлежит обсуждению» от руководства, которое активно выбирает научную работоспособность, а не интуицию.

Вот как наличие агентства способствует каждой части:

• Тесты извлекают выгоду из их обширного опыта в процессе и контроле качества. Внутренние данные Convert показывают, что агентства проводят более серьезные тесты.
• Они заботятся о технических аспектах развертывания тестов, что позволяет создателям изменений уверенно говорить о влиянии экспериментов в масштабах всей компании. Не помешает то, что они помогают в общеорганизационном обучении.
• Они могут помочь лидерам экспериментов на начальных этапах вовлечения высшего руководства, поскольку они доказали силу экспериментов в разных отраслях и вертикалях. Возможное лоббирование, которое может понадобиться, выигрывает от их зрелой точки зрения.

Мы рассмотрели веские причины для адаптации агентства A/B-тестирования. Теперь мы покажем вам неправильные причины отдать ваше A/B-тестирование на аутсорсинг.

Три действительно плохие причины для аутсорсинга

1. Вы хотите, чтобы ваши эксперименты побеждали ВСЕ ВРЕМЯ.

Вы получаете результаты экспериментов, которых заслуживаете.

Этот пост и его комментарии тому доказательство:

Если вы привлечете агентство для поиска победителей, они будут искать победителей. И есть сотни тонких и не очень тонких способов повлиять на все, от запроса данных до интерпретации результатов, чтобы иметь портфолио успешных тестов, которые никогда не влияют на обучение или итоговую прибыль.

Результат: вы, вероятно, заявите, что проведение A/B-тестов с агентством — это не ваше. Но вы бы получили именно то, что искали – ВЫИГРЫШНЫЕ ИСПЫТАНИЯ.

Агентства должны быть партнерами. У них должна быть свобода исследовать проблемы, которые на самом деле сдерживают доходы и производительность. Особенно, если вы заключаете с ними контракт не только на строительство, но и на исследования и разработку экспериментов.

2. Вы хотите использовать «интуицию» агентства, чтобы срезать углы при проверке строгости

Экспериментирование следует за научным процессом. Таким образом, нет точного способа использовать опыт ученых (читай: вашего агентства A/B-тестирования), чтобы найти самый быстрый путь к победе.

Принимая агентство, вы ставите перед ним уникальную задачу; не та ситуация, когда они могут сказать: «Знаете, мы уже видели это раньше. Это то, что обычно работает. Давайте сделаем это."

Когда потенциальные клиенты обращаются к нам по поводу работы с ними над CRO/экспериментированием, они часто спрашивают о нашем прошлом опыте в этой нише или секторе. Например, какой у вас опыт работы с люксовыми туристическими брендами/дорогой мебелью/финансовыми услугами/и т. д.?

Это очень сильно неправильно понимает, что такое экспериментирование.

Если вы наймете бренд или креативное агентство, они воспользуются своей интуицией и творческими способностями для разработки чего-то, что вы, скорее всего, не собираетесь тестировать. Поэтому вам нужно знать, какую интуицию и креативность вы покупаете и «доходят» ли они до вашей аудитории. Вы доверяете кому-то непроверенное общение с вашими клиентами.

И наоборот, весь смысл экспериментирования, который в конечном счете является воспроизведением научного метода в бизнесе, состоит в том, чтобы устранить мнение, предвзятость и интуицию путем:

а) использование исследований и данных для формулирования идей

б) тестирование этих идей с вашими реальными клиентами и

c) опираясь на знания, чтобы более важные дела, которые вы делаете, были доказаны эффективными до того, как вы их сделаете

Вы покупаете процесс и метод, который требует большого опыта для правильного выполнения, а не прошлого «опыта» в отрасли.

Мы руководствуемся данными, а не чьим-либо мнением о вашем секторе или клиентах.

Джонни Лонгден (из информационного бюллетеня Test Everything )

Если вы планируете использовать интуицию агентства A/B-тестирования и не чувствовать себя в полной темноте, пытаясь диагностировать проблему или предоставить более комплексную дорожную карту для успеха CRO, вам необходимо работать над улучшением сотрудничества между клиентом и агентством посредством четкого общения и поточная система.

3. У вас нет намерения зажечь страсть к тестированию внутри компании и вы хотите, чтобы агентство было вечным костылем

Вы не рассматриваете привлечение агентства как возможность перейти к чему-то большему внутри компании. Вы можете выиграть несколько победных тестов — и они могут превратиться в реальную пользу для бизнеса, а могут и не превратиться, — но одно можно сказать наверняка: последовательные эксперименты никогда не принесут успеха.

Эксперимент не может быть тактикой. Как и PPC, он может работать отдельно от других отделов и (все еще) выживать.

Настоящая сила проведения тестов заключается в переосмыслении того, как каждый член команды принимает ключевые решения на работе. Чтобы понять, что мы все равно экспериментируем, и регистрируем это как «риск». Надежная научная структура, лежащая в основе этих рисков и азартных игр, — это то, что ведет компанию к предвидению, большей ясности в том, что работает, и, что наиболее важно, к последовательному успеху.

Убедиться, что вы и ваше агентство CRO хорошо подходите друг другу в краткосрочной и долгосрочной перспективе, является ключом к созданию синергетических отношений, которые позволяют соответствовать показателям и превосходить ожидания.

Простой план работы с агентствами A/B-тестирования

1. Очищайтесь

Вы хотите знать, почему вы привлекаете агентство на борт. Выберите ключевые показатели эффективности — как для программы, так и для бизнеса, — которые вы будете стремиться улучшить.

Всегда должны быть бизнес-цели на макроуровне и цели на микроуровне для достижения этих более высоких целей. Команды тестирования должны сосредоточиться на этих всеобъемлющих целях с помощью исследований и инноваций, которые, в свою очередь, можно протестировать.

Ключевым моментом здесь является информирование заинтересованных сторон о том, как экспериментирование поможет бизнесу принимать правильные решения для достижения ожидаемых KPI. Дорожная карта для экспериментов должна быть создана на основе этого; однако в то же время дорожная карта должна быть достаточно гибкой, чтобы соответствовать неотложным требованиям бизнеса. И, наконец, должен быть преданный человек, который будет управлять этим при поддержке специальной команды .

Тасин Реза

Будьте осторожны здесь. KPI, относящиеся только к программе, приведут к большему количеству тестов (более высокая скорость тестирования), возможно, к меньшему количеству тестов, развернутых с ошибками, и к более короткому времени развертывания. Все это отличные признаки здоровой программы.

Но если нет ясности в том, что должна отсечь машина для экспериментов — проблема, которую она должна решить, — вы добьетесь успеха в оптимизации, но не продвинете свою компанию вперед.

Без ясности будет разрыв между стратегией продукта/сайта (управление ключевыми показателями эффективности, влияющими на бизнес) и стратегией экспериментов (управление ключевыми показателями эффективности, которые продвигают яркую программу CRO).

Чтобы преодолеть этот разрыв, сосредоточьтесь на обучении и улучшении пользовательского опыта. Когда вы следите за показателями дохода, убедитесь, что у вас не развивается туннельное видение и вы не упускаете из виду, что на самом деле означает экспериментирование.

Для программы, которая зависит от бюджета, вам также придется отчитываться с точки зрения рентабельности инвестиций.

Тим Мехта, менеджер экспериментальной программы в Microsoft Store, поделился в этом интервью со Speero, что полезно, если лидерство ориентировано на инновации, потому что тогда вы можете показать рентабельность инвестиций с точки зрения идей, которые вы извлекаете из экспериментов, говоря на языке потенциального дохода и метрики предотвращения потенциальной потери дохода.

И потом, не просто делите «выигрыши» и «проигрыши». Эти термины не означают одно и то же за пределами сферы CRO. Это будет лучше интерпретировано и преобразовано в ценные бизнес-решения, если вместо этого будет представлено в виде рекомендаций .

2. Определите заинтересованные стороны

Легче представить агентство, если есть полная ясность в отношении того, как будет проходить программа экспериментов. Вам не нужно ждать, чтобы начать работу и исправлять ошибки по мере их возникновения. Это неэффективно и дорого.

Вместо этого оптимизируйте процесс с самого начала с помощью матрицы назначения RACI. Эта диаграмма поможет вам наметить ключевые цели, вехи, задачи и обязанности в вашем проекте для каждой из заинтересованных сторон.

Это также то, как вы выясняете, кто является вашими ключевыми заинтересованными сторонами (т. е. теми, кто должен быть в курсе).

RACI — это аббревиатура, которая объясняет, как вы структурируете проект:

• Ответственный – кто отвечает за выполнение задач или принятие решений? Обычно это группа людей.

• Подотчетность — кто будет подписывать задачи и следить за выполнением контрольных точек? Кто будет ставить задачи ответственным за их выполнение? Обычно это руководитель проекта, и он играет особую роль, поэтому он может принять окончательное решение.

• Консультации – с кем необходимо проконсультироваться по задачам проекта? Кто должен внести свой вклад в задачу, чтобы помочь ее выполнить?

• Информирован – Кто должен быть проинформирован о статусе проекта? Кому нужны обновления о прогрессе, но не нужна повседневная информация?

Мы говорили о том, как построить и использовать диаграмму RACI для вашего экспериментального проекта. Вот пример того, как это используется для организации общения:

Сосредоточьтесь на заинтересованных сторонах, которые должны быть проинформированы о том, что делает агентство, и на тех, чья работа будет непосредственно затронута. Потому что адаптация агентства не должна нарушать обычные бизнес-процессы.

Когда вы нанимаете опытное агентство CRO, обязательно используйте матрицу RACI, чтобы иметь возможность определить тех, кто обладает опытом для достижения результатов и предлагает разнообразные решения любых будущих проблем.

3. Бортовой колодец

Относитесь к адаптации агентства так же, как к адаптации нового члена команды. Вы знаете, что вам придется подготовить необходимые ресурсы, чтобы они могли легко начать работу.

Есть много вещей, о которых они не узнают, если вы раньше не работали вместе. Например: внутренняя работа и различные варианты использования вашего сайта, ваша матрица приоритетов и т. д. Итак, как вы можете передать эти знания?

Крайне важно, чтобы они (агентства) знали, как работать в рамках параметров нашей программы, включая нашу матрицу приоритетов, наше планирование спринта, контрольный список контроля качества, который мы используем для запуска, и нашу команду дизайнеров. К счастью, большая часть этого в значительной степени автоматизирована и выложена на Airtable, доступ к которому может получить каждый .

Алекс Биркетт

Я заметил, что клиенты забывают, что посторонние люди знают об их внутреннем веб-сайте или приложениях, которые необходимо оптимизировать. Внутренняя команда очень тесно связана с самим сайтом. Они знают все тонкости всех различных сценариев, вариантов использования и аномалий, которые представляет веб-сайт. И они иногда забывают, что кто-то из внешнего агентства не обязательно обладает такими же глубокими знаниями об их веб-сайте. Это может создать некоторые проблемы с агентством на начальном этапе. Обмен внутренними знаниями, которые необходимы, чтобы помочь бизнесу с их программой CRO в начале, очень важен. Таким образом, агентства будут знать, чего ожидать и что учитывать, когда они выдвигают идею тестирования или разрабатывают тесты и проводят их контроль качества .

Тасин Реза

Если вы начинаете с нуля, дайте своему агентству время, необходимое ему, чтобы понять ваш бизнес и создать следующее:

• Справочник по исследованиям клиентов
  
  Это внутренний документ/база данных, которая дает агентству ценную информацию о том, кто является клиентом. Он будет содержать данные, собранные в ходе фокус-групп, интервью, опросов по электронной почте, аналитического анализа, а также подкрепленные данными профили идеальных клиентов и демографическую информацию.

• Матрица приоритетов
  
  Вы не можете протестировать все. Согласно Дэвиду Мангейму в своей статье, большинство программ ограничены:
  
  • Цель тестирования в организации
  • Наличие трафика
  • Желаемое изменение
  • Количество доступного времени

В океане тестовых идей вам нужна система, чтобы решить, какой тест реализовать, а какой оставить на потом. Если вы поняли это, ваше агентство тоже должно об этом знать.

• Контрольный список вопросов и ответов
  
  Когда тесты завершены, как вы проверяете точность результатов? Выполнение теста включает в себя множество шагов, а это означает несколько точек соприкосновения, где что-то может пойти не так.
  
  Вам нужно поделиться шагами, которые вы предпринимаете, чтобы подумать о том, что было сделано для проверки результатов. У нас есть контрольный список вопросов и ответов, который вы можете использовать, чтобы вам не пришлось начинать с нуля.

• Базовый обучающий репозиторий
  
  Здесь вы храните данные и документацию по прошлым тестам. Информация здесь может повысить эффективность и качество ваших будущих тестов до выдающегося уровня.
  
  Если у вас нет обучающего репозитория, вы теряете идеи, которые могут повысить успех вашей экспериментальной программы.

Итак, почему вам нужно дать вашему агентству время, чтобы понять ваш бизнес и получить информацию из этих ресурсов? Потому что процессы — это столп зрелости экспериментов. Создание некоторых основных правил является ключевым аспектом тщательного онбординга. Не пропустите.

4. Установите доверие

Дайте им свободу сообщать о непройденных и неудачных тестах. Поймите, что большинство тестов, которые вы запускаете, будут проиграны. Это здорово, почему? Потому что вы активно устраняете то, что может не сработать, и переходите к изменениям, функциям и решениям, которые с большей вероятностью окажут значительное положительное влияние.

Если вы слышите только о победах, вы потеряете 90% своих идей. Потому что 9 из 10 тестов обычно проваливаются.

Кроме того, если вашим агентствам придется объясняться каждый раз, когда вы видите плоский тест, они почувствуют, что их услуги будут более ценными в другом месте — по крайней мере, агентства, которые понимают экспериментирование и его потенциал.

Вы не хотите этого. Вместо этого вы хотите вывести свою коммуникацию на новый уровень и завоевать доверие. Вот как:

• Открыто общайтесь с вашим агентством

Говори и слушай. Расскажите о целях вашей организации и о том, что вы ожидаете от отношений с вашим агентством. А затем послушайте, что они ожидают от вас и вашей команды.

Убедитесь, что вы признаете эти требования и мнения. Даже во время последующих встреч по ходу проекта дайте им понять, что их отзывы и идеи ценны для вашей команды.

Если у вас есть опасения, выскажите их честно. Чаще всего ваше CRO-агентство знакомо с этими проблемами и знает, как решить их здоровым образом. Они также могут помочь вам наметить безопасный путь к вашим целям.

Это то, на что вы всегда можете оглянуться назад, когда что-то неясно, и понять, что вы на правильном пути.

• Ставьте взаимовыгодные цели общения

Каждый раз, когда вы сотрудничаете с агентством, вам нужно установить четкие требования к общению. Это будет включать в себя средство коммуникации, время и частоту встреч, темы для обсуждения и т. д.

Заранее определяя эти вещи, вы не только сглаживаете рабочий процесс в долгосрочной перспективе, но и укрепляете доверие. Обе стороны знают, чего ожидать, поэтому вы можете расслабиться и выполнить другие обязательства.

Но есть еще одна вещь: вы не можете просто настроить это и ехать с этим до конца. Вам придется время от времени проверять, чтобы убедиться, что он работает так, как задумано. Например, спросите в своем агентстве, своевременно ли они получают важную информацию.

PS: Если вы что-то меняете, сообщите об этом другим заинтересованным сторонам.

• Решайте конфликты как чемпионы

Мы любим радужную жизнь, но дело в том, что конфликты случаются. Если вы занимаетесь микроменеджментом, вы увеличиваете свои шансы в пользу конфликта. Пожалуйста, не занимайтесь микроменеджментом.

Но если вы в чем-то не согласны с вашим CRO-агентством, что вы делаете?

Направьте своего внутреннего менеджера по персоналу и ведите сложные разговоры как профессионал. Поймите, что эти моменты не являются соревнованием «вы против агентства», в котором вы должны победить. Вместо этого это ваш партнер, и у вас общая цель — рост за счет оптимизации (или чего-то еще).

Убедите их в цели, пересмотрите ее вместе и продвигайтесь вперед.

Вам нужно что-то изменить? Приблизит ли это изменение вас к первоначальным целям проекта? Вы что-то не так поняли? Или можно что-то получше объяснить?

Больше вопросов в такой момент может сэкономить время на решение.

Наконец, вы доверяете, чтобы получить доверие. Доверьтесь своему агентству, чтобы оно выполняло свою работу наилучшим образом и добивалось результатов, и оно с большей вероятностью окажет вам это доверие.

Если вы будете относиться таким образом к своим CRO-партнерам, вы будете развивать качество отношений, которое заставит их стремиться делать все возможное для вашей организации.

5. Извлечение обучения

Создайте свой учебный репозиторий. Вы не можете позволить себе отказаться от результатов предыдущих тестов и лишить команду контроля качества возможности быстрее диагностировать любые неработающие кампании.

Это также поможет вам сгладить процесс отчетности о процессах и результатах вашим боссам и повысить скорость тестирования (поскольку у вас есть идеи, разбросанные по всей вашей истории экспериментов).

Но это может быть ценно только в том случае, если оно доступно и правильно структурировано. Репозиторий продуктивного обучения начинается с того, что вы документируете каждое обучение следующим образом:

1. Запишите все метаданные из ваших тестов

Выделите тип теста, страницы, на которых вы проводили тест, точки взаимодействия, аудитории и области роста. Соберите эту информацию, а также гипотезы, показатели и результаты в оценочную карту метаданных.

Сохраните это в инструменте репозитория для экспериментов. При запуске вы можете использовать слайды Google, Notion или Airtable, чтобы хранить и делиться этой информацией.

2. Запись для разных стилей обучения

Не всем понравится способ, которым вы предпочитаете сохранять информацию. Некоторым нравится текст, другим нравятся визуальные эффекты, такие как изображения и видео. Записывая свои знания из предыдущих тестов, добавляйте скриншоты и записи экрана, где это возможно.

3. Отметьте свои тесты

Любой, кто просматривает репозиторий, должен иметь возможность мгновенно определить цель теста. Было ли это повторяющимся или разрушающим? Или это было для оптимизации или инноваций? Разработайте теги, подходящие для вашей экспериментальной программы, и используйте их для сортировки тестов.

Этот обучающий репозиторий будет бесценен для вас и вашего CRO-агентства. Они могут изучить историю вашей экспериментальной программы, не задавая слишком много вопросов.

И они могут быстро диагностировать проблему или, что еще лучше, разработать план, который не тратит время на уже выполненные тесты.

Кроме того, не думайте о своей экспериментальной программе как об отдельной сущности от других процессов в вашей организации. Другие члены команды должны быть в курсе того, что делает ваше агентство. Это когда вы организуете встречи один на один, чтобы они могли подражать и впитывать то, как эксперты агентства думают о тестировании и подходят к нему.

Хотя эти отношения 1:1 являются неотъемлемой частью продвижения культуры экспериментирования, вы также должны сочетать их с доступом к агрегированным данным и отчетам.

Это один из способов воспользоваться опытом экспертов вашего CRO-агентства. Другой способ — запросить их мнение относительно структуры вашей команды оптимизации (централизованной или децентрализованной CoE). Поскольку у экспертов есть предвидение и прецеденты, они могут подтолкнуть вас в правильном направлении на основе вашей дорожной карты экспериментов.

Вывод

Теперь, когда вы знаете, как работать с CRO-агентствами для максимальной производительности, вы можете начать достигать своих целей роста с минимальными трудностями. Могут быть случаи, когда вы сомневаетесь в своем прогрессе, но пока вы обеспечиваете достаточное сотрудничество и имеете правильные ожидания, ваше партнерство будет плодотворным.