Вам нужен учебный репозиторий A/B-тестирования для проведения экспериментов с учетом опыта (эксперты говорят)

Чувствуется ли ваша программа тестирования, что ей не хватает структуры или воздействия?

Вы проводите тесты без плана атаки и не знаете, что расставить по приоритетам или что делать дальше?

Возможно, вы теряетесь, пытаясь вспомнить, какие тесты вы пробовали раньше, что сработало, а что не удалось?

Или, может быть, вы только что присоединились к существующей программе и понятия не имеете, что она уже запускала, как она работала или с чего начать?

При A/B-тестировании легко заблудиться, но, к счастью, есть простой способ решить эту проблему.

Недавно мы взяли интервью у 5 профессиональных CRO, и сразу стало ясно одно: если вы хотите проводить эксперименты с учетом опыта и развивать свою культуру тестирования, вам необходимо иметь централизованный репозиторий аналитических данных.

Что такое учебный репозиторий?

Проще говоря, это единственное место для хранения всей информации о прошлых тестах, которые вы запускали.

• Целевая страница,
• Гипотеза и то, что вы реализовали,
• Тестовые элементы и варианты,
• Результаты, достижения,
• Его влияние на важные показатели и т. д.

Это может быть такая же простая папка на ноутбуке или проект Asana, но учебный репозиторий — это гораздо больше, чем просто прославленная файловая система…

«Репозиторий экспериментального обучения» позволяет более широкому бизнесу и заинтересованным сторонам видеть, какие эксперименты были проведены на сегодняшний день и какие выводы были получены. Репозиторий предоставляет читателю возможность потреблять контент в удобное время и со скоростью, что важно в глобальном бизнесе.

– Макс Брэдли, руководитель веб-экспериментов в Zendesk.

Это означает легкий доступ всей вашей команде ко всем вашим прошлым тестам, что на самом деле может помочь вам создать эту культуру тестирования.

Как?

Чем больше людей участвуют в тестировании и видят, как выполняются тесты, тем быстрее они перенимают этот образ мышления.

Увидев, какие тесты уже были проведены, и их результаты, можно найти новые идеи и точки зрения для всех, у кого есть доступ к этой информации. Затем это может привести к ага! момент в разных областях компании за пределами группы тестирования, которые они затем могут проверить сами или передать группе тестирования.

Например, если отдел платной рекламы определил наиболее эффективный язык, получивший повышение в тестах страниц, то они могут захотеть попробовать его в своем рекламном тексте, платном поиске или социальных сетях, поскольку он явно находит отклик у аудитории.

Доступ к прошлым тестам не только открывает новые идеи для внешних членов команды, но также сокращает время, затрачиваемое на поиск важной информации.

Учебный репозиторий — это нечто большее, чем просто доступ в масштабе всей компании и экономия времени:

Обучение — это основной принцип создания значимых и эффективных продуктов, и единственный способ собрать значимые и проверенные знания — это провести эксперименты и собрать все эти знания в центральном хранилище. Знания из этого репозитория можно использовать во многих упражнениях, таких как, например, деревья возможностей/решений, где вы работаете над достижением определенной цели пользователя с помощью нескольких различных подходов к решению.

Ключом к проведению экспериментов с учетом опыта является наличие центрального репозитория, доступного, структурированного, с возможностью поиска и должным образом обновляемого/управляемого. Успешное выполнение этого может оказать экспоненциальное влияние на производительность и качество всего вывода экспериментальной программы .

– Матиас Мандиау, специалист по экспериментам и анализу данных в H&M Group .

Как говорит Матиас, чем лучше мы понимаем нашу аудиторию, тем лучше мы можем предоставлять ей продукты и услуги.

Возможно, мы не сразу получим понимание, но оно может направить нас на правильный путь, и оттуда мы сможем совершенствоваться дальше и предлагать лучший продукт и пользовательский опыт.

Еще лучше?

Постоянное изучение и управление результатами наших тестов может помочь нам избежать дорогостоящих ошибок…

Вы проводили эксперименты, теперь избегайте этих ошибок

Наличие места для хранения и доступа к прошлым данным — это здорово, но это не единственное преимущество.

Фактически, во время наших интервью мы обнаружили ряд распространенных ошибок программы тестирования, о которых говорили снова и снова — почти все из которых были исправлены с помощью обучающего репозитория.

Несоблюдение «дорогих» данных компании

Одним из наиболее убедительных аргументов в пользу обучающего репозитория является тот простой факт, что все данные тестов являются собственностью компании.

Вы тратите драгоценное время и деньги на сбор этих данных. Последнее, что вы хотите сделать, это не хранить или использовать его, или, что еще хуже, никогда не возвращаться к нему, чтобы помочь вам спланировать новые тесты и извлечь уроки из прошлых:

Зачем вкладывать столько денег в экспериментальную программу, если не заботятся о ее основном результате (обучении)?

Хороший обзор имеет ключевое значение для понимания того, над чем уже работали, на чем следует сосредоточиться сейчас и над чем следует поработать в ближайшее время. Также таким образом знание не зависит от людей, потому что люди приходят и уходят в компаниях.

Кроме того, это позволяет лучше обмениваться знаниями, лучше адаптироваться, готовить лучшие бизнес-кейсы, лучше проводить исследования…

— Матиас Мандиау

Полное представление о вашей программе тестирования может помочь вам не только лучше тестировать, но и обучать новых сотрудников или даже руководителей групп. (И обойти проблему потери всех инсайтов, когда CRO-менеджер покидает компанию).

Как?

Что ж, теперь новые участники могут видеть, что было опробовано ранее, что сработало и, возможно, что могло сработать, но не было реализовано правильно или могло быть повторено в дальнейшем…

Упущенная возможность развить в масштабах компании «интуитивное чутье», основанное на опыте (и данных)

Нет ничего плохого в том, чтобы использовать свою интуицию, чтобы придумать тестовые идеи. Иногда у вас просто есть интуиция, основанная на данных или опыте, которая может помочь вам сформировать гипотезу и завершить первоначальный тест.

Тем не менее, вам нужно следить за тем, чтобы всегда полагаться на этот внутренний инстинкт, а не обращать внимание на исследования и данные.

Одна вещь, которую я говорю своей команде (в Bouqs): когда у вас нет данных (зарегистрированного обучения/артефактов от тестирования), вы должны принимать решения, основываясь либо на своей интуиции, либо на интуиции заинтересованных сторон. База данных знаний создает
интуицию для всех нас, которую мы можем использовать в качестве проверки интуиции, но которая не является только нашей собственной или предвзятой.

– Наталья Контрерас-Браун, вице-президент по управлению продуктами The Bouqs.

Крупнейшие компании с самыми зрелыми программами CRO почти все управляются данными. Они делают выбор, основываясь на том, что данные говорят им о самом важном, и часто именно поэтому они становятся лидерами рынка.

Не становитесь виновным в тестировании только на основе интуитивного выбора и мнений и не сосредотачивайтесь только на метриках. Потратьте время, чтобы найти контекстную информацию из каждого результата теста. Следите за информацией и, самое главное, отслеживайте и сохраняйте, что произошло и почему, по вашему мнению, это произошло, чтобы не совершить ошибку, забыв, что вы пробовали и почему это сработало.

Повторение тестов, которые были выполнены ранее

Мы уже намекали на это, но без отслеживания того, что вы делаете, становится очень легко либо повторно запустить тестовую идею, которую вы уже пробовали, либо пропустить тестовую идею, потому что вы думаете, что она уже была запущена.

Учебный репозиторий помогает избежать повторного проведения экспериментов, которые проводились ранее. Это также сокращает время, затрачиваемое группой экспериментаторов на ответы на вопросы о результатах и ​​выводах заинтересованных сторон.

— Макс Брэдли

Будьте добры к себе и своей будущей команде и записывайте все, что вы делали, и все детали каждого теста.

Возможно, вы хотите запустить что-то подобное, но без подробностей о том, что вы пробовали раньше, можно легко пропустить или потратить еще 30 дней на получение данных, которые вы должны были сохранить.

Плохая коммуникация или отсутствие доступа к информации

Одним из самых больших отличий зрелых CRO-команд является их способность быстро и легко обмениваться информацией или получать к ней доступ. Не только в простоте доступа, но и в том, насколько эффективно они могут предоставить нужную информацию.

Наличие хорошо задокументированного и организованного учебного репозитория может сократить коммуникационные барьеры и даже помочь не отвлекать рабочие процессы тестирования, пока вы ищете информацию и ставите задачи на паузу.

(Репозиторий экспериментов) — это система управления знаниями, которая хранит все данные в подробной степени и доступна команде в целом, но, что наиболее важно, облегчает создание коммуникационных артефактов (уровень связи) для нужных людей в нужном формате в нужное время. правильное время.

Это «уровень данных» в рабочем процессе тестирования, как показано здесь:

– Бен Лабай, управляющий директор / CRO & Experimentation @ Speero by CXL

Оставить обучение (и деньги) на столе

Не забывайте, что большинство тестов терпят неудачу. Только путем повторения и извлечения уроков из прошлых тестов вы сможете совершенствоваться и получать выигрыши, влияющие на рентабельность инвестиций.

Без отслеживания того, что вы запускали и где вы были, становится очень трудно двигаться вперед и видеть прогресс или даже чувствовать себя уверенно в процессе тестирования.

Штефан Томке хорошо сказал, что «несмотря на то, что сегодняшние менеджеры завалены информацией, поступающей со всех сторон, они работают в нестабильном мире, где им не хватает нужных данных для обоснования стратегических и тактических решений». Эксперимент подтверждает, а подтверждение помогает нам учиться . Крайне важно собрать эти знания в легкодоступном репозитории, чтобы просмотреть эти знания для принятия будущих решений.

– Дэвид Манхейм, вице-президент по CRO, BrainLabs

Вот визуальное представление идеального процесса от Рубена де Бура:

Учиться и совершенствоваться на каждом тесте, который вы проводите, невероятно важно. Это не только напрямую связано с успехом ваших будущих тестов, но даже может помочь вам распространить текущие победы на другие области или даже другие сайты.

Почти каждый второй эксперимент, который мы проводим в H&M в нашей продуктовой команде, подкрепляется задокументированным изучением предыдущего эксперимента или другой методологии исследования.

— Матиас Мандиау

Эта привычка учиться и повторять повторяется снова и снова почти у всех, с кем мы беседовали.

В Brainlabs около 40–50 % наших экспериментов с известным магазином мужской одежды Flannels были повторениями друг друга. Это продемонстрировало силу знаний в рамках одного эксперимента и то, как они могут превратиться во что-то еще; потому что мы всегда учимся на том, как практический стимул может повлиять на переменную .

— Дэвид Манхейм

Давайте приведем вам еще один пример.

Допустим, у вас есть страница захвата потенциальных клиентов, и макет, который вы используете, хорошо подходит для одной страницы. Затем вы можете адаптировать его к другим на своем сайте, чтобы увидеть, увеличивает ли он рост и там.

Что, если вы агентство с несколькими клиентами в схожих нишах?

Знания и достижения одной компании могут привести к идеям и проектам, которые могут работать и для других ваших клиентов…

То, что сработало однажды, имеет хорошие шансы быть еще не полностью использованным:

• Может работать снова с большей интенсивностью (для того же клиента)
• Это может снова работать где-то еще (для того же клиента)
• Это может сработать снова для кого-то совершенно другого

Другими словами, прошлые победы обладают прогностическим потенциалом, который может ускорить оптимизацию (больше побед, большая вероятность успеха, большая величина эффектов).

– Якуб Линовски, GOODUI.org

Drip Agency именно так и поступило с двумя своими клиентами.

Они взяли лучший дизайн макета страницы у одного клиента, а затем протестировали его на другом, чтобы сразу повысить конверсию.

GoodUI сделал что-то подобное. Они взяли лучшие тестовые идеи и информацию от одного клиента и использовали их в качестве основы для тестирования других страниц сайта.

Это увеличило конверсию на 42%!

Затем они сделали еще один шаг.

Вместо того, чтобы просто внедрить выигрышный дизайн для одного клиента, они провели тематическое исследование, чтобы увидеть, можете ли вы предсказать выигрышные тесты на основе предыдущих кампаний на нескольких веб-сайтах.

Теория заключается в том, что определенные дизайны UX могут работать в других отраслях.

Таким образом, они провели 51 тест, используя предыдущие победившие макеты дизайна, и достигли 71% успеха при использовании предыдущих победителей для разработки новых тестов на других сайтах.

Довольно круто, правда?

Вот еще одна причина, по которой обучающий репозиторий так полезен, и именно поэтому хорошие тестировщики обращают внимание на прошлых победителей.

Если подумать, GoodUI — это своего рода репозиторий для обучения, поскольку это база данных прошлых тестов и победителей на нескольких сайтах и ​​в разных отраслях.

Дело в том, что они часто видят дизайны, повторно используемые на других сайтах, и замечают, что определенные шаблоны обеспечивают подъем. Может быть, кто-то еще запускал тест, но он работал и т. д.

Будучи интеллектуальными файлами cookie, GoodUI использует эти конкретные шаблоны в качестве вдохновения для запуска тестов для новых клиентов…

И это имеет смысл, верно? После того, как вы исправили технические проблемы и выбрали страницу для тестирования, не помешает просмотреть прошлые тестовые элементы на похожих страницах и узнать, что сработало.

Вы можете использовать другие сайты для вдохновения, когда начинаете, но все эксперты согласны. Вам нужно начать создавать свой собственный репозиторий как можно скорее.

Инвестируйте в экспериментальный репозиторий

Якуб Линовски сказал в LinkedIn, что если вы посмотрите на такие профессии, как врачи, инженеры, спортсмены и военные, вы увидите, что большая часть их успехов и роста основана на знаниях, полученных в результате прошлых экспериментов.

С таким мысленным образом вы можете себе представить, как быстро может расти поле CRO в целом, когда эксперименты не всегда должны начинаться с уровня 0. Но без репозитория обучения это именно так.

И этим грешат многие внутренние CRO-команды.

Если вы приблизитесь к этой идее, станет ясно, что опираясь на то, что вы уже знаете, это надежный способ усложнить усилия вашей экспериментальной программы.

Репозиторий = больше шансов на успех эксперимента

Только когда вы настроены на изучение тестов (и прошлых тестов), вы действительно цените то, что предлагают эксперименты, т. е. представление о том, что работает, а что нет, в данном контексте и обстоятельствах.

20 «хороших решений» в UX, UI, продукте, маркетинге (благодаря экспериментам) могут помочь накачать мышцы принятия решений и обострить инстинкт. Чем больше вы видите, что ваше мнение отвергается или подтверждается, тем больше у вас компаса, чтобы выяснить, что работает и что нужно вашей аудитории.

Те, кто тестирует ради показателей конверсии, упускают из виду эту общую картину. Речь идет о том, чтобы узнать, что нужно вашей аудитории, а не о том, чтобы быть правым.

Давайте покажем вам, как:

Как структурировать ваш учебный репозиторий

Учебный репозиторий предназначен для устранения разрозненности данных, содействия сотрудничеству и укрепления связи.

Если ваш не структурирован должным образом, будет чрезвычайно сложно выполнить эти основные требования. Но особенность структурирования вашего репозитория обучения заключается в том, что есть варианты. В разных организациях они работают по-разному.

Это не проблема, потому что мы опишем вам 3 модели, а затем вы сможете представить, какая из них идеально подходит для вашей команды, отдела или организации. Еще лучше, специалисты рекомендуют одну конкретную модель.

Кажется, есть победитель с точки зрения структуры экспериментальной команды: Центр передового опыта.

1. Центр передового опыта (CoE) обеспечивает и оснащает экспериментальные группы конкретных отделов.

В этой модели группа экспериментаторов является центром проведения экспериментов всей организации.

Так что они своего рода консьержи для всех в других отделах, которые хотят проводить эксперименты. Вы проходите через них, и они помогают настроить его.

Затем они следят за целостностью этих экспериментов и согласовывают все с общими экспериментальными целями организации.

Структурирование таким образом сегодня устранит проблемы нижестоящих завтра. Потому что все идет по одному и тому же пути, его легко контролировать, а создание учебного репозитория таким образом легко координировать.

Основная проблема здесь в том, что она не будет такой доступной, как децентрализованная модель.

2. Децентрализованные подразделения располагаются в разных отделах и объединяют всех

Децентрализованные подразделения находятся в разных отделах и проводят реальные тесты. Это отличная стратегия, потому что они лучше всех разбираются в своих циклах роста и метриках, поэтому они находятся в лучшем положении для разработки и проведения высокоэффективных экспериментов.

В этой модели каждый может запускать тесты — независимо от своего отдела и уровня опыта экспериментирования. В сочетании с CoE он привлекает некоторых поклонников…

Я большой поклонник децентрализованных экспериментов, работаю вместе с центром передового опыта по контролю качества и популяризации тестирования AB. По моему опыту, эти структуры лучше всего работают в тех культурах, которые действительно используют силу экспериментирования. С точки зрения репозитория обучения, это должно последовать их примеру; члены команды должны иметь возможность проводить эксперименты и выделять уроки из результатов своего труда .

— Дэвид Манхейм

Таким образом, ответственность за поддержание репозитория обучения также следует этому примеру.

3. Управляется одним человеком для сбора и хранения результатов экспериментов

Однако, в отличие от модели только CoE, репозиторий обучения децентрализованной модели сложнее координировать.

Это помогает иметь назначенную роль, которая отвечает за документирование и поддержание обучения. И в этом есть что-то полезное:

Управляется менеджером программы/проекта (отслеживает) и основным стратегом тестирования (который вводит «истории»), но, если все сделано правильно, он может иметь входные данные на всех этапах, поскольку входные данные поступают в виде записей форм, таких как формы вопросов, новые трекеры кампании, новые идеи тестовых решений и т.д.

— Бен Лабай , управляющий директор / CRO & Experimentation @ Speero by CXL

Матиас Мандиау согласен с Беном.

Я предпочитаю гибрид между централизованным/децентрализованным:

Репозиторий всегда должен быть доступен (облако).

Необходимо уметь комбинировать различные исследовательские методологии для создания сильных гипотез.

Настройка и управление репозиторием и собственностью должны осуществляться 1 командой/менеджером (централизованно). Удобно отслеживать ключевые показатели эффективности макроэкспериментов на центральном уровне.

В каждой команде разработчиков, которая работает с экспериментами, должен быть заинтересованный человек (аналитик данных/CRO), который несет ответственность за надлежащую заботу обо всех собранных знаниях, которые загружаются в правильном формате в центральный репозиторий. Также полезно следить за KPI производительности микроэкспериментов на уровне продуктовой команды в рамках децентрализованной команды. Например, это может быть информационная панель, связанная с GA или репозиторием .

В Zendesk один менеджер отвечает за обслуживание репозитория, но входные данные исходят от «владельцев теста»:

В настоящее время у нас есть репозиторий, которым управляет одна команда в рамках бизнеса, и один человек берет на себя полное владение им. «Владельцам» тестов предлагается добавить полученные знания после завершения теста в соответствующую область репозитория.

— Макс Брэдли

Именно так один человек (или небольшая команда), управляющий моделью децентрализованного типа, может обеспечить эффективность и качество репозитория экспериментального обучения.

Это похоже на то, что делает GoodUI — опираясь на знания разных вертикалей и клиентов, чтобы создать отличный ресурс экспериментальной информации.

Таким образом, даже если у вас еще нет учебного хранилища, у вас есть кладезь знаний, из которого можно черпать. Планы Convert включают подписку GoodUI со скидкой.

Как задокументировать свои знания

Как и любая организованная файловая система, ваш учебный репозиторий не может быть местом для сброса данных. Должен быть определенный и правильный способ документирования обучения, чтобы это было полезно для всех.

Это будет означать интуитивно понятное визуальное представление данных, истории данных без профессионального жаргона и простой способ найти конкретные тесты, когда это необходимо.

Вот как.

Захват и запись всех метаданных из тестов

Очевидным первым шагом является сбор данных из тестов. Но какие данные вы собираете? Легко сказать «собери все», но это легко может стать ошеломляющим и обескураживающим.

Итак, какие данные нужно включить в репозиторий эксперимента?

Это полные метаданные концепции тестирования. И в первую очередь это должно быть отслеживание входных данных на основе вопросов, которые необходимо задать, которые являются стандартными в категориях:

• Типы тестов
• Страницы
• Точки соприкосновения
• Аудитории
• Площадь поверхности роста

Но не стандартно ВНУТРИ этих категорий, например, аудитории будут различаться в зависимости от компании, но все компании будут тестировать на разных сегментах аудитории.

— Бен Лабай

И как это выглядит?

Давайте рассмотрим каждую из этих категорий, чтобы вы получили более четкое представление:

• Типы тестов

Что это был за тест? А/Б тест? МВТ? A/B/n тесты?

• Страницы

Здесь вы указываете страницу или страницы вашего сайта, на которых происходила проверка. Это домашняя страница? Конкретная страница продукта? Страница цен вашего бренда SaaS?

• Точки соприкосновения

Точки соприкосновения — это области на пути вашего клиента, где они взаимодействуют с вашим брендом. Это может быть реклама, каталог продуктов, сообщение в блоге, маркетинговые электронные письма, ваше приложение и т. д.

• Аудитории

Кто ваша целевая аудитория для теста? Вы ориентируетесь на определенные сегменты на основе каких-либо критериев? Поведенческие данные? Цели? Источник посетителей? Геолокация? Или они все случайно выбраны?

• Площадь поверхности роста

Это относится к взаимодействию или функции, которая побуждает пользователей оставаться на вашем сайте или углубляться в свои отношения с вашим брендом. Таким образом, это своего рода крючок, который повышает ценность каждого посетителя. Это может быть бесплатное пробное предложение или демонстрация.

Чтобы обогатить свои метаданные, вы также можете включить:

• Даты
• URL-адрес/регулярное выражение
• Итерация предыдущего теста — ссылка на предыдущий тест, который является основой теста, о котором вы сообщаете.

И вы запечатываете это более важной информацией. Включают…

• Скриншоты А и Б
• Изолировано или нет (количество изменений)
• Влияние % с доверительными интервалами
• Тип показателя

— Якуб Линовски

Чем больше, тем лучше. Но держите его актуальным и полезным.

Вот еще один пример от Макса Брэдли из Zendesk:

Для базового отчета об отслеживании или репозитория отчет Convert также покажет вам победителя и то, что вы тестировали.

Уважайте различные стили обучения при сохранении информации

Вы должны апеллировать к различным способам, которыми люди предпочитают потреблять информацию при хранении экспериментальных данных.

При этом нужно помнить о некоторых вещах…

Мы перепробовали много разных методов. Как агентство, мы имеем дело с несколькими заинтересованными сторонами из разных компаний в любой момент времени. В этом и заключается проблема — люди получают знания и учатся по-разному. Являются ли они визуальными, аудиальными или кинестетическими учениками? Где они на ключе Майерс-Бриггс? Способ общения с заинтересованными сторонами почти так же важен, как и содержание, в котором вы общаетесь. Из своего опыта я понял, что для достижения успеха в учебном репозитории должны быть две вещи:

• Темы и заметки, поэтому их легко фильтровать
• Краткий для сканирования обучения.

— Дэвид Манхейм

Вы можете предоставить как можно больше информации об эксперименте. И делать это в разных форматах. Вот почему вам нужны скриншоты, видеозаписи и история, чтобы придать контекст всем цифрам.

Не забудьте сделать его релевантным, кратким и доступным для сканирования .

Отметьте свои тесты, чтобы максимизировать знания

Пометка ваших тестов упрощает доступ ко всему.

Это также поможет вам понять цель теста с первого взгляда.

Если ваш репозиторий постоянно растет, однажды у вас будут записаны тысячи тестов, и сотни людей будут использовать его для обмена идеями, извлечения информации и информирования о решениях.

Полученные знания будут более полезными, если люди смогут получить представление о месте каждого теста в спектре решений вашей организации.

Как сообщить о своих знаниях для достижения максимального эффекта

Ваш обучающий репозиторий принесет пользу вашей программе экспериментов только тогда, когда люди действительно будут его использовать.

Таким образом, не только сделайте его доступным, представьте его остальной части вашей команды и организации таким образом, чтобы это имело смысл и вызывало интерес к экспериментам.

Но как это сделать? Это цифры и некоторые отраслевые термины, которые могут быть неправильно поняты. Как вы заставляете людей из разных дисциплин ценить полученные вами знания?

Общение с A/B-тестами может быть сложным, но если вы будете следовать этим шагам, вы разрушите эти барьеры и получите максимальную отдачу от своего учебного хранилища.

Сделайте это привычкой

Во-первых, если экспериментирование является чуждым понятием там, где вы находитесь, выработка привычки из изучения может занять некоторое время. Итак, запаситесь терпением в этом путешествии.

Ваша задача здесь состоит в том, чтобы сделать это частью вашей обычной еженедельной деятельности. Это может быть часть вдохновения во время мозгового штурма или игра, в которую вы играете на закрытых встречах. Например, ваша собственная версия вопроса «какой тест победил?»

Это часть общей картины построения культуры, в которой экспериментирование является нормой…

Возьмите за привычку проходить обучение вместе с командой последовательно, весело и вдохновляюще. Это должно быть частью бизнеса, как обычно. Минимум раз в неделю должны проводиться встречи для обсуждения гипотез и результатов экспериментов. Каждый спринт должен включать как минимум 1 или 2 эксперимента, а превращение экспериментов в привычку создает позитивную культуру.

— Матиас Мандиау

Тесты репозитория можно не только показывать на собраниях команды, но и делиться ими в обучающих информационных бюллетенях. Имея привычку добавлять их сюда, вы также облегчите внедрение экспериментов на сайте.

Будьте скромны и открыты, чтобы завоевать доверие

Убедить людей в том, что все ответы можно найти в экспериментах, может показаться крутым, но это будет заблуждением. Помогите своим коллегам понять, как все это работает, что означают цифры и насколько вы можете доверять определенным выводам, которые вы сделали.

Не представляйте идеи так, как будто они приходят со 100% уверенностью. Вместо этого покажите им, что это один из лучших способов принятия решений, а не «интуиция» и лучшие практики.

Если вы сделаете наоборот, они потеряют доверие к созданному вами репозиторию обучения, и его можно будет бросить, чтобы он собирал пыль.

Вот еще несколько советов от Бена Лабая из Speero о том, как сообщать результаты:

Не прячьте тесты, которые проиграли. Вместо этого используйте это как возможность продемонстрировать двустороннюю пользу от тестирования.

Если вы выиграли, вы получили представление о том, что работает. Если он проиграет, вы узнаете, что не работает, и избежите внесения изменений, которые навредят ключевым показателям.

В обоих случаях вы узнали о чем-то, что можно улучшить.

Когда вы представляете, структурируйте его в виде истории, которая показывает реальное применение идей, и пригласите заинтересованные стороны принять участие в написании истории, как это делает Макс:

Мы представляем самые последние результаты раз в две недели для нашей более широкой команды и ежемесячно для более широкого бизнеса. Мы стараемся быть максимально прозрачными, представляя тесты, которые проиграли столько же, сколько выиграли. В дополнение к этому мы просим всех рецензентов присылать свои идеи или задавать любые вопросы, которые у них есть, на нашем специальном канале Slack. Там, где это возможно, мы также стремимся продемонстрировать преимущества в реальном выражении в дополнение к процентному увеличению, это делает его более эффективным для читателей.

— Макс Брэдли

Не закрывайте обучение, вовлекайте всех

Эксперименты нужны не только командам по маркетингу, оптимизации, производству и/или развитию. Быть организацией, управляемой данными, означает насыщать большую часть процессов принятия решений идеями, извлеченными из хорошо проведенных тестов.

И ваш учебный репозиторий находится прямо в центре всей миссии.

Итак, собирайте всех на борт.

Да, у людей будет разный уровень опыта в этой области, но не позволяйте этому навредить программе. Пока в каждой команде есть кто-то или люди с более глубоким опытом экспериментирования, у вас что-то получается.

Также приветствуется наличие в команде людей, более знакомых с экспериментами, и тех, у кого меньше опыта. Наличие по крайней мере 2 или 3 человек в команде, имеющих опыт экспериментирования, имеет большое значение .

— Матиас Мандиау

Таким образом, влияние распространяется естественным образом.

Инвестируйте в свежую пару глаз и перекрестное опыление идей

Иногда другая точка зрения даст вам идеи, о которых вы не думали. Так что не позволяйте своим экспериментам оставаться в пузыре.

Будьте готовы поделиться им с другими экспертами в вашей области и посмотреть, что вы можете узнать из их отзывов.

Может быть, есть что-то, что не сработало для одного сегмента клиентов, но есть немного другая версия, которая может работать для другого?

Или, может быть, вы наткнулись на то, о чем все спорят, и теперь вы можете присоединиться к разговору, чтобы узнать больше?

Вы будете в восторге от того, что узнаете, привлекая других экспертов по CRO. Даже коучинговые звонки могут быть частью вашей стратегии, чтобы узнать другую точку зрения.

Коучинг — www.goodui.org/coaching — один или два ежемесячных звонка с группами экспериментаторов, чтобы: просмотреть планы тестирования, оставить отзыв о дизайне тестов и выяснить, что сработало для других.
— Якуб Линовски

Сделайте обучение доступным

Кто-то использует Notion, кто-то — Google Slides, а некоторые CRO-эксперты предлагают использовать доски Miro, но цель та же…

Обмен тестовыми данными и идеями с остальной частью команды (или любым другим заинтересованным лицом), чтобы убедиться, что полученные знания получают достаточный охват.

Когда вы используете эти онлайн-инструменты, такие как Notion, Google Slides, Miro и любые другие, которые вы считаете привлекательными для своей команды, вы упрощаете доступ к репозиторию с любого устройства и из любого места.

Это отлично подходит для удаленных команд и для получения новых взглядов, о которых мы говорили ранее.

Он портативный и им можно легко поделиться. Теперь вы действительно даете своим экспериментальным знаниям крылья, чтобы оказать полное влияние.

Используйте Insights для планирования тестов

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

Итак, давайте все разберем…

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

Его особенности включают в себя:

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• Progress reports
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

Почему?

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

Запустите репозиторий с первого дня. Начните объяснять заинтересованным сторонам, что экспериментирование — это проверка и обучение, а не деньги. Чем больше вы продемонстрируете «мы узнали X из этого теста» или «Y из этого теста», тем больше вы и ваши заинтересованные стороны будете согласованы.

— Дэвид Манхейм

3. Постройте бай-ин с доказательством

Если никто или только несколько человек не документируют свои тесты и не обмениваются информацией между отделами, вам нужно показать, почему все остальные должны присоединиться к этой работе.

Успешная демонстрация преимуществ обучающего репозитория для поддержки топ-менеджеров — это только первый шаг. Следующее, что вам нужно сделать, это сообщить об этих преимуществах другим заинтересованным сторонам.

Маттиас поделился фантастическим способом сделать это:

Начните с малого, стройного и гибкого. Запускайте эксперименты, собирайте информацию и прилагайте все усилия для ее документирования. Делайте достойный отчет после каждого эксперимента, а также регулярно рассылайте его (ежемесячно, ежеквартально, ежегодно). Поначалу сосредоточьтесь на экспериментах с крупной рыбой, которые окажут положительное влияние и помогут извлечь важные уроки. Положительные результаты мотивируют людей начать работу.

После того, как вы соберете пару сильных результатов обучения, также может быть полезно показать отрицательные результаты и объяснить, какое отрицательное влияние было бы, если бы мы внедрили это без эксперимента. Затем объясните, насколько важны эти знания для бизнеса и для принятия более эффективных решений о продукте.

4. Как только это заработает, начните искать конкретные инструменты (сначала изучите и действуйте, потом покупайте)

Когда вы настроили простой репозиторий в Google Slides или на любой другой бесплатной платформе, которую выбрали, и выполнили шаги 2 и 3, вы можете инвестировать деньги в инструмент.

Не торопитесь и вкачивайте деньги в обучающий репозиторий, пока не убедитесь, что есть обнадеживающая рентабельность инвестиций.

Вывод

Если и есть один важный вывод, который вы сделали из этой статьи, так это то, что вы должны начать рассматривать опыт экспериментов как актив компании. Этот актив сэкономит вам время и деньги. И это послужит основой для программы оптимизации, в большей степени ориентированной на данные, в вашей организации.

Не просто проведите тест, выиграйте или потерпите неудачу, а затем спешите к своей следующей идее. Если вы потратите время на то, чтобы сообщить и структурировать то, что вы обнаружили в своем учебном репозитории, это придаст структуру вашему экспериментальному путешествию.

Кроме того, это самый простой способ передать эстафетную палочку, оценить влияние тестов и продвигать захватывающую культуру экспериментов.

И как вы начинаете получать все это?

Делайте, как говорят эксперты: начните с простого.