Как работать с инструментами A/B-тестирования для успешной оптимизации? Объяснение основных 6 факторов

Инвестиции в правильный инструмент A/B-тестирования для вашего бизнеса — это только первый шаг. Настоящая магия заключается в ваших процессах и стратегии.

Но какие процессы и стратегии позволяют вашей программе оптимизации добиться наилучших возможных результатов?

В этой статье мы покажем вам 6 способов заставить инструмент A/B-тестирования работать на вас максимально эффективно и получить максимальную рентабельность инвестиций .

Но прежде чем мы начнем, следует помнить о некоторых ключевых аспектах при использовании инструментов A/B-тестирования. Эти аспекты связаны с:

1. Ограничения инструментов
2. Ограничения группы поставщиков, стоящих за инструментом, и
3. Ограничения ваших собственных процессов и культуры оптимизации, которые могут стать препятствием для успешного использования платформ A/B-тестирования.

Теперь давайте углубимся в эти 6 способов извлечь максимальную выгоду:

1. Начните с образования (не пропустите это)

Здесь вы инвестируете в людей, использующих инструменты. Потому что, независимо от того, платный он или бесплатный, польза от вашего инструмента A/B-тестирования зависит от того, в каких руках он находится.

Программное обеспечение для A/B-тестирования в руках начинающего тестировщика отличается от того же программного обеспечения в руках эксперта.

Первоклассный оптимизатор Симар Гуджрал из OptiPhoenix понимает это. Он проводит инструментальное обучение для новых сотрудников, но выходит за рамки «как использовать инструмент A/B-тестирования», чтобы сделать акцент на обучении процессу и стратегии.

Джонни Лонгден из Journey Further говорит, что 80% ваших инвестиций должны быть вложены в людей, а 20% — в технологии:

Таким образом, ваш первый шаг к получению максимальной рентабельности инвестиций от оптимизации — это обучение себя и своей команды правильным процессам и стратегиям A/B-тестирования .

Вы можете начать работу с программой CRO и A/B-тестирования CXL. Фактически, как клиент Convert, вы получите доступ к этой программе обучения CXL.

Обучение — это то, что готовит тестировщика к:

• Придумайте отличные гипотезы для проверки
• Уделите приоритетное внимание тестированию областей с высоким уровнем воздействия в первую очередь
• Правильно считывайте данные и извлекайте ценную информацию
• Найдите тестовые идеи
• Тестируйте правильные вещи

… и более.

Это основа того, что правильно в самых эффективных A/B-тестах. Потому что…

Инструмент хорош ровно настолько, насколько хороша гипотеза

Посмотрим правде в глаза: ваш инструмент будет выполнять только ваши приказы.

И если ваши ставки основаны на неверных гипотезах, A/B-тестирование не даст вам желаемых результатов.

Есть способы построить отличную гипотезу, но это возможно только тогда, когда они созданы на основе достоверных данных. Это больше, чем просто сбор данных, но также их обработка и интерпретация. Таким образом, отношение к анализу данных, который подтверждает вашу гипотезу, должно быть отношением к росту бизнеса.

Используйте свои данные, чтобы найти проблемы в вашем продукте или бизнесе и найти возможности для улучшения. Вот с чего начать.

Это также образовательный плацдарм для будущих гипотез. Обучение на основе тестов позволяет по-новому взглянуть на то, что работает, а что нет. Распространенная ошибка здесь — рассматривать неудачный тест как провал.

Все эти эксперименты помогут вам глубже заглянуть в свои стратегии — избежать неверного поворота или двигаться вперед с тем, что работает — в любом случае вы правильно используете свой инструмент.

Лучшая гипотеза может рухнуть без надлежащего исполнения

Даже если ваша гипотеза верна, вы не сможете извлечь из нее максимальную пользу без надлежащего исполнения.

Это может произойти по ряду причин.

Например, вы можете быть

• Запуск тестов слишком долго
• Тесты не выполняются достаточно долго
• Запуск слишком большого количества тестов одновременно
• Тестирование в неподходящее время или
• Неправильная настройка теста.

Основной причиной проблем здесь является отсутствие одной или нескольких из трех вещей:

• Правильное мышление и тактика экспериментирования
• Качественные технические и теоретические ноу-хау
• Достаточное понимание для использования инструмента.

Что касается первых двух, то это высококачественное образование и практический опыт. И наконец, ваш инструмент A/B-тестирования должен вам провести вводную сессию, которая устранит все недоразумения, характерные для вашего варианта использования.

Здесь, в Convert, мы обнаружили сильную взаимосвязь между клиентами, которые имеют надежную техническую подготовку и обращаются за обучением инструментам у наших экспертов, и шансом получить выгоду от нашего приложения.

Убедитесь, что приложение, которое вы предоставляете, ориентировано на пользователя, а не на его функции. Вам нужен поставщик, который учел следующие факторы при разработке адаптации:

1. Основная ценность, которую вы ищете от инструмента
2. Шаги, которые вы должны предпринять, чтобы испытать эту основную ценность
3. Трение, которое вы испытываете по пути
4. Ваша простота использования.

И когда придет время реализовать ваши выигрышные эксперименты, они могут застрять в очереди на разработку. Может быть, в команде оптимизации нет специального разработчика или основная команда веб-разработчиков занята «большими» проектами.

Но эти небольшие изменения могут иметь большие последствия — и вы тоже это доказали, — поэтому они заслуживают равного внимания со стороны разработчиков. Разделите очередь разработки продукта, чтобы небольшие исправления привлекали столько же внимания, сколько большие и срочные задачи.

2. Используйте гибкость инструмента в своих интересах

Еще один способ использовать ваш инструмент в меру своих возможностей — воспользоваться всеми его функциями, но, конечно, только в том случае, если они применимы к вашему уникальному использованию.

Вы можете использовать:

Интеграции

Интеграция — это основа для создания взаимосвязанного стека объединенных инструментов, которые помогут повысить эффективность ваших усилий по A/B-тестированию, маркетингу или оптимизации коэффициента конверсии.

Это может быть извлечение данных из нескольких инструментов вашего стека и информирование о гипотезах, отправка этих данных на максимально возможное количество платформ, включая Google Analytics, или проведение A/B-тестов в ваших маркетинговых кампаниях по электронной почте.

Вот что говорит по этому поводу Сильвер Рингви, технический директор Speero:

Оплата самообслуживания

Это особенно актуально для компаний, которые только начинают проводить A/B-тестирование и не имеют бесконечного бюджета. Цель состоит в том, чтобы неуклонно повышать скорость тестирования .

Поэтому убедитесь, что инструмент позволяет вам приобретать больше проверенных пользователей по мере необходимости, не приостанавливая свой план до тех пор, пока вы не перейдете на более дорогой уровень (после утомительных разговоров с торговыми представителями).

Было бы идеально, если бы вы могли обновиться, чтобы получить доступ к функциям, которые могут вам понадобиться только время от времени, когда вы этого захотите. И понизьте версию, когда ваша программа тестирования переживает затишье, чтобы вы могли использовать бюджет для повышения квалификации своей команды. Не упустите эту возможность.

Кроме того, дорогие инструменты имеют большие перспективы, которые быстро превращаются в ажиотаж. Не покупайтесь на прибамбасы, которые позволят вам все протестировать. Вам редко нужно это делать.

Вместо этого сосредоточьтесь на инструменте, который позволит вам протестировать то, что нужно вашему бизнесу . И здесь на помощь приходят образование и стратегия тестирования.

3. Проверка угроз, связанных с внедрением инструмента (действительность)

Прежде чем полностью довериться своим результатам, убедитесь, что вы полностью понимаете, как работает выбранный вами инструмент и как вы реализовали тест.

Цель здесь состоит в том, чтобы увидеть, не были ли ваши данные каким-либо образом повреждены, чтобы вы знали, насколько можно доверять результатам.

Влияет ли инструмент A/B-тестирования на ваши основные веб-жизненные показатели?

Убедитесь, что вы внедрили свой инструмент A/B-тестирования таким образом, чтобы он не подорвал ваш рейтинг в поисковых системах. Вы не хотите дебатов SEO против CRO. Эти двое идут рука об руку.

Практически нет изменений, которые вы внесли бы на свой сайт для целей CRO, которые могли бы нарушить вашу репутацию в Google. Любое изменение, которое вы вносите, обычно влияет на ключевые слова, содержание страницы и взаимодействие с пользователем. Это всего лишь 3 из 200+ факторов ранжирования.

И поскольку вы увеличиваете количество конверсий на этих страницах, вы также отправляете в Google положительные сигналы о том, что людям нравится ваш контент. Показатель отказов ниже, а количество посетителей увеличивается.

По словам Рэнда Фишкина из Moz, пока вы не вносите безумные изменения на свою страницу, вы должны рассматривать CRO и SEO как союзников, а не как противоположные факторы.

Ваш инструмент A/B-тестирования вызывает мерцание?

Вам не нужны тестовые данные перекоса моргания. Выберите инструмент, который не мерцает.

Мерцание может нарушить целостность данных, которые вы собираете в ходе экспериментов, потому что посетителям вашего сайта становится очевидно, что с вашей веб-страницей происходит что-то странное. Когда они увидят исходную версию до того, как появится вариант, у них в голове появятся знаки вопроса. Само собой разумеется, что показ разных версий вашей страницы одному и тому же посетителю ухудшает пользовательский опыт.

Вам нужно развернуть код инструмента так, чтобы он явно не поддерживал мерцание. Вот как вы можете это сделать.

Вот что говорят эксперты о некоторых реальных эффектах мерцания при оптимизации веб-сайта:

Учитывает ли ваш инструмент A/B-тестирования факторы конфиденциальности?

Часто, когда инструмент A/B-тестирования не использует собственные файлы cookie из-за предотвращения отслеживания в браузерах, существующие посетители сайта могут быть пересчитаны в отчетах или, что еще хуже, подвергнуты как обработке, так и контролю.

Это предотвращение отслеживания включает в себя:

• Интеллектуальное предотвращение слежения (ITP) от Safari
• Расширенная защита от отслеживания (ETP) от Mozilla и
• Предотвращение отслеживания из Microsoft Edge

В зависимости от того, какой процент вашего трафика использует эти браузеры, степень их влияния на ваш маркетинговый анализ будет различаться.

Из-за этих мер предосторожности браузеры сохраняют файлы cookie в течение разного времени. От 30 дней до 24 часов. Поскольку файлы cookie помогают инструментам распознавать пользователей, это влияет на количество новых пользователей и мешает расчету коэффициента конверсии.

Скажем, например, срок хранения файлов cookie составляет 24 часа, и один и тот же человек, посещающий ваш сайт с разницей в 2 дня, будет зарегистрирован как 2 разных пользователя.

Если это произойдет со 100 пользователями и 50 из них в конечном итоге совершат конверсию, коэффициент конверсии (количество конверсий, деленное на количество пользователей) будет равен 0,25. Потому что эти 100 пользователей записаны как 200 разных людей. Коэффициент конверсии должен быть 0,50.

Это влияет на различные пользовательские показатели. Чтобы вы продолжали получать данные, необходимые для тестов и маркетингового анализа, с максимально возможной точностью, выберите инструмент, в котором есть решения для мира без файлов cookie.

Вызывает ли ваш инструмент A/B-тестирования перекрестное заражение между контрольной и экспериментальной группами?

Еще одна вещь, которая может разрушить целостность результатов вашего теста, — это перекрестное загрязнение между контрольной и экспериментальной группами. На результаты вашего теста не должны влиять результаты другого теста.

Если вы собираетесь запускать несколько тестов на веб-сайте или веб-странице, ваш инструмент должен иметь ценную функцию: предотвращение столкновений.

Если ваш редизайн теста не учитывает перетекание влияния от контрольной группы к группе вариантов (что часто встречается в экспериментах с социальными сетями) и вы не предотвратили коллизию, то это законная ловушка A/B-тестирования.

4. Загляните под капот статистики и подумайте о найме преданных талантов

Инструмент не является местом номер один для инвестирования большей части вашего бюджета на тестирование. Если это ваша стратегия, вам может быть даже трудно доказать рентабельность ваших A/B-тестов.

Если ваша организация находится на пути к полному внедрению культуры экспериментирования и постоянному принятию решений, основанных на данных, даже если вы успешно демократизировали данные и взяли все руки в руки в этой области, все равно имеет смысл инвестировать в посвященный талант для этой цели. И если вы можете себе это позволить, команда.

Это связано с тем, что экспериментирование не дает желаемых результатов в долгосрочной перспективе, когда это просто побочная задача для кого-то из вашей маркетинговой команды. Даже тот, кто тестирует только 50 %, всегда будет лучше, чем тестер, набравший всего 1 %.

Вы также хотели бы больше сосредоточиться на лидерских и коммуникативных навыках вашего таланта, чтобы продвигать эту культуру тестирования в вашей организации. Придумывать отличные гипотезы и проводить надежное A/B-тестирование, сплит-тестирование или многовариантное тестирование — это навыки, которым можно научиться.

Когда дело доходит до вашего инструмента A/B-тестирования, вы хотите быть в состоянии доверять результатам, которые вы получаете. Выберите вариант, который открыт в отношении их статистического подхода.

Будь то байесовский или частотный анализ, ваш преданный делу специалист с солидным опытом в области статистики должен понимать, как рассчитываются эти числа. Таким образом, вы сможете извлечь гораздо более точную информацию и получить полную отдачу от денег, вложенных в ваш инструмент.

Даже если вы используете Google Optimize, один из лучших бесплатных инструментов A/B-тестирования, вам нужна эта информация. К сожалению, все, что вы можете узнать о GO, это то, что он использует байесовский подход, но не делится с вами своими предыдущими соображениями. Это отсутствие прозрачности и большая проблема.

Может пора подумать о переходе на более надежное тестирование?

С другой стороны, со статистическими движками Frequentist сотрудники могут смотреть только на уровни статистической значимости и делать неверные выводы. Ах, нелогичный грех подглядывания! Вы должны подождать, пока он не достигнет размера выборки.

Что вы можете с этим поделать, так это установить правила против подглядывания. Вы не хотите, чтобы люди работали с ошибочными выводами, которые влияют на качество решений.

Всегда выбирайте продавцов с прозрачными статистическими системами.

Convert Experiences использует двухсторонний Z-критерий с доверительной вероятностью 0,05 (95%) (то есть 0,025 для каждого хвоста, являющегося нормальным симметричным распределением) с возможностью изменения этого показателя в пределах 95–99%.

5. Настройте свой инструмент для использования и принятия

Одним из препятствий для внедрения культуры тестирования другими членами вашей организации является то, что некоторые из этих инструментов предполагают довольно крутую кривую обучения .

Но вы можете сделать вещи немного приветливыми и более понятными для обычного пользователя. Вот как:

Начните правильно

Вы можете легко сокрушить других, если есть много функций, которые кажутся слишком техническими, чтобы даже заморачиваться.

Если вы не используете эти причудливые функции, выберите легкий инструмент, который сокращает количество функций. Продукты VWO хорошо приспособлены для этого (да, конкурент… но этот их аспект действительно удивителен).

Используйте функции управления проектами вашего инструмента

Это фантастический способ привлечь других и беспрепятственно работать над A/B-тестами в команде.

Кроме того, другие люди могут использовать один и тот же инструмент для разных целей. Например, Convert может иметь несколько проектов в одной учетной записи, причем каждый проект может обрабатывать неограниченное количество поддоменов.

Номенклатура важна

Настройте его таким образом, чтобы любой член вашей команды мог воспользоваться инструментом и получить представление о том, что происходит. Знакомство в данном случае порождает усыновление.

Убедитесь, что вы хорошо используете поддержку поставщиков

Узнайте обо всех способах связаться со службой поддержки. Вам понадобится очень отзывчивая и знающая команда, которая предоставит вам необходимую помощь при выполнении тестов.

Выясните, доступна ли в вашем плане электронная почта, чат и поддержка по телефону.

Кроме того, используйте своего CSM в качестве партнера по подотчетности. Сообщите им о ваших целях, чтобы они могли указать вам направление на правильные ресурсы с точки зрения инструментов. Если у вас нет преданных маркетологов или таланта экспериментатора или вам нужны консультации, часто ваши поставщики знают профессионалов, которые отлично справляются с использованием их инструментов. И с удовольствием познакомлю.

6. Измерьте правильный результат для вашей программы A/B-тестирования

Кажется, что вы не сможете привлечь столь необходимое внимание к программе A/B-тестирования, если не будете приписывать ее увеличению доходов. Обычно руководители требуют точных цифр, чтобы подтвердить необходимость A/B-тестирования.

«Какой процентный рост нам следует ожидать? И сколько это добавит к выручке в этом году?»

Но не для этого предназначены эксперименты . A/B-тесты предназначены для добавления меры определенности или уверенности в идеях — независимо от того, верна ли гипотеза или нет.

На самом деле такой подход может привести к таким проблемам, как:

1. Установка ожиданий, которые невозможно реально оправдать,
2. Приписывая прибыль только A/B-тестированию и игнорируя других ключевых игроков,
3. Восприятие неудачного теста как полного провала вместо понимания того, что работает (рост прибыли), а что нет (снижение риска),
4. Создание неточных экстраполяций результатов испытаний.

При этом вы не хотите использовать инструмент A/B-тестирования для отслеживания кликов по ссылкам. Вместо этого выберите правильную цель A/B-тестирования. И используйте возможности расширенных параметров цели вашего инструмента, чтобы получить подробную информацию о том, что вы отслеживаете и почему.

Вот как выбрать правильные цели и показатели, которые вы должны отслеживать:

1. Начните с целей, которые важны для вашего бизнеса . Таким образом, вы можете выбрать цели A/B-тестирования, которые соответствуют целям бизнеса.
   
   Если целью бизнеса является увеличение доходов за счет привлечения большего числа клиентов, ваши эксперименты должны быть направлены на привлечение потенциальных клиентов.

2. Выберите основные и второстепенные цели. Первичными будут те, которые напрямую связаны с целями бизнеса, такими как загрузка приложений и демо-запросы.
   
   Второстепенные цели поддерживают основные цели, потому что они представляют собой микроконверсии, которые обычно приводят к достижению второстепенной цели в какой-то момент в будущем. Это может быть взаимодействие с вашим контентом или подписка на информационные бюллетени.
   
   Идея здесь состоит в том, чтобы распознать факторы, которые способствуют достижению основных бизнес-целей.

3. Решите, что измерять. Это ваши ключевые показатели эффективности (KPI) — метрики, которые показывают, где вы находитесь по отношению к основным бизнес-целям.
   
   Когда вы осознаете это, вам будет проще измерять и улучшать те показатели, которые напрямую влияют на положительный рост бизнеса.

Если вы не сформулируете свои цели правильно, вы либо будете праздновать микроцели, которые не двигают стрелку, либо постоянно инвестируете в «идеи большого неба», которые трудно откалибровать, спроектировать, развернуть и в конечном итоге выглядеть как неудачи. . Баланс лежит посередине.

Следующие шаги

Использование вашего инструмента A/B-тестирования на 100 % не всегда возможно, но его использование для получения максимальной выгоды для вашего бизнеса – это то, к чему вы можете стремиться.

Первый шаг, если вы еще не выбрали его или не уверены в том, что у вас есть сейчас, — это найти правильный инструмент для ваших нужд. Затем, с этими 6 стратегиями, все идет вверх.

Как повысить рентабельность инвестиций в A/B-тестирование?

Закажите демонстрацию с Convert to Find Out.

Запросить демо