Практическое построение гипотез: как это делают эксперты

Что такое гипотеза?

Предлагаемое решение проблемы, обоснованность которого требует оценки.

Почему гипотеза имеет решающее значение для вашей программы оптимизации?

Врожденное стремление к улучшению — это то, что движет программой оптимизации, но тестирование только ради тестирования — это установка на провал. Эксперименту нужна главная цель, которая определяет успех.

Формулировка гипотезы заставляет нас задуматься о том, что это за цель, как мы должны попытаться ее достичь и каких результатов ожидать. Хорошая гипотеза обеспечивает структуру.

Плохая гипотеза создает путаницу; мусор на входе, мусор на выходе. Гипотеза — это основа эксперимента, она содержит всю информацию, необходимую для построения сплит-теста.

Как построить гипотезу сплит-теста?

Есть три основных компонента гипотезы сплит-теста: понимание, ответ и результат .

Чтобы компоненты было легко запомнить, они следуют аббревиатуре CRO, с которой все мы хорошо знакомы.

Каждый компонент состоит из двух-четырех коротких письменных фрагментов, описывающих данные, собранные в ходе исследований, проектирования и измерений. Соберите фрагменты вместе в предложения, и вы построили надежную гипотезу. Вот пример, где каждый фрагмент данных выделен жирным шрифтом:

• Понимание: мы заметили сокращение покупок нескольких товаров , сравнив данные о покупках за последние 6 месяцев .

• Ответ: Мы хотим продвигать парные товары с помощью встроенной допродажи на странице корзины на мобильных телефонах для вернувшихся пользователей с товаром, уже находящимся в их корзине .

• Результат: это должно помочь покупателям отдельных товаров легче находить и покупать дополнительные товары , которые будут измеряться средней стоимостью заказа (AOV) и подкрепляться средним размером заказа, количеством покупок нескольких товаров, конверсией заказов и доходом .

Вы можете видеть, что каждый фрагмент представляет собой описание важной части данных, которые были либо собраны в результате исследования, либо предложены с помощью дизайна, либо изложены критерии измерения.

Собранные вместе, они читаются как законченная гипотеза. Теперь давайте углубимся в каждый компонент.

Понимание

Понимание приходит из исследования; это определение и понимание проблемы, на которой вы хотите извлечь выгоду. Например: « 90% пользователей отказываются от формы регистрации после третьего входа ». Понимание состоит из двух частей: наблюдения и метода наблюдения.

Наблюдение

Чтобы определить проблему, сначала вы должны наблюдать за ней. Покопайтесь в некоторых данных и запачкайте руки. Найдите на своем сайте что-то, что работает не так, как вам хотелось бы. Два основных направления исследований — это аналитика и обратная связь . Аналитика — это числовые, количественные данные в большом масштабе; обычно числовые, статистические данные, которые пассивно собираются для последующего агрегирования. Обратная связь — это описательные, неподтвержденные данные, которые активно собираются и отражают поведение пользователей.

Метод наблюдения

Инструмент, метод или процесс, который вы использовали для выявления проблемы. Включение метода наблюдения в гипотезу помогает доказать, что вы провели свое исследование. Примеры методов наблюдения для каждого типа исследования включают:

Аналитика

• Методы: тепловые карты, воронки страниц, повтор сеанса .
• Инструменты: Google Analytics, SessionCam, FullStory

Обратная связь

• Методы: опросы, юзабилити-тестирование, обзоры продуктов .
• Инструменты: Hotjar, Qualaroo, TurnTo

Ответ

Ответ исходит от дизайна; он предлагает и нацелен на изменение, которое вы хотите сделать. Часто к этому можно подойти, начав с вопроса, например, « что произойдет, если мы увеличим размер изображений продуктов в отображении сетки категорий ?»

Ответ — это «мясо и картошка» вашего эксперимента; ядро, которое будет настроено в программном обеспечении для сплит-тестирования. Фрагменты, которые формируют ответ: вариант, местоположение и аудитория .

Вариация

Что предлагается в качестве улучшения. Это теоретическая часть эксперимента. Любое изменение, которое, по вашему мнению, превзойдет текущее состояние сайта, большое или маленькое: более сильный текст призыва к действию на кнопке, увеличенные изображения, сокращение ввода формы, переработанная навигация в заголовке. Вы получаете картину; краткое описание вашей идеи о том, как превзойти базовый уровень.

Расположение

Где будет проходить эксперимент на вашем сайте; типы страниц, таргетинг по URL-адресам, область действия устройства и/или контрольные точки экрана.

Аудитория

Кто должен увидеть эксперимент; конкретные сведения о статусе пользователя в связи с предоставлением значимой поведенческой обратной связи.

Фрагменты ответа — это то, как вы определяете масштаб эксперимента и точно настраиваете соотношение сигнал-шум для данных результатов.

Например, если вариант меняет положение предполагаемой суммы заказа на сайте eCom, то таргетингом может быть страница корзины, а аудиторией будут только пользователи, у которых есть товар в корзине. Вы не хотели бы собирать данные от пользователей, которые взаимодействуют с пустой страницей корзины, так как они все равно не увидят элементы пользовательского интерфейса, которые отображают общую сумму корзины.

Ищете инструмент A/B-тестирования, который позволит вам очень хорошо настроить таргетинг и создать аудиторию? Узнайте, на что способен Convert Experiences.

Исход

Результат исходит из измерения; именно так определяется и оценивается успех. Фрагменты результата: желаемое изменение поведения, основной KPI и вторичный KPI .

Желаемое изменение поведения

Изменение поведения пользователя, которое вы хотите вызвать ответом; либо поощрение положительных действий, либо препятствование отрицательным действиям.

Основной КПЭ

Метрика, которая определяет успех или неудачу эксперимента. Измерение действия пользователя, на которое пытается повлиять эксперимент. Смысл существования эксперимента.

Второстепенные ключевые показатели эффективности

Метрики, которые поддерживают основной KPI. Это поможет вам конкретизировать историю, рассказанную основным KPI, и/или проверить неожиданное поведение пользователя. Вторичные KPI часто являются конверсиями на каждом этапе воронки между целевой областью и конечной точкой основного KPI.

Например, если ваш основной KPI — доход от заказов, а эксперимент нацелен на страницу продукта, то вторичными KPI будут добавление в корзину, просмотры страниц корзины, просмотры страниц оформления заказа и конверсии заказа.

Генератор гипотез

В Corvus CRO мы создаем небольшие инструменты, которые облегчают жизнь специалистам по CRO. С этой целью мы создали конструктор гипотез, который помогает упростить и стандартизировать построение гипотез сплит-тестирования. Это веб-форма, которая принимает текстовый ввод для каждого из необходимых фрагментов и собирает их в полную гипотезу. Вы можете использовать этот инструмент для проверки и построения собственных гипотез. Есть даже кнопка «копировать в буфер обмена», так что вы можете легко взять созданную вами гипотезу и вставить ее в выбранный вами инструмент управления проектами. Мы надеемся, что вы получите от этого инструмента столько же пользы, сколько и мы!

Сбор каждого фрагмента может занять много времени, но отдача — это хорошо продуманные эксперименты, которые в долгосрочной перспективе обеспечат большую общую ценность.

Унция профилактики стоит фунта лечения; небольшая предварительная подготовительная работа значительно снижает последующие накладные расходы.