Как правильно прочитать и интерпретировать отчет об опыте обращения

Если вы являетесь пользователем Convert, то знаете, что ваши отчеты содержат ценные данные. Но что представляют все эти цифры и графики? И как узнать, какие выводы можно сделать из них, и использовать эту информацию для улучшения тестирования?

Это так же просто, как использовать калькулятор статистической значимости для проверки опыта?

Можно ли назвать A/B-тестирование успешным, если оно достаточно зеленого цвета в отчете об эксперименте, или нам следует учитывать и другие факторы?

Хотя калькуляторы статистической значимости необходимы для точного тестирования, они не рассказывают всей истории. Чтобы получить максимальную отдачу от отчетов о конвертации, вам необходимо иметь четкое представление о статистике A/B-тестирования.

И почему так?

Потому что A/B-тестирование — это, по сути, метод статистического анализа. У вас не может быть одного без другого.

A/B-тест или опыт — это пример проверки статистической гипотезы, в которой гипотеза о взаимосвязи между двумя наборами данных разрабатывается и сравнивается, чтобы увидеть, обнаружена ли статистическая значимость.

Итак, независимо от того, являетесь ли вы новичком или опытным пользователем, читайте дальше, чтобы получить представление обо всем спектре статистики тестирования, доступной в ваших отчетах, и получить лучшие результаты от ваших A/B-тестов!

Итак, что вы можете сделать с отчетом об A/B-тестировании? Рассмотрим два практических примера.

Пример 1

Компания электронной коммерции планирует оптимизировать страницы продуктов, чтобы повысить коэффициент конверсии.

В этой конкретной ситуации

коэффициент конверсии страницы продукта = количество заказов / количество посетителей страницы продукта

Маркетинговая команда оценивает дизайн трех новых продуктовых страниц. Они хотят выбрать наиболее эффективный из четырех вариантов: существующий дизайн и три новых. Как они могут использовать отчет Convert Experience и его статистические методы, чтобы определить лучших исполнителей, учитывая, что коэффициент конверсии является важным фактором?

Пример 2

Изменив страницу с ценами, веб-сайт SaaS надеется расширить свою базу участников.

Для них,

коэффициент конверсии страницы с ценами = количество подписок / количество посетителей страницы с ценами

Маркетинг оценивает три разных дизайна, чтобы увидеть, может ли какой-либо из них привлечь больше подписчиков, чем текущий.

Используя отчет о конверсии и его статистические методы, как они могут провести такое сравнение, используя коэффициент конверсии в качестве критерия для выбора?

В этой статье объясняется, что содержит отчет о переходах, как вы можете использовать его для улучшения своего веб-сайта и как интерпретировать подробный анализ опыта ваших посетителей, чтобы вы могли принять меры.

Прочтите простое руководство, которое поможет вам понять статистику, лежащую в основе отчетов о тестировании Convert A/B.

Подробная карта каждого раздела отчета об опыте конвертации

Как пользователь Convert, у вас есть доступ к подробной информации об эффективности вашего веб-сайта через отчеты. Давайте всесторонне рассмотрим все элементы отчета Convert, чтобы вы могли точно понять, какая информация представлена ​​и как лучше всего использовать ее для повышения производительности вашего веб-сайта.

Вы можете получить доступ к отчетам, выбрав опыт, который вы хотите просмотреть, и щелкнув вкладку «Отчет».

В этом разделе вы увидите четыре разных раздела:

• Верхнее меню
• Резюме
• Вариации
• Цели

➢ Главное меню

Верхнее меню обеспечивает быстрый доступ к следующей информации:

• Дата начала : дата начала опыта.
• Дни выполнения: продолжительность опыта.
• Диапазон отчетов : фильтр дат позволяет фильтровать данные за определенный период времени.
• Сегмент : фильтрация отчета по сегментам посетителей.
• Все протестированные пользователи : количество пользователей, принявших участие в тестировании.
• Всего конверсий : общее количество конверсий цели. Convert отслеживает только конверсии с одной целью на уникального посетителя. Посетите эту страницу, чтобы узнать о конверсиях с несколькими целями.
• Цели : количество целей, которые имеет данный опыт.

Фильтр для определенного диапазона дат

Данные можно отфильтровать для определенного диапазона дат с помощью диапазона отчетов. Пользовательские диапазоны дат могут быть указаны либо с помощью существующих вариантов, либо с помощью элемента управления календарем.

Фильтр для определенного сегмента

Вы можете отфильтровать отчет по сегментам посетителей, выбрав их в раскрывающемся списке «Все пользователи». Вы можете использовать это, чтобы ответить на такие вопросы, как

• Как трафик из разных источников вел себя в опыте?
• Какой был выигрышный вариант мобильной версии по сравнению с десктопной?
• Какой вариант привлек больше всего новых пользователей?

Вы должны ориентироваться на аудитории/сегменты, которые важны для вашей организации и которые могут демонстрировать различные варианты поведения пользователей и сигналы о намерениях.

Изучите показатели улучшения и уверенности для каждой аудитории, чтобы увидеть, как работает каждый вариант. В зависимости от результатов вашего анализа вы можете решить, запускать ли выигрышный вариант для всего вашего трафика или скорректировать распределение.

Отчет об опыте Convert включает следующие сегменты:

• используемый браузер,
• используемое устройство,
• новые и старые посетители,
• страна пользователя,
• источник трафика,
• континент, и
• 10 пользовательских сегментов.

Вы также можете использовать трехточечное меню и применить некоторые дополнительные действия:

Поделиться отчетом

Если щелкнуть «Поделиться отчетом», откроется всплывающее окно со следующими вариантами загрузки данных об опыте:

Посмотреть код

Просмотр кода — это второй вариант, который дает вам доступ к вашему коду отслеживания Convert:

Настройки статистики

Третий параметр, Настройки статистики, позволяет настроить следующее:

• Уровень достоверности (статистическая значимость) — описан здесь
• Выбросы транзакций — описано здесь
• Автоматика — описание здесь
• Кнопка «Сбросить статистику», чтобы сбросить данные об опыте.

Пауза опыта

Четвертый вариант позволяет вам приостановить опыт.

➢ Резюме

В разделе «Сводка» вашего отчета о преобразовании вы найдете сводку условий области сайта и аудитории, которые применимы к вашему опыту. Он также предлагает несколько умных рекомендаций:

Включить умные рекомендации

Перейдите в Конфигурацию проекта, Дополнительные настройки, чтобы включить умные рекомендации:

Просмотр умных рекомендаций

Вы можете просмотреть эти умные рекомендации в двух местах.

1. В сводке отчета:

В зависимости от ваших результатов могут появиться следующие сообщения:

• Значительный и отрицательный прирост: мы наблюдаем, что вариант ${variant_name} является наиболее эффективным с отрицательным приростом в ${lift}%. Эксперимент для цели ${primary_goal_name} важен. Мы предлагаем извлечь уроки и разработать новую гипотезу.
• Значительный и положительный рост : Поздравляем! Для ${primary_goal_name} в настоящее время выигрывает ${variant_name} с улучшением на ${lift}%. Эксперимент важен».
• Незначительный положительный рост : необходимо больше посетителей, чтобы сделать правильный вывод для ${primary_goal_name}. Мы только видим, что ${variant_name} является наиболее эффективным с ростом на ${lift}%, но для того, чтобы можно было сделать окончательный вывод, требуется больше посетителей.
• Незначительный, отрицательный рост . Чтобы сделать правильный вывод по ${primary_goal_name}, необходимо больше посетителей. Пожалуйста, продолжайте тест, прежде чем можно будет сделать вывод.

2. В развернутом поле Цели:

Ниже приведены некоторые возможные сообщения, которые вы можете увидеть в зависимости от ваших результатов:

• Поздравляем! {variation.name} - победитель, мы уверены со статистической достоверностью 00%.
• К сожалению, {variation.name} работает хуже, чем {baselineText}, мы уверены со статистической достоверностью 00%.
• {variation.name} работает лучше, чем {baselineText}, но мы пока не уверены
• Пока рано судить о {вариации.название}

Базовый снимок экрана

Если вы наведете курсор на базовый снимок экрана, вы увидите несколько дополнительных опций:

• Посмотреть снимок в реальном размере
• Вариант предварительного просмотра
• Повторно сделать снимок варианта

Ссылки на предварительный просмотр в реальном времени и принудительное изменение

Вариант предварительного просмотра откроет всплывающее окно, в котором вы можете получить URL-адреса предварительного просмотра и принудительного варианта.

➢ Вариации

В разделе «Вариации» содержится подробная информация о вариантах вашего опыта. В каждом столбце после столбца «Статус» представлены ваши цели:

Вы можете включить/отключить столбцы или изменить их порядок, щелкнув меню из трех точек:

С включенной кнопкой состояния вы сможете приостановить варианты:

Есть несколько дополнительных параметров, доступных при нажатии трехточечного меню в одной из строк вариантов:

• URL принудительного варианта открыть
• Остановить вариацию
• Преобразование в новое развертывание
• Преобразование в оригинал в новом эксперименте
• Изменить вариант
• Предварительный просмотр в реальном времени

➢ Цели

В этом разделе можно найти краткое описание каждой из целей опыта, а также несколько интересных статистических данных и графиков, которые мы проанализируем в следующем разделе. Прежде чем мы продолжим, давайте объясним несколько терминов, с которыми вы, возможно, не знакомы.

• Цель по умолчанию . Если вы видите термин «Цель по умолчанию» рядом с одной из ваших целей, это означает, что это одна из двух целей по умолчанию, которые мы добавляем к каждому опыту.
• Основная цель : может быть только одна основная цель, которую вы должны решить. Это самая важная цель для вашего опыта. Это будет отображаться первым в списке целей, и статус опыта будет изменен в зависимости от этого.
• SRM : в вашем тесте обнаружено потенциальное несоответствие соотношения выборок. Проверьте настройку опыта или свяжитесь с [email protected], если заметите это.
• Базовый уровень : это ваш базовый уровень опыта по умолчанию.

Теперь давайте пройдемся по каждому элементу этого отчета.

Название варианта

Это название вашего варианта. Рядом с ним есть флажок, который вы можете включить / отключить, чтобы показать или скрыть статистику вариантов.

Улучшение

Здесь вы можете увидеть, как оригинал и вариант вашей веб-страницы работают с точки зрения коэффициентов конверсии. Процентная разница может быть положительной или отрицательной. Когда вычисленная достоверность превышает достоверность, установленную в настройках статистики, цвет меняется следующим образом:

• Красный для –
• Зеленый для +
• Серый для других

Посетители

Это общее количество посетителей, посетивших опыт. Здесь перечислены уникальные посетители.

Конверсии

Представляет собой общее количество конверсий для каждой цели/варианта. Любое желаемое действие, которое вы хотите, чтобы пользователь совершил, называется конверсией. В зависимости от вашего веб-сайта это может включать в себя все, от нажатия кнопки до совершения покупки.

Коэффициент конверсии

В этом столбце показан процент посетителей, которые превратились в конверсии.

Уровень достоверности (статистическая значимость)

При интерпретации ваших результатов A/B статистическая значимость является наиболее важной концепцией.

В этом столбце показано, насколько доверительный интервал для коэффициента конверсии для экспериментального варианта отличается от исходного. Если достоверность не показывает никакого числа, это связано с тем, что (по умолчанию) для каждого варианта требуется минимум 5 целевых конверсий, чтобы рассчитать его. Он также должен соответствовать минимальному количеству посетителей, установленному для каждого варианта. Если вы изменили минимальные конверсии, выбранный вами минимум должен быть соблюден.

Этот столбец содержит серые/зеленые точки, указывающие на:

• 1 зеленая точка для достоверности 75–85 %
• 2 зеленые точки для достоверности 85–95 %
• 3 зеленые точки для достоверности 95–96 %
• 4 зеленые точки для достоверности 96–97 %
• 5 зеленых точек для 97% и выше

Коробчатая диаграмма (доверительный интервал)

Коробчатая диаграмма или доверительный интервал указывает диапазон значений, на который падает истинный коэффициент конверсии.

Рекомендуется показать наблюдаемую разницу в значении коэффициента конверсии для исходной и вариантной страниц при обсуждении результатов, а также диапазон, в пределах которого могут фактически находиться коэффициенты конверсии. Разностный интервал — это возможный диапазон значений, нанесенных на шкалу числовых линий.

Максимально возможный диапазон коэффициента конверсии отмечен верхним пределом на числовой шкале, а наименьший возможный диапазон коэффициента конверсии отмечен нижним пределом на числовой шкале.

На шкале можно увидеть следующие цвета:

• Серая область: указывает на то, что эксперимент еще не завершен или что для объявления действительного результата необходимы дополнительные люди.
• Выигрышный вариант обозначен зеленым цветом .
• Проигрышная дисперсия обозначена красным цветом .

На блочной диаграмме следите за совпадением коэффициентов конверсии оригинала и варианта.

Предположим, что коэффициенты конверсии для Исходного варианта имеют доверительный интервал 10–20 %, а коэффициенты конверсии для Варианта 1 имеют доверительный интервал 15–25 %. Стоит отметить, что перекрытие между двумя доверительными интервалами составляет 5%, а это где-то между 15-20%. В этом контексте невозможно сказать, действительно ли изменение B является значительным улучшением. Вот почему, если есть перекрытие графиков, Convert не объявит победителя.

Статус

Это показывает вам отчет о состоянии варианта.

Графики

Отсюда вы можете получить доступ к трем различным типам графиков.

Ниже приведено объяснение каждого:

Конверсии

• Коэффициент конверсии во времени : ось Y показывает коэффициент конверсии, ось X показывает время. Каждая строка представляет вариант (кумулятивный коэффициент конверсии) + один для коэффициента конверсии всего эксперимента (среднее значение всех вариантов) + вторая ось Y справа, которая представляет совокупное количество посетителей в рамках всего эксперимента.
• Конверсии во времени : ось Y показывает конверсии, ось X показывает время. Каждая линия представляет вариант (конверсии) + один для конверсий всего эксперимента (среднее количество конверсий всех вариантов) + вторая ось Y справа, которая представляет собой совокупное количество конверсий внутри всего эксперимента.
• Ежедневный коэффициент конверсии с течением времени : некумулятивный коэффициент конверсии — аналогичен диаграмме «Коэффициент конверсии с течением времени», за исключением того, что по оси Y не отображаются совокупные посетители, а для API используется некумулятивный показатель.
• Улучшение с течением времени : улучшение коэффициента конверсии по дням на оси X и линиях каждого варианта (но не исходного).
• Ежедневные посетители с течением времени

Товары

• Продуктов на посетителя : совокупное среднее количество заказанных продуктов на одного посетителя — ось Y показывает среднее количество заказанных продуктов на посетителя, ось X показывает время. Каждая строка представляет вариант (совокупное среднее количество заказанных товаров на одного посетителя) + один показатель для среднего количества заказанных товаров на одного посетителя всего эксперимента (среднее значение всех вариантов) + вторая ось Y справа, которая представляет собой совокупное количество посетителей в рамках всего эксперимента. .
• Ежедневные продукты на посетителя : некумулятивное среднее количество заказанных продуктов на посетителя.
• Улучшение с течением времени : улучшение продуктов по дням на оси X и линиях каждой вариации (но не оригинальной)
• Ежедневные посетители с течением времени

Доход

• Доход с течением времени : совокупный средний доход на посетителя — ось Y показывает средний доход на посетителя, ось X показывает время. Каждая строка представляет один вариант (средний доход на посетителя) + один для среднего дохода на посетителя всего эксперимента (среднее значение всех вариантов) + вторая ось Y справа, которая представляет совокупное количество посетителей в рамках всего эксперимента.
• Ежедневный доход на посетителя : некумулятивный средний доход на посетителя.
• Улучшение с течением времени : увеличение дохода по дням на оси X и линиях каждого варианта (но не исходного).
• Посетители с течением времени

Наведите указатель мыши на график

Наведя указатель мыши на график, вы увидите коэффициент конверсии каждого варианта в этот день и коэффициент конверсии варианта по сравнению с исходным:

Показать стандартное отклонение

Вы также можете установить флажок, чтобы отобразить стандартное отклонение (также называемое стандартной ошибкой):

Преобразование статистических формул использует

Примечание. Статистические термины рассматриваются в другом блоге , поэтому мы не будем повторять их здесь. Наша цель здесь — упомянуть математические формулы, которые использует Convert.

Convert использует частотный двусторонний Z-тест с доверительной вероятностью 0,05 (95%). То есть 0,025 для каждого хвоста является нормальным симметричным распределением с возможностью изменения этого значения в пределах 80%-99%.

Вскоре мы добавим байесовскую статистику в отчеты Convert. Оставайтесь с нами для получения дополнительной информации.

Двусторонний тест следует использовать, когда мы хотим найти статистически значимую разницу в любом направлении (подъем или падение). Цель здесь состоит в том, чтобы определить, привело ли изменение к статистически значимому увеличению или уменьшению числа конверсий.

Коэффициент конверсии

Эта формула используется для расчета коэффициента конверсии для каждого варианта:

(Общее количество целевых конверсий / количество уникальных посетителей) * 100

Изменение коэффициента конверсии для вариантов

Процентное изменение коэффициента конверсии между вариантом опыта и оригиналом рассчитывается следующим образом:

Доверительные интервалы

Для каждого варианта используется статистический метод расчета доверительного интервала коэффициента конверсии.

Стандартная ошибка (для 1 стандартного отклонения) рассчитывается по методу Вальда для биномиального распределения. Таким образом, для данного коэффициента конверсии ( p ) и размера выборки (количество уникальных посетителей) стандартная ошибка рассчитывается как

Стандартная ошибка рассчитывается с использованием этой формулы, которая предполагает, что биномиальное распределение может быть аппроксимировано нормальным распределением (из-за центральной предельной теоремы ). Распределение выборки может быть аппроксимировано нормальным распределением, когда на конкретную цель приходится более 10 конверсий.

Чтобы определить доверительный интервал для коэффициента конверсии, умножьте стандартную ошибку на 95-й процентиль стандартного нормального распределения (постоянное значение, равное 1,65).

Другими словами, вы можете быть уверены с вероятностью 90%, что ваш истинный коэффициент конверсии p находится в этом диапазоне:

Z-оценка

Используя Z-Score, мы можем определить, являются ли результаты значимыми (коэффициенты конверсии не отличаются из-за случайных изменений):

Z-оценка - количество стандартных отклонений между исходным и вариационным средними значениями. Используя стандартное нормальное распределение, значимость 95 % определяется, когда количество событий просмотра превышает 1000 и выполняется один из следующих критериев:

• Вероятность (ZScore)> 95%
• Вероятность (ZScore) < 5%

Улучшение

Вероятность отличия (отображаемая в отчете) определяется значением вероятности (Z-показателя), где:

• Если
  
  Вероятность (ZScore) <= 0,5
  
  тогда
  Улучшение = 1- Вероятность (ZScore)
  

• Если
  
  Вероятность (ZScore)> 0,5
  
  тогда
  Улучшение = Вероятность (ZScore)

На что обращать внимание при интерпретации отчетов об опыте

Теперь, когда вы знакомы со всеми разделами отчета об опыте преобразования и его статистическими формулами, давайте попробуем интерпретировать несколько разных отчетов об опыте и посмотрим, что вы можете из них извлечь.

Важны ли данные об опыте?

Прежде чем оценивать результаты и делать выводы о том, что делать дальше, убедитесь, что данные об опыте значительны. Используя «Уровень достоверности» в отчете об опыте конвертации, вы можете определить, являются ли результаты случайными или истинным отражением поведения ваших пользователей.

Уровень значимости 95 % означает, что вы на 95 % уверены, что наблюдаемые выводы не являются результатом случайности. Это также означает, что вероятность вашей ошибки составляет 5%.

В качестве альтернативы вы можете думать об уровне достоверности как о вероятности получения других результатов при повторении эксперимента.

Если вы получаете рейтинг достоверности 90%, есть вероятность 1 из 10, что вы получите другие ответы, если повторите тест. При достоверности 95% существует вероятность 1 из 20, а при достоверности 99% вероятность составляет 1 из 100.

Выигрышный вариант: положительный эффект

Вот пример значительного изменения, которое превзошло оригинал и привело к положительному улучшению.

Для цели «Настроить подписку — просмотр страницы на шаге 1» вариант 1 имеет 98,7% шанс превзойти вариант 0 (исходный) в этом опыте. Блочная диаграмма показывает, что выбор варианта 1 может привести к улучшению по сравнению с оригиналом на 13,73% ± 0,6%.

Исходя из этого опыта, можно с уверенностью сказать, что улучшение составляет +7,20%, но есть такая же вероятность, что коэффициент конверсии будет где-то между 13,73% +- 0,6%. Вне зависимости от ситуации, вариант 1 будет лучше оригинала, так что это хороший показатель для его реализации!

Почему?

Если бы один и тот же опыт был повторен 10 000 раз в одинаковых условиях, Вариант 1 все равно выиграл бы 9 870 раз из 10 000.

Проигрышный вариант: негативное влияние

Давайте подробнее рассмотрим результаты важного опыта, в котором Вариант 1 не приводит к положительному улучшению, а вместо этого оказывает негативное влияние на Коэффициент конверсии Варианта 0 (исходный).

В этом опыте существует вероятность 98,87%, что вариант 1 проиграет по коэффициенту конверсии по сравнению с вариантом 0. Можно ожидать отрицательного влияния на коэффициент конверсии оригинала между 4,5% +- 1% с вариантом 1.

Неубедительные результаты: нейтральное воздействие

Теперь давайте посмотрим на опыт, который не имеет значения. В приведенном ниже опыте ни один из вариантов не имеет достаточно высоких шансов на победу или вероятность выше 95%.

Вероятность победы Варианта 1 над Вариантом 0 в этом опыте составляет всего 84,58%.

Какой следующий шаг вы можете сделать?

Есть несколько вариантов на выбор, каждый из которых зависит от гипотезы и конечной цели опыта. В любом случае, на столе всегда есть несколько вариантов:

• Расширьте свою аудиторию. Если ваш сегмент посетителей слишком ограничен, попробуйте сосредоточиться на сегменте с большей аудиторией.
• Удалите некоторые варианты. Например, если вы разработали четыре варианта, попробуйте запустить один и тот же опыт с двумя или тремя вариантами.
• Оставьте его включенным на более длительный период времени.
• Следуйте своей интуиции и выберите то, что больше всего соответствует вашему бренду. Если результаты одинаковы для двух вариантов, и ваши коллеги согласны с тем, что один лучше соответствует требованиям вашего бренда, чем другой, вы можете выбрать один из них в качестве победителя.
• Перезапустите опыт. Запуск одного и того же теста дважды для подтверждения или опровержения первоначальных результатов является разумной практикой. Поскольку обстоятельства вряд ли будут одинаковыми (разный период времени, колебания трафика и т. д.), результаты могут отличаться!
• Позвольте этому быть. Возможно, ваш оригинал уже оптимизирован.

Существует ли равномерное распределение трафика?

При настройке взаимодействия A/B вы назначаете процент трафика для каждого варианта (по умолчанию 50/50).

Количество посетителей должно отражать прогнозируемое распределение трафика.

В случае существенной разницы почти наверняка имеет место несоответствие отношения выборки (SRM).

При разделении 50/50, если вы получаете 400 посетителей с одной стороны и 600 с другой, результаты ненадежны. Когда это происходит, пришло время изучить настройку опыта A/B. Результаты могут быть искажены выбросами, такими как внутренние IP-адреса или внешние боты.

Помните, что данные хороши настолько, насколько хорош анализ, который вы с ними проводите. Воспользуйтесь всеми имеющимися в вашем распоряжении инструментами, в том числе подробными отчетами Convert Experiences, для получения точной и действенной информации.

Если у вас еще нет учетной записи, подпишитесь на бесплатную пробную версию и попробуйте ее в течение 15 дней. У вас будет доступ ко всем интересным функциям, которые мы обсуждали в этом посте, а также ко многим другим. И если у вас есть какие-либо вопросы или вам нужна помощь в начале работы, наша команда всегда готова помочь.