Статистика A/B-тестирования: почему статистика имеет значение в экспериментах

Краткое руководство по статистике и A/B-тестированию: термины, которые вам нужно знать

Почти невозможно провести разумный эксперимент по A/B-тестированию, не имея доступа к статистике.

Хотя такая платформа, как Convert Experiences, может позаботиться обо всех статистических измерениях, рассуждениях и анализе за вас, базовое понимание некоторых статистических терминов, безусловно, вам поможет.

Начнем с основ.

Выборка и население

Теоретически использование всего трафика вашего веб-сайта для A/B-тестирования даст вам общее представление о вашей популяции. Однако это может быть неоптимальным использованием ресурсов, поскольку всю популяцию невозможно захватить. Вот тут и пригодятся образцы. Несмотря на то, что существуют различные методы формирования выборки, использование метода случайной выборки помогает гарантировать отсутствие неотъемлемых систематических ошибок при отборе выборки. Этот подход вдохновлен аптечно-медицинской практикой рандомизированных контролируемых испытаний.

Среднее значение, медиана и мода

Проще говоря, среднее означает среднее, медиана означает значения, расположенные посередине, когда все числа выровнены линейно (50 ^-й процентиль в распределении), а мода — наиболее повторяющееся значение. Эти три термина пригодятся, когда вы просматриваете сводную статистику A/B-тестирования.

Дисперсия и стандартное отклонение

Это очень важные понятия, которые измеряют дисперсию точек данных. Другими словами, насколько данные далеки от среднего. Стандартное отклонение — это квадратный корень из дисперсии. Вот почему стандартное отклонение является лучшим показателем дисперсии, поскольку оно содержит ту же единицу измерения, что и среднее значение. Например, средний рост взрослых мужчин в США составляет 70 дюймов со стандартным отклонением 3 дюйма. Если бы мы использовали дисперсию в этом примере, значение было бы 9 дюймов в квадрате, так что это менее интуитивно понятно. Думайте о стандартном отклонении как об «обычном» отклонении данных.

Нулевая и альтернативная гипотеза

А Нулевая гипотеза апеллирует к статус-кво. Ваша нулевая гипотеза будет утверждать, что любое изменение, которое вы наблюдали в данных, например, подъем, происходит из-за чистой случайности. Альтернативная гипотеза будет заключаться в том, что изменение не является случайным, а указывает на причинно-следственный эффект, то есть ваши изменения действительно повлияли на ваших пользователей.

Например, предположим, что вы пытаетесь подобрать лучший заголовок для своей целевой страницы. У вас есть контрольный вариант и альтернативный вариант. Вы проводите A/B-тестирование и получаете разные коэффициенты конверсии для обоих, так что есть рост (положительный или отрицательный). Нулевая гипотеза здесь будет заключаться в том, что разница возникает из-за случайности. Альтернативная гипотеза утверждает, что изменение связано с определенным вариантом.

При проведении A/B-тестирования вы получите один из следующих четырех результатов:

• Вы отвергаете нулевую гипотезу.
• Вы не можете отвергнуть нулевую гипотезу.
• Вы ложно отвергаете нулевую гипотезу.
• Вы ошибочно не отвергаете нулевую гипотезу.

В идеале следует стремиться к результатам a и b, поскольку это сценарии, из которых вы можете чему-то научиться. Так вы можете улучшить свой продукт и, в конечном итоге, увеличить прибыль. Исходы c и d соответствуют приведенным ниже ошибкам.

Ошибки типа I и типа II

Последние два варианта возможных результатов вашего A/B-теста — это ошибки типа I и типа II, также известные как ложноположительные и ложноотрицательные результаты.

Ошибка I рода — это когда вы ложно отвергаете истинную нулевую гипотезу. Это означает, что изменение, которое вы наблюдали, было случайным, но вы пришли к другому выводу, так что это ложное срабатывание. В большинстве случаев все, что требуется для уменьшения количества ложноположительных результатов, — это повысить уровень достоверности, необходимый для достижения статистической значимости. Обычно это значение равно 95 %, но для критически важных экспериментов вы можете установить значение достоверности 99 %, что снизит вероятность совершения такой ошибки до 1 %.

Ошибки второго рода прямо противоположны. Здесь вы не можете отвергнуть ложную нулевую гипотезу. Это означает, что было реальное влияние, положительное или отрицательное, на коэффициент конверсии, но оно не оказалось статистически значимым, и вы ложно заявили, что оно было вызвано случайностью. Чаще всего это связано с отсутствием статистической мощности.

На языке статистической мощности греческая буква α обозначает ошибки типа I, а β представляет ошибки типа II. Легко запутаться между статистической мощностью и статистической значимостью.

Эта таблица дает понять:

Статистическая достоверность

Чем больше посетителей получает ваш тест, тем больше увеличивается ваша статистическая достоверность, пока она не достигнет 99%, если вы позволите ему работать достаточно долго. Но обычно, если это не критично, уровень достоверности 95% считается достаточным для большинства A/B-тестов (это гарантирует, что вероятность ложного срабатывания, т.е. ошибки типа I, составляет не более 5%).

Статистическая мощность

Статистическая мощность относится к вероятности обнаружения эффекта, когда он есть.

Статистическая мощность и статистическая достоверность — это связанные понятия, которые работают вместе для измерения эволюции A/B-теста. В идеале оба должны пройти пороговые значения до завершения теста (подробнее об этом ниже).

Доверительный интервал и допустимая погрешность

Как правило, результат вашего эксперимента по A/B-тестированию будет примерно таким: «Коэффициент конверсии составляет 3% +/- 1%». В этом заявлении «1%» представляет вашу погрешность. Короче говоря, это отклонение в результатах преобразования, которое является разумным, чтобы результаты испытаний оставались приемлемыми. Чем меньше погрешность, тем надежнее будут результаты вашего теста. По мере увеличения размера выборки вы заметите, что погрешность уменьшается.

Если вы проводите A/B-тестирование с Convert Experiences, вы получаете доступ к отчету об опыте, в котором подробно описываются вариации, коэффициент конверсии, улучшения, достоверность и конверсии для уникальных посетителей в месяц . Вы должны достичь как минимум 97% уверенности, чтобы объявить победителя. По умолчанию платформа Convert оптимизирована таким образом, чтобы отчеты об аналитике эксперимента начинались только после достижения пяти конверсий. Чтобы обеспечить надежность тестов, Convert использует двусторонние Z-тесты.

В начале вашего эксперимента, если один из вариантов работает значительно лучше, вы все равно должны продолжать тест в течение предусмотренной продолжительности. Ранние результаты могут быть вызваны шумом или случайностью.

Минимальные обнаруживаемые эффекты

MDE — это минимальный рост, выше которого изменение становится целесообразным для реализации. Подготовка к тесту путем выбора низкого MDE позволяет вашему эксперименту зафиксировать более детальные изменения. Установка более высокого MDE означает, что ваш эксперимент может обнаруживать только серьезные изменения и, следовательно, работать даже с меньшими размерами выборки. Загвоздка здесь в том, что внесение радикальных изменений для создания достаточно большого роста в большинстве случаев будет невозможно, если только ваш веб-сайт никогда раньше не оптимизировался.

Лучший способ подумать о MDE — использовать наш калькулятор размера выборки. Начните с ввода еженедельного трафика и конверсий и посмотрите, чего можно достичь за определенный период времени.

P-значение

Кэсси Козырков, главный специалист Google по принятию решений, придумал очень простое определение для объяснения P-значения: «Чем ниже p-значение, тем нелепее выглядит нулевая гипотеза!»

Мы используем его, сравнивая с уровнем значимости. Скажем, у нас есть уровень значимости 5%, что напрямую соответствует уровню достоверности 95%, тогда, как только p-значение становится ниже 5/100 = 0,05, мы можем сказать, что наш тест достиг статистической значимости, и мы может отвергнуть нулевую гипотезу.

Если мы хотим быть еще более уверенными, мы устанавливаем уровень значимости на 1%, а затем ждем, пока p-значение не упадет ниже 0,01. Это будет равнозначно 99% уверенности в наших результатах.

Распределение трафика

Распределение трафика помогает выделить определенный процент трафика для эксперимента. Предположим, что у вас есть 100 посетителей на ваш сайт каждый месяц. Из этого вы можете выделить 30% трафика для эксперимента. По умолчанию каждый вариант в вашем A/B тесте получит равную долю трафика. Итак, если у вас есть два варианта, каждый будет получать по 15% трафика.

Использование Convert Experiences поможет вам настроить это распределение трафика в несколько кликов. По мере развития процесса экспериментирования вы можете создавать больше вариантов и оптимизировать распределение в соответствии со своими потребностями.

Как статистика может помочь в A/B-тестировании?

Почему нельзя просто сравнить производительность вариантов А и Б?

Проведение эксперимента A/B-тестирования с использованием даже такой удобной платформы, как Convert Experiences, требует определенных ресурсов с точки зрения времени и энергии. В таком случае, не имеет ли смысл просто создать два варианта, измерить соответствующие коэффициенты конверсии и выбрать вариант с более высокой эффективностью?

Хотя это звучит прагматично и находчиво, это может привести к неверным выводам и даже к неверной интерпретации результатов, поскольку статистические тесты данных не проводились. Таким образом, наблюдения за изменением недостаточно, нужно знать, как долго ждать, чтобы быть уверенным в этом изменении, и для этого необходимо выполнить статистический тест, такой как Z-тест, T-тест или G-тест.

Глядя только на подъемную силу или размер эффекта, вы не поможете:

а. Определите вероятные причинные факторы, связанные с выигрышем одного варианта

A/B-тест по своему замыслу заставит вас выбрать два варианта, которые имеют лишь некоторые существенные различия. Для большего набора различий, как правило, следует использовать более обширный многомерный тест.

A/B-тестирование основано на том правиле, что с самого начала вы знаете зависимые и независимые переменные в эксперименте. Например, если вы создаете два набора с разными CTA, размещенными в одном и том же макете, вы знаете, что разница в CTA является причинным фактором, если вы можете опровергнуть гипотезу и увидеть изменение конверсий.

Если вы просто запустите два совершенно разных варианта, даже если один из них будет относительно лучше, это не поможет вам получить представление о вашей аудитории или определить, почему он работает.

б. Различие между случайностью и причинностью

Структура теста A/B потребует нулевой гипотезы и альтернативной гипотезы. Нулевая гипотеза, как правило, касается случайности, являющейся причинным фактором, а не эффективности одного из ваших вариантов, при определении коэффициентов конверсии. Нулевая гипотеза не опровергается, если статистическая значимость не достигается вовремя, и предполагается, что любая последующая изменчивость является результатом случайности. С другой стороны, если вы можете отвергнуть нулевую гипотезу, это означает, что существует высокая вероятность (на заданном уровне достоверности, например, 95% или 99%), что вы обнаружили причинный фактор, оказывающий положительное или отрицательное влияние на преобразования.

в. Распределяйте затраты только на изменения с более высокой вероятностью улучшения конверсии

Проведенные A/B-тесты также будут сопровождаться статистическими показателями, такими как уровни значимости, доверительные интервалы и пределы погрешности. Такие аналитические концепции не существуют в большинстве специальных анализов.

Возьмем, к примеру, сравнение двух страниц отправки форм с некоторыми существенными различиями в расположении и отображении информации. Один работает относительно лучше, чем другой. Теперь, как вы определяете, что сможете воспроизвести результаты? Поскольку у вас нет данных, показывающих, насколько значимы результаты эксперимента, невозможно судить, можно ли воспроизвести результаты эксперимента или нет.

Оценка и устранение вашей подверженности ошибкам типа I и типа II для A/B-тестирования

Ошибки типа I (истинная нулевая гипотеза отвергается или ложноположительна) и ошибки типа II (ложная нулевая гипотеза не отвергается или ложноотрицательна) могут иметь серьезные последствия для рыночных активов, которые вы оптимизируете с помощью A/B-тестирования.

Никакой инструмент не может явно показать вам ошибку типа I или типа II, но он может помочь вам свести их к минимуму, например, убедившись, что уровень достоверности 95% или выше, а статистическая мощность достигла не менее 80%.

Предположим, вы делаете два варианта последней страницы цикла покупки, показываете ее примерно 10 000 посетителей в течение 10 дней и получаете результаты. Вы видите лучшую производительность для одного варианта и, следовательно, применяете его на своем веб-сайте электронной торговли.

Проблема здесь в том, что вы узнаете об ошибке типа I или типа II в своем эксперименте по A/B-тестированию после того, как вам не удастся воспроизвести результаты вашего эксперимента в реальности. Есть лучшие способы убедиться, что у вас нет ошибок типа I и типа II в вашем A/B-тестировании.

Во-первых, убедитесь, что размер вашей выборки достаточно велик, чтобы обеспечить надежное статистическое экспериментирование. Вы можете использовать калькулятор Convert, чтобы получить правильный размер выборки.

Затем убедитесь, что у вас есть уровень значимости не менее 95%, и не останавливайте тест, пока ваша мощность не достигнет 80%. При правильной MDE и продолжительности эксперимента, заданных калькулятором, вы можете быть практически уверены в контроле ошибок типа I или типа II. На первое напрямую влияет установленный вами уровень значимости, а на второе — статистическая мощность, с которой вы готовы жить. В идеале ваш уровень достоверности должен быть выше или равен 95%, а ваша статистическая мощность должна составлять не менее 80%. В обоих случаях чем больше, тем лучше. Если оба параметра достигают 99 %, это гарантирует, что риск ошибок типа I или II хорошо контролируется и составляет менее 1 %.

Как обнаружение, так и устранение таких проблем возможны только благодаря статистическому мышлению, на котором основано A/B-тестирование.

Определение того, является ли ваш эксперимент A/B-тестирования масштабируемым или нет

В приведенном выше примере, даже если вы увидите, что один вариант выигрывает у другого в течение месяца, вы не сможете легко масштабировать свой эксперимент. Это связано с тем, что размер выборки в 10 000 посетителей был довольно маленьким.

Статистика A/B-тестирования дает вам много эвристических руководств, чтобы убедиться, что ваш тест масштабируется, как и его результаты. Результаты каждого эксперимента по A/B-тестированию проложат путь к новым тестам в будущем.

Во-первых, начните с обеспечения достаточного ежемесячного трафика для тестирования любого варианта пользовательского интерфейса или элементов UX вашей платформы. Эксперты Convert рекомендуют трафик не менее 10 000 посетителей и 1000 конверсий по каждому варианту, чтобы получить статистически достоверные результаты. Получив их, убедитесь, что вы не тестируете несколько элементов одновременно, позволяете тесту выполняться в течение значительной продолжительности и может достигать разумного уровня значимости.

Если у вас небольшая группа посетителей, вы все равно можете проводить A/B-тестирование кампаний по электронной почте, кампаний в социальных сетях и даже групп объявлений Google. Или вы можете выбрать высокий MDE, чтобы получить общее представление о вашей аудитории.

Делаем эксперименты рентабельными

Выделение любого процента вашего трафика для A/B-тестирования — это затраты. Вы показываете своей аудитории, возможно, неоптимальную страницу или элемент UX и, следовательно, можете потерять некоторый потенциальный доход. Хотя A/B-тест даст вам четкое представление о масштабировании более оптимизированного элемента или страницы, которые могут компенсировать эти потерянные вероятные доходы, эту стоимость можно использовать в качестве ограничения для оптимизации вашего процесса тестирования.

После проведения A/B-тестирования вы можете перейти к A/B/n-тестированию, где у вас будет еще несколько вариантов для тестирования.

Многие бесплатные калькуляторы, доступные в Интернете, покажут вам размер выборки, необходимый для получения точных результатов этого теста. Эти калькуляторы основаны на упрощенном предположении: рассчитать размер выборки для A/B-теста, а затем умножить его на количество вариантов эксперимента. Это неэффективный способ продолжения. Наш калькулятор предлагает эффективные варианты коррекции множественных сравнений, такие как Šidak, поэтому всегда используйте правильные инструменты на каждом этапе ваших экспериментов, чтобы гарантировать получение необходимых результатов, не теряя лишних долларов, понесенных из-за просчетов.

Оценка и контроль случайности в вашей выборке

Хотя существует несколько сложных математических принципов случайности, большинство из них указывают на одну и ту же характеристику — непредсказуемость.

Случайность может восприниматься как противоположность четко определенной причинности. Вместо того, чтобы знать, какие элементы были ответственны за более высокую конверсию, вы должны полагаться на некоторые неопределенные внешние факторы как на вероятные причинные факторы для результатов. Поскольку вы не контролируете эти внешние факторы, вы не можете воспроизвести результаты тестирования в масштабе.

Если вы не используете статистически обоснованный процесс A/B-тестирования, вы не стали бы изучать влияние случайности. Но случайность все равно будет. Вы можете в конечном итоге вложить капитал в маркетинговый актив, который конвертируется во время теста, но не работает в масштабе. Хуже того, вы можете в конечном итоге ослабить влияние существующей воронки конверсии.

Статистика A/B-тестирования может помочь вам решить эту проблему. Когда вы формулируете гипотезу, вы создаете сценарий, в котором случайность может быть причиной изменения результатов. Если вы сможете опровергнуть этот сценарий, вы, по сути, опровергнете случайность как причину лучших конверсий. С дальнейшими тестами в процессе, сосредоточенными на других областях воронки конверсии, вы можете еще больше исключить пространство для случайности в процессе оптимизации конверсии.

В идеале было бы определить общий критерий оценки (OEC) с одной основной метрикой и другими метриками ограждения и провести эксперименты для оптимизации первого, убедившись, что последние не ухудшаются. Например, вы хотите повысить коэффициент конверсии (основной показатель), но не хотите, чтобы активность пользователей снизилась, потому что это укажет на неудовлетворенных клиентов.

Отличная книга, возможно, самая важная книга по экспериментам на сегодняшний день — «Надежные онлайн-контролируемые эксперименты: практическое руководство по A/B-тестированию» Рона Кохави, Дайан Танг, Я Сюй.

Убедитесь, что вам не нужен более полный многомерный тест

Комплексные инструменты, такие как Convert Experiences, помогут вам провести несколько A/B-тестов. Хотя это может показаться тривиальной функцией, она может помочь вам понять, нужен ли вам более полный многомерный тест или результаты вашего A/B-теста достаточно удовлетворительны.

Все это зависит от того, что вы делаете сразу после того, как поняли результаты теста. Вы начинаете развертывание победившей страницы или элемента или переходите к дальнейшему тестированию? Если размер вашей выборки, уровень значимости и MDE вас устраивают, вы обычно можете использовать выигрышную альтернативу. Если вы находитесь на другой стороне, вы можете использовать дополнительное тестирование, чтобы найти причину различных коэффициентов конверсии.

Например, предположим, что вы проверяете, помогает ли наличие определенного CTA на вашей целевой странице повысить конверсию или нет. Вы проводите A/B-тестирование и получаете явного победителя. Но некоторые статистические показатели, такие как уровень значимости, не удовлетворяются. Итак, вы берете выигрышный вариант и создаете еще один, чтобы провести еще одно A/B-тестирование.

Если результаты повторяются, вы можете быть более уверены в выигрышном варианте. Если вы не можете воспроизвести уровни конверсии первого теста, вам может понадобиться многовариантный тест, чтобы найти элемент, ответственный за рост конверсий.

A/B-тестирование может помочь вам избежать зависимости от самооценки

Даже самые маленькие переменные могут оказать серьезное влияние на обнаруженное поведение пользователя. Например, эффект мерцания оказывает значительное влияние на коэффициент конверсии. Мерцание — это ситуация, когда ваша целевая страница по умолчанию отображается перед вариантной страницей, когда посетитель является частью вашего пробного трафика, используемого для A/B-тестирования. Это может привести к искажению результатов, даже если вы используете аналитически непротиворечивый процесс.

Когда могут возникнуть проблемы со статистическими и аналитическими процессами, такими как A/B-тестирование, запуск процесса с самооценкой может привести только к более неоптимальным или даже ложным результатам. Процессы самоотчетности часто загрязнены несколькими предубеждениями и зашумленными данными, поскольку вся ответственность за запоминание предпочтений и сообщение о них возлагается на пользователя, у которого нет никакого стимула быть честным. Кроме того, существуют ошибки порядка и другие внешние факторы, которые могут привести к ошибочным данным.

A/B-тестирование ставит вас в кресло наблюдателя и устраняет необходимость в какой-либо форме отчетов пользователей. С такими инструментами, как Convert, вам даже не нужно беспокоиться о мерцании.

Принятие организационных решений на основе данных

Эксперимент по A/B-тестированию не оставляет места для догадок. На каждом этапе ваша тестовая платформа собирает наблюдения, записывает данные и выполняет анализ. Таким образом, независимо от предпочтений вашего начальства, инвесторов или агентств, результаты, которые вы получите, будут зависеть от данных.

Когда в процесс вовлечено несколько заинтересованных сторон, конечный результат может быть неоптимальным. A/B-тестирование — это аналитический процесс, который устраняет место для любого такого иерархического принятия решений или предвзятого мышления.

Например, ваше агентство может порекомендовать капитальный ремонт пользовательского интерфейса для вашей целевой страницы, потому что это увеличит их счета за месяц и, если все сделано правильно, может даже не помешать вашим конверсиям. Однако с помощью A/B-теста, если ваша нулевая гипотеза останется верной, вы точно будете знать, что в настоящее время в таких изменениях нет необходимости. Поскольку у вас есть данные, подтверждающие ваши рассуждения, вам не нужно поддаваться на позерство даже при лидерстве в вашей фирме. Это также может помочь вам бороться с HiPPO (мнением самого высокооплачиваемого человека). Данные не лгут, и A/B-тестирование — лучшее доказательство, которое у вас есть.

Понимание результатов эксперимента с помощью прозрачных вычислений

Понимание результатов вашего A/B-теста почти так же важно, как и проведение статистически строгого теста. Любой инструмент может запустить тест, сравнить альтернативы и определить победителя. Что вам нужно, так это указание на причинно-следственную связь. Хотя статистические показатели могут подчеркнуть это, Convert Experiences был разработан для обеспечения прозрачности расчетов.

Платформа имеет время безотказной работы 99,99%, допускает более 90 сторонних интеграций, разрешает стороннее отслеживание целей и поддерживает проверку кода и ошибок. Таким образом, к концу процесса тестирования у вас будет четкое представление о том, какой элемент является победителем, почему он более предпочтителен и нужно ли вам дополнительное тестирование, чтобы быть более уверенным в его масштабировании.

Использование статистики A/B для достижения зрелости CRO

Что такое CRO-зрелость и как статистически обоснованное A/B-тестирование может помочь вам в этом?

Хотя оптимизация коэффициента конверсии может показаться изолированным способом мышления, она требует изменений, основанных на процессах, во всей компании, пытающихся сосредоточиться на конверсиях. Проблема в том, что CRO — относительно новая область. В опросе 2018 года около 62% маркетологов работали в CRO менее 4 лет.

Специалист по CRO из Shopify создал иерархию того, как фирмы стремятся достичь зрелости CRO. Углубившись в эту иерархию, вы обнаружите, насколько важны надежные статистические эксперименты для развития ваших организационных процессов:

1. Проведение качественных и количественных исследований для выявления неоптимальных точек соприкосновения

Ваша панель инструментов Google Analytics часто помогает вам изучить страницы или точки взаимодействия с потребителем, которые требуют немедленного внимания. Решение конкретной проблемы, такой как высокий показатель отказов на главной странице, брошенные корзины, неполное заполнение форм и пропуск подписки по электронной почте, можно использовать в качестве отправной точки для оптимизации воронки конверсии.

2. Формулирование идей для тестирования и экспериментов на основе ранее проведенных исследований.

Статистика A/B-тестирования может помочь вам понять производительность вашего веб-сайта и даже конкурентов. Вы можете использовать это, чтобы понять, какие элементы отстают, и запустить варианты A/B-тестирования, которые могут работать лучше.

3. Проведение тестирования и экспериментирование с идеями с наивысшим приоритетом

Когда вы настраиваете свои идеи A/B-тестирования в Convert Experiences, вы устанавливаете такие показатели, как MDE. Такие показатели помогут вам расставить приоритеты для тестов, которые окажут максимальное влияние на ваш бизнес, в отношении распределения ресурсов, необходимых для проведения эксперимента.

4. Анализ и запись результатов теста

После того, как вы провели тест, очень важно понять, почему вы получили результаты, которые видите. Именно здесь такие платформы, как Convert Experiences, могут помочь вам отфильтровать случайность и причинно-следственную связь с высокой вероятностью. Благодаря прозрачным расчетам Convert Experiences поможет вам понять, почему ваш выигрышный вариант работает лучше.

5. Создание последующих тестов

После того, как вы провели A/B-тестирование и получили результаты, вы можете перейти к более комплексным многовариантным тестам или провести A/B-тестирование с другим вариантом. Convert позволяет легко проводить разнообразные статистические тесты, которые могут помочь вам повысить уверенность в поддержке выигрышного варианта.

Модель зрелости CRO фокусируется на целостном процессе, охватывающем стратегию и культуру фирмы, инструменты и технологии, кадры и навыки, а также процессы и методологию, где прогресс предприятия отслеживается по уровням зрелости, таким как — новичок, стремящийся, прогрессивный, стратегический, и Преображающий.

Convert Experiences обеспечивает тщательный анализ данных в процессе A/B-тестирования, не требует написания кода для проведения тестов, предоставляет визуально и аналитически доступные результаты и прозрачна в отношении результатов тестирования. С платформой, находящейся в центре ваших планов A/B-тестирования, CRO Maturity вашего предприятия сможет с большей легкостью перейти к этапам трансформации.

A/B-тестирование в действии: сравнительные примеры

1. Использование Google Analytics и Convert Experience для генерации гипотез

Google Analytics может стать отличной отправной точкой для понимания потенциальных областей улучшения на вашем веб-сайте. Внезапное падение трафика, высокие показатели отказов по сравнению со временем страницы и т. д. могут быть сильными индикаторами потенциальных проблем.

Наметьте все проблемы, которые вы видите в отчетах Google Analytics. Параллельно с этим проведите качественный опрос на своем веб-сайте, в социальных сетях и кампаниях по электронной почте, спросив у своей аудитории, что они ищут. В дополнение к этому вы можете использовать Hotjar, чтобы понять, как посетители перемещаются по элементам на каждой странице.

Основываясь на всех этих данных, вы можете затем создавать проницательные варианты и запускать A/B-тесты. Если вы уже используете Convert Experiences, вы также можете использовать инструмент генерации гипотез Convert Compass, чтобы еще больше ускорить процесс.

2. Увеличение числа конверсий из брошенных корзин с помощью A/B-тестирования.

Брошенные корзины дорого обходятся вашему веб-сайту и весьма неудобны для ваших посетителей, поскольку вы оба потратили значительное время и ресурсы, чтобы прийти к этому моменту, но конверсия не сработала.

Используя Convert Experiences, интегрированный с другими платформами, вы можете сформулировать структурированный подход к решению этой задачи.

• Во-первых, начните с интеграции Convert Experiences в Shopify, WooCommerce, PrestaShop, BigCommerce или любую другую платформу электронной коммерции, которую вы используете.
• Затем используйте Google Analytics, чтобы настроить цели на своих платформах, и используйте такие инструменты, как Hotjar или Crazy Egg, чтобы оценить возможную проблему.
• С Convert Experiences вы можете использовать эти данные, формулировать гипотезы и проводить A/B-тесты организованным образом. Клиенты наблюдали увеличение доходов более чем на 26%, используя аналогичный подход.

3. Оптимизация целевой страницы

Целевые страницы занимают центральное место во всем процессе конверсии. Чтобы извлечь максимальную пользу из ваших целевых страниц, вы можете использовать различные инструменты, такие как Google Analytics, Adobe Analytics, Kissmetrics, Baidu Analytics или другие ведущие инструменты для конкретного случая. Convert Experiences легко интегрируется с этими платформами, чтобы помочь вам отфильтровать целевые страницы с низкой конверсией.

Затем вы можете использовать интеграцию Hotjar и Convert, чтобы понять, какие элементы вашей страницы не работают. С помощью продвинутых инструментов, таких как тепловые карты, вы можете получить визуальное представление о том, как посетители получают доступ к различным элементам на вашей странице. После этого вы можете использовать Convert Compass для создания гипотез, а затем запускать тесты на платформе.

После того, как вы провели тест, вы можете использовать интеграцию между Convert и ведущими платформами для создания целевых страниц, такими как LanderApp, Instapage или Hubspot CMS. Эти интеграции помогут вам проводить простые эксперименты A/B-тестирования на ваших целевых страницах.

Используя тот же рабочий процесс, эксперты CRO обнаружили прирост конверсии на 27%, а скорость добавления в корзину увеличилась на 13%.

Достижение более высокой рентабельности инвестиций с помощью «гигиеничного» A/B-тестирования

1. Порог посещаемости веб -сайта : Convert рекомендует, чтобы у вас был трафик не менее 10 000 посетителей и конверсий более 1000, доступных для каждого тестируемого варианта.

2. Использование подходящего инструмента для A/B-тестирования . Отсутствие подходящей платформы для тестирования может привести к искаженным результатам, заставить вас выполнять неоптимальные тесты или серьезно ограничить ваши ресурсы. Convert Experiences был разработан, чтобы устранить эти ключевые параметры, обеспечив при этом доступность, прозрачность и бесперебойность процесса тестирования.

3. Определение целей тестирования : цели вашего бизнеса должны быть согласованы. Например, пока вы оптимизируете максимальное количество регистраций, некоторые другие подразделения вашей команды не должны оптимизировать последующие процессы для максимальных продаж. Непоследовательный UX может нанести больше вреда, чем неоптимальный UX.

Следовательно, поддерживайте единообразие целей среди всего набора членов команды. На уровне тестирования убедитесь, что вы четко определили размер выборки, продолжительность, статистическую значимость, гипотезу и MDE до, во время и после проведения A/B-тестирования.

4. Исключение внутреннего трафика. Когда вы проводите A/B-тестирование, многие члены вашей команды посещают страницы или точки пути клиента, чтобы объективно оценить страницу. Это может внести шум в результаты тестирования.

Convert Experiences был разработан для фильтрации такого трафика и фокусировки только на определенных вами сегментах аудитории для записи, агрегирования и анализа данных в процессе A/B-тестирования.

Заключительные мысли о статистике A/B-тестирования

A/B-тестирование — это тщательное аналитическое упражнение, которое можно выполнить только со статистической точностью. Без статистики, встроенной в процесс, A/B-тестирование — это чистая догадка.

Convert Experiences позволяет проводить оптимизированные, доступные, надежные и в то же время ресурсоэффективные эксперименты по A/B-тестированию. While the process of A/B testing can seem a little overwhelming at first, it certainly unlocks value in the form of the right insight and analytical proven ideas it gives you. Make sure you never run an A/B test in isolation – it has to be followed up with more tests, and even multivariate tests.
With consistent optimization and unlimited tests made available by Convert Experiences, you can expect your enterprise to become a more analytical and data-driven operation in no time.