Все об A/A-тестировании: зачем и когда следует проводить A/A-тестирование?

Опубликовано: 2022-07-07
Все об АА-тестировании. Почему и когда следует проводить АА-тестирование?

A/A-тестирование позволяет вам сравнивать две идентичные страницы друг с другом и может быть чрезвычайно полезным при настройке нового инструмента A/B-тестирования.

А/А-тестирование можно использовать для

  • оценить точность платформы A/B-тестирования,
  • определить, полностью ли интегрирована ваша платформа A/B-тестирования с вашей внутренней аналитикой,
  • определить возможные технические проблемы с помощью вашего инструмента A/B-тестирования,
  • предоставить базовый коэффициент конверсии для страницы или воронки,
  • определить подходящий размер выборки для вашего A/B-тестирования и
  • Сравните производительность ваших страниц и воронок.

Convert предоставляет возможности тестирования A/A и A/B, чтобы убедиться, что у вас есть все необходимое для успешного проектирования и разработки веб-сайта с высокой конверсией.

Читайте дальше, чтобы узнать больше о важности А/А-тестирования и о том, как настроить свой первый опыт!

Спрятать
  • Что такое А/А-тестирование?
  • Зачем проводить A/A-тесты?
    • Проверьте точность платформы A/B-тестирования
    • Определите степень интеграции с вашей внутренней аналитикой
    • Выявление возможных технических проблем
    • Укажите базовый коэффициент конверсии для любой страницы или воронки
    • Найдите необходимый размер выборки
    • Сравните производительность ваших страниц и последовательностей
  • Настройка опыта A/A
  • Как интерпретировать результаты А/А-тестирования?
    • Мы ожидаем неубедительных результатов от опыта A/A
    • Что это значит, если вы получаете неидентичные вариации?
  • Каковы проблемы A/A-тестирования?
    • Случайность
    • Большой размер выборки
  • Преобразование опыта и A/A-тестирование
    • Как настроить A/A-тестирование в Convert Experience?
      • Чистый опыт А/А
      • Откалиброванный опыт A/A/B или A/A/B/B
      • Проведите множество экспериментов A/A
    • Могу ли я запустить опыт A/A одновременно с опытом A/B?
    • Предтестовый процесс обеспечения качества: интересная альтернатива A/A-тестированию
    • Может ли SRM существовать в тестах A/A?
  • Перевешивают ли преимущества A/A-тестирования недостатки?

Возможно, что-то подобное случалось с вами раньше…

  • Вы запускаете A/B-тест, чтобы увидеть, увеличат ли ваша новая кнопка CTA и заголовок конверсию.
  • В течение следующего месяца вы отправляете одинаковое количество трафика как на контрольную, так и на вариантную целевые страницы.
  • Ваше программное обеспечение объявляет ваш вариант победителем (с вероятностью 99%), поэтому вы останавливаетесь.
  • Затем вы запускаете свой «выигрышный» дизайн, но после нескольких бизнес-циклов вы видите, что увеличение вашего коэффициента конверсии на 50% мало повлияло на ваш чистый доход.

Наиболее вероятным объяснением является ложноположительный результат теста. К счастью, существуют различные методы борьбы с некорректными тестами.

Один из них, о котором вы, возможно, слышали, — это A/A-тестирование.

Что такое А/А-тестирование?

Прежде чем мы углубимся в A/A-тестирование, давайте поговорим об A/B-тестировании, чтобы мы могли указать на различия.

В типичном опыте A/B трафик делится между двумя или более альтернативными вариантами.

Одна вариация обычно обозначается как «контрольная» или «исходная». Все остальные варианты опыта сравниваются с контрольными, чтобы определить, какой из них дает наибольший рост в заданном показателе.

А/А-тестирование, с другой стороны, требует, чтобы трафик распределялся между двумя идентичными вариантами, обычно с разделением 50/50.

В обычном тесте A/B цель состоит в том, чтобы найти более высокий коэффициент конверсии, тогда как в тесте A/A цель обычно состоит в том, чтобы проверить, имеют ли варианты одинаковый рост.

В тесте A/A трафик распределяется случайным образом, и обеим группам показывается одна и та же страница.

Затем регистрируются сообщаемые коэффициенты конверсии, рейтинг кликов и соответствующая статистика для каждой группы в надежде что-то узнать.

A/A-тест = 2 идентичные страницы, протестированные друг против друга

Теперь давайте рассмотрим несколько примеров того, где можно использовать опыт А/А, чтобы определить, будут ли они вам полезны.

Зачем проводить A/A-тесты?

Проведение A/A-тестирования может быть особенно эффективным на различных этапах процесса веб-дизайна и разработки, например:

  • Когда вы закончите установку нового инструмента A/B-тестирования,
  • Когда ваша текущая настройка инструмента A/B-тестирования была обновлена ​​или изменена,
  • Когда вы создаете новый веб-сайт или приложение,
  • Когда вы замечаете расхождения между отчетами данных вашего A/B-тестирования и другими аналитическими инструментами, которые вы используете.

Давайте углубимся в каждый из этих вариантов использования.

Проверьте точность платформы A/B-тестирования

Опыт A/A может быть запущен либо компанией, желающей приобрести платформу для тестирования A/B, либо компанией, которая хочет опробовать новое программное обеспечение для тестирования (чтобы убедиться, что оно настроено правильно).

В опыте A/A мы сравниваем две полностью идентичные версии одной и той же страницы с целью получения одинаковых показателей конверсии.

Ожидаемый результат неубедителен, если нет разницы между контролем и вариацией.

Сравните идентичные версии одной и той же страницы в Convert A/A Experience.
Сравнение идентичных версий одной и той же страницы в A/A-опыте

Тем не менее, «победитель» иногда объявляется на двух идентичных экземплярах.

Сравните идентичные версии одной и той же страницы в Convert A/A Experience.
Сравнение идентичных версий одной и той же страницы в A/A-опыте

Когда это происходит, очень важно оценить платформу A/B-тестирования, так как инструмент может быть неправильно настроен или может быть неэффективным.

В качестве следующего шага вам следует:

  1. Убедитесь, что вы правильно установили код отслеживания A/B.
  2. Проверьте область вашего сайта
  3. Проверьте свою аудиторию
  4. Проверьте свои цели
  5. Свяжитесь со службой поддержки A/B-тестирования, чтобы выяснить, можно ли решить эту проблему, прежде чем отказываться от своей платформы.

Надеюсь, проблема одна из вышеперечисленных. Если вы не можете понять проблему, это, вероятно, означает, что A/A-тестирование является окончательным, а ваша платформа A/B-тестирования неточна.

Определите степень интеграции с вашей внутренней аналитикой

При проверке точности платформы A/B-тестирования вы можете использовать тест A/A, чтобы оценить, полностью ли платформа интегрирована с вашим инструментом аналитики.

Независимо от того, используете ли вы Google Analytics, Heap Analytics, Adobe Analytics, Plausible, Matomo или любой другой, вы можете сравнить результаты теста A/A с вашим внутренним аналитическим инструментом, чтобы определить, работает ли интеграция должным образом.

Например, ниже GA определила 620 посетителей на Оригинале и 592 на Варианте (страница, идентичная Оригиналу).

За тот же диапазон дат Convert показал 972 посетителя на Исходной версии и 980 на Варианте (страница, идентичная Исходной).

Это может быть признаком того, что интеграция между двумя платформами не работает должным образом.

Используйте A/A-тестирование в Convert Experiences, чтобы оценить, полностью ли интегрирована ваша платформа A/B-тестирования с вашим инструментом аналитики.
Использование A/A-тестирования для оценки того, полностью ли ваша платформа A/B-тестирования интегрирована с вашим инструментом аналитики . отчет GA
Используйте A/A-тестирование в Convert Experiences, чтобы оценить, полностью ли интегрирована ваша платформа A/B-тестирования с вашим инструментом аналитики.
Использование A/A-тестирования для оценки того, полностью ли ваша платформа A/B-тестирования интегрирована с вашим инструментом аналитики . Конвертировать отчет

Выявление возможных технических проблем

Вы также можете использовать тест A/A для выявления возможных технических проблем.

В большинстве программ A/B-тестирования используются методы, которые несколько отличаются друг от друга и могут привести к значительным различиям в зависимости от того, насколько далеко зашла программа.

Это может показаться аномалией, но также может свидетельствовать о более серьезной основной проблеме с одним из следующих:

  • Математические и статистические формулы
  • Алгоритмы рандомизации
  • Файлы cookie браузера

Вы можете использовать опыт А/А, чтобы выявить вышеупомянутые проблемы.

В приведенном ниже случае исследователи данных Wish заметили проблемы с SRM в тесте A/A. После тщательного изучения было установлено, что SRM был вызван тем, что их рандомизация не была полностью случайной.

Используйте опыт A/A, чтобы выявить проблему с вашими алгоритмами рандомизации в Convert Experiences.
Использование опыта А/А для выявления проблемы с алгоритмами рандомизации Источник

Метод рандомизации имеет решающее значение для получения надежных результатов эксперимента.

Использование рандомизированных выборок является важным допущением статистических тестов, применяемых в A/B-тестировании.

Рандомизация уравновешивает как наблюдаемые, так и ненаблюдаемые пользовательские факторы между сегментами эксперимента. Он устанавливает причинно-следственную связь между тестируемой функцией продукта и любыми изменениями в результатах испытаний.

Укажите базовый коэффициент конверсии для любой страницы или воронки

Если вы хотите улучшить какое-либо число, вы должны сначала понять, как выглядит его базовый уровень. Это может быть ваша скорость, вес или время бега.

Точно так же, прежде чем выполнять любое A/B-тестирование, вы должны сначала определить коэффициент конверсии, с которым вы будете сравнивать результаты. Это ваш базовый коэффициент конверсии .

Вы, наверное, слышали об увеличении дохода от одного опыта, но это может ввести в заблуждение. Один опыт не скажет вам, улучшилась ли конверсия вашего сайта.

Важно знать свой базовый коэффициент конверсии, потому что, если вы не можете количественно оценить прирост каждого опыта, вам нужно будет часто сравнивать общие ожидаемые и достигнутые конверсии.

Если повезет, каждый опыт, который считается «выигрышным», поможет вашим конверсиям превзойти ожидания.

И если вы будете делать это достаточно часто, ваши конверсии будут только улучшаться!

А/А-тест поможет вам в этом.

Допустим, вы проводите A/A-тестирование на одной из своих целевых страниц, при этом оригинал A и вариант B дают почти одинаковые результаты: 2,14% и 2,13%.

В результате базовый коэффициент конверсии может быть установлен на уровне 2,13-2,14%.

Имея это в виду, вы можете проводить будущие A/B-тесты с целью превзойти этот ориентир.

Результат не будет статистически значимым, если вы запустите A/B-тестирование новой версии целевой страницы и получите коэффициент конверсии 2,15%.

Статистически незначимые результаты при проведении A/B-тестирования новой версии целевой страницы в Convert Experiences.
Статистически незначимые результаты при проведении A/B-тестирования на новой версии лендинга

Найдите необходимый размер выборки

Перед запуском A/B-опыта еще раз проверьте размер выборки, как если бы вы отправлялись в путешествие.

Вы не заметите эффекта опыта, если выборок (пользователей) будет недостаточно. С другой стороны, если у вас слишком много образцов, вы рискуете замедлить прогресс вашей команды, постоянно подвергая людей негативному опыту.

В идеале вы никогда не должны начинать опыт, не определив сначала, сколько образцов вы соберете.

Чтобы понять почему, рассмотрим следующее:

Допустим, у вас есть монета, и ваша гипотеза состоит в том, что вероятность выпадения орла или решки составляет 50/50. Чтобы доказать это, вы подбрасываете его сто раз.

Но допустим, вы получили десять решек при первых десяти бросках и решили на этом прекратить эксперимент.

Отказ от нулевой гипотезы (о том, что монета честная) может показаться статистически значимым, но вы преждевременно прекратили эксперимент. Вы понятия не имеете, сколько времени должен был начаться эксперимент.

Если вы не оцените размер выборки, вы также не сможете определить, как долго вы будете проводить опыт.

Итак, как мы подходим к этому?

A/A-тестирование может помочь вам определить, какой размер выборки вам потребуется от посетителей вашего веб-сайта.

Возможно, ваши посетители в понедельник утром статистически полностью отличаются от ваших посетителей в субботу вечером. И, возможно, ваши праздничные покупатели статистически отличаются от тех, кто делает покупки в непраздничный сезон.

Ваши настольные клиенты могут статистически отличаться от ваших мобильных клиентов. И ваши клиенты, которые приходят через спонсируемую рекламу, отличаются от тех, кто приходит из уст в уста.

При просмотре результатов в таких категориях, как устройства и браузеры, вы будете поражены тенденциями, которые обнаружите при правильном размере выборки.

Конечно, если размер вашей выборки слишком мал, результаты могут быть ненадежными. Вы можете пропустить несколько порций, что может повлиять на результаты вашего опыта.

Чем выше размер выборки, тем выше вероятность включения всех сегментов, влияющих на тест.

Запустив A/A-тест, вы сможете определить, какой размер выборки обеспечивает идеальное равенство между вашими идентичными вариациями.

Используйте тест A/A в Convert Experiences, чтобы определить, какой размер выборки обеспечивает равенство между вашими идентичными вариантами.
Использование теста A/A для определения размера выборки, обеспечивающего равенство между идентичными вариациями.

Короче говоря, A/A-тестирование помогает определить подходящий размер выборки, которую затем можно использовать для будущего A/B-тестирования.

Сравните производительность ваших страниц и последовательностей

Сколько посетителей приходят на вашу домашнюю страницу, страницу корзины, страницы продуктов и другие страницы?

Вы не беспокоитесь о том, найдете ли вы победителя, когда сделаете это. Скорее, вы ищете более крупные шаблоны для определенной страницы.

Этот опыт может помочь вам ответить на такие вопросы, как:

  • Каков коэффициент конверсии макросов главной страницы?
  • Какова разбивка этого коэффициента конверсии по сегментам посетителей?
  • Какова разбивка этого коэффициента конверсии по сегментам устройств?

Опыт A/A предоставляет вам базовый уровень, с которым вы можете сравнить новый опыт A/B для любой части вашего веб-сайта.

Можно возразить, что вы можете получить ту же информацию через аналитику сайта.

Но это и правда, и неправда.

Инструмент A/B-тестирования в основном используется для объявления победителя (при отправке тестовых данных в Google Analytics или выполнении других расчетов), поэтому вам все равно нужно будет наблюдать за показателями веб-сайта во время его работы.

Настройка опыта A/A

Впечатления A/A — очень важный инструмент для оптимизации коэффициента конверсии.

Тем не менее, проблема с опытом A/A заключается в том, чтобы решить, какую страницу использовать при проведении опыта.

Убедитесь, что страница, которую вы выбираете для своей страницы опыта А/А, обладает этими двумя качествами:

  • Большой объем трафика. Чем больше людей посещает страницу, тем быстрее вы заметите соответствие между вариантами.
  • Посетители имеют возможность купить или зарегистрироваться . Вы захотите отладить свое решение для A/B-тестирования до самого финиша.

Эти требования являются причиной того, что мы часто проводим A/A-тестирование на главной странице веб-сайта.

В следующем разделе я более подробно объясню, как создать тестовую кампанию A/A, но вкратце, вот как настроить A/A-тестирование на главной странице веб-сайта:

  1. Сделайте две одинаковые версии одной и той же страницы: контрольную и вариантную. После того, как вы закончите создавать свои варианты, выберите аудитории с идентичными размерами выборки.
  2. Определите свой KPI. KPI — это показатель, который измеряет производительность с течением времени. Например, вашим KPI может быть количество посетителей, которые нажимают на призыв к действию.
  3. Разделите свою аудиторию равномерно и случайным образом с помощью инструмента тестирования, отправив одну группу в контрольную, а другую в вариантную. Запускайте эксперимент, пока и контрольный, и вариантный варианты не достигнут определенного количества посещений.
  4. Следите за KPI обеих групп. Поскольку обе группы имеют доступ к одному и тому же контенту, они должны действовать одинаково.
  5. Подключите инструмент A/B-тестирования к аналитическому программному обеспечению. Это позволит вам перепроверить, правильно ли собираются ваши данные в вашей аналитической программе.

Как интерпретировать результаты А/А-тестирования?

Мы ожидаем неубедительных результатов от опыта A/A

Хотя маловероятно, что сезонность повлияет на результаты А/А-теста, одной из целей является обнаружение неожиданных результатов. По этой причине мы рекомендуем проводить тест не менее недели, прежде чем рассматривать результат.

По истечении одной недели вы должны заметить следующее поведение при изучении результатов вашего А/А-теста:

  • Со временем ваша статистическая значимость установится вокруг заданного значения. В 10% случаев статистическая значимость установится выше 90%.
  • По мере сбора дополнительных данных доверительные интервалы для вашего эксперимента будут сокращаться, исключая ненулевые значения.
  • Оригинал и вариант могут работать по-разному в разные моменты результатов тестирования, но ни один из них не должен быть официально признан статистически значимым победителем.

Поскольку между вариациями не должно быть различий, следует ожидать лишь незначительных различий и отсутствия статистически значимых результатов. Возможно, вы увидите что-то в этом роде:

Статистически незначимые результаты при проведении A/A-тестирования в Convert Experiences.
Статистически незначимые результаты при проведении A/A-теста

Что это значит, если вы получаете неидентичные вариации?

Если существует значительная разница между двумя идентичными вариантами опыта А/А, это может означать, что ваше программное обеспечение для А/Б-тестирования было неправильно реализовано или что инструмент тестирования неэффективен .

Однако также возможно, что опыт был проведен неправильно или результаты получены из-за случайной дисперсии . Такая ошибка выборки возникает естественным образом при измерении выборки, а не при измерении всех посетителей.

Например, уровень достоверности 95% предполагает, что выигрышный результат будет получен в одном из каждых 20 случаев из-за ошибки выборки, а не значимой разницы в производительности между двумя вариантами.

Еще одна причина, по которой правильно выполненный опыт A/A может не подтверждать идентичность вариантов, заключается в неоднородности целевой аудитории .

Например, предположим, что мы запускаем опыт А/А для группы женщин с разными коэффициентами конверсии для женщин разного возраста.

Даже если мы правильно проведем тест, используя точный инструмент A/B-тестирования, он все равно может выявить значительную разницу между двумя идентичными вариантами. Почему? В этом примере 50% посетителей могут быть в возрасте от 20 до 90 лет, а остальные 50% могут находиться в диапазоне от 20 до 50 лет. Очень разные.

Наконец, еще одна распространенная ошибка при проведении любого теста, включая A/A-тест, заключается в том, чтобы постоянно проверять результаты и преждевременно завершать тест после обнаружения статистической значимости.

Эта практика слишком быстрого объявления выигрышного варианта называется «просмотром данных» и может привести к неверным результатам.

Просмотр данных в тесте A/A может привести к тому, что аналитики увидят рост в одном варианте, хотя на самом деле они идентичны.

Чтобы избежать этого, вам следует заранее определиться с размером выборки, которую вы хотите использовать. Примите это решение на основе:

  • Минимальный размер эффекта: минимальный рост, ниже которого эффект не имеет смысла для вашей организации.
  • Сила
  • Уровни значимости, которые вы считаете приемлемыми

Таким образом, цель A/A-теста состоит в том, чтобы избежать получения статистически значимого результата после достижения размера выборки.

Каковы проблемы A/A-тестирования?

Помимо множества преимуществ, которые может принести А/А-тестирование для вашей стратегии экспериментов, есть еще два основных недостатка А/А-тестирования:

  1. Экспериментальная установка А/А содержит элемент непредсказуемости.
  2. Необходим большой объем выборки.

Давайте рассмотрим каждую из этих задач отдельно.

Случайность

Как указывалось ранее, одной из основных причин проведения А/А-тестирования является оценка точности инструмента тестирования.

Но, допустим, вы обнаружите разницу между контрольной и вариантной конверсиями.

Проблема с A/A-тестированием заключается в том, что всегда присутствует элемент случайности.

В других обстоятельствах статистическая значимость достигается исключительно случайно. Это означает, что разница в коэффициентах конверсии между двумя вариантами скорее вероятностная, чем абсолютная.

Большой размер выборки

При сравнении похожих вариаций требуется большой размер выборки, чтобы определить, предпочтительнее ли одна из них по сравнению с ее идентичным аналогом.

Это требует большого количества времени.

Запуск A/A-тестов может занять «реальное» время тестирования.

Хитрость крупномасштабной программы оптимизации заключается в том, чтобы уменьшить соотношение стоимости ресурсов и возможностей, чтобы обеспечить скорость тестирования и то, что вы узнаете, путем полного исключения потерь, глупости и неэффективности процесса.

Проведение экспериментов на вашем сайте немного похоже на работу загруженной авиакомпании в крупном международном аэропорту: у вас ограниченное время для взлета, и вам нужно убедиться, что вы используете его эффективно.

Крейг Салливан для CXL

Преобразование опыта и A/A-тестирование

A/A-тестирование часто встречается в более «продвинутых» запросах на поддержку.

Следующие предложения от агентов службы поддержки Convert основаны на десятках разрешенных случаев:

  1. Чтобы протестировать свою платформу A/B-тестирования, сначала проведите A/A-тестирование. Если разница между ними статистически значима на выбранном уровне, ваша платформа может выйти из строя.
  2. Выполните тест A/A/B или A/A/B/B (подробнее об этом ниже) и отбросьте результаты, если два варианта A или два варианта B приводят к статистически значимым различиям на выбранном уровне.
  3. Настройте множество A/A-тестов. Если больше тестов, чем ожидалось, показывает статистически значимые различия, ваша платформа не работает.

Как настроить A/A-тестирование в Convert Experience?

Теперь давайте посмотрим, как настроить несколько разных типов A/A-тестов (да, во множественном числе) с помощью Convert Experiences.

Чистый опыт А/А

Наиболее типичная настройка A/A — это разделение 50/50 между двумя идентичными страницами.

Цель состоит в том, чтобы проверить конфигурацию опыта, убедившись, что каждый вариант имеет примерно одинаковую производительность.

Вы проверяете то же самое на себя, чтобы обнаружить, содержат ли данные шум, а не полезную информацию.

Чтобы настроить этот простой интерфейс A/A, щелкните меню «Впечатления». Затем нажмите кнопку «Новый опыт» в правом верхнем углу.

Настройте простой A/A-тест с помощью Convert Experiences.
Настройте простой A/A-тест

Заполните детали «Мастера создания опыта» и выберите тип опыта «A/A Experience».

Настройте простой A/A-тест с помощью Convert Experiences.
Настройте простой A/A-тест

Теперь ваш опыт А/А должен быть создан. Он будет идентичен другим типам экспериментов на платформе, за исключением отсутствия опции «Редактировать варианты».

Активируйте опыт, изменив его статус:

Активируйте опыт A/A в Convert Experiences
Активировать опыт A/A

Откалиброванный опыт A/A/B или A/A/B/B

Идея этого калиброванного теста A/A/B или A/A/B/B заключается в том, что повторяющиеся варианты A или B обеспечивают меру точности теста A/B.

Если разница между А и А или В и В статистически значима, тест считается недействительным, а результаты отбрасываются.

Чтобы настроить такой тест, вам нужно будет запустить опыт A/B, а не A/A.

Нажмите кнопку «Новый опыт» в правой части экрана, чтобы начать создание нового опыта.

Настройте опыт A/B в Convert Experiences
Настройка A/B-опыта

Как только вы нажмете эту кнопку, вы увидите это всплывающее меню. Выберите вариант А/В:

Настройте опыт A/B в Convert Experiences
Настройка A/B-опыта

Затем введите свой URL-адрес во втором поле.

Настройте опыт A/B в Convert Experiences
Настройка A/B-опыта

Вы попадете в визуальный редактор, в котором отображается выбранный вами URL-адрес и панель инструментов вверху:

Используйте визуальный редактор при настройке интерфейса A/B в Convert Experiences.
Использование визуального редактора при настройке A/B-опыта

В разделе «Варианты страницы» в левом верхнем углу вы заметите, что «Вариант 1» выбран по умолчанию.

Это означает, что любые изменения, которые мы вносим в эту версию URL-адреса, не повлияют на исходный URL-адрес.

Это приведет к классическому тесту A/B, в котором версия «A» — это исходная страница, а версия «B» — вариант 1.

Для A/A/B или A/A/B/B вам потребуется добавить еще один вариант A и еще один вариант B, идентичные варианту A и варианту B соответственно.

Это должно выглядеть так:

Настройте опыт A/A/B или A/A/B/B в Convert Experiences
Настройка взаимодействия A/A/B или A/A/B/B

Нажмите кнопку «Сохранить и продолжить», и все готово!

Проведите множество экспериментов A/A

Мы уже рассмотрели это, но если вы проводите 1000 последовательных A/A-тестов с большой аудиторией, выполняете все требования и достигаете статистически значимых результатов гораздо чаще, чем предполагалось, возможно, ваша структура A/B-тестирования нарушена.

Возможно, образцы не рандомизированы должным образом. Или, может быть, эти два варианта не исключают друг друга.

Вот как это может выглядеть:

Проблемы с вашей платформой A/B-тестирования в Convert Experiences
Могут возникнуть проблемы с инфраструктурой A/B-тестирования.

Могу ли я запустить опыт A/A одновременно с опытом A/B?

Есть вероятность, что вам нужно будет провести тест A/A одновременно с тестом A/B на том же веб-сайте.

В этом случае есть несколько возможностей:

  1. Вам не придется беспокоиться о том, что тесты будут конфликтовать друг с другом, если вы запустите их одновременно.
  2. Вы можете проводить эксперименты одновременно, но с разными аудиториями.
  3. Вы можете выполнять тесты в правильном порядке (выполните тест 1 (тест A/A), прежде чем переходить к тесту 2 (тест A/B)).

Вариант 3 самый безопасный, но он резко ограничивает ваши возможности.

Вполне возможно запускать несколько интерфейсов на одной и той же странице или наборе страниц одновременно.

Но имейте в виду, что группирование в одном эксперименте может повлиять на данные другого, одновременно проводящегося эксперимента.

Вот два наиболее важных метода преобразования, которые следует использовать при выполнении параллельных тестов:

  1. Выделите 50 % трафика на A/A-тестирование, а остальные 50% – на другие запущенные A/B-опыты.
  2. Исключите посетителей A/A из других тестов A/B.

Предтестовый процесс обеспечения качества: интересная альтернатива A/A-тестированию

При принятии решения о проведении А/А-тестирования ответы будут различаться в зависимости от того, кого вы спросите. Нет никаких сомнений в том, что A/A-тестирование является спорным вопросом.

Один из наиболее распространенных аргументов против A/A-тестирования заключается в том, что оно занимает слишком много времени.

A/A-тестирование требует значительного количества времени и часто требует значительно большего размера выборки, чем A/B-тестирование.

При сравнении двух идентичных версий веб-сайта требуется большой размер выборки, чтобы продемонстрировать значительную погрешность.

В результате выполнение теста займет больше времени, что может сократить время, затрачиваемое на другие важные тесты.

В таких случаях, когда у вас мало времени или большой трафик, лучше рассмотреть возможность проведения предварительного тестирования процесса контроля качества.

В этой статье блога мы проведем вас через все шаги, которые вам необходимо выполнить, чтобы выполнить полный процесс контроля качества. Методы, которые вы используете, зависят от вас и от того, сколько времени у вас есть.

Проведите процесс контроля качества в Convert Experiences
Проведение процесса обеспечения качества . Контроль качества: предварительный просмотр в реальном времени
Проведите процесс контроля качества в Convert Experiences
Проведение процесса обеспечения качества . QA: Принудительное изменение
Проведите процесс контроля качества в Convert Experiences
Проведение процесса обеспечения качества . Контроль качества: живые журналы

Может ли SRM существовать в тестах A/A?

Спросите себя: близко ли фактическое количество пользователей, наблюдаемых во время вашего А/А-теста, к соотношению 50/50 (или 90/10, или любому другому соотношению), если вы разделите их пополам?

Если нет, вы столкнулись с одной из двух проблем: либо есть проблема с тем, как вы вызываете тестовую инфраструктуру из своего кода (что делает его «дырявым» с одной стороны), либо есть проблема с тестовой инфраструктурой. механизм назначения.

Ошибка несоответствия отношения выборки (ошибка SRM) — это дефект, который может обнаружить тест A/A.

Если ваше соотношение выходит примерно 65/35, вам следует изучить проблему, прежде чем запускать еще одно A/B-тестирование с использованием той же стратегии таргетинга.

Ошибка SRM в тесте A/A в Convert Experiences
Ошибка SRM в тесте A/A

Перевешивают ли преимущества A/A-тестирования недостатки?

Хотя A/A-тестирование не следует проводить ежемесячно, стоит проверять свои данные при настройке нового инструмента A/B.

Если вы обнаружите ошибочные данные сейчас, вы будете более уверены в результатах своих A/B-тестов позже.

Хотя решение, в конечном счете, остается за вами, настоятельно рекомендуется проводить A/A-тесты, если вы начинаете работу с новым инструментом. Если нет, мы рекомендуем вам установить строгую процедуру контроля качества перед тестированием, поскольку A/B-тестирование сэкономит вам время, деньги и трафик.

Мы надеемся, что приведенные выше скриншоты ответили на ваши вопросы, но если нет, подпишитесь на демонстрацию, чтобы убедиться, насколько легко настроить A/A-тест с помощью Convert Experiences.