Как уменьшить размер выборки для получения точных результатов A/B-тестирования

Вы часами разрабатывали стратегию своего теста.

Ваша команда выдвигает гипотезу.

Вы запускаете тест и ждете результатов.

Но вы обнаружите, что ваш тест провален. Результаты были испорчены. Но как?

Не корите себя. В мире тестирования есть маленький грязный секрет, который называется загрязнением размера выборки .

Загрязнение вашей выборочной аудитории может по незнанию привести к тому, что тесты будут обречены еще до их начала.

Существует длинный список возможных причин, по которым тесты не проходят, но одной из самых неприятных является загрязнение выборки.

Эта статья поможет вам понять:

• Почему происходит загрязнение размера выборки.
• Как узнать, загрязнен ли ваш тест.
• Шаги, которые необходимо предпринять, чтобы свести к минимуму загрязнение размером выборки.

Давайте посмотрим…

Размер выборки 101

Определение размера выборки

Вы можете использовать такие инструменты, как калькулятор длительности A/B-тестирования Convert, который предлагает калькулятор размера выборки или калькулятор размера выборки CXL.

Большинство онлайн-калькуляторов просты в использовании. С калькулятором Convert вам нужно всего лишь ввести три значения:

• Существующий коэффициент конверсии
• Ожидаемое улучшение
• Уровень достоверности

Пример:

Если существующий коэффициент конверсии составляет 3 %, а ожидаемое улучшение составляет 20 % при тестировании двух вариантов с доверительной вероятностью 95 %, вам потребуется размер выборки 42 034, чтобы получить достоверные результаты. Согласно нашему калькулятору длительности, при 2000 посетителей в день эта тестовая группа заняла бы 22 дня.

Определите, кто будет в вашей выборке

Самый простой способ ответить на этот вопрос «КТО?» или сегмент, просмотрев демографические данные и источники ваших текущих посетителей веб-сайта. Нажмите на существующие данные для подсказок. Кто они? Откуда они?

Такие инструменты, как Convert Experiments, фактически позволяют вам тестировать определенный сегмент посетителей вашего сайта и создавать индивидуальную аудиторию.

Несколько факторов могут помочь вам раскрыть «кто»:

• Тип трафика
  Есть ли у вас сезонный трафик? Ожидаете ли вы наплыв посетителей в связи с приближающимися праздниками? Ваши показатели трафика колеблются в зависимости от дня недели?
  
• Источник трафика
  Откуда приходит ваш трафик? Люди ведут себя по-разному в зависимости от источника, из которого они заходят на ваш сайт. Например, посетитель из LinkedIn может не взаимодействовать с вашим сайтом так же, как посетитель из Facebook.
  
  Изучите Google Analytics, чтобы получить обзор вовлеченности посетителей на основе источника.

• Новое против старого
  Статистика показывает, что вернувшиеся посетители остаются на вашем сайте дольше, чем новые посетители. Подумайте, как это повлияет на ваш тест.

Цель этого этапа рассмотрения — помочь вам создать репрезентативные выборки .

Энциклопедия методов исследования исследований определяет репрезентативные выборки как:

Репрезентативная выборка — это та, которая имеет сильную внешнюю валидность по отношению к целевой совокупности, которую эта выборка должна представлять. Таким образом, результаты опроса можно с уверенностью обобщить на интересующую нас популяцию.

Чтобы убедиться, что у вас репрезентативная выборка, Convert предлагает провести тест как минимум для одного бизнес-цикла. Это гарантирует, что у вашего теста есть время для учета дисперсии посетителей, которая может произойти в течение цикла.

Что такое загрязнение размера выборки?

Теперь, когда вы понимаете, что такое размер выборки, вы можете исследовать факторы, которые могут исказить размер вашей выборки и испортить ваш тест. Вот как размер выборки влияет на достоверность. Факторы размера выборки, которые негативно влияют на результаты теста, известны как загрязнение размера выборки.

Invesccro определяет загрязнение образцов как:

«…факторы, которые делают ваши данные A/B-тестирования недействительными, влияя на образцы или данные, используемые при проведении вашего теста».

Эта проблема встречается чаще. Посмотрите на эту жалобу:

Предвзятая выборка

В большинстве случаев вам нужна случайная выборка, что означает, что каждый посетитель вашего веб-сайта имеет одинаковые шансы увидеть конкретный вариант, прежде чем они будут разделены на группы. После помещения в корзину пользователь будет видеть один и тот же вариант на протяжении всего теста.

Однако если вы используете инструмент A/B-тестирования, который плохо выполняет рандомизацию, рандомизация не гарантируется и может сделать тест недействительным.

Простой способ борьбы с предвзятой выборкой — использовать хороший инструмент A/B-тестирования, такой как Convert, который правильно выполняет рандомизацию и группировку. Начните тестирование с A/A-теста, чтобы проверить, правильно ли работает рандомизация.

Вы хотите знать о потенциальной систематической ошибке выборки, когда рассматриваете детали своего теста.

Источники, вызывающие загрязнение размера выборки

Существует четыре распространенных типа загрязнения образцов: время, устройство, браузер и файлы cookie.

Давайте рассмотрим каждый из них…

Сроки

Продолжительность теста влияет на достоверность результатов. Поэтому неудивительно, что «как долго я должен проводить A/B-тестирование» — это распространенный вопрос.

CRO-профессионалы имеют противоречивые представления о приемлемом эталоне. Фактически, ваши тестовые переменные должны определять правильную длину вашего теста.

Может показаться, что простым решением будет просто позволить вашему тесту запускаться, запускаться и запускаться. Но это тоже может вызвать проблемы. Добавленное время означает увеличение потенциального загрязнения от внешних факторов.

Вы хотите найти золотую середину.

Еще одна распространенная ошибка, связанная с длительностью тестирования, — слишком ранняя остановка теста. Это может не привести к загрязнению размера выборки, но может негативно повлиять на ваш тест.

То же самое верно, если вы остановите тест, когда достигнете статистической значимости. Для действительного теста он также должен соответствовать расчетному размеру выборки для желаемого MDE (минимальный обнаруживаемый эффект).

Точно так же никогда не останавливайте вариант запущенного теста. Это приведет к катастрофическому загрязнению . Вы не сможете сравнить «остановленный» вариант с «постоянно работающим» контролем. У вас не было бы возможности сравнивать «яблоки с яблоками». Никогда не останавливайтесь и не перезапускайте вариант в тесте.

Не прерывайте свои тесты, пока данные не будут соответствовать размеру выборки.

Загрязнение файлов cookie

Файлы cookie могут вызвать наиболее коварную форму загрязнения размера выборки.

Согласно определению techopedia, файлы cookie:

Файл cookie — это текстовый файл, который веб-браузер сохраняет на компьютере пользователя. Файлы cookie — это способ для веб-приложений поддерживать состояние приложения. Они используются веб-сайтами для аутентификации, хранения информации/предпочтений веб-сайта, другой информации о просмотре и всего остального, что может помочь веб-браузеру при доступе к веб-серверам. Файлы cookie HTTP известны под разными именами, включая файлы cookie браузера, веб-файлы cookie или файлы cookie HTTP.

Как маркетологам, файлы cookie позволяют отслеживать поведение посетителей на вашем сайте.

Срок жизни файлов cookie нестабилен. Посетители могут удалить их по своему малейшему желанию.

Чем дольше выполняется ваш тест, тем более вы уязвимы для удаления файлов cookie, что опять же приводит к еще одной форме загрязнения размера выборки. Чтобы смягчить это явление, Convert советует клиентам запускать тесты не более чем на 90 дней.

Загрязнение устройства

Посетители посещают ваш сайт с разных устройств: мобильных устройств, ноутбуков, планшетов, компьютеров и даже смарт-часов.

Просто подумайте о своем поведении в Интернете. Вы можете заметить что-то на своем мобильном устройстве, находясь в спортзалах. Позже в тот же день вы можете повторно посетить веб-сайт на своем настольном компьютере.

Если это происходит в рамках вашего A/B-теста, может показаться, что ваш сайт посетили два разных человека, хотя на самом деле это один и тот же человек просматривает сайт с двух разных устройств.

Еще более опасным для ваших усилий по тестированию является то, что один и тот же человек может увидеть разные варианты на каждом устройстве.

Есть и обратный пример. Что происходит, когда два человека используют одно и то же устройство для посещения вашего сайта?

Представьте, что два брата живут в одном доме. Они делят настольный компьютер. Оба готовятся к отпуску и должны заказать новые футболки и обувь. Если во время их посещения на сайте электронной коммерции выполняется A/B-тестирование, данные будут показывать этих двух людей как одного пользователя, что опять-таки искажает размер вашей выборки.

Загрязнение браузера

Когда средний человек подключается к сети, он не учитывает разветвления, связанные с использованием разных браузеров для посещения одного и того же веб-сайта в ходе A/B-тестирования. Но переход на один и тот же веб-сайт из одного браузера в другой, например, в Safari, а затем в Chrome, может привести к тому же загрязнению размера выборки, что и при использовании нескольких устройств.

Однако эта конкретная форма загрязнения встречается редко, так как большинство людей будут придерживаться одного предпочтительного браузера на каждом устройстве.

Новые опасности

Браузеры, тип устройства, файлы cookie и продолжительность тестов являются наиболее распространенными загрязнителями размера выборки, но похоже, что в разговор вступает новый загрязнитель. Профессионалы отрасли жалуются на то, что боты создают загрязнение из-за размера выборки.

К счастью, в Convert у нас есть надежные меры по предотвращению ботов, встроенные в наш инструмент, так что это не будет проблемой.

Советы о том, как уменьшить загрязнение размера выборки

Поскольку загрязнение размера выборки является серьезной проблемой, многие компании придумали творческие решения, например, помещая пользователей в разные корзины в зависимости от местоположения.

Но такая тактика может лишить тесты «случайности пользователя» и снизить вашу уверенность в достоверности результатов теста.

Ниже приведены несколько вещей, которые вы можете сделать, чтобы уменьшить вероятность загрязнения образца:

• Запустите тест для отдельных устройств.
• Запустите тест для разных браузеров.
• Определите шаблоны. Как ваши данные выглядели в прошлом? При тестировании должно быть аналогично — согласованность данных.

Вот еще несколько вещей, которые следует учитывать…

Понимание дисперсии

Дисперсия и стандартное отклонение идут рука об руку с согласованностью. По сути, они скажут вам, насколько далеки ваши цифры от среднего. Низкая дисперсия означает, что ваши данные соответствуют среднему значению, что снижает риск загрязнения.

Вы можете сделать математику вручную или просто использовать простой калькулятор стандартного отклонения.

Помните о потенциальных проблемах с выборкой

С A/B-тестированием связаны проблемы, в том числе возможность загрязнения размера выборки.

Знание потенциальных проблем с размером выборки позволит вам сделать лучший выбор при выборе целей тестирования, создании методов лечения и проведении экспериментов.

Теперь вы можете победить загрязнение образцов

Хорошая практика тестирования означает, что вы начинаете свои проекты с полным пониманием того, что может пойти не так.

Загрязнение размера выборки — это негативный побочный продукт, который возникает при проведении A/B-тестов. Ваша задача состоит в том, чтобы максимально уменьшить эти негативные эффекты, чтобы вы могли успешно пройти тест.

Помните, что смягчение последствий происходит до начала вашего теста.

Используйте надежный инструмент, такой как Convert, который дает вам возможность сегментировать тесты, бороться с надоедливыми ботами, использовать хорошие методы рандомизации, и все это внутри простой платформы, поддерживающей сложное тестирование.

Ваша стратегия экспериментирования и мощность вашего программного обеспечения будут иметь значение в том, насколько хорошо вы сведете к минимуму загрязнение размера выборки.

Теперь, когда вы знаете об этом потенциальном слепом пятне в своем тестировании, оно не сможет вас подкрасть.