Руководство для предпринимателей по A/B-тестированию в магазинах Shopify (+ 9 предпринимателей Shopify делятся своими историями A/B-тестирования с результатами)

Итак, вы слышали об A/B-тестировании из уст в уста.

Возможно, ваш конкурент случайно упомянул об этом в подкасте, или ваша маркетинговая команда считает, что это отличная идея. Или агентство по развитию, с которым вы ведете переговоры, хочет провести A/B-тестирование.

Развивать бизнес непросто. Ты знаешь что. Зайдя так далеко, должно быть, было несколько случаев, когда вы изо всех сил пытались понять, является ли бизнес-решение правильным.

Было бы неплохо, если бы вместо того, чтобы делать ставку на то, что, по вашему мнению, захочет ваша аудитория, у вас был бы способ узнать наверняка?

Вот что делает A/B-тестирование.

Конечно, преимущества A/B-тестирования выходят за рамки принятия решений, основанных на данных, но по своей сути это секретный соус для раскрытия роста в масштабе.

Итак, пытаетесь ли вы сделать все своими руками или передать свои потребности на аутсорсинг, вот все, что предприниматель Shopify, как и вы, должен знать об A / B-тестировании.

Что такое A/B-тестирование электронной коммерции?

A/B-тестирование — это процесс, с помощью которого вы можете понять, что ищет ваша аудитория, прежде чем они станут вашими клиентами.

Обычно A/B-тесты представляют собой незначительные изменения, такие как изменение цвета кнопки призыва к действию (CTA) или добавление нового заголовка, но на самом деле все гораздо глубже.

Это позволяет вам определить, какой текст, дизайн и функциональность (UX) находят отклик у ваших посетителей, помещая одну версию вашей страницы или элемента на страницу с вариацией, чтобы увидеть, что работает.

И мы только начинаем!

Вы можете взять концепцию A/B-тестирования и применить ее к каждому каналу, который вы используете, и к каждому взаимодействию с вашей аудиторией.

Но важно понимать, что A/B-тестирование электронной коммерции отличается от других вертикалей, таких как B2B SaaS.

1. Время получения дохода меньше
   
   A/B-тестирование может выявить влияние на доход гораздо быстрее, чем традиционное B2B. В B2B сделки являются многопоточными, в них участвуют несколько лиц, принимающих решения, поэтому циклы продаж занимают месяцы, если не кварталы.
   
   Хотя в идеале вы должны использовать A/B-тестирование для исследований и снижения рисков, а не только для увеличения доходов, жизненная сила любого бизнеса — это доход, поэтому есть веская причина включить A/B-тестирование в структуру роста.
2. Процессы оформления заказа сложны (поэтому больше возможностей для тестирования)
   
   Хотя воронки покупок в электронной коммерции не такие сложные, как B2B, процесс оформления заказа не является одномерным.
   
   Рубен Де Бур, автор книги «Психология покупок », объясняет, что платить буквально больно. В исследовании 2007 года, посвященном тому, как люди взвешивают факторы при принятии решения о покупке, участникам показывали изображения продуктов, а затем цену. Их мозг проанализировали с помощью аппаратов фМРТ, чтобы увидеть, какие нервные пути загорятся.
   
   Как и ожидалось, просмотр изображений продуктов активировал центр вознаграждения в их мозгу.
   
   Но цена? Часть мозга, связанная с физической и социальной болью, вспыхнула, как рождественская елка, помогая исследователям прийти к выводу, что компромисс между выгодой и болью должен иметь смысл для потребителей, чтобы открыть свои кошельки.
   
   Это не означает, что вы должны снижать цены, потому что цена также сигнализирует о качестве продукта. Вы можете попробовать меньший шрифт, предложить предоплату, показать скидки более крупным шрифтом или не использовать в своем тексте денежный язык.
   
   Таким образом, снижение болезненности покупки означает, что вы должны понимать смесь человеческих мотивов, желаний и разочарований, что невозможно без A/B-тестирования. Вы можете протестировать обмен сообщениями, элементы пользовательского интерфейса или пересмотреть процесс оформления заказа — и все это в режиме реального времени.

   В некоторых случаях вы не сможете вносить радикальные изменения в корзину и процесс оформления заказа из-за ограничений, которые накладывает ваша платформа электронной коммерции, но это не повод отказываться от амбициозных тестов. Вы всегда можете протестировать небольшие изменения, которые дадут вам представление о том, какие потенциальные изменения могут иметь более крупные изменения.

   Джонни Лонгден, директор по конверсии в Journey Further, рекомендует задать себе один вопрос:
   
   Что самое маленькое/самое простое, что мы можем протестировать, чтобы доказать это и узнать об этом?
   
   Не попадайтесь в ловушку «будем тестировать только небольшие изменения» или, если вы внесли более крупные изменения, «деньги уже потрачены, поэтому мы не будем их тестировать».
3. Обзорный анализ можно превратить в науку
   
   Исследование конверсий, основанное на качественных данных, является основным в любом виде A/B-тестирования, но в электронной коммерции качественные данные, такие как анализ отзывов, можно превратить в науку, которая поможет вам понять:
   
   
   • УТП продукта для выделения
   • Преимущества, которые вы можете протестировать в своей копии
   • Как клиенты воспринимают конкурентов
   • Скопируйте ракурсы для историй о продуктах
   • Болевые точки, на которые вы обращались
   • Неустраненные болевые точки, которые вызывают отказ от корзины Лоренцо Каррери, CRO и консультант по экспериментам, рекомендует мыслить как детектив. Точно так же, как детектив должен раскрыть историю преступления, вы можете использовать обзоры, чтобы раскрыть множество историй.
     

     Люди уже приняли решение о покупке, и теперь, когда мы не беспокоим их экзитполом или виджетом, они фактически органично делятся своим опытом.

     На самом деле импульсный анализ Каррери для разных отраслей показывает общую тему: люди не склонны делиться своими мыслями о своем личном опыте. Поэтому неважно, какой вопрос вы задаете или как вы его задаете.
     
     Но при анализе отзывов, особенно на Amazon, люди, как правило, делятся своими мыслями. Чем больше информации вы соберете, тем более значимыми станут ваши данные, что поможет вам сформулировать лучшую гипотезу для проверки.
4. Нет недостатка в трафике для электронной коммерции
   
   Серьезным препятствием для A/B-тестирования является недостаточное количество трафика, что означает, что результаты могут быть необъективными.
   
   Но это не проблема для интернет-магазинов. Семизначный магазин Shopify легко получает сотни тысяч посетителей, но B2B-компания серии D, вероятно, получит 1/4 этого трафика.

Почему предприниматели Shopify (серьезно) должны рассмотреть возможность A / B-тестирования?

Электронная коммерция созрела для A/B-тестирования. Возможность быстро увидеть результаты с большим пулом посетителей и большим пространством для экспериментов является достаточной причиной для внедрения культуры A/B-тестирования.

Но, возможно, вы еще не там. Увеличение вашего трафика прямо сейчас дает увеличение дохода.

Вопрос в том, как долго вы сможете это поддерживать?

Больше трафика ≠ больше дохода. Этот путь требует, чтобы вы тратили больше на рекламу, одновременно получая прибыль за счет скидок.

И когда вы посмотрите на таких гигантов электронной коммерции, как Amazon, eBay или Etsy, вы заметите, что A/B-тестирование встроено в их ДНК. Это та самая причина, по которой они процветают. Не говоря уже о том, что это общая черта, которую разделяют все успешные магазины Shopify.

Легко понять, почему A/B-тестирование стимулирует рост. Посмотрите, насколько детализированы тесты, которые проводит Amazon:

Но когда дело доходит до этого, A/B-тестирование — это не просто способ оставаться конкурентоспособным — это хорошее бизнес-решение.

Почему? Потому что ваши текущие стратегии, вероятно, не работают в вашу пользу.

1. Ваш ROAS резко падает благодаря iOS 14
   Вы, вероятно, тратите больше денег, чем раньше, пытаясь привлечь внимание к своему продукту, но мир после ATT испортил то, как работают конверсии на основе пикселей. А ретаргетинг и похожая аудитория? Они уже не так эффективны. На случай, если вы получите какие-то конверсии, будьте готовы иметь дело с расхождениями между Менеджером рекламы и серверной частью Shopify.

2. Ваши открытые ставки перекошены
   Номера электронной почты больше не соответствуют действительности. Защита конфиденциальности почты (MPP) позаботилась об этом. И ваши списки на основе взаимодействия могут иметь сомнительный таргетинг и более низкие конверсии.

3. В вашем уравнении отсутствует удержание
   Погоня за холодным трафиком — плохой деловой ход. 40% вашего дохода поступает от постоянных клиентов. Трафик привлекает покупателей в вашу воронку, но удержание увеличивает пожизненную ценность (LTV) этих покупателей.

4. Ваша маркетинговая атрибуция отстой
   Инструменты не могут предоставить вам какие-либо полезные данные, а ваша команда не может связать доход с конкретными изменениями. Вы не можете нажимать на все кнопки в надежде увидеть рост. Вам нужно получить конкретную информацию, иначе о построении восьмизначного бизнеса не может быть и речи.

A/B-тестирование переворачивает старый учебник с ног на голову и дает вам возможность использовать научно обоснованный подход, который является воспроизводимым, надежным и прибыльным.

Вот почему OLIPOP, компания-производитель газированных напитков DTC, поддерживает A/B-тестирование:

A/B-тестирование улучшает взаимодействие с контентом, снижает показатель отказов, повышает коэффициент конверсии и сводит к минимуму риски, при этом предоставляя данные, которые легко анализировать. Запустив A/B-тест, вы сможете выяснить, какой контент находит отклик у вашей целевой аудитории. Затем вы можете использовать эти данные, чтобы повлиять на свою маркетинговую стратегию. Эти тесты также помогут вам определить нерелевантные данные и области, в которых ваши пользователи испытывают трудности на вашем веб-сайте, тем самым снизив показатель отказов после внесения необходимых изменений.

Как только вы сможете определить вариант, который улучшит качество обслуживания клиентов, вы увидите увеличение времени, которое пользователи проводят на вашем сайте, что приведет к более высокому коэффициенту конверсии. Наконец, A/B-тестирование сводит к минимуму риск, поскольку вы принимаете решения на основе точных данных, а не обоснованных предположений. Это позволяет вам вносить минимальные изменения, не ставя под угрозу весь ваш сайт. Ваша рентабельность инвестиций увеличится с помощью A/B-тестирования .

Стивен Виджиланте, руководитель отдела развития нового бизнеса OLIPOP

Легко вносите небольшие (или большие) изменения

Оптимизация, наука об улучшении вещей, легко выполняется с помощью A/B-тестирования. Вы можете внести изменения, чтобы найти версию, которая создает лучший опыт покупки и конвертирует часть вашего трафика PPC.

Снизить цену ошибки

Цена ошибки иногда слишком велика и, что неудивительно, сдерживает инновации. Но с A/B-тестированием вы можете проверить свои идеи в контролируемой среде без необходимости что-либо создавать или реализовывать.

Загляните в будущее

Ничто не может гарантировать успех. Не ваша интуиция, предложения агентств или даже серьезное исследование конкурентов. Но если вы хотите принимать решения на основе данных, A/B-тестирование — ваш друг. Лучшие версии в тесте не выбираются на основе статистической достоверности, что позволяет вам получить представление о вашем потенциальном доходе.

Оставьте мало места для неправильного толкования

A/B-тестирование позволяет вам по-настоящему слушать свою аудиторию, собирая данные об изменениях коэффициента конверсии, отказов от корзины, средней стоимости заказа (AOV), дохода и прибыли.
Вместо того, чтобы угадывать последствия ваших изменений, результаты прозрачны и почти не оставляют места для неверного толкования.

Проблемы с A/B-тестированием на Shopify (+ решения)

Пока вы думаете о том, чтобы сделать A/B-тестирование центральным элементом своей стратегии, важно решить потенциальные проблемы, с которыми вы можете столкнуться при проведении A/B-тестирования на Shopify.

Проблема № 1: Shopify Anti-Clickjacking может помешать вашему мобильному QA

Clickjacking обманом заставляет пользователей нажимать на действенный контент на сайте-приманке. Чтобы этого не произошло, Shopify использует технологию защиты от кликджекинга. Но это мешает инструментам A/B-тестирования работать оптимально.

Проблема № 2: Тестирование не проблема, но реализация

Реализация результатов теста — это не то, что может сделать приложение или плагин — для этого требуется настройка. Даже если вы найдете плагины, которые работают на вас, слишком многие из них могут замедлить работу вашего сайта, что фактически сведет на нет потенциальную выгоду.

Проблема № 3: у вас есть стандартный магазин Shopify, ограничивающий то, что вы можете протестировать

Стандартные магазины Shopify не могут получить доступ к большинству функций Shopify Plus, что означает, что вы не можете запускать тесты, такие как раздельное тестирование тем. Тесты меньшей сложности оказывают меньшее влияние на ваш доход.

Краткое руководство по основам A/B-тестирования

Теперь, когда вы разобрались с A/B-тестированием, пришло время заняться мельчайшими подробностями.

Сделайте паузу на мгновение и ответьте «да» или «нет» на эти вопросы, прежде чем прокрутить вниз, чтобы увидеть ответ.

• A/B-тестирование — это то же самое, что и сплит-тестирование.
• A/B-тестирование и многовариантное тестирование — разные вещи
• Вы можете вносить только незначительные изменения с помощью A/B-тестирования.
• Вам не нужно изучать статистику, чтобы проводить A/B-тесты
• Вы не можете запускать A/B-тесты на других каналах.
• Вы должны прекратить A/B-тесты, как только увидите результаты

Сравнение A/B-тестирования и сплит-тестирования

С помощью A/B-тестирования вы можете протестировать один или несколько элементов на странице. По сути, вы создаете аналогичную версию исходной страницы, чтобы увидеть влияние на коэффициент конверсии.

Тестирование сплит-URL отличается от A/B-тестирования. Трафик делится пополам и отправляется на две совершенно разные версии, чтобы увидеть, какая веб-страница поможет вам достичь ваших конкретных целей.

Когда проводить сплит-тесты против A/B-тестов: тестирование темы

Отличным примером выбора сплит-тестирования вместо A/B-тестирования является тестирование тем Shopify. Ваша тема может повлиять на CX и, в конечном итоге, на доход, поэтому очень важно протестировать ее с помощью такого инструмента, как опция разделения URL Convert.

Convert использует Frequentist Inference, чтобы понять, какая тема лучше другой. Мы рекомендуем проводить такой тест в течение как минимум двух недель, если на ваш сайт не поступает необычно высокий трафик.

PS Вы можете тестировать темы, только если вы являетесь пользователем Shopify Plus.

Сравнение A/B-тестирования и многовариантного тестирования

В тестах A/B вы сравниваете почти идентичные страницы с оригиналом.

Вместо изменения одного элемента за раз, как в тестах A/B, многовариантное тестирование — это процесс, в котором вы тестируете несколько изменений в одном тесте. Цель многовариантного тестирования — выяснить, какая комбинация изменений дает лучшие результаты.

Примеры A/B-тестов для магазинов Shopify

Спросите в Интернете, что вам нужно A/B-тестировать, и вам часто скажут попробовать другой CTA или цвет кнопки или изменить заголовок.

Не то чтобы это было неважно, но мир — это ваша игровая площадка, и вы играете только в своей маленькой песочнице, если ограничиваете себя. Нестандартное мышление имеет решающее значение для духа экспериментирования.

Мы связались с 8 предпринимателями Shopify и спросили их:

Какие A/B-тесты вы проводили, почему решили провести этот эксперимент и каковы были результаты?

№1. Увеличенный AOV, заказы немного снизились

Мы используем Shopify во всех наших интернет-магазинах и тестируем объединение или группировку наших продуктов для увеличения AOV. Тест представляет собой корзину, в которой есть дополнительные продажи или пакеты, по сравнению с корзиной, которая содержит только исходный продукт. Результаты еще не полностью получены, но пока похоже, что AOV увеличился, а общее количество заказов немного снизилось. Мы запустим его еще на несколько недель, прежде чем приступить к полному анализу и сможем протестировать другие конфигурации, чтобы попытаться добиться улучшения как AOV, так и конверсий .

Сильвия Канг, Мира

№ 2. Оптимизирован каждый элемент сайта для CX

Как компания Shopify, мы провели множество A/B-тестов для таких функций, как чат в реальном времени, призывы к действию, изображения продуктов, размещение дополнительных товаров, целевые страницы, навигационные меню и многое другое. Например, наше A/B-тестирование помогло нам найти баланс между перекрестными и дополнительными продажами, не раздражая потребителей и не усугубляя их впечатления .

Благодаря многочисленным тестам мы обнаружили, что наша аудитория ценит очень релевантные предложения непосредственно на страницах продукта, а не во время оформления заказа, и таким образом мы увеличили среднюю стоимость покупки. A/B-тестирование имеет решающее значение, потому что оно позволяет вам точно определить, какие функции работают лучше всего и предлагают наибольшую отдачу, не тратя время и энергию на внедрение каких-либо неоптимальных элементов. Эти тесты предоставляют вам точные данные о том, какие варианты дизайна лучше всего подходят вашей аудитории, а лучший пользовательский опыт — это то, как компании добиваются роста и долголетия .

Стивен Лайт, Матрас Нола

№3. Использование повторов сеансов для включения видео для достижения лучших результатов

Одним из наиболее важных аспектов, который может повлиять на конверсию, является то, насколько легко пользователю будет перемещаться по вашему магазину и совершать покупки. С помощью A/B-тестирования на повторах сеансов нам удалось увидеть, как реальные пользователи с намерением совершить покупку перемещались по нашему магазину, в чем заключалась проблема, что их расстраивало, что заставляло их останавливаться в процессе и не давало совершить покупку. Мы поняли, что списки, которые включали видео процесса, давали лучшие результаты, а изображения с низким качеством или отсутствие нескольких изображений вызывали колебания.

Майкл Немерофф, футболки Rush Order Tees

№ 4. Повышение конверсии на 2 % благодаря изменению дизайна

В этом A/B-тесте я хотел увидеть, как новый макет может повлиять на коэффициент конверсии моего магазина Shopify. Первоначальный сайт работал в течение шести месяцев и конвертировался в 3%, так что пришло время попробовать что-то другое. Мое изменение дизайна включало перемещение рекомендаций по продуктам ниже сгиба на мобильных устройствах, а не в соответствии с продуктами, а также удаление баннеров из верхней навигации, поскольку они все равно не нажимались. Это привело к мгновенному увеличению конверсии на 2%.

Джар Кузнецов, Центр умягчения воды

№ 5. Относительное количество кликов увеличилось на 14% за счет изменения цвета кнопки призыва к действию.

Хотя за эти годы мы провели множество A/B-тестов, один из самых эффективных тестов, которые мы провели, был также и самым простым: изменение цвета нашей кнопки CTA. Вот и все. Я слышал от друга, что, изменив цвет своих кнопок на странице, он увеличил скорость отклика на 16% (относительно количества кликов, которые он получал ранее). Это заставило меня задуматься, и я решил провести собственный A/B-тест. На самом деле это был тест A/B/C, так как мы пробовали 3 разных цвета — наш оригинальный зеленый цвет, а также оранжевый и красный. Результат? Красная кнопка дала нам на 8% больше откликов, а оранжевая кнопка дала нам на 14% лучшие результаты с точки зрения относительного количества кликов. Удивительно, как такое простое изменение, как превращение зеленой кнопки в оранжевую, может иметь такой глубокий эффект. Таким образом, мой лучший совет: когда вы пытаетесь заставить кого-то добавить товар в корзину, не довольствуйтесь только цветом кнопки CTA. Подумай хорошенько — и протестируй .

Джон Росс, Test Prep Insight

№ 6. Повышение CVR и AOV с помощью Sticky Add-to-cart и дополнительных продаж после продажи

A/B-тестирование — палка о двух концах. Звучит неплохо, если вы оптимизируете свой магазин Shopify и увеличите коэффициент конверсии. Но вам нужно знать, что каждый A/B-тест добавляет уровень сложности и использует ваши ресурсы. Что тестировать так же важно, как и то, как вы тестируете .

Я протестировал различный порядок фотографий продукта. Каждый раз я обнаруживал, что самое простое изображение всегда конвертирует лучше всего. На страницах продукта ваш клиент должен точно понимать, что представляет собой ваш продукт, не задумываясь.

Липкое добавление в корзину — известный победитель. Наличие кнопки также на экране, в пределах досягаемости, было легким повышением моего CVR на 8%.

Не забывайте о дополнительных продажах после продажи. Мне было легко увеличить среднюю стоимость заказа с 24 до 40 долларов. Вы будете удивлены, насколько легко продавать больше людям, которые уже покупают .

Мэтт Фелпс, специалист по CRO и основатель STEEL.

Чувствуете вдохновение? Вот более 20 элементов, с которыми новички в A/B-тестировании могут поэкспериментировать на своем веб-сайте электронной коммерции:

• Предлагайте бесплатную доставку
• Изображения-герои против каруселей
• размер призыва к действию
• цвет призыва к действию
• Размещение призыва к действию
• Копия призыва к действию
• Человеческие изображения против отсутствия изображений
• Копия заголовка
• Размер шрифта
• Высота линии
• Персонализация против отсутствия
• Уведомление о наличии на складе
• Описание продукта, ориентированное на выгоду
• Совет эксперта на странице продукта
• Выделение скидок и предложений
• Одностраничная и многостраничная проверка
• Поддержка во время оформления заказа
• Простые навигационные меню
• Быстрый просмотр продукта
• Видео о продуктах
• Допродажи против кросс-продаж
• Теги на изображениях предварительного просмотра
• Контент, создаваемый пользователями

Из списка элементов, которые вы можете протестировать, становится очевидным, что страницы продуктов — лучшее место для начала.

Но другие страницы вашего сайта также являются вполне подходящими кандидатами для A/B-тестирования.

Давайте посмотрим, какие страницы вы можете проверить на реальных примерах брендов:

1. Домашняя страница
   
   
   • Salty Captain изменил цвет панели объявлений на своей домашней странице и получил на 234,54% больше кликов, а CVR увеличился на 13,39%.
   • Legendary Wall Art поэкспериментировала с разделом героев и призывом к действию и увеличила вовлеченность на 325,39% и доход на 30,07%.
   • byBiehl добавил слайдер для демонстрации своих важных продуктов, что привело к увеличению посещений страниц категорий (5,87%), дохода на пользователя (3,25%) и CVR (19,73%).
2. Страница категории
   
   
   • Компания Copycat Fragrances добавила свою версию Instagram Stories на страницы своих категорий, увеличив вовлеченность на 4% и доход на пользователя на 18%.
   • Iceshaker изменил страницу своей категории, чтобы включить в нее историю продукта, отвечающую на распространенные возражения, и получил рост конверсий на 15,95%.
   • Оливер Кэбелл сосредоточился на мобильном опыте своих пользователей, изменив макет и улучшив дизайн, что привело к увеличению трафика на 14,86% и увеличению трафика страницы оформления заказа на 5,49%.
3. Страница оформления заказа
   
   
   • Офлара рекомендовал покупателям другие товары, когда они оформляли заказ с помощью кнопки «Добавить в корзину», что привело к значительному увеличению общего дохода.
   • Conscious Items устранили трения в процессе оформления заказа с помощью закрепленной корзины, что привело к увеличению дохода на пользователя на 10% и увеличению CVR на 10%.
   • Homeware отметили, что пользователи купили только один товар в своем магазине Shopify. Таким образом, они упростили процесс оформления заказа, перенаправляя пользователей непосредственно на страницу оформления заказа, что привело к увеличению CVR на 47,7% и увеличению дохода на одного посетителя с мобильного устройства на 71,4%.

Совет эксперта: сосредоточьтесь на крупных изменениях

Мой лучший совет начинающим предпринимателям, впервые проводящим A/B-тестирование, — сосредоточиться на крупных изменениях. Например, полный редизайн страницы товара. Небольшие изменения, такие как изменение цвета кнопок, вряд ли существенно изменят ситуацию .

Выполнив полный редизайн страницы и добавив на страницы продуктов гифки с описанием продукта, мы смогли увеличить коэффициент конверсии на 40% .

Филип Пейджес, основатель PostPurchaseSurvey.com и семизначный бренд электронной коммерции Shopify.

Понятия статистики, с которыми следует ознакомиться при проведении A/B-тестов

Хотя A/B-тестирование используется для сравнения двух версий вашего веб-сайта, просмотр только цифр бесполезен, поскольку при этом не учитывается статистическая значимость данных. В конечном итоге вы неправильно интерпретируете результаты и повредите своим продажам.

Поэтому независимо от того, работает ли ваша собственная команда над проектом или вы нанимаете агентство CRO, важно, чтобы вы ознакомились с концепциями статистики A/B-тестирования, о которых вы много слышали.

Выборка и население

Все посетители, попадающие на ваш сайт, считаются населением, а выборка — это количество посетителей, которые участвуют в A/B-тестировании.

Среднее значение, медиана и мода

Среднее = среднее

Медиана = значение посередине

Режим = повторяющееся значение

Дисперсия и стандартное отклонение

Дисперсия — это средняя изменчивость данных. Чем выше изменчивость, тем менее точным является среднее значение в качестве предиктора отдельной точки данных.

Стандартное отклонение представляет собой квадратный корень из дисперсии и выражается в тех же единицах, что и исходные значения, что делает его интуитивно понятным. С другой стороны, дисперсия выражается в квадрате исходной единицы, но по-прежнему важна для результатов ваших A/B-тестов.

Статистическая значимость

Когда инструментальная панель A/B-тестирования говорит, что существует «95%-ная вероятность превзойти оригинал» или «90%-я вероятность статистической значимости», она задает следующий вопрос: если предположить, что между A и B нет основной разницы, как часто мы будем видите разницу, как мы, в данных просто случайно ?

Эван Миллер, разработчик статистического программного обеспечения (источник)

Уровень значимости должен быть как можно меньше. 1% является идеальным, так как он эквивалентен доверительному уровню 99%. И незначительные результаты могут означать, что то, что вы видите, на самом деле является ложным срабатыванием, поэтому важно дождаться статистической значимости, но не только этого.

Вам необходимо рассчитать размер выборки, который соответствует минимальному подъему по вашему выбору (MDE — минимальный обнаруживаемый эффект), у вас будет повышенное изменение ложноположительного результата.

P-значение

Значение p представляет собой вероятность получения результатов, по крайней мере столь же экстремальных, как и наблюдаемые результаты проверки статистической гипотезы, при условии, что нулевая гипотеза верна.

Но вот что вам действительно нужно знать о p-значении: «Насколько удивителен этот результат?»

Как долго вы должны проводить A / B-тестирование в магазине Shopify?

Есть два распространенных заблуждения, с которыми вы будете часто сталкиваться:

• Завершите A/B-тест, когда вы достигнете статистической значимости.
• Следите за p-значениями и объявляйте победителя, как только достигнете цели.

Остановка теста должна основываться на размере выборки. Но хотя вы не должны заканчивать свой эксперимент раньше времени, он не должен продолжаться вечно. Если через 3 месяца вы все еще не достигли значимости, лучше всего попробовать другие изменения на вашей стороне, желательно более смелые.

Convert и Shopify рекомендуют запускать ваши тесты в течение как минимум двух бизнес-циклов или 14 дней.

Авид Фаруз, генеральный директор Faruzo, соглашается:

Начинающим предпринимателям необходимо знать, что в A/B-тестировании сроки имеют большое значение. Чем дольше вы будете проводить A/B-тесты, тем более точные результаты вы получите. Это связано с тем, что ваши тесты будут использовать больше точек данных для получения результатов. Опытные маркетологи проводят свои тесты целых две недели. Я бы посоветовал всем маркетологам и предпринимателям устанавливать временные рамки в соответствии с уровнем посещаемости их веб-сайтов .

Именно поэтому наша платформа предлагает 14-дневную бесплатную пробную версию, чтобы вы могли проверить свою гипотезу.

4 шага для запуска A/B-тестов в магазине Shopify

Готовы запустить тесты?

Используйте этот четырехэтапный процесс A/B-тестирования, чтобы создать более качественные тесты и понять их влияние.

№1. Проведение качественных и количественных исследований

Исследование конверсии — первый и самый важный шаг. Это позволяет вам строить гипотезы, которые вы можете тестировать A/B. На этом этапе, также известном как этап обнаружения, вы откладываете свое операционное предположение и позволяете данным направлять вас.

Вы получите два вида данных — количественные и качественные.

Начните со сбора количественных данных. Они составляют холодные, неопровержимые факты, с которыми не поспоришь и которые могут выдать аналитические системы, такие как Google Analytics, Amplitude или Mixpanel.

Например, вы можете посмотреть показатели отказов, общее количество конверсий или количество просмотренных страниц за сеанс.

Как только вы соберете количественные данные, получите качественные данные. Поскольку это субъективно, существует вероятность того, что подсознательные предубеждения могут закрасться, но интерпретация ваших выводов — единственный способ ответить на вопрос «Почему».

Используйте Hotjar для создания тепловых карт и записи сеансов посетителей. Ответы, которые вы можете найти, не являются окончательными, но они открывают новые возможности, способствующие улучшению гипотезы в целом.

Но прежде чем вы приступите к этому, важно рассмотреть как качественные, так и количественные данные в тандеме, чтобы иметь целостное понимание. Анализ равен запросам данных и критическому мышлению.

№ 2. Создавайте достоверные гипотезы

Следование научному методу означает, что вы должны создать правдоподобную гипотезу — предлагаемое решение, обоснованность которого требует оценки.

Мэтт Бейшель, основатель CorvusCRO, разделяет три основных компонента гипотезы: понимание, ответ и результат.

Вот пример того, как это будет выглядеть:

Чтобы помочь вам упростить и стандартизировать создание гипотез, у нас есть генератор гипотез A/B-тестирования.

На этом этапе вы также хотите понять размер своей выборки и рассчитать точку остановки для теста на основе этого. Используйте для этого наш калькулятор значимости A/B-тестирования.

Совет эксперта:

Как только вы узнаете размер своей выборки и продолжительность тестирования, вам необходимо установить приоритеты тестирования. Вы можете протестировать различные части процесса, такие как отдельная страница, весь веб-сайт, всплывающие окна или платная реклама. Лучше всего сосредоточиться на одной части процесса за раз, чтобы вы могли получить четкие ответы о том, какие изменения приводят к улучшению качества обслуживания клиентов и коэффициенту конверсии .

Аллан Борч, основатель DotcomDollar.com

Расставьте приоритеты в своей гипотезе

Экспериментирование имеет массу преимуществ, поэтому часто можно встретить экспертов, выступающих за тестирование всего и вся. Однако вы должны расставить приоритеты, какие тесты вам нужно запустить сейчас, а какие эксперименты могут подождать, потому что ресурсы ограничены, независимо от того, насколько мала или велика ваша компания.

Поэтому экспериментаторы прибегают к моделям расстановки приоритетов, таким как RICE, PIE, ICE или PXL. Но Дэвид Мангейм, консультант по персонализации, предполагает, что эти модели ошибочны:

Им не хватает соответствия более широкому контексту бизнеса. Расстановка приоритетов должна осуществляться сверху вниз, фокусируясь сначала на бизнес-миссии, затем на бизнес-целях и так далее. Большинство моделей расстановки приоритетов сосредоточены на «исполнении», т. е. на самой последней вещи в диаграмме треугольника и иерархии — на основе, концепции, проблеме пользователя, целях продукта, бизнес-целях и миссии наверху .

Эти модели также используют «усилия» в качестве фактора оценки, что означает, что вы действительно воздерживаетесь от создания функций, которые потенциально могут оказать наибольшее влияние, потому что они сложны. В конечном счете, этим моделям не хватает объективности.

Андреа Саез, старший менеджер по маркетингу продуктов в Product School, говорит:

Вы никак не сможете узнать охват, влияние или усилия по большинству вещей, не проверив должным образом, работаете ли вы вообще над правильными вещами, тем более, если вы ни с кем не говорили об этом. Так как же вы могли быть уверены ?

Ответ здесь заключается в том, чтобы построить собственную модель расстановки приоритетов.

Шаг 1. Вдохновитесь примерами

Шаг 2. Учитывайте такие факторы, как соответствие бизнес-целям, потенциал итерации, обучение, характерное для компании, и инвестиции в ресурсы.

Шаг 3: Назначьте вес тестам, которые вы хотите запустить

Шаг 4: Промойте и повторяйте, пока не найдете аббревиатуру, которая вам подходит.

№3. Разверните тест

Вы провели исследование и построили достоверную гипотезу. Теперь пришло время идти в бой.

Для успешного развертывания требуются три вещи: правильная платформа для A/B-тестирования, правильная команда для кодирования тестов, а также контроль качества и отладка.

Начнем с первого.

Что делает платформу для A/B-тестирования для Shopify хорошей?

В идеале вам нужен единый инструмент, который позволяет тестировать темы, цены, меню, коллекции продуктов, страницы поиска, запускать многовариантные тесты и отслеживать доход.

Многие плагины могут помочь вам достичь одной или нескольких из этих целей, но мы уже знаем, что плагины вызывают раздувание кода, что не является хорошей новостью для вашего SEO или конверсий.

Специальная платформа для тестирования, такая как Convert Experiences, легко интегрируется с вашим магазином Shopify, позволяет вам запускать все виды тестов, которые вы хотите, и имеет специальное приложение для A/B-тестирования Shopify, которое вы можете использовать, устраняя возможное раздувание кода.

Далее, вам нужна правильная команда для кодирования тестов.

Примечание. Существует разница между кодировщиками и кодерами, работающими с командами A/B-тестирования.

Ultimately, testing is incomplete without QA and debugging. Without QA, variation errors can crop up, causing statistical errors—a false positive or a false negative. Not to mention, you may end up collecting the wrong data that delivers zero value to your visitors.

Here are 4 best practices for QA of A/B tests:

• Develop a QA strategy
• Identify what to QA
• Focus on page experience
• Align QA with conversion goals

Pro Tip: Avoid these rookie A/B testing mistakes:

• You only test industry best practices
• You keep peeking at your “results”
• You give up after one test
• You fail to iterate and improve on wins
• You mess up revenue tracking

№ 4. Analyze & Learn From Your A/B Tests

Whether you have a winner or loser on your hands, analyzing what worked and learning from it to influence future A/B tests is crucial.

Because while A/B testing is a strategy to boost your revenue, you're also effectively “buying data” on your audience.

Here's a 7 step process to learn from A/B tests –

• Make sure your data is accurate, valid, and significant
• Check your micro, macro, and guardrail metrics
• Segment your results
• Check user behavior
• Continue to improve on winners
• Create a learning repository for future tests

The last step allows you to run tests in the future that are backed by your previous experiments' learnings.

Expert Tip: Be prepared to fail.

It is difficult to predict the conversion rate for your website even if you think you've created the perfect A/B test. As a new entrepreneur, I almost succumbed to the frustrations of seeing no success in the first few months. I am not used to failure and many entrepreneurs are like this. The focus should be to give the users the best experience and leave room for the unexpected .

Leslie Radka, Founder & Hiring Manager at GreatPeopleSearch

A/B Testing in Other Realms That Can Compound Your Shopify Store Gains

Don't stick to just your website. A/B testing can and should be applied to other channels and realms where customer engagement occurs.

A/B Testing Pop-Ups (with Privy)

Those pop-ups you have on your website? You can A/B test them too with tools like Privy. Experiment with your headline, offer, form, CTA, or images.

Privy's Convert tool allows you to present the pop-up in different formats and target visitors based on rulesets.

A/B Testing Emails

When it comes to email marketing, 3 core areas of improvement emerge—delivery, open rates, and CTR.

You can test your emails in this order:

• First, the subject lines to improve the open rate
• Then the body copy to make sure it's relevant
• Finally, the CTAs to get more clicks

What else can you test in your email? Check out our complete guide to A/B testing emails.

Here's how 2 Shopify entrepreneurs used A/B testing to grow their email marketing channel: [h5] #1. Grew Email List 3x Using Split Testing

The most effective strategy for testing content is A/B testing. A/B testing has proven, measurable, immediate results that tell us whether one or another content base is more effective at converting customers to sign up for emails, make a purchase, etc.

In retail, vanity metrics like direct traffic to your website are least effective for measuring content success, while A/B testing (ie, tracking conversion rate, user engagement, email funnels) is the most effective. We tested our email subscription CTA with split-testing and grew our email list over three times in one campaign. The better you know your ICP, the more effective your brand strategy will convert. Use A/B tests to understand your target demographic better, and spoon-feed them the content they respond best to .

Zach Goldstein, Public Rec

№ 2. Increased email open rate by 25% with emojis in subject lines

After seeing a study, I wanted to test out open rates using an emoji in the subject line vs. not using one. The study implied that using an emoji would help to enhance open rates, but I felt that it could come off as unprofessional and spammy.

I use the ActiveCampaign email platform alongside Shopify, and I actually integrate the two together to maximize customer communication. ActiveCampaign allows users to run many A/B tests so they can see what jives with their target audience. When the results were in, I had to admit that I was wrong because the emails with an emoji in the subject received a 25% higher open rate. It's safe to say that I've been pretty liberal with my emoji keyboard ever since, and I've noticed a spike in conversion rates, too .

Stephanie Venn-Watson, fatty15

A/B Testing on Social Media

Like paid ads, you can test your organic content on social to improve engagement. The heading, copy, images, and CTA can all be A/B tested.

When doing this manually, stagger the release of your posts to have a reasonable gap which will allow you to gather meaningful data.

Or you can use scheduling tools like Later, Buffer, or MeetEdgar to automate the publishing.

Ecommerce A/B Testing Pitfalls to Avoid

Our need for instant gratification also seeps into A/B testing. Jon Ivanco, Co-founder of Formtoro, believes most A/B testing is reactionary:

Brands want a quick fix that's cost-effective; they hate the idea of investing in long-term outlooks and gains. The only time they look at these things is when things aren't going well .

There are “experts” that are anything but experts, bad advice presented as best practices, and experiments designed to pick the low-hanging fruit.

Ivanco instead recommends getting the basics right:

– All tests to landing pages
– All tests from specific audiences
– Test one variable at a time
– Don't test unless you have a clearly articulated hypothesis and you can learn from if something goes right or if it fails
– Do all tests from the perspective of the customer journey
– Small things are part of a larger chain, try to isolate things as much as you can one step at a time

Give Privacy a Thought

No one wants to become a lab rat inadvertently.

The backlash to Facebook 2014's emotional contagion study is proof. Even Apple's privacy updates signal that users care about their privacy and don't want to be manipulated into buying products.

Laws around privacy—existing and upcoming—will continue to evolve. Each time a significant change is brought about, it will hurt your business unless you start thinking user-first and bake ethical A/B testing into your strategy.

So what does that mean for you?

• Take data privacy seriously when collecting data
• Rule out manipulative tactics
• Store and process data securely
• Respect user consent and allow them to opt-out of experiments

Do that and you will future-proof your A/B testing and build a better relationship with your audience.