Руководство для предпринимателей по A/B-тестированию в магазинах Shopify (+ 9 предпринимателей Shopify делятся своими историями A/B-тестирования с результатами)

Итак, вы слышали об A/B-тестировании из уст в уста.

Возможно, ваш конкурент случайно упомянул об этом в подкасте, или ваша маркетинговая команда считает, что это отличная идея. Или агентство по развитию, с которым вы ведете переговоры, хочет провести A/B-тестирование.

Развивать бизнес непросто. Ты знаешь что. Зайдя так далеко, должно быть, было несколько случаев, когда вы изо всех сил пытались понять, является ли бизнес-решение правильным.

Было бы неплохо, если бы вместо того, чтобы делать ставку на то, что, по вашему мнению, захочет ваша аудитория, у вас был бы способ узнать наверняка?

Вот что делает A/B-тестирование.

Конечно, преимущества A/B-тестирования выходят за рамки принятия решений, основанных на данных, но по своей сути это секретный соус для раскрытия роста в масштабе.

Итак, пытаетесь ли вы сделать все своими руками или передать свои потребности на аутсорсинг, вот все, что предприниматель Shopify, как и вы, должен знать об A / B-тестировании.

Что такое A/B-тестирование электронной коммерции?

A/B-тестирование — это процесс, с помощью которого вы можете понять, что ищет ваша аудитория, прежде чем они станут вашими клиентами.

Обычно A/B-тесты представляют собой незначительные изменения, такие как изменение цвета кнопки призыва к действию (CTA) или добавление нового заголовка, но на самом деле все гораздо глубже.

Это позволяет вам определить, какой текст, дизайн и функциональность (UX) находят отклик у ваших посетителей, помещая одну версию вашей страницы или элемента на страницу с вариацией, чтобы увидеть, что работает.

И мы только начинаем!

Вы можете взять концепцию A/B-тестирования и применить ее к каждому каналу, который вы используете, и к каждому взаимодействию с вашей аудиторией.

Но важно понимать, что A/B-тестирование электронной коммерции отличается от других вертикалей, таких как B2B SaaS.

1. Время получения дохода меньше
   
   A/B-тестирование может выявить влияние на доход гораздо быстрее, чем традиционное B2B. В B2B сделки являются многопоточными, в них участвуют несколько лиц, принимающих решения, поэтому циклы продаж занимают месяцы, если не кварталы.
   
   Хотя в идеале вы должны использовать A/B-тестирование для исследований и снижения рисков, а не только для увеличения доходов, жизненная сила любого бизнеса — это доход, поэтому есть веская причина включить A/B-тестирование в структуру роста.
2. Процессы оформления заказа сложны (поэтому больше возможностей для тестирования)
   
   Хотя воронки покупок в электронной коммерции не такие сложные, как B2B, процесс оформления заказа не является одномерным.
   
   Рубен Де Бур, автор книги «Психология покупок », объясняет, что платить буквально больно. В исследовании 2007 года, посвященном тому, как люди взвешивают факторы при принятии решения о покупке, участникам показывали изображения продуктов, а затем цену. Их мозг проанализировали с помощью аппаратов фМРТ, чтобы увидеть, какие нервные пути загорятся.
   
   Как и ожидалось, просмотр изображений продуктов активировал центр вознаграждения в их мозгу.
   
   Но цена? Часть мозга, связанная с физической и социальной болью, вспыхнула, как рождественская елка, помогая исследователям прийти к выводу, что компромисс между выгодой и болью должен иметь смысл для потребителей, чтобы открыть свои кошельки.
   
   Это не означает, что вы должны снижать цены, потому что цена также сигнализирует о качестве продукта. Вы можете попробовать меньший шрифт, предложить предоплату, показать скидки более крупным шрифтом или не использовать в своем тексте денежный язык.
   
   Таким образом, снижение болезненности покупки означает, что вы должны понимать смесь человеческих мотивов, желаний и разочарований, что невозможно без A/B-тестирования. Вы можете протестировать обмен сообщениями, элементы пользовательского интерфейса или пересмотреть процесс оформления заказа — и все это в режиме реального времени.

   В некоторых случаях вы не сможете вносить радикальные изменения в корзину и процесс оформления заказа из-за ограничений, которые накладывает ваша платформа электронной коммерции, но это не повод отказываться от амбициозных тестов. Вы всегда можете протестировать небольшие изменения, которые дадут вам представление о том, какие потенциальные изменения могут иметь более крупные изменения.

   Джонни Лонгден, директор по конверсии в Journey Further, рекомендует задать себе один вопрос:
   
   Что самое маленькое/самое простое, что мы можем протестировать, чтобы доказать это и узнать об этом?
   
   Не попадайтесь в ловушку «будем тестировать только небольшие изменения» или, если вы внесли более крупные изменения, «деньги уже потрачены, поэтому мы не будем их тестировать».
3. Обзорный анализ можно превратить в науку
   
   Исследование конверсий, основанное на качественных данных, является основным в любом виде A/B-тестирования, но в электронной коммерции качественные данные, такие как анализ отзывов, можно превратить в науку, которая поможет вам понять:
   
   
   • УТП продукта для выделения
   • Преимущества, которые вы можете протестировать в своей копии
   • Как клиенты воспринимают конкурентов
   • Скопируйте ракурсы для историй о продуктах
   • Болевые точки, на которые вы обращались
   • Неустраненные болевые точки, которые вызывают отказ от корзины Лоренцо Каррери, CRO и консультант по экспериментам, рекомендует мыслить как детектив. Точно так же, как детектив должен раскрыть историю преступления, вы можете использовать обзоры, чтобы раскрыть множество историй.
     

     Люди уже приняли решение о покупке, и теперь, когда мы не беспокоим их экзитполом или виджетом, они фактически органично делятся своим опытом.

     На самом деле импульсный анализ Каррери для разных отраслей показывает общую тему: люди не склонны делиться своими мыслями о своем личном опыте. Поэтому неважно, какой вопрос вы задаете или как вы его задаете.
     
     Но при анализе отзывов, особенно на Amazon, люди, как правило, делятся своими мыслями. Чем больше информации вы соберете, тем более значимыми станут ваши данные, что поможет вам сформулировать лучшую гипотезу для проверки.
4. Нет недостатка в трафике для электронной коммерции
   
   Серьезным препятствием для A/B-тестирования является недостаточное количество трафика, что означает, что результаты могут быть необъективными.
   
   Но это не проблема для интернет-магазинов. Семизначный магазин Shopify легко получает сотни тысяч посетителей, но B2B-компания серии D, вероятно, получит 1/4 этого трафика.

Почему предприниматели Shopify (серьезно) должны рассмотреть возможность A / B-тестирования?

Электронная коммерция созрела для A/B-тестирования. Возможность быстро увидеть результаты с большим пулом посетителей и большим пространством для экспериментов является достаточной причиной для внедрения культуры A/B-тестирования.

Но, возможно, вы еще не там. Увеличение вашего трафика прямо сейчас дает увеличение дохода.

Вопрос в том, как долго вы сможете это поддерживать?

Больше трафика ≠ больше дохода. Этот путь требует, чтобы вы тратили больше на рекламу, одновременно получая прибыль за счет скидок.

И когда вы посмотрите на таких гигантов электронной коммерции, как Amazon, eBay или Etsy, вы заметите, что A/B-тестирование встроено в их ДНК. Это та самая причина, по которой они процветают. Не говоря уже о том, что это общая черта, которую разделяют все успешные магазины Shopify.

Легко понять, почему A/B-тестирование стимулирует рост. Посмотрите, насколько детализированы тесты, которые проводит Amazon:

Но когда дело доходит до этого, A/B-тестирование — это не просто способ оставаться конкурентоспособным — это хорошее бизнес-решение.

Почему? Потому что ваши текущие стратегии, вероятно, не работают в вашу пользу.

1. Ваш ROAS резко падает благодаря iOS 14
   Вы, вероятно, тратите больше денег, чем раньше, пытаясь привлечь внимание к своему продукту, но мир после ATT испортил то, как работают конверсии на основе пикселей. А ретаргетинг и похожая аудитория? Они уже не так эффективны. На случай, если вы получите какие-то конверсии, будьте готовы иметь дело с расхождениями между Менеджером рекламы и серверной частью Shopify.

2. Ваши открытые ставки перекошены
   Номера электронной почты больше не соответствуют действительности. Защита конфиденциальности почты (MPP) позаботилась об этом. И ваши списки на основе взаимодействия могут иметь сомнительный таргетинг и более низкие конверсии.

3. В вашем уравнении отсутствует удержание
   Погоня за холодным трафиком — плохой деловой ход. 40% вашего дохода поступает от постоянных клиентов. Трафик привлекает покупателей в вашу воронку, но удержание увеличивает пожизненную ценность (LTV) этих покупателей.

4. Ваша маркетинговая атрибуция отстой
   Инструменты не могут предоставить вам какие-либо полезные данные, а ваша команда не может связать доход с конкретными изменениями. Вы не можете нажимать на все кнопки в надежде увидеть рост. Вам нужно получить конкретную информацию, иначе о построении восьмизначного бизнеса не может быть и речи.

A/B-тестирование переворачивает старый учебник с ног на голову и дает вам возможность использовать научно обоснованный подход, который является воспроизводимым, надежным и прибыльным.

Вот почему OLIPOP, компания-производитель газированных напитков DTC, поддерживает A/B-тестирование:

A/B-тестирование улучшает взаимодействие с контентом, снижает показатель отказов, повышает коэффициент конверсии и сводит к минимуму риски, при этом предоставляя данные, которые легко анализировать. Запустив A/B-тест, вы сможете выяснить, какой контент находит отклик у вашей целевой аудитории. Затем вы можете использовать эти данные, чтобы повлиять на свою маркетинговую стратегию. Эти тесты также помогут вам определить нерелевантные данные и области, в которых ваши пользователи испытывают трудности на вашем веб-сайте, тем самым снизив показатель отказов после внесения необходимых изменений.

Как только вы сможете определить вариант, который улучшит качество обслуживания клиентов, вы увидите увеличение времени, которое пользователи проводят на вашем сайте, что приведет к более высокому коэффициенту конверсии. Наконец, A/B-тестирование сводит к минимуму риск, поскольку вы принимаете решения на основе точных данных, а не обоснованных предположений. Это позволяет вам вносить минимальные изменения, не ставя под угрозу весь ваш сайт. Ваша рентабельность инвестиций увеличится с помощью A/B-тестирования .

Стивен Виджиланте, руководитель отдела развития нового бизнеса OLIPOP

Легко вносите небольшие (или большие) изменения

Оптимизация, наука об улучшении вещей, легко выполняется с помощью A/B-тестирования. Вы можете внести изменения, чтобы найти версию, которая создает лучший опыт покупки и конвертирует часть вашего трафика PPC.

Снизить цену ошибки

Цена ошибки иногда слишком велика и, что неудивительно, сдерживает инновации. Но с A/B-тестированием вы можете проверить свои идеи в контролируемой среде без необходимости что-либо создавать или реализовывать.

Загляните в будущее

Ничто не может гарантировать успех. Не ваша интуиция, предложения агентств или даже серьезное исследование конкурентов. Но если вы хотите принимать решения на основе данных, A/B-тестирование — ваш друг. Лучшие версии в тесте не выбираются на основе статистической достоверности, что позволяет вам получить представление о вашем потенциальном доходе.

Оставьте мало места для неправильного толкования

A/B-тестирование позволяет вам по-настоящему слушать свою аудиторию, собирая данные об изменениях коэффициента конверсии, отказов от корзины, средней стоимости заказа (AOV), дохода и прибыли.
Вместо того, чтобы угадывать последствия ваших изменений, результаты прозрачны и почти не оставляют места для неверного толкования.

Проблемы с A/B-тестированием на Shopify (+ решения)

Пока вы думаете о том, чтобы сделать A/B-тестирование центральным элементом своей стратегии, важно решить потенциальные проблемы, с которыми вы можете столкнуться при проведении A/B-тестирования на Shopify.

Проблема № 1: Shopify Anti-Clickjacking может помешать вашему мобильному QA

Clickjacking обманом заставляет пользователей нажимать на действенный контент на сайте-приманке. Чтобы этого не произошло, Shopify использует технологию защиты от кликджекинга. Но это мешает инструментам A/B-тестирования работать оптимально.

Проблема № 2: Тестирование не проблема, но реализация

Реализация результатов теста — это не то, что может сделать приложение или плагин — для этого требуется настройка. Даже если вы найдете плагины, которые работают на вас, слишком многие из них могут замедлить работу вашего сайта, что фактически сведет на нет потенциальную выгоду.

Проблема № 3: у вас есть стандартный магазин Shopify, ограничивающий то, что вы можете протестировать

Стандартные магазины Shopify не могут получить доступ к большинству функций Shopify Plus, что означает, что вы не можете запускать тесты, такие как раздельное тестирование тем. Тесты меньшей сложности оказывают меньшее влияние на ваш доход.

Краткое руководство по основам A/B-тестирования

Теперь, когда вы разобрались с A/B-тестированием, пришло время заняться мельчайшими подробностями.

Сделайте паузу на мгновение и ответьте «да» или «нет» на эти вопросы, прежде чем прокрутить вниз, чтобы увидеть ответ.

• A/B-тестирование — это то же самое, что и сплит-тестирование.
• A/B-тестирование и многовариантное тестирование — разные вещи
• Вы можете вносить только незначительные изменения с помощью A/B-тестирования.
• Вам не нужно изучать статистику, чтобы проводить A/B-тесты
• Вы не можете запускать A/B-тесты на других каналах.
• Вы должны прекратить A/B-тесты, как только увидите результаты

Сравнение A/B-тестирования и сплит-тестирования

С помощью A/B-тестирования вы можете протестировать один или несколько элементов на странице. По сути, вы создаете аналогичную версию исходной страницы, чтобы увидеть влияние на коэффициент конверсии.

Тестирование сплит-URL отличается от A/B-тестирования. Трафик делится пополам и отправляется на две совершенно разные версии, чтобы увидеть, какая веб-страница поможет вам достичь ваших конкретных целей.

Когда проводить сплит-тесты против A/B-тестов: тестирование темы

Отличным примером выбора сплит-тестирования вместо A/B-тестирования является тестирование тем Shopify. Ваша тема может повлиять на CX и, в конечном итоге, на доход, поэтому очень важно протестировать ее с помощью такого инструмента, как опция разделения URL Convert.

Convert использует Frequentist Inference, чтобы понять, какая тема лучше другой. Мы рекомендуем проводить такой тест в течение как минимум двух недель, если на ваш сайт не поступает необычно высокий трафик.

PS Вы можете тестировать темы, только если вы являетесь пользователем Shopify Plus.

Сравнение A/B-тестирования и многовариантного тестирования

В тестах A/B вы сравниваете почти идентичные страницы с оригиналом.

Вместо изменения одного элемента за раз, как в тестах A/B, многовариантное тестирование — это процесс, в котором вы тестируете несколько изменений в одном тесте. Цель многовариантного тестирования — выяснить, какая комбинация изменений дает лучшие результаты.

Примеры A/B-тестов для магазинов Shopify

Спросите в Интернете, что вам нужно A/B-тестировать, и вам часто скажут попробовать другой CTA или цвет кнопки или изменить заголовок.

Не то чтобы это было неважно, но мир — это ваша игровая площадка, и вы играете только в своей маленькой песочнице, если ограничиваете себя. Нестандартное мышление имеет решающее значение для духа экспериментирования.

Мы связались с 8 предпринимателями Shopify и спросили их:

Какие A/B-тесты вы проводили, почему решили провести этот эксперимент и каковы были результаты?

№1. Увеличенный AOV, заказы немного снизились

Мы используем Shopify во всех наших интернет-магазинах и тестируем объединение или группировку наших продуктов для увеличения AOV. Тест представляет собой корзину, в которой есть дополнительные продажи или пакеты, по сравнению с корзиной, которая содержит только исходный продукт. Результаты еще не полностью получены, но пока похоже, что AOV увеличился, а общее количество заказов немного снизилось. Мы запустим его еще на несколько недель, прежде чем приступить к полному анализу и сможем протестировать другие конфигурации, чтобы попытаться добиться улучшения как AOV, так и конверсий .

Сильвия Канг, Мира

№ 2. Оптимизирован каждый элемент сайта для CX

Как компания Shopify, мы провели множество A/B-тестов для таких функций, как чат в реальном времени, призывы к действию, изображения продуктов, размещение дополнительных товаров, целевые страницы, навигационные меню и многое другое. Например, наше A/B-тестирование помогло нам найти баланс между перекрестными и дополнительными продажами, не раздражая потребителей и не усугубляя их впечатления .

Благодаря многочисленным тестам мы обнаружили, что наша аудитория ценит очень релевантные предложения непосредственно на страницах продукта, а не во время оформления заказа, и таким образом мы увеличили среднюю стоимость покупки. A/B-тестирование имеет решающее значение, потому что оно позволяет вам точно определить, какие функции работают лучше всего и предлагают наибольшую отдачу, не тратя время и энергию на внедрение каких-либо неоптимальных элементов. Эти тесты предоставляют вам точные данные о том, какие варианты дизайна лучше всего подходят вашей аудитории, а лучший пользовательский опыт — это то, как компании добиваются роста и долголетия .

Стивен Лайт, Матрас Нола

№3. Использование повторов сеансов для включения видео для достижения лучших результатов

Одним из наиболее важных аспектов, который может повлиять на конверсию, является то, насколько легко пользователю будет перемещаться по вашему магазину и совершать покупки. С помощью A/B-тестирования на повторах сеансов нам удалось увидеть, как реальные пользователи с намерением совершить покупку перемещались по нашему магазину, в чем заключалась проблема, что их расстраивало, что заставляло их останавливаться в процессе и не давало совершить покупку. Мы поняли, что списки, которые включали видео процесса, давали лучшие результаты, а изображения с низким качеством или отсутствие нескольких изображений вызывали колебания.

Майкл Немерофф, футболки Rush Order Tees

№ 4. Повышение конверсии на 2 % благодаря изменению дизайна

В этом A/B-тесте я хотел увидеть, как новый макет может повлиять на коэффициент конверсии моего магазина Shopify. Первоначальный сайт работал в течение шести месяцев и конвертировался в 3%, так что пришло время попробовать что-то другое. Мое изменение дизайна включало перемещение рекомендаций по продуктам ниже сгиба на мобильных устройствах, а не в соответствии с продуктами, а также удаление баннеров из верхней навигации, поскольку они все равно не нажимались. Это привело к мгновенному увеличению конверсии на 2%.

Джар Кузнецов, Центр умягчения воды

№ 5. Относительное количество кликов увеличилось на 14% за счет изменения цвета кнопки призыва к действию.

Хотя за эти годы мы провели множество A/B-тестов, один из самых эффективных тестов, которые мы провели, был также и самым простым: изменение цвета нашей кнопки CTA. Вот и все. Я слышал от друга, что, изменив цвет своих кнопок на странице, он увеличил скорость отклика на 16% (относительно количества кликов, которые он получал ранее). Это заставило меня задуматься, и я решил провести собственный A/B-тест. На самом деле это был тест A/B/C, так как мы пробовали 3 разных цвета — наш оригинальный зеленый цвет, а также оранжевый и красный. Результат? Красная кнопка дала нам на 8% больше откликов, а оранжевая кнопка дала нам на 14% лучшие результаты с точки зрения относительного количества кликов. Удивительно, как такое простое изменение, как превращение зеленой кнопки в оранжевую, может иметь такой глубокий эффект. Таким образом, мой лучший совет: когда вы пытаетесь заставить кого-то добавить товар в корзину, не довольствуйтесь только цветом кнопки CTA. Подумай хорошенько — и протестируй .

Джон Росс, Test Prep Insight

№ 6. Повышение CVR и AOV с помощью Sticky Add-to-cart и дополнительных продаж после продажи

A/B-тестирование — палка о двух концах. Звучит неплохо, если вы оптимизируете свой магазин Shopify и увеличите коэффициент конверсии. Но вам нужно знать, что каждый A/B-тест добавляет уровень сложности и использует ваши ресурсы. Что тестировать так же важно, как и то, как вы тестируете .

Я протестировал различный порядок фотографий продукта. Каждый раз я обнаруживал, что самое простое изображение всегда конвертирует лучше всего. На страницах продукта ваш клиент должен точно понимать, что представляет собой ваш продукт, не задумываясь.

Липкое добавление в корзину — известный победитель. Наличие кнопки также на экране, в пределах досягаемости, было легким повышением моего CVR на 8%.

Не забывайте о дополнительных продажах после продажи. Мне было легко увеличить среднюю стоимость заказа с 24 до 40 долларов. Вы будете удивлены, насколько легко продавать больше людям, которые уже покупают .

Мэтт Фелпс, специалист по CRO и основатель STEEL.

Чувствуете вдохновение? Вот более 20 элементов, с которыми новички в A/B-тестировании могут поэкспериментировать на своем веб-сайте электронной коммерции:

• Предлагайте бесплатную доставку
• Изображения-герои против каруселей
• размер призыва к действию
• цвет призыва к действию
• Размещение призыва к действию
• Копия призыва к действию
• Человеческие изображения против отсутствия изображений
• Копия заголовка
• Размер шрифта
• Высота линии
• Персонализация против отсутствия
• Уведомление о наличии на складе
• Описание продукта, ориентированное на выгоду
• Совет эксперта на странице продукта
• Выделение скидок и предложений
• Одностраничная и многостраничная проверка
• Поддержка во время оформления заказа
• Простые навигационные меню
• Быстрый просмотр продукта
• Видео о продуктах
• Допродажи против кросс-продаж
• Теги на изображениях предварительного просмотра
• Контент, создаваемый пользователями

Из списка элементов, которые вы можете протестировать, становится очевидным, что страницы продуктов — лучшее место для начала.

Но другие страницы вашего сайта также являются вполне подходящими кандидатами для A/B-тестирования.

Давайте посмотрим, какие страницы вы можете проверить на реальных примерах брендов:

1. Домашняя страница
   
   
   • Salty Captain изменил цвет панели объявлений на своей домашней странице и получил на 234,54% больше кликов, а CVR увеличился на 13,39%.
   • Legendary Wall Art поэкспериментировала с разделом героев и призывом к действию и увеличила вовлеченность на 325,39% и доход на 30,07%.
   • byBiehl добавил слайдер для демонстрации своих важных продуктов, что привело к увеличению посещений страниц категорий (5,87%), дохода на пользователя (3,25%) и CVR (19,73%).
2. Страница категории
   
   
   • Компания Copycat Fragrances добавила свою версию Instagram Stories на страницы своих категорий, увеличив вовлеченность на 4% и доход на пользователя на 18%.
   • Iceshaker изменил страницу своей категории, чтобы включить в нее историю продукта, отвечающую на распространенные возражения, и получил рост конверсий на 15,95%.
   • Оливер Кэбелл сосредоточился на мобильном опыте своих пользователей, изменив макет и улучшив дизайн, что привело к увеличению трафика на 14,86% и увеличению трафика страницы оформления заказа на 5,49%.
3. Страница оформления заказа
   
   
   • Офлара рекомендовал покупателям другие товары, когда они оформляли заказ с помощью кнопки «Добавить в корзину», что привело к значительному увеличению общего дохода.
   • Conscious Items устранили трения в процессе оформления заказа с помощью закрепленной корзины, что привело к увеличению дохода на пользователя на 10% и увеличению CVR на 10%.
   • Homeware отметили, что пользователи купили только один товар в своем магазине Shopify. Таким образом, они упростили процесс оформления заказа, перенаправляя пользователей непосредственно на страницу оформления заказа, что привело к увеличению CVR на 47,7% и увеличению дохода на одного посетителя с мобильного устройства на 71,4%.

Совет эксперта: сосредоточьтесь на крупных изменениях

Мой лучший совет начинающим предпринимателям, впервые проводящим A/B-тестирование, — сосредоточиться на крупных изменениях. Например, полный редизайн страницы товара. Небольшие изменения, такие как изменение цвета кнопок, вряд ли существенно изменят ситуацию .

Выполнив полный редизайн страницы и добавив на страницы продуктов гифки с описанием продукта, мы смогли увеличить коэффициент конверсии на 40% .

Филип Пейджес, основатель PostPurchaseSurvey.com и семизначный бренд электронной коммерции Shopify.

Понятия статистики, с которыми следует ознакомиться при проведении A/B-тестов

Хотя A/B-тестирование используется для сравнения двух версий вашего веб-сайта, просмотр только цифр бесполезен, поскольку при этом не учитывается статистическая значимость данных. В конечном итоге вы неправильно интерпретируете результаты и повредите своим продажам.

Поэтому независимо от того, работает ли ваша собственная команда над проектом или вы нанимаете агентство CRO, важно, чтобы вы ознакомились с концепциями статистики A/B-тестирования, о которых вы много слышали.

Выборка и население

Все посетители, попадающие на ваш сайт, считаются населением, а выборка — это количество посетителей, которые участвуют в A/B-тестировании.

Среднее значение, медиана и мода

Среднее = среднее

Медиана = значение посередине

Режим = повторяющееся значение

Дисперсия и стандартное отклонение

Дисперсия — это средняя изменчивость данных. Чем выше изменчивость, тем менее точным является среднее значение в качестве предиктора отдельной точки данных.

Стандартное отклонение представляет собой квадратный корень из дисперсии и выражается в тех же единицах, что и исходные значения, что делает его интуитивно понятным. С другой стороны, дисперсия выражается в квадрате исходной единицы, но по-прежнему важна для результатов ваших A/B-тестов.

Статистическая значимость

Когда инструментальная панель A/B-тестирования говорит, что существует «95%-ная вероятность превзойти оригинал» или «90%-я вероятность статистической значимости», она задает следующий вопрос: если предположить, что между A и B нет основной разницы, как часто мы будем видите разницу, как мы, в данных просто случайно ?

Эван Миллер, разработчик статистического программного обеспечения (источник)

Уровень значимости должен быть как можно меньше. 1% является идеальным, так как он эквивалентен доверительному уровню 99%. И незначительные результаты могут означать, что то, что вы видите, на самом деле является ложным срабатыванием, поэтому важно дождаться статистической значимости, но не только этого.

Вам необходимо рассчитать размер выборки, который соответствует минимальному подъему по вашему выбору (MDE — минимальный обнаруживаемый эффект), у вас будет повышенное изменение ложноположительного результата.

P-значение

Значение p представляет собой вероятность получения результатов, по крайней мере столь же экстремальных, как и наблюдаемые результаты проверки статистической гипотезы, при условии, что нулевая гипотеза верна.

Но вот что вам действительно нужно знать о p-значении: «Насколько удивителен этот результат?»

Как долго вы должны проводить A / B-тестирование в магазине Shopify?

Есть два распространенных заблуждения, с которыми вы будете часто сталкиваться:

• Завершите A/B-тест, когда вы достигнете статистической значимости.
• Следите за p-значениями и объявляйте победителя, как только достигнете цели.

Остановка теста должна основываться на размере выборки. Но хотя вы не должны заканчивать свой эксперимент раньше времени, он не должен продолжаться вечно. Если через 3 месяца вы все еще не достигли значимости, лучше всего попробовать другие изменения на вашей стороне, желательно более смелые.

Convert и Shopify рекомендуют запускать ваши тесты в течение как минимум двух бизнес-циклов или 14 дней.

Авид Фаруз, генеральный директор Faruzo, соглашается:

Начинающим предпринимателям необходимо знать, что в A/B-тестировании сроки имеют большое значение. Чем дольше вы будете проводить A/B-тесты, тем более точные результаты вы получите. Это связано с тем, что ваши тесты будут использовать больше точек данных для получения результатов. Опытные маркетологи проводят свои тесты целых две недели. Я бы посоветовал всем маркетологам и предпринимателям устанавливать временные рамки в соответствии с уровнем посещаемости их веб-сайтов .

Именно поэтому наша платформа предлагает 14-дневную бесплатную пробную версию, чтобы вы могли проверить свою гипотезу.

4 шага для запуска A/B-тестов в магазине Shopify

Готовы запустить тесты?

Используйте этот четырехэтапный процесс A/B-тестирования, чтобы создать более качественные тесты и понять их влияние.

№1. Проведение качественных и количественных исследований

Исследование конверсии — первый и самый важный шаг. Это позволяет вам строить гипотезы, которые вы можете тестировать A/B. На этом этапе, также известном как этап обнаружения, вы откладываете свое операционное предположение и позволяете данным направлять вас.

Вы получите два вида данных — количественные и качественные.

Начните со сбора количественных данных. Они составляют холодные, неопровержимые факты, с которыми не поспоришь и которые могут выдать аналитические системы, такие как Google Analytics, Amplitude или Mixpanel.

Например, вы можете посмотреть показатели отказов, общее количество конверсий или количество просмотренных страниц за сеанс.

Как только вы соберете количественные данные, получите качественные данные. Поскольку это субъективно, существует вероятность того, что подсознательные предубеждения могут закрасться, но интерпретация ваших выводов — единственный способ ответить на вопрос «Почему».

Используйте Hotjar для создания тепловых карт и записи сеансов посетителей. Ответы, которые вы можете найти, не являются окончательными, но они открывают новые возможности, способствующие улучшению гипотезы в целом.

Но прежде чем вы приступите к этому, важно рассмотреть как качественные, так и количественные данные в тандеме, чтобы иметь целостное понимание. Анализ равен запросам данных и критическому мышлению.

№ 2. Создавайте достоверные гипотезы

Следование научному методу означает, что вы должны создать правдоподобную гипотезу — предлагаемое решение, обоснованность которого требует оценки.

Мэтт Бейшель, основатель CorvusCRO, разделяет три основных компонента гипотезы: понимание, ответ и результат.

Вот пример того, как это будет выглядеть:

Чтобы помочь вам упростить и стандартизировать создание гипотез, у нас есть генератор гипотез A/B-тестирования.

На этом этапе вы также хотите понять размер своей выборки и рассчитать точку остановки для теста на основе этого. Используйте для этого наш калькулятор значимости A/B-тестирования.

Совет эксперта:

Как только вы узнаете размер своей выборки и продолжительность тестирования, вам необходимо установить приоритеты тестирования. Вы можете протестировать различные части процесса, такие как отдельная страница, весь веб-сайт, всплывающие окна или платная реклама. Лучше всего сосредоточиться на одной части процесса за раз, чтобы вы могли получить четкие ответы о том, какие изменения приводят к улучшению качества обслуживания клиентов и коэффициенту конверсии .

Аллан Борч, основатель DotcomDollar.com

Расставьте приоритеты в своей гипотезе

Экспериментирование имеет массу преимуществ, поэтому часто можно встретить экспертов, выступающих за тестирование всего и вся. Однако вы должны расставить приоритеты, какие тесты вам нужно запустить сейчас, а какие эксперименты могут подождать, потому что ресурсы ограничены, независимо от того, насколько мала или велика ваша компания.

Поэтому экспериментаторы прибегают к моделям расстановки приоритетов, таким как RICE, PIE, ICE или PXL. Но Дэвид Мангейм, консультант по персонализации, предполагает, что эти модели ошибочны:

Им не хватает соответствия более широкому контексту бизнеса. Расстановка приоритетов должна осуществляться сверху вниз, фокусируясь сначала на бизнес-миссии, затем на бизнес-целях и так далее. Большинство моделей расстановки приоритетов сосредоточены на «исполнении», т. е. на самой последней вещи в диаграмме треугольника и иерархии — на основе, концепции, проблеме пользователя, целях продукта, бизнес-целях и миссии наверху .

Эти модели также используют «усилия» в качестве фактора оценки, что означает, что вы действительно воздерживаетесь от создания функций, которые потенциально могут оказать наибольшее влияние, потому что они сложны. В конечном счете, этим моделям не хватает объективности.

Андреа Саез, старший менеджер по маркетингу продуктов в Product School, говорит:

Вы никак не сможете узнать охват, влияние или усилия по большинству вещей, не проверив должным образом, работаете ли вы вообще над правильными вещами, тем более, если вы ни с кем не говорили об этом. Так как же вы могли быть уверены ?

Ответ здесь заключается в том, чтобы построить собственную модель расстановки приоритетов.

Шаг 1. Вдохновитесь примерами

Шаг 2. Учитывайте такие факторы, как соответствие бизнес-целям, потенциал итерации, обучение, характерное для компании, и инвестиции в ресурсы.

Шаг 3: Назначьте вес тестам, которые вы хотите запустить

Шаг 4: Промойте и повторяйте, пока не найдете аббревиатуру, которая вам подходит.

№3. Разверните тест

Вы провели исследование и построили достоверную гипотезу. Теперь пришло время идти в бой.

Для успешного развертывания требуются три вещи: правильная платформа для A/B-тестирования, правильная команда для кодирования тестов, а также контроль качества и отладка.

Начнем с первого.

Что делает платформу для A/B-тестирования для Shopify хорошей?

В идеале вам нужен единый инструмент, который позволяет тестировать темы, цены, меню, коллекции продуктов, страницы поиска, запускать многовариантные тесты и отслеживать доход.

Многие плагины могут помочь вам достичь одной или нескольких из этих целей, но мы уже знаем, что плагины вызывают раздувание кода, что не является хорошей новостью для вашего SEO или конверсий.

Специальная платформа для тестирования, такая как Convert Experiences, легко интегрируется с вашим магазином Shopify, позволяет вам запускать все виды тестов, которые вы хотите, и имеет специальное приложение для A/B-тестирования Shopify, которое вы можете использовать, устраняя возможное раздувание кода.

Далее, вам нужна правильная команда для кодирования тестов.

Примечание. Существует разница между кодировщиками и кодерами, работающими с командами A/B-тестирования.

В конечном счете, тестирование будет неполным без контроля качества и отладки. Без обеспечения качества могут возникнуть ошибки вариации, вызывающие статистические ошибки — ложноположительные или ложноотрицательные. Не говоря уже о том, что вы можете в конечном итоге собрать неправильные данные, которые не принесут вашим посетителям никакой ценности.

Вот 4 лучших метода обеспечения качества A/B-тестов:

• Разработайте стратегию обеспечения качества
• Определите, что нужно тестировать
• Сосредоточьтесь на опыте страницы
• Согласуйте контроль качества с целями конверсии

Совет профессионала: избегайте этих ошибок новичков в A/B-тестировании:

• Вы тестируете только лучшие отраслевые практики
• Вы продолжаете смотреть на свои «результаты»
• Вы сдаетесь после одного теста
• Вы не можете повторять и улучшать победы
• Вы путаете отслеживание доходов

№ 4. Анализируйте и учитесь на своих A/B-тестах

Независимо от того, есть ли у вас победитель или проигравший, критически важно анализировать, что сработало, и учиться на этом, чтобы повлиять на будущие A/B-тесты.

Потому что, хотя A/B-тестирование — это стратегия увеличения вашего дохода, вы также эффективно «покупаете данные» о своей аудитории.

Вот процесс из 7 шагов, чтобы учиться на A/B-тестах:

• Убедитесь, что ваши данные точны, достоверны и значимы
• Проверьте свои микро-, макро- и защитные показатели
• Сегментируйте результаты
• Проверить поведение пользователя
• Продолжайте улучшать победителей
• Создайте учебный репозиторий для будущих тестов

Последний шаг позволяет вам в будущем запускать тесты, основанные на результатах ваших предыдущих экспериментов.

Совет эксперта: будьте готовы к неудаче.

Трудно предсказать коэффициент конверсии для вашего веб-сайта, даже если вы думаете, что создали идеальный A/B-тест. Как новый предприниматель, я чуть не поддался разочарованию из-за отсутствия успеха в первые несколько месяцев. Я не привык к неудачам, и многие предприниматели такие. В центре внимания должно быть предоставление пользователям наилучшего опыта и оставление места для неожиданностей .

Лесли Радка, основатель и менеджер по найму в GreatPeopleSearch

A / B-тестирование в других областях, которые могут усугубить прибыль вашего магазина Shopify

Не ограничивайтесь только своим сайтом. A/B-тестирование можно и нужно применять к другим каналам и областям, где происходит взаимодействие с клиентами.

Всплывающие окна для A/B-тестирования (с Privy)

Эти всплывающие окна у вас есть на вашем сайте? Вы также можете провести A/B-тестирование с помощью таких инструментов, как Privy. Поэкспериментируйте с заголовком, предложением, формой, призывом к действию или изображениями.

Инструмент преобразования Privy позволяет отображать всплывающие окна в различных форматах и ​​ориентировать посетителей на основе наборов правил.

Письма A/B-тестирования

Когда дело доходит до электронного маркетинга, возникают 3 основные области улучшения: доставка, открываемость и CTR.

Вы можете протестировать свои электронные письма в следующем порядке:

• Во-первых, темы для улучшения открываемости
• Затем основной текст, чтобы убедиться, что он актуален.
• Наконец, CTA, чтобы получить больше кликов

Что еще вы можете протестировать в своей электронной почте? Ознакомьтесь с нашим полным руководством по A/B-тестированию электронных писем.

Вот как 2 предпринимателя Shopify использовали A/B-тестирование для расширения своего канала электронного маркетинга: [h5] #1. Увеличил список адресов электронной почты в 3 раза с помощью сплит-тестирования

Наиболее эффективной стратегией тестирования контента является A/B-тестирование. A/B-тестирование дало проверенные, измеримые, немедленные результаты, которые говорят нам, является ли та или иная база контента более эффективной для преобразования клиентов в подписку на электронную почту, совершение покупки и т. д.

В розничной торговле такие тщеславные показатели, как прямой трафик на ваш веб-сайт, наименее эффективны для измерения успешности контента, в то время как A/B-тестирование (т. е. отслеживание коэффициента конверсии, вовлеченности пользователей, воронок электронной почты) является наиболее эффективным. Мы протестировали наш CTA подписки по электронной почте с помощью сплит-тестирования и увеличили наш список адресов электронной почты более чем в три раза за одну кампанию. Чем лучше вы знаете свой ICP, тем эффективнее будет конвертировать ваша стратегия бренда. Используйте A/B-тесты, чтобы лучше понять свою целевую демографию, и предложите им тот контент, на который они лучше всего реагируют .

Зак Гольдштейн, Public Rec

№ 2. Увеличение открываемости электронной почты на 25% благодаря смайликам в теме письма.

Увидев исследование, я захотел проверить открываемость, используя смайлики в строке темы и не используя их. Исследование подразумевало, что использование смайлов поможет повысить открываемость, но я чувствовал, что это может показаться непрофессиональным и спамом.

Я использую платформу электронной почты ActiveCampaign вместе с Shopify и фактически интегрирую их вместе, чтобы максимизировать общение с клиентами. ActiveCampaign позволяет пользователям запускать множество A/B-тестов, чтобы они могли увидеть, что нравится их целевой аудитории. Когда были получены результаты, мне пришлось признать, что я был неправ, потому что электронные письма с эмодзи в теме открывались на 25% выше. Можно с уверенностью сказать, что с тех пор я довольно либерально отношусь к своей клавиатуре с эмодзи, и я также заметил всплеск коэффициента конверсии .

Стефани Венн-Уотсон, толстушка15

A/B-тестирование в социальных сетях

Как и в платной рекламе, вы можете протестировать органический контент в социальных сетях, чтобы улучшить взаимодействие. Заголовок, текст, изображения и CTA могут быть протестированы A/B.

Делая это вручную, разбивайте выпуск своих постов, чтобы иметь разумный промежуток, который позволит вам собрать значимые данные.

Или вы можете использовать инструменты планирования, такие как Later, Buffer или MeetEdgar, чтобы автоматизировать публикацию.

Ловушки A/B-тестирования электронной коммерции, которых следует избегать

Наша потребность в мгновенном вознаграждении также проявляется в A/B-тестировании. Джон Иванко, соучредитель Formtoro, считает, что большая часть A/B-тестирования является реакционной:

Бренды хотят быстрого и экономичного решения; они ненавидят идею инвестирования в долгосрочные перспективы и прибыль. Они смотрят на эти вещи только тогда, когда дела идут плохо .

Есть «эксперты», которые на самом деле не являются экспертами, плохие советы выдаются за лучшие практики, а есть эксперименты, направленные на то, чтобы собрать низко висящие плоды.

Вместо этого Ivanco рекомендует правильно понять основы:

– Все тесты для целевых страниц
– Все тесты от определенных аудиторий
- Проверяйте одну переменную за раз
- Не тестируйте, если у вас нет четко сформулированной гипотезы, и вы можете узнать, если что-то пойдет правильно или нет.
– Проведите все тесты с точки зрения пути клиента
– Маленькие вещи являются частью более крупной цепочки, старайтесь изолировать их как можно больше, шаг за шагом.

Подумайте о конфиденциальности

Никто не хочет стать лабораторной крысой непреднамеренно.

Реакция на исследование эмоционального заражения, проведенное Facebook в 2014 году, является тому доказательством. Даже обновления конфиденциальности Apple сигнализируют о том, что пользователи заботятся о своей конфиденциальности и не хотят, чтобы ими манипулировали при покупке продуктов.

Законы о конфиденциальности — существующие и будущие — будут продолжать развиваться. Каждый раз, когда вносятся значительные изменения, это наносит ущерб вашему бизнесу, если вы не начнете думать в первую очередь о пользователе и не внедрите этическое A/B-тестирование в свою стратегию.

Так что это значит для вас?

• Серьезно относитесь к конфиденциальности данных при сборе данных
• Исключите манипулятивную тактику
• Безопасное хранение и обработка данных
• Уважайте согласие пользователей и позволяйте им отказываться от экспериментов.

Сделайте это, и вы обезопасите свое A/B-тестирование в будущем и построите лучшие отношения со своей аудиторией.