A/B-тестирование против многовариантного тестирования против многостраничного тестирования

Когда дело доходит до проведения экспериментов CRO, вы можете выбрать один из четырех типов тестов: A/B-тесты, сплит-тесты, многовариантные тесты и многостраничные тесты.

Каждый из этих тестов имеет свои сильные стороны и ограничения.

И если вы не выберете правильный тест для своего эксперимента, принятие убедительных решений CRO на основе данных может стать трудным.

Итак, давайте разберемся, что представляют собой эти различные методы тестирования оптимизации и как они соотносятся друг с другом… и как вы можете быть уверены, что выбираете правильный тест каждый раз, когда запускаете эксперимент.

Вот оно.

Что такое A/B-тестирование

A/B-тестирование — это способ проверить изменения одного или нескольких элементов на странице.

С помощью A/B-тестирования вы можете добавить элемент на страницу, удалить его или изменить, а также посмотреть, как добавление, удаление или изменение повлияет на коэффициент конверсии страницы.

Этими элементами могут быть любые графические или текстовые элементы со страницы — например, ее призыв к действию, копия заголовка или главное изображение.

При A/B-тестировании вы создаете одну или несколько точных копий исходной страницы, причем единственными неидентичными элементами являются элементы для тестирования.

И когда вы сравните эти копии (называемые претендентами ) с исходной копией (называемой контрольной ), вы увидите, как изменения влияют на коэффициент конверсии.

Разделение URL-тестирования

Существует еще одна форма тестирования, которую часто объединяют с A/B-тестированием, но она принципиально отличается от A/B-тестирования.

Они известны как сплит-тесты URL или сплит-тесты.

При сплит-тестировании трафик, получаемый страницей, разделяется пополам и направляется на две совершенно разные версии одной и той же страницы, чтобы определить версию, которая лучше подходит для указанной цели.

Как правило, эти версии размещаются по разным URL-адресам, но конечной целью является повышение конверсии для определенного действия, например, заполнения формы или добавления в корзину.

Раздельное тестирование URL-адресов, которое использовалось для тестирования совершенно разных дизайнов или версий страницы.

Здесь цель состоит в том, чтобы найти тот, который работает лучше всего.

Итак, если вы хотите протестировать две совершенно разные идеи, вам следует использовать тестирование с разделением URL. Например, если вы хотите протестировать два дизайна домашней страницы, то этот метод будет правильным.

Пример A/B-теста

Компания BestSelf, ведущий продавец инструментов повышения производительности, поняла, что продажи ее флагманского продукта могут быть улучшены с помощью CRO. Поэтому они наняли агентство CRO (SplitBase), чтобы выяснить, как это могло произойти.

Компания SplitBase провела исследование и выдвинула гипотезу о том, что добавление заголовка, ориентированного на выгоду, на целевую страницу (у которой изначально не было заголовка) может помочь увеличить продажи.

SplitBase решил провести A/B-тестирование и сравнить страницу с заголовком с исходной страницей. SplitBase также решила протестировать две версии заголовка.

Таким образом, его эксперимент с использованием простого A/B-теста завершился тремя версиями:

• Версия А (контроль без заголовка)
• Версия B (претендент с заголовком)
• Версия C (претендент с вариацией заголовка)

Трафик был разделен поровну между всеми тремя версиями (~ 33% каждая), чтобы увидеть, какая версия получила больше всего продаж.

Как видите, эксперимент по тестированию A/B вполне может стать экспериментом по тестированию A/B/C/D…n.

Примеры использования A/B-тестирования

A/B-тестирование имеет очень специфический вариант использования:

Тестирование очень похожих конструкций (за исключением изменения тестовых элементов).

Это наиболее распространенный вариант использования A/B-тестов, когда вы экспериментируете только с одним элементом и смотрите, как изменение влияет на коэффициент конверсии.

Если вы предполагаете, что определенный элемент может оказать положительное влияние на коэффициент конверсии, вам следует использовать этот метод тестирования. Например, вы можете использовать этот метод тестирования оптимизации, чтобы увидеть влияние изменения CTA на вашей домашней странице.

Плюсы A/B-тестирования

• A/B-тесты просты в реализации: независимо от того, тестируете ли вы два очень похожих или два совершенно разных опыта, настроить A/B-тест довольно просто. Обычно они не требуют слишком много времени или ресурсов.
• Для получения окончательных результатов A/B-тестам требуется меньший трафик (по сравнению с многовариантными): статистически значимые результаты для внесения изменений в дизайн, пользовательский интерфейс или копирования на вашем веб-сайте. Это особенно верно, когда вы запускаете A/B-тесты только с контролем и претендентом (или, скажем, с двумя претендентами), поскольку вы все еще можете отправлять хорошие объемы тестового трафика каждому.
• A/B-тесты не требуют слишком много времени для выполнения . Обычно A/B-тесты могут дать статистически значимые результаты через 2-3 недели, и их не нужно проводить месяцами и месяцами подряд.

Ограничения A/B-тестирования

• A/B-тесты обычно дают ограниченную информацию: A/B-тесты аналогичного опыта (где различается только один элемент) обычно запускают две версии. Это означает, что максимум, что маркетолог может узнать из эксперимента, это какая из трех версий (1 оригинал + 2 претендента) оказалась лучшей. Вот и все — выводы только о трех возможностях. Если вы хотите протестировать больше вариантов (например, если вы хотите протестировать 5 версий кнопки CTA), вам потребуется достаточно трафика для принятия статистически значимых решений даже после разделения трафика на такое количество вариантов.
• A/B-тесты в основном подходят только для принятия высокоуровневых решений по веб-сайтам: поскольку A/B-тесты отлично подходят для получения объективных ответов о том, какая версия лучше, они отлично работают при принятии высокоуровневых решений. Таким образом, вы можете выбрать подход, который вы хотите использовать с дизайном вашего веб-сайта или целевой страницы или пользовательским интерфейсом, или скопировать с помощью A / B-тестов. НО, если вы хотите настроить более детализированные элементы дизайна, пользовательского интерфейса или текста, вам, вероятно, потребуется провести несколько A/B-тестов, которые могут занять много времени и труда.

Инструменты A/B-тестирования

Convert Experiences — это мощное CRO-решение, которое вы можете использовать для проведения всех своих экспериментов по A/B-тестированию и обнаружения наиболее эффективных кнопок CTA, копий заголовков, основных изображений, цветовых схем, размещения логотипов и многого другого для использования на вашем веб-сайте.

Convert позволяет выполнять как обычные тесты A/B/n, так и тесты с разделением URL с помощью визуального редактора и более надежного редактора кода.

Что такое многовариантное тестирование (MVT)

Многовариантное тестирование или MVT — это способ проверки более чем одного варианта в сравнении с контролем .

При многовариантном тестировании вы можете добавлять, удалять или изменять группу элементов на странице, тем самым создавая несколько версий с несколькими настройками, и смотреть, как добавление, удаление или изменение группы элементов влияет на коэффициент конверсии.

Группа элементов в многомерном тестировании ДОЛЖНА состоять как минимум из двух элементов. И каждый элемент должен иметь два варианта. Это означает, что при многовариантном тестировании у вас будет как минимум четыре версии для тестирования.

Вот разбивка простого многомерного теста:

Группа элементов для тестирования: Элемент 1, Элемент 2.

Варианты Элемента 1:

Элемент 1 Вариант А

Элемент 1 Вариант Б

Варианты элемента 2

Элемент 2 Вариант А

Элемент 2 вариант Б

Математика многовариантного тестирования:

Количество тестируемых версий = количество элементов в группе * количество вариантов каждого элемента

Варианты использования многовариантного тестирования

Компании обычно используют многовариантное тестирование в качестве метода оптимизации, чтобы получить более детальное тестирование. Давайте проясним сразу. Поэтому цикл экспериментов удлиняется.

Но благодаря тому факту, что вы можете вносить изменения в кластеры элементов для каждого варианта, вы можете перейти от выявления более крупной проблемы/препятствия к конверсии (что вы делаете с A/B-тестированием) к тонкой настройке взаимодействия с посетителем для конкретной страницы.

Многовариантный тестовый пример/кейс

Давайте создадим гипотетическое многовариантное тестирование расширения примера из приведенного выше примера.

Теперь, поскольку этот магазин электронной коммерции уже использовал A/B-тестирование, чтобы найти выигрышную версию своей флагманской страницы продукта, теперь он может провести раунд многовариантного тестирования, чтобы поэкспериментировать с различными комбинациями элементов на выигрышном дизайне для дальнейшего продвижения. повысить его конверсию.

Так, например, в своем многовариантном тесте он мог создать несколько вариантов, изменив цвет кнопки CTA, основного изображения и копии кнопки CTA, и сравнить их с оригиналом, чтобы найти «более» выигрышную комбинацию.

Плюсы многовариантного тестирования

• Многовариантные тесты отлично подходят для принятия решений о микроконверсии: с многовариантными тестами вы можете экспериментировать со многими комбинациями изменений дизайна, пользовательского интерфейса и текста. Это означает, что вы можете исключить все догадки из процесса «настройки» вашего веб-сайта для повышения коэффициента конверсии. Вы действительно можете проверить даже самый незначительный выбор.
• Многовариантные тесты дают более глубокое представление о том, как элементы взаимодействуют друг с другом: поскольку многовариантное тестирование позволяет вам тестировать комбинации элементов, вы можете увидеть, как ваши различные комбинации влияют на выбор ваших пользователей (вместо того, чтобы просто тестировать отдельные элементы, как в случае с A/). В-тесты). При многовариантном тестировании наблюдаемый эффект всегда больше, когда к варианту применяется несколько изменений, а не только одно изменение. Это называется эффектом взаимодействия .

Ограничения многовариантного тестирования

• Многовариантные тесты требуют большого трафика: если вы посмотрите на математику многовариантного тестирования, вы увидите, что количество тестируемых версий становится огромным в зависимости от количества тестируемых элементов и их вариаций. Например, если вы хотите использовать многовариантный тест и протестировать различные комбинации кнопки CTA (в трех цветах: один элемент управления и два претендента и три копии: один элемент управления и два претендента), вам нужно создать 3*3, т.е. девять версий. Наличие достаточного количества трафика для разделения между таким количеством версий является проблемой даже для веб-сайтов с высокой посещаемостью.
• Многовариантные тесты могут быть трудны для планирования: планирование значимого многовариантного теста сложно из-за огромного количества комбинаций (различных элементов на вашей странице), которые вы можете протестировать. Выбор между такими комбинациями, как заголовок, главное изображение и CTA основной области или заголовок, УТП и заголовок, может потребовать больших усилий. Кроме того, тестирование слишком большого количества элементов в многомерном тесте может исказить результаты.
• Многовариантное тестирование не подходит для принятия окончательных решений на высоком уровне: поскольку многовариантное тестирование проверяет комбинации элементов, вы не всегда можете окончательно сказать, почему определенная комбинация победила. Это означает, что принятие радикального решения о CRO не всегда возможно при многовариантном тестировании. Это сводит многовариантные тесты к использованию только более детальных решений CRO, таких как тестирование мест размещения/графики/копирования элементов в версии, которая, как вы уже знаете, хорошо работает.

Инструменты многовариантного тестирования

С Convert Experiences вы можете легко настроить многовариантные тесты на своем веб-сайте и посмотреть, как различные комбинации элементов влияют на коэффициент конверсии.

Все еще не знаете, какой инструмент многовариантного тестирования выбрать? Ознакомьтесь с полной разбивкой лучших инструментов многовариантного тестирования.

Многовариантное тестирование против сплит-тестирования: что следует использовать?

Ознакомьтесь со сравнительной таблицей многовариантного тестирования и разделенного базового тестирования (или A/B-тестирования) ниже, чтобы узнать, когда вам следует использовать любой из двух методов.

Что такое многостраничное тестирование и тестирование воронки

Многостраничное тестирование — это форма экспериментирования, при которой вы проверяете изменения отдельных элементов на нескольких страницах.

Есть два способа сделать это.

Вы либо берете все страницы своей воронки продаж, либо создаете новые версии каждой из них. Этот новый набор страниц делает вашу воронку продаж «претендентом», и вы затем запускаете ее против исходной воронки продаж (или «контрольной»). Это называется «тестирование воронки».

Или вы можете проверить, как наличие/отсутствие повторяющихся элементов, таких как значки безопасности, может повлиять на конверсию во всей воронке. Это классическое или обычное многостраничное тестирование.

Примеры использования многостраничного тестирования и тестирования воронки

Благодаря многостраничному тестированию вы можете оценить влияние изменений, внесенных в элементы, на протяжении всего пути покупателя.

Компании, решившие инвестировать в воронкообразные тесты, получают тонны информации высокого уровня.

Например, вы можете использовать тестирование воронки, чтобы найти наиболее эффективные:

• Вы можете запустить тесты воронки, чтобы проверить разные голоса и тона на своих страницах — например, если вы являетесь поставщиком антивирусных услуг, вы можете протестировать внушающую страх копию в своей воронке продаж против своей нейтральной или внушающей доверие копии — и посмотрите, какие сообщения лучше всего находят отклик у ваших посетителей и приносят больше всего продаж.
• Философия дизайна. Вы можете поэкспериментировать с различными теориями дизайна и посмотреть, какая из них работает лучше всего.
• Стратегии продаж/поддержки. Вы можете разработать версию воронки продаж, предлагающую поддержку в чате на нескольких выбранных страницах вашей воронки, и посмотреть, как воронка с включенным чатом сравнивается с обычной воронкой продаж (без поддержки в чате). Точно так же вы можете протестировать множество стратегий продаж/поддержки и посмотреть, как вы можете увеличить количество конверсий в своей воронке продаж.

Многостраничный тестовый пример/кейс

Опять же, давайте создадим гипотетическое расширение того же примера из практики, что и выше.

Теперь, поскольку этот конкретный веб-сайт является интернет-магазином, его самая основная воронка продаж:

Страница продукта > Страница добавления в корзину > Страница оформления заказа

Таким образом, чтобы запустить многостраничный тест, этому магазину потребуется создать вариант для каждой из этих страниц и создать воронку претендента, например:

Версия страницы продукта A > Версия A страницы добавления в корзину > Версия A страницы оформления заказа

В воронке состязания интернет-магазин может решить проверить, как добавление легенды «Нам доверяют 10 000 профессионалов» преобразуется в конверсию на каждом этапе пути покупателя. Или он может выбрать отображение очень разных страниц (аналогично раздельному тестированию с двумя совершенно уникальными страницами).

Однако, если они настроены амбициозно, они могут пройти тестирование воронки и поэкспериментировать с текстом, стратегией отказа от корзины и многим другим.

Вы поняли идею, верно?

Плюсы многостраничного тестирования

• Тестирование многостраничной воронки помогает устранять утечки в воронке продаж: если ваши данные Google Analytics показывают значительное падение на определенных страницах воронки продаж, вы можете настроить многостраничное тестирование, чтобы найти, что может уменьшить их и получить больше конверсий.
• Многостраничные тесты могут дать более глубокое представление о поведении пользователей: с помощью многостраничного тестирования вы можете определить различные элементы вашей контрольной и контрольной последовательностей, с которыми ваши пользователи взаимодействуют больше всего. Вы можете использовать эти идеи для принятия еще более обоснованных решений по дизайну, копированию и взаимодействию с пользователем.

Минусы многостраничного тестирования

• Многостраничные эксперименты могут длиться месяцами. Поскольку у B2B долгий путь к покупке (часто растягивающийся на месяцы), многостраничные тесты B2B могут длиться месяцами подряд.
• Получение информации из результатов многостраничного теста может оказаться сложной задачей: если ваша тестовая версия экспериментирует со слишком большим количеством переменных (например, если вы экспериментируете как с дизайном, так и с копией в тестовой версии), вы не сможете определить, вызвал ли дизайн больше преобразования или копии. Создание группы претендентов (например, одного для тестирования дизайна и одного для тестирования копии) потребует от вас разделения трафика на три части. Если вы не получите тысячи посетителей на свой веб-сайт, у вас может не хватить трафика для получения статистически значимых результатов, если вы запускаете слишком много таких вариантов.

Инструменты многостраничного тестирования

С Convert вы можете легко настроить многостраничные тесты или эксперименты с воронками и посмотреть, как различные изменения влияют на конверсию на разных страницах.

A/B-тестирование против многовариантного тестирования против многостраничного тестирования

A/B-тестирование

Что это:

При A/B-тестировании вы тестируете две очень похожие версии одной и той же страницы/объявления/ресурса, чтобы найти наиболее эффективный вариант.

Когда использовать:

По своей сути A/B-тестирование — это метод, который оптимизаторы используют для выявления самых больших препятствий на пути к конверсии. Вы должны создать гипотезу, которая точно определяет (предполагаемую) причину низкой конверсии и проверяет, как изменение/настройка элемента может смягчить проблему.

С помощью A/B-тестирования вы можете принимать высокоуровневые решения по дизайну и копированию.

Например, высокий показатель отказов с домашней страницы обычно свидетельствует о том, что посетители не получают «ценности», которую предлагает продукт или решение. A/B-тесты с разными версиями заголовка ценностного предложения являются обычным явлением.

Легкость получения информации:

Для A/B-тестов требуется около 10 000 посетителей для каждого варианта и около 1000 конверсий, чтобы получить представление. Но их относительно быстрее проводить по сравнению с многовариантными тестами.

Многовариантное тестирование

Что это:

При многовариантном тестировании вы тестируете более одного варианта в сравнении с контролем (который, как вы уже знаете, работает хорошо).

Когда использовать:

Многовариантные тесты можно использовать для принятия более детальных решений. Например, если у вас есть высокоэффективная домашняя страница, которую вы хотите дополнительно оптимизировать, вы можете использовать многовариантные тесты, чтобы поэкспериментировать с более принципиально разными вариантами группы элементов на вашей домашней странице.

Думайте об этом как об устранении небольших утечек после того, как наводнение было остановлено с помощью A/B-тестирования.

Легкость получения информации:

Многовариантные тесты чрезвычайно сложны из-за включения нескольких элементов в несколько вариантов. Таким образом, потребности в трафике и время для достижения окончательного результата усугубляются.

Многостраничное тестирование

Что это:

При многостраничном тестировании вы тестируете разные пути покупки, чтобы найти наиболее оптимальный. Многостраничное тестирование похоже на запуск нескольких A/B/N и многовариантных тестов на нескольких страницах воронки продаж.

Когда использовать:

Многостраничные тесты или воронкообразные тесты можно использовать для принятия высокоуровневых решений на протяжении всего цикла продаж.

Например, вы можете сравнить персонализированный путь продаж с обычным.

Легкость получения информации:

Многостраничные тесты с ограниченными версиями (скажем, 2) могут относительно быстро дать значительные результаты.

Сравнение A/B-тестирования, многовариантного и многостраничного тестирования

Эксперимент может дать окончательные результаты только в том случае, если в нем используется правильный формат теста.

В качестве синопсиса, вот что вы должны иметь в виду:

• A/B-тесты. Обычно вы тестируете как минимум один важный элемент, который был определен как препятствие для конверсии в вашей гипотезе, в одной другой версии (варианте).
• Сплит-тесты . Сплит-тесты сосредоточены на размещении двух совершенно разных страниц и опыте для посетителей по двум отдельным URL-адресам при оценке их для одной и той же цели конверсии. С помощью сплит-тестов вы можете протестировать две совершенно разные настройки — например, платформы хостинга и темы друг против друга.
• Многовариантные тесты или A/B/N-тесты — MVT обычно проводятся на победителях A/B-тестов. В многовариантном тестировании вы вносите изменения в кластеры элементов страницы, каждый уникальный или измененный кластер становится вариантом или версией своего собственного. Трудно приписать более высокие конверсии для варианта MVT конкретному элементу, но оптимизаторы могут протестировать детальные модификации для копирования и дизайна.
• Многостраничные тесты. Запуск многостраничного теста аналогичен одновременному запуску нескольких тестов A/B/N на нескольких страницах воронки продаж. В качестве альтернативы вы можете протестировать совершенно разные варианты воронки продаж (например, направить половину трафика на контрольную версию Страница 1 > Страница 2 > Страница 3 , а другую половину - на пробную версию Вариант страницы 1 > Вариант страницы 2 > Страница 3) . вариант с претендентом, совершенно не похожим на контрольный.)

Выбор правильного теста для эксперимента во многом зависит от правильности гипотезы. Вот несколько инструментов CRO, которые помогут вам писать четкую гипотезу каждый раз, когда вы проводите эксперимент.

Кроме того, когда вы будете готовы начать с A/B, многовариантных или многостраничных тестов для своих экспериментов, ознакомьтесь с Convert. Convert Experiences может легко справляться со всеми экспериментами по оптимизации, о которых вы только можете подумать, для веб-сайтов с высоким трафиком, даже в отраслях, где важна конфиденциальность данных.

Дайте Convert Experiences полную 15-дневную бесплатную пробную версию без каких-либо обязательств и переосмыслите, как тестирование может улучшить ваши ключевые показатели эффективности.