Многовариантное тестирование: как запустить лучшие тесты для достижения наилучших результатов

A/B-тестирование — один из самых простых способов найти идеи оптимизации ваших целевых страниц после клика, но это не всегда самый эффективный способ.

Прежде чем приступить к тестированию двух, трех или четырех страниц за раз, узнайте, как протестировать еще больше, и найдите наилучшую комбинацию элементов для конвертации ваших посетителей.

Что такое A/B-тестирование?

A/B-тестирование, также известное как сплит-тестирование, позволяет сравнить две разные версии веб-страницы, чтобы определить, какая из них лучше конвертирует посетителей.

Эти две страницы могут быть:

• Немного отличается

Если у вас есть дизайн с высокой конверсией, и вы хотите выяснить, как улучшить один элемент, вы можете протестировать две разные страницы только с одним отличием. Если вы хотите увидеть, какой из заголовков, ориентированный на любопытство или новости, работает лучше, вы можете сравнить заголовок с заголовком. Если вы хотите узнать, что больше влияет на конверсию: видео или гифка, вы можете протестировать их на каждой странице.

После получения одинакового трафика для каждого из них побеждает тот, который генерирует наибольшее количество конверсий. И причина, по которой одна из них генерировала больше конверсий, ясна, поскольку между двумя страницами есть только одна разница.

• Совершенно разные

Вы также можете протестировать две страницы, которые отличаются несколькими способами. Ваша исходная страница может иметь другой заголовок, изображение и кнопку призыва к действию, чем ваш вариант. Тестирование может выглядеть примерно так:

После получения одинакового трафика как на исходную страницу (A или «контрольную»), так и на вариантную страницу (B), победителем становится та, которая лучше конвертируется. Но в отличие от случая, когда вы меняете только один элемент в каждом тесте, когда вы тестируете совершенно разные страницы, невозможно определить причину победы той или иной страницы.

Принимая во внимание результаты приведенного выше примера, мы бы знали только то, что версия «b» лучше, чем версия «a», но не причину, по которой она лучше, поскольку есть ряд причин, которым это можно было бы приписать. Конверсия могла быть получена из-за настройки панели навигации слева направо или формы регистрации сверху вниз. Все, что вы можете сказать наверняка, проводя A/B-тестирование совершенно разных дизайнов, это то, что одна страница лучше другой.

Но есть тест другого типа, который вы можете запустить, чтобы определить, как изменения нескольких элементов взаимодействуют друг с другом. Это называется многофакторный тест.

Что такое многовариантное тестирование?

Многовариантное тестирование — это процесс, используемый оптимизаторами для сравнения двух разных веб-страниц. Этот метод фокусируется на сравнении тонких изменений между несколькими элементами, а затем на измерении того, как эти элементы взаимодействуют друг с другом, с целью найти наиболее эффективный.

Разница между A/B-тестированием и многовариантным тестированием

Вы, наверное, читали множество кейсов A/B-тестирования, которые находят выигрышную страницу, сравнивая один заголовок с другим, или избранное изображение с видео, или один призыв к действию с немного другим. Хотя их можно использовать для этого с точностью, по словам оптимизаторов из Widemile, есть более идеальный способ использования A/B-тестирования:

По их словам, идеальное применение для A/B-тестирования — это «тестирование двух или более совершенно разных страниц». С точки зрения тестирования, лучше проводить A/B-тестирование, чтобы найти так называемый «глобальный максимум», и многомерное тестирование, чтобы уточнить «локальный максимум».

Глобальный максимум и локальный максимум

Как бы трудно это ни было, представьте на секунду, что вы никогда в жизни не ели шарика мороженого и стоите в кафе-мороженом, пытаясь решить, какой из 30 различных вкусов вы хотите купить. .

Есть 10 разных видов шоколада, 10 разных сортов ванили и 10 разных вариаций клубники. Собираетесь ли вы попробовать все 30 вкусов, прежде чем решить, какой из них вы хотите попробовать?

Возможно нет. Скорее всего, вы попробуете по одному из совершенно разных вкусов — один шоколадный, один клубничный и один ванильный — чтобы определить, какой сорт вам понравится больше всего. Если вы обнаружите, что предпочитаете шоколад ванили и клубнике, вы начнете пробовать такие вкусы, как «тесто для печенья с шоколадной крошкой», «шоколадно-арахисовое масло» и «шоколадная помадка», чтобы решить, какой шоколад вам нравится больше всего.

С точки зрения статистики, мы бы назвали тот сорт, который вам нравится больше всего (шоколадный, ванильный или клубничный), глобальным максимумом. Это вкус, который вам больше всего нравится из трех совершенно разных типов. Специфический вкус сорта (шоколадная помадка, тесто для печенья с шоколадной крошкой, шоколадно-арахисовое масло) будет локальным максимумом. Это лучшая версия сорта, который вы выбрали.

Как оптимизатор, вы должны подходить к тестированию аналогичным образом. Вы хотите найти страницу, которая лучше всего конвертирует ваших посетителей (глобальный максимум), а затем настроить определенные элементы на этой странице, чтобы улучшить ее до страницы с самой высокой конверсией (локальный максимум). То, что вы ищете, определит, какой тест вы используете.

Когда использовать A/B-тестирование и когда использовать многовариантное тестирование

A/B-тесты лучше всего подходят для тестирования глобального максимума. Они лучше всего определяют, на какой странице ваши посетители хотят совершить конверсию. Возьмем этот пример от MarketingExperiments, которые использовали A/B-тестирование, чтобы помочь Investopedia повысить конверсию для своего информационного бюллетеня Investopedia Advisor.

Предложение было простым — бесплатный информационный бюллетень с советами по акциям — и исходная страница отражала это. Он не был длинным, сложным или загроможденным множеством элементов. Он содержал форму для захвата лидов с одним полем, маркированный текст и инфографику:

Но, несмотря на ценное бесплатное предложение, конвертация была всего 1,33%. Команда MarketingExperiments решила полностью переработать страницу. Среди прочего они изменили заголовок, макет, кнопку CTA и добавили несколько значков. Затем они провели A/B-тестирование новой страницы по сравнению с исходной и обнаружили, что новая страница конвертируется на 89,4% выше. Вот как это выглядело:

Важно помнить, что с помощью этого A/B-теста экспериментаторы не выяснили, почему новая страница конвертируется лучше, чем старая, но они нашли новую более высокую конверсию. Другими словами, они нашли новый глобальный максимум. В этот момент, если они пожелают, они могут улучшить эту страницу с помощью многовариантного тестирования, чтобы определить, какая комбинация элементов конвертирует больше всего посетителей.

Например, это именно то, что хотят сделать тестировщики в этом гипотетическом примере от Optimizely. Они хотят выяснить, какая комбинация заголовка и изображения конвертирует больше всего посетителей.

Таким образом, они создают несколько страниц с различными комбинациями заголовков и изображений, чтобы увидеть, какая из них работает лучше всего.

Какая из этих четырех версий выйдет из теста с самым высоким коэффициентом конверсии, станет победителем. Если две версии с лампочкой работают лучше, чем две с шестеренкой, можно сделать вывод, что изображение с лампочкой оказывает наибольшее влияние на конверсию. Оттуда вы увидите, какой сопутствующий заголовок произвел больше конверсий, и будете использовать эту страницу.

Как провести многофакторный тест

Несколько лет назад, когда основатель VWO Парас Чопра захотел увеличить количество загрузок на своей веб-странице, он использовал многофакторное тестирование, чтобы выяснить, как это сделать. Если вы знакомы с этапами проведения A/B-тестирования, вы узнаете большинство шагов в этом примере многовариантного теста.

1. Определите проблему

Прежде чем вы сможете начать улучшать свою веб-страницу, лучше изучить данные и выяснить, как посетители взаимодействуют с ними. Он обнаружил, что люди не нажимали его кнопку «скачать» так часто, как он ожидал, поэтому он изучил страницу, чтобы выяснить, почему.

2. Сформулируйте гипотезу

После тщательного изучения он понял, что ссылка на скачивание совершенно незаметна. Поэтому он выдвинул гипотезу по улучшению страницы:

Очевидное решение, позволяющее посетителям обратить внимание на ссылку для скачивания, состоит в том, чтобы сделать раздел скачивания самой заметной частью страницы. В дизайне страницы размер и цвет заголовка «Скачать» хорошо сочетались с остальной частью страницы, из-за чего люди пропускали ссылку для скачивания.

Сделав ссылку «Скачать» более заметной, он полагал, что сможет повысить конверсию. Вот как он решил это сделать.

3. Создавайте варианты

Теперь пришло время создать варианты страниц для теста. По словам Параса:

Для многовариантного теста я выбрал два фактора на странице создания вариантов: заголовок «Скачать» на боковой панели и ссылку для скачивания «PDFProducer» под ним. В центре внимания теста было наблюдение за эффектом слова «бесплатно» и эффектом выделения раздела загрузки.

Вот как он решил сделать раздел загрузок более заметным и привлекательным.

Для исходной ссылки «Скачать» он протестировал три разных варианта:

• «Скачать» красным
• «Скачать бесплатно» красным
• «Скачать» в цвете по умолчанию, но с большим размером шрифта

Для исходной ссылки «PDFProducer» он протестировал два разных варианта:

• «PDFProducer» в цвете по умолчанию, но с большим размером шрифта
• «PDFProducer» красным

Вот так выглядели все комбинации:

С четырьмя версиями ссылки для скачивания (включая оригинал) и тремя версиями текста «PDFProducer» (опять же, включая оригинал) было сформировано 12 различных вариантов для проведения полного факторного теста. Полный факториал проверяет все комбинации, в отличие от дробного факториала, который проверяет только самые важные.

Хотя существует несколько методов многомерного анализа — полный факторный анализ, дробный факторный анализ и метод Тагучи — большинство оптимизаторов рекомендуют использовать полный факторный анализ из-за его точности, утверждает Алекс Биркетт из CXL.

4. Определите размер выборки

Прежде чем вы начнете направлять трафик на свои страницы, вам необходимо определить размер выборки — количество посетителей, которое должна генерировать каждая страница, прежде чем вы сможете сделать выводы о результатах вашего теста.

Этот калькулятор от VWO поможет вам определить, сколько посетителей и сколько времени вам нужно для запуска теста на основе трафика вашего веб-сайта, количества вариантов и вашей статистической значимости.

Чтобы узнать больше о достижении статистической значимости и обо всем, что вам нужно для работы с калькулятором, ознакомьтесь с этой записью в блоге.

5. Проверьте свои инструменты

Протестируйте все, прежде чем запускать трафик. Ваша целевая страница после клика выглядит одинаково в каждом браузере? Ваша кнопка CTA работает? Все ли ссылки в ваших объявлениях правильные?

Прежде чем вы начнете что-либо запускать, важно проверить каждый аспект вашей кампании, чтобы убедиться, что ничто не отравляет ваши результаты.

6. Начните привлекать трафик

Теперь, когда вы создали свои варианты и знаете, сколько трафика вам нужно будет генерировать для каждого из них, можно безопасно привлекать к ним трафик. Самым большим недостатком многовариантных тестов является колоссальный объем трафика, который вам понадобится, прежде чем вы сможете их завершить, поэтому вам нужно набраться терпения.

Когда вы проводите A/B-тестирование, есть только две страницы, на которые вам нужно будет направить значительный трафик. Но в многовариантном тесте, таком как, например, у Параса, есть 12 разных страниц, которые должны собрать большой размер выборки, прежде чем вы сможете вызвать тест.

Следите за угрозами вашей достоверности и не забывайте учитывать повышенный уровень ложноположительных результатов, говорит Леонид Пекелис:

«По сути, вы проводите отдельный A/B-тест для каждого взаимодействия. Если у вас есть 20 взаимодействий для измерения, и ваша процедура тестирования имеет 5%-ный уровень обнаружения ложных срабатываний для каждого из них, вы внезапно ожидаете, что примерно одно взаимодействие будет обнаружено совершенно случайно. Есть способы объяснить это, они обычно называются исправлениями множественного тестирования, но опять же, цена заключается в том, что вам, как правило, требуется больше посетителей, чтобы увидеть окончательные результаты».

7. Проанализируйте свои результаты

Проведя свой тест в течение четырех недель, Парас обнаружил следующее:

Вы можете заметить, что заголовок «Скачать бесплатно», выделенный красным цветом, повысил коэффициент конверсии загрузки с 39% до 63%, то есть на колоссальные 60%. Наличие «Скачать» с большим размером шрифта (в сочетании с красным цветом ссылки) также имело положительное (43%) улучшение по сравнению со значением по умолчанию. Из всех результатов первые три являются статистически значимыми при уровне достоверности 95% или более.

Парас мог бы реализовать свою новую страницу и забыть об этом тесте, но вместо этого он подчеркивает важный последний шаг:

8. Учитесь на своих результатах

Каждый из ваших тестов должен использоваться, чтобы узнать что-то о ваших веб-страницах и их посетителях, что вы можете использовать для информирования будущих тестов.

Об этом он узнал на своей веб-странице:

• Слово «бесплатно» нашло отклик у посетителей его сайта.
• Бесплатный характер предложения лучше всего рекламировать рядом с призывом к действию.
• Красный цвет привлекал внимание посетителей.
• Более крупный призыв к действию привлек больше внимания посетителей.

Но помните, это результаты его теста. Хотя слово «бесплатно» всегда хорошо использовать на любой веб-странице, рекламирующей бесплатное предложение, лучшее расположение, размер и цвет вашего CTA на ваших веб-страницах могут отличаться. Единственный способ узнать наверняка — это протестировать.

Пробовали ли вы многовариантное тестирование?

Вы отклонялись от многовариантного тестирования, потому что считали его слишком сложным? Подпишитесь на демонстрацию Instapage Enterprise сегодня.