Полное руководство по многовариантному тестированию в 2022 году

Разве многовариантное тестирование (MVT) — это не просто несколько A/B-тестов, выполняемых одновременно?

Нет. Это один из самых популярных мифов о МВТ. Тут гораздо больше нюансов.

Многовариантные тесты похожи на A/B-тесты, но вы тестируете свой контроль на нескольких вариантах, а не на одном. Видите ли, это не только А против Б, но и против С, D, E и так далее. И это эффективный способ для сайтов с высокой посещаемостью найти комбинацию изменений, которая будет работать лучше всего.

Так…

• Когда следует использовать MVT вместо A/B-тестов?
• Многовариантное тестирование — это то же самое, что A/B/n-тестирование?
• Какие есть примеры многомерных тестов?
• Как вы можете запустить его, чтобы получить надежные результаты?

Мы ответим на ваши вопросы о многовариантном тестировании, улучшив ваши навыки экспериментирования и CRO, чтобы в конце этого руководства вы могли развернуть свои собственные за 30 минут.

Если вы хотите поднять свои навыки экспериментирования на новый уровень, то это руководство для вас.

Звучит отлично? Давайте начнем…

Что такое многовариантное тестирование?

Представьте, что вы хотите одновременно протестировать разные версии различных элементов на веб-странице, чтобы узнать, как они работают вместе. Многовариантный тест — это тест, который вы запускаете.

Многовариантное тестирование (тестирование MVT) — это метод тестирования нескольких переменных на веб-странице в различных комбинациях. Эти возможные комбинации создают более одного варианта страницы, отсюда и «мульти».

Таким образом, многовариантное тестирование похоже на A/B/n-тестирование , потому что мы тестируем два или более вариантов в сравнении с контролем. Разница в том, что тесты A/B/n являются однофакторными, тогда как многофакторные тесты проверяют комбинацию изменений в тандеме.

Например, если вы хотите протестировать два разных заголовка, два изображения и два цвета кнопок на странице, ваш тест MVT будет выглядеть следующим образом:

В приведенном выше тесте MVT вы одновременно тестируете разные элементы (заголовки, цвет и изображение) в разных комбинациях, чтобы найти лучший.

Но это не значит, что невозможно сделать более двух вариантов одного элемента. Вы можете иметь 3, 4 или более и тестировать их одновременно. Люди просто предпочитают одно изменение, чтобы они могли проследить рост коэффициента конверсии до него.

Еще один важный момент: тестирование MVT — это не то же самое, что параллельное тестирование . Параллельное тестирование запускает несколько экспериментов на одном и том же наборе образцов в одно и то же время. А это может вызвать помехи.

Параллельный тест может выглядеть следующим образом: запуск A/B-теста, чтобы найти лучший заголовок между двумя версиями, и запуск теста MVT, чтобы найти лучшую комбинацию заголовка, основного изображения и CTA или кнопки действия на одной и той же целевой странице в в то же время.

В A/B/n (или многовариантном) тестировании мы работаем с несколькими вариантами, служащими одной и той же гипотезе поведения пользователя. Представьте себе множество A/B-тестов на этой целевой странице, которые выполняются одновременно, чтобы ответить на один вопрос. Например: «Какая версия из этой партии дает нам лучший подъем?»

Многовариантное тестирование и A/B-тестирование: в чем разница?

Неискушенному глазу может показаться, что MVT-тестирование — это более продвинутая форма A/B-тестирования. Но оба типа тестирования очень разные.

Разница между A/B-тестированием и многовариантным тестированием заключается в количестве одновременно тестируемых вариантов. При A/B-тестировании один вариант будет сравниваться с контрольным, а при многовариантном тестировании — два или более.

A/B-тестирование проверяет один элемент. Например, вы тестируете добавление изображения на веб-страницу. Ваш эксперимент может выглядеть так:

• Управление = Нет изображения
• Вариант 1 = Изображение

В этом случае вы тестируете только изображение на своем веб-сайте, так что это A/B-тест.

В тестировании A/B/n, как и в многовариантном тестировании, у вас может быть несколько вариантов. Но разница в том, что при тестировании A/B/n вы тестируете только один элемент (или переменную), а при многовариантном тестировании вы тестируете несколько элементов в каждом варианте.

Вот выдающийся пример от iProspect, агентства Convert Partner. Агентство провело тест, в котором использовалась информация о ценах на странице. Их эксперимент показал:

• Элемент управления без информации о ценах,
• Вариант 1 с низкой стартовой ценой,
• Вариант 2 с высокой стартовой ценой.

Угадайте, что это за тест?

В этом случае мы тестируем только один элемент, добавляя информацию о цене, поэтому у нас есть тест типа A/B/C (или A/B/n).

Когда дело доходит до того, что лучше между A/B-тестами и многовариантными тестами, это зависит от того, чего вы пытаетесь достичь. Бывают случаи, когда MVT более эффективны, чем A/B-тесты.

Если вы хотите протестировать различные элементы на странице (и эффекты их взаимодействия), проще использовать MVT вместо A/B-тестов. С A/B-тестами вам нужно создать несколько последовательных тестов для вариаций элементов. Между тем, многовариантность справляется с ними сразу.

Когда запускать многовариантные тесты?

Если вы хотите измерить, насколько один вариант работает по сравнению с вашим оригиналом, используйте A/B-тестирование. Это работает, если вы меняете один элемент, например, другой заголовок или другой цвет кнопки. Пока эти изменения подпадают под один вариант, и вы получаете A против B.

Если у вас есть более одного варианта, протестированного в сравнении с контрольным, но вы меняете только один элемент за раз, используйте тестирование A/B/n.

Давайте проиллюстрируем: вы хотите проверить, улучшит ли добавление заголовка на вашу целевую страницу конверсию. Вы можете провести тест A/B/n, например, Split Base, партнерское агентство Convert. Они провели тест, чтобы определить, повысит ли конверсию добавление заголовка, ориентированного на выгоду.

ПС: получилось! Это увеличило чистую прибыль на 27%.

Вы используете многовариантное тестирование, когда у вас есть более одного варианта и более одной переменной. Скажем, у вас есть еще 2 идеи заголовка и варианты CTA, и в результате вы создаете варианты C и D, MVT — самый эффективный способ увидеть, как эти изменения взаимодействуют.

«Что, если бы я использовал заголовок 2 с цветом кнопки 3? Как это повлияет на количество регистраций?» Это те вопросы, на которые отвечает MVT — влияние на производительность, вызванное изменением элементов страницы, когда они работают вместе в одно и то же время.

Многовариантное тестирование выходит за рамки тестирования одного заголовка и проверяет несколько вариантов этой страницы. Его сложнее спроектировать и запустить, поэтому выбор его вместо A/B-тестирования должен того стоить.

Часто A/B-тестирования достаточно, чтобы получить ответы, которые мы ищем. MVT гораздо больше подходит для случаев, когда вы считаете, что один или несколько вариантов имеют шанс превзойти ваши A и B.

Вот некоторые из этих случаев:

1. У вас большой объем трафика, и вы хотите собрать больше информации за более короткий период времени. Многовариантное тестирование предлагает сайтам с высокой посещаемостью возможность протестировать комбинацию идей за более короткое время, но это должны быть высококачественные идеи, чтобы не тратить ресурсы впустую.
2. Вам нужно знать, какая комбинация элементов привела к повышению конверсии. Потому что последовательность различных A/B-тестов будет просто лишней.

Сложно развернуть вариант, в который включены все желаемые изменения. Возможно, ваша тестовая платформа не позволяет такой уровень свободы. Это один из способов обойти это. Но если позже невозможно жестко закодировать эти изменения, вы не сможете использовать результаты теста.

Преимущества многовариантного тестирования

Многовариантное тестирование оказывает неоспоримое влияние на показатели конверсии и доход. Подумай об этом. Если бы это было не так, никто бы не говорил о его использовании!

Одним из преимуществ тестирования MVT является то, что оно позволяет вам узнать, как изменения на вашем веб-сайте влияют на коэффициент конверсии. А многовариантное тестирование позволяет измерить эффект взаимодействия между этими изменениями. Вы можете измерить совокупный эффект различных небольших изменений и посмотреть, как это повлияет на скорость вашего разговора.

Недостатки многовариантного тестирования

Есть причины, по которым только сайты с большим объемом трафика и большими бюджетами проводят многовариантные тесты. Давайте поговорим о недостатках проведения теста MVT.

1. Требуется большой размер выборки

Чем больше изменений элементов вы тестируете, тем больше вариаций у вас будет. Каждый из этих вариантов должен получать достаточно трафика для достижения статистического сигнала, поэтому вам придется ждать дольше, чтобы получить точные результаты. Вот почему многие веб-сайты не могут запускать тесты MVT из-за нехватки трафика.

2. Тесты MVT требуют времени

Как мы упоминали выше, каждому варианту нужен трафик, и много. Чем больше комбинаций вы тестируете, тем больше различных вариаций и тем дольше вам придется ждать.

Но это оправдано в большинстве случаев CRO. Потому что, если вы разделите тест MVT на последовательность A/B-тестов, вы потратите больше времени и трафика.

3. Эксплуатация стоит дороже

Вам потребуется дополнительное время (и деньги) для разработки и контроля качества каждого варианта. Вот почему ваше решение провести эти тесты вместо более простых A/B-тестов должно иметь веские причины, иначе ваша окупаемость инвестиций пострадает.

4. Вы более склонны к ошибкам

Когда вы запускаете A/B/N-тесты, вы не применяете ту же статистику, что и для A/B-тестов. Дополнительные варианты требуют корректировки тестов статистической значимости. Повышенный коэффициент семейных ошибок (FWER) означает, что вы с большей вероятностью совершите ошибку типа I и пометите неправильный вариант как лучший.

Примеры многовариантных тестов, показавших большое влияние

1. Microsoft провела многовариантный тест на своем сайте для малого и среднего бизнеса и получила вариант, который увеличил конверсию на 40%!

2. В 2009 году YouTube запустил MVT на своей домашней странице, чтобы привлечь больше людей для регистрации учетной записи. Они называют это «экспериментом с 1024 рецептами». Один вариант выиграл с повышением на 15,7%.

3. Booking.com известен тестированием. Они используют многовариантные тесты, чтобы узнать, как новые функции используются с меньшей аудиторией, прежде чем внедрять их.

4. HawkHost хотел увидеть рост на своей домашней странице, и они его получили. Они протестировали заголовок, подзаголовок и главное изображение в многовариантном тесте, который привел к увеличению продаж на 204%. Это огромно.

5. Макет целевой страницы Amazon является результатом многовариантных тестов. Они использовали его вместе с машинным обучением, чтобы найти оптимальную схему, которая повысила конверсию, и нашли золотую середину, которая увеличила количество покупок на 21% за 7 дней.

Источник

Статистика многомерного тестирования: введение в многомерный анализ

Если вам интересно, как многовариантное тестирование работает под причудливым пользовательским интерфейсом инструментов тестирования и до принципов, лежащих в его основе, давайте вас порадуем:

Многофакторный анализ (MVA) — это тип статистического анализа, при котором одновременно анализируется более одной зависимой переменной вместе с другими переменными. Он основан на том, как устроен реальный мир: за определенный результат отвечает более одного фактора.

Он используется не только в цифровом маркетинге (т. е. оптимизации коэффициента конверсии), как часть исследовательского анализа данных, он применяется в различных областях, таких как здравоохранение, производство, транспорт и т. д. Он влияет на принятие многих решений в корпоративном мире. так и в правительстве.

Несмотря на сложность, это точный способ анализа взаимосвязи между зависимыми и независимыми переменными.

MVT и трафик: как рассчитать размер выборки для многовариантного теста?

Лучше всего использовать наш калькулятор размера выборки. Это предоставит вам все необходимое для начала разработки надежного многофакторного теста.

Когда прекратить многофакторный тест?

Слишком ранняя остановка теста может привести к ошибкам, поскольку собранных данных будет недостаточно для проведения точного анализа.

Возможно, вы слышали, как некоторые люди говорят, что вы должны остановиться, когда есть явный победитель, или остановить вариант, если его коэффициент конверсии падает ниже 10%, и перенаправить его трафик на лучших исполнителей — будьте уверены, это значительно исказит результаты.

Вы никогда не должны останавливать многофакторный тест до:

1. Сбор достаточно большого размера выборки для каждого варианта. Поэтому дайте ему поработать дольше, чтобы собрать достаточное количество конверсий, чтобы быть релевантным.
2. Запуск 1 или 2 полных циклов продаж, чтобы сбалансировать периоды трафика и покупок в течение 30-60 дней.
3. Достижение статистической значимости. Это означает, что при запуске он должен иметь возможность воспроизвести свои результаты с точностью 95%.

Как разработать многовариантный тест?

A/B-тестирование и многовариантное тестирование схожи в том, как они разрабатываются и проводятся.

Ниже мы изложим пошаговую методологию тестирования для запуска MVT. Но вот краткий обзор:

1. Определите проблему и сформулируйте цель: когда вы просматриваете свои данные, попытайтесь понять, с чем сталкиваются посетители веб-сайта, и найдите проблему. Сформулируйте гипотезу (решение с целью) и основывайте на ней свой тест.
2. Решите, что тестировать: ваша гипотеза будет включать в себя комбинацию элементов веб-страницы. Подумайте, что бы вы сделали с ними, чтобы достичь цели. Создайте варианты этого, чтобы пойти против оригинала.
3. Оцените временные рамки и размер выборки: вам не обязательно делать это самостоятельно. Воспользуйтесь нашим калькулятором размера предварительной выборки. Это поможет вам определить основные цифры, которые вам нужны.
4. Создайте тест: на своей тестовой платформе настройте свои варианты в их комбинациях.
5. Убедитесь, что это работает: проведите тесты обеспечения качества для каждого нового лечения, чтобы убедиться, что они работают должным образом.
6. Проведите тест: начните привлекать к ним трафик.

Теперь давайте подробно рассмотрим каждый шаг — от сбора данных до контроля качества:

Сбор данных для многомерного тестирования

Как собираются данные во время многофакторного тестирования? Есть два основных подхода, на которые следует обратить внимание:

1. Полный факториал

Вот как это работает: каждый вариант в вашем MVT получает равное количество всего трафика, поступающего на ваш сайт. Если у вас есть 5 вариантов, каждый из них будет получать 20% трафика, приходящего на ваш сайт.

Конечно, для достижения статистической значимости этот метод потребует большого трафика и его придется запускать в течение длительного времени. Но эта черта также делает полный факториал наиболее точным вариантом.

2. Дробный факториал

В отличие от своего «полного» аналога, дробный факториал проверяет только подмножество ваших вариантов. Вот почему в его названии есть «фракция».

Если у вас есть 10 вариантов, он проверит 5 из них и на основе результатов спрогнозирует производительность тех 5, которые он не тестировал.

Из-за этого он работает быстрее, чем полный факториал, но значительно менее точен. Его преимущество в том, что вы получаете представление о том, как будет выглядеть полный тест, прежде чем совершить коммит.

Как насчет метода Тагучи? Некоторые говорят, что это другое название дробного факториала. Он сложен в использовании. Таким образом, большинство инструментов не предлагают этого.

Генерация гипотез для многомерного тестирования

Вы должны создать свою гипотезу многомерного тестирования на основе точных качественных и количественных данных.

Вы не хотите угадывать или использовать общие идеи тестирования, которые вы нашли в блоге, для запуска своих тестов. Выберите что-то подходящее, например, решение проблемы, которую вы обнаружили, просеивая данные, или тестирование идеи, которая, по вашему мнению, может привести к росту.

Это будет целью вашего теста. Вы можете использовать наш генератор гипотез, который поможет вам найти надежную гипотезу.

Обеспечение качества для многовариантного тестирования

Без гарантии качества любой тест может ввести в заблуждение. Продвижение без обеспечения качества рискованно и может привести к дорогостоящим ошибкам. Прежде чем доверять выводам своего теста, проведите его через несколько контрольных точек:

• Настройка QA: когда вы решаете, какую настройку использовать для процесса QA, определите специальные варианты использования для проверки взаимодействия с пользователем на устройствах и браузерах, которые вы будете QA и т. д.
• Внешние факторы. Распознавайте факторы, которые вы не можете контролировать и которые могут повлиять на тест, такие как события или праздники, другие тесты, запущенные в то же время, события и трафик сайта.
• Настройка эксперимента: проверьте качество формулировки гипотезы, распределение трафика, не повлияет ли мерцание на тест, другие задержки и ошибки и т. д.
• Кросс-браузерность и кросс-девайс: вам необходимо проверить типографику, шрифты и цветовую схему для разных устройств и разрешений экрана, проверить поля и отступы, проверить удобство использования, работу элементов страницы на разных устройствах и многое другое.

И другие несоответствия, которые вы могли обнаружить: необходимо сообщить об этом вашей команде для исправления.

Как вы проводите многовариантный тест? Развертывание многовариантного теста в Convert Experiences.

Создание многовариантного теста в Convert Experiences занимает всего 4 простых шага. Вот что нужно сделать:

1. Назовите свой опыт
   
   В Convert Experiences выберите «New Experience», затем «Multivariate» и назовите свой опыт:

   

2. Сделайте вариацию
   
   После загрузки URL-адреса страницы, которую вы используете для тестов, первый вариант готов к редактированию. Вы можете отредактировать копию, добавить новые визуальные эффекты, назвать это. В приведенном ниже примере мы имеем:
   
   – Нажали на элемент для изменения (он выделен оранжевым цветом)
   – Выбрано действие в меню, т.е. изменение источника изображения

   

3. Назовите вариант
   
   Это довольно очевидно. Вы захотите выбрать что-то, что будет выделяться для вас в репортаже позже.
4. Определите цели и аудиторию
   
   Перейдите к сводке эксперимента и настройте свою аудиторию и цели эксперимента.
   
   Вот оно! Ваш опыт запущен.

Теперь, когда вы понимаете, что такое многовариантное тестирование и как его успешно настроить, давайте разберем несколько различных платформ, которые вы можете выбрать. Многие из лучших инструментов A/B-тестирования на рынке предлагают многовариантное тестирование и A/B-тестирование в одном программном обеспечении. Так какой из них лучше всего подходит для ваших нужд?

Если метод многомерного тестирования является для вас решающим фактором, вы попали по адресу. В приведенном ниже списке представлены 9 лучших игроков на рынке для многовариантного тестирования.

Какие существуют лучшие инструменты A/B и многовариантного тестирования?

Вот взгляд на инструменты многовариантного тестирования, предпочитаемые экспертами по CRO, а также на методы многовариантного тестирования, которые они предлагают:

• Преобразование опыта — полный факториал
• AB Tasty — полный факториал
• Google Optimize & Optimize 360 — гибридный подход, не являющийся ни полнофакторным, ни дробным.
• Adobe Target — полный факториал и тагучи
• Kameleoon — полный факториал и дробный факториал
• Optimizely — полный факториал, частичный и тагучи
• Sitespect — полный факториал и дробный факториал
• VWO - полный факториал
• Webtrends Optimize — полный факториал и дробный факториал

Все еще не знаете, какой инструмент многовариантного тестирования выбрать? Ознакомьтесь с полной разбивкой лучших инструментов многовариантного тестирования.

Главные ошибки многовариантного тестирования, которых следует избегать в 2022 году

Эти тесты могут помочь вам достичь целей оптимизации, только если вы используете их правильно.

Но ведь мы люди, и наши инструменты несовершенны, поэтому ошибки случаются. Вы можете уменьшить шансы испортить свои тесты, избегая этого:

1. Не проверять ваш инструмент MVT на точность

Создавайте варианты своей страницы, но ничего не меняйте. Держите его таким же и запускайте остальные. Поскольку люди видят одно и то же, результаты должны быть одинаковыми.

2. Не начинать с твердой гипотезы

Запуск теста без базового уровня и того, чего ожидать, — это бег вслепую. Это не поможет ни вам, ни сайту, на котором вы тестируете. Сначала сформулируйте гипотезу.

3. Копирование ваших конкурентов

Ваша организация уникальна, и у вас другие цели. Копировать конкурентов невыгодно. Мало того, что многие из их тестов не применимы к вашему делу, они могут не знать, что делают.

4. Запуск тестов во время сезонных событий или крупных событий сайта/платформы

Если ваш тест не предназначен для какого-либо события, вам не следует запускать многовариантный тест во время него. Результаты не будут отражать точную производительность обычного дня.

5. Подглядывание

Искушению трудно сопротивляться. Вы просто хотите посмотреть, как это происходит. Возможно, вы даже сделали ставку на вариант и хотите посмотреть, какой из них выиграет. Не.

Вы не только получите неверные ожидания, но и сможете принять неверные решения на их основе. Вы можете проверить, работают ли они или есть какие-либо ошибки, и все.

6. Вы недостаточно долго запускаете тесты

Многовариантные тесты нужно запускать в течение длительного времени. Думайте об этом как об отдельных A/B-тестах, которые должны получить достаточно трафика для достижения статистической значимости. Пусть ваши многовариантные тесты выполняются достаточно долго, чтобы вы могли получить точные и значимые результаты.

7. Внесение изменений во время выполнения теста

Вы можете исправлять ошибки, но вы не можете переделывать свой веб-сайт или вносить изменения в копии. Все, что меняет внешний вид вариантов, должно оставаться нетронутым после запуска теста.

8. Забыть остановить тест после получения точных результатов

Это случается чаще, чем вы думаете. Это означает, что после того, как у вас будет явный победитель, вы все равно будете показывать остальному трафику более слабую версию своего сайта. Вы не хотите этого делать.

9. Сдаться после одного теста

Может быть, все ваши варианты оказались хуже контрольных, и что? Вы только что узнали, как это не работает. Проведите больше тестов и получите больше информации. Все знания ценны.

10. Не проверяется валидность после теста

Когда все сказано и сделано, и вы получили свои результаты, это конец? Вы закроете тестовую платформу и пойдете дальше? Лучше всего сесть и проверить, все ли прошло гладко, прежде чем доверять точности результатов.

11. Недостаточно тестов

Когда вы проводите тест, будь то победитель или проигравший, извлекайте из него уроки. Используйте свои новые знания, чтобы создать более обоснованную гипотезу и запустить снова. И опять. Вот как вы заставляете эксперименты работать на вас.

12. Не документирование тестов

Ведите базу данных ваших тестов. Это повысит производительность вашей команды оптимизации, даже если эта команда состоит только из вас. Нам всем нужно учиться на предыдущем опыте, чтобы сделать следующий лучше.

А также, чтобы не тратить время на повторный запуск одних и тех же тестов.

Вывод

Если у вас есть магазин электронной коммерции, SaaS или простая целевая страница, есть сценарии, в которых имеет смысл запустить многовариантный тест. У вас может быть веб-сайт с высокой посещаемостью, но вам все равно нужно решить, подходит ли многовариантное тестирование для вашего веб-сайта. Оцените стоимость, трафик и потребность в многовариантном анализе, прежде чем запускать его.