Самые популярные инструменты многовариантного тестирования в 2022 году

Итак, в настоящее время вы проводите A/B-тесты и хотите масштабировать свою программу тестирования.

У вас хороший трафик, вы видите отличные результаты и теперь хотите провести гораздо больше тестов и получить эти данные как можно скорее.

Но как начать тестирование быстрее? Или, что еще лучше, как провести больше тестов и получить больше информации за тот же период времени?

Вот тут-то и приходит на помощь многовариантное тестирование. Оно позволяет тестировать сразу несколько вариантов, чтобы увидеть, какой из них работает лучше всего.

В этом руководстве мы расскажем, что такое MVT, как он работает, что вам нужно для его использования, а также рассмотрим подборку лучших доступных инструментов многовариантного тестирования.

Все, от их цены и функций до того, как они работают, чтобы вы могли сделать правильный выбор при принятии решения о том, какой инструмент многовариантного тестирования приобрести.

Итак, давайте углубимся в это…

Что такое многовариантное тестирование?

Лучший способ понять многовариантное тестирование — сравнить его с другими методами тестирования и посмотреть, чем оно отличается.

Итак, давайте посмотрим на A/B-тест и многовариантный тест и их сравнение.

С помощью A/B-теста мы тестируем один вариант в сравнении с исходной контрольной версией. Возможно, у нас есть идея, как улучшить заголовок, поэтому мы создаем этот вариант, а затем смотрим, какой из них работает лучше всего.

Ваш A/B-тест будет выглядеть так:

Заголовок 1 (контрольный) и Заголовок 2 (идея варианта)

Еще один тест, который мы могли бы провести, — это тест A/B/n.

Здесь мы можем протестировать несколько вариантов в сравнении с контролем, чтобы определить победителя. Тесты A/B/n являются одновариантными.

Например, у нас может быть куча идей для заголовков, и мы не уверены, какие из них сработают. Но поскольку у нас достаточно трафика, чтобы запустить несколько тестовых вариантов и получить точные результаты, мы решили протестировать несколько идей заголовков, чтобы увидеть, какой из них работает лучше всего.

Заголовок 1 (контрольный) против Заголовка 2 против Заголовка 3

Как только мы найдем выигрышный вариант заголовка, мы можем протестировать несколько основных изображений, а затем, возможно, несколько ракурсов CTA.

Как вы можете догадаться, на все это нужно время, верно?

Другой вариант — запустить тест, в котором мы изменим кучу вещей за один раз и посмотрим, улучшит ли это показатели.

Мы, как правило, не делаем этого с большинством A/B-тестирований , если только мы не собираемся вносить радикальные изменения , т. е. бросаем вызов, чтобы попытаться найти нового победителя, потому что все другие идеи тестирования застаиваются или не оказывают никакого влияния.

Так почему же мы не рекомендуем делать подобные радикальные изменения для обычных кампаний и какое это имеет отношение к многовариантному тестированию?

Мы тестируем один элемент за раз, потому что, если мы вносим огромные изменения, и новая страница выигрывает или терпит неудачу, мы не уверены, какое из этих изменений вызвало этот рост.

Многовариантное тестирование или MVT позволяет нам тестировать несколько вариантов, а также отслеживать каждое из этих изменений и то, как они влияют на результат.

Мы можем не только тестировать несколько вариантов элементов, но даже запускать их различные комбинации, пока не найдем окончательный победитель.

Допустим, мы хотели улучшить нашу домашнюю страницу, и у нас есть несколько идей о том, что нужно протестировать, чтобы увидеть максимальный рост:

• Заголовок
• Изображение героя
• СТА.

С помощью многовариантного теста мы могли не только протестировать каждую идею заголовка, вариант основного снимка и угол призыва к действию, но мы также можем протестировать каждую комбинацию этих вариантов, чтобы найти выигрышную комбинацию:

Заголовок 1 + главное изображение 1 + призыв к действию 1 против

Заголовок 1 + главное изображение 2 + призыв к действию 1 против

Заголовок 1 + главное изображение 1 + призыв к действию 2 против

Заголовок 2 + главное изображение 1 + призыв к действию 1 против

Заголовок 2 + Главное изображение 2 + CTA 1 vs.

Заголовок 2 + Главное изображение 2 + CTA 2

Многовариантное тестирование может помочь вам найти наилучшую комбинацию элементов и понять, что вызвало эти изменения.

Тем не менее, правильное многовариантное тестирование требует больших затрат времени и ресурсов. Готовы ли вы инвестировать столько ресурсов не только в тестирование, но и в обеспечение качества и анализ? Однако в некоторых сценариях это может быть лучшим вариантом. Давайте посмотрим, что это такое.

Когда использовать многовариантное тестирование?

Для чего используется многофакторное тестирование? Вот несколько случаев, когда тест MVT может быть более полезным, чем тест A/B.

1. Когда у вас большой трафик и вы хотите расширить свою программу тестирования

Трафик — главная проблема многовариантного тестирования. Вам нужен большой объем трафика, чтобы иметь возможность протестировать каждое изменение и доверять результатам тестирования.

Но если у вас есть трафик и вы хотите расширить масштабы тестирования, чтобы получить больше данных и принять больше решений, то MVT позволит вам запускать сразу несколько идей.

2. Когда вы хотите увеличить подъем и иметь несколько идей, но не хотите ждать, чтобы проверить их одну за другой

Некоторые люди думают, что вы должны использовать MVT только для уточнения текущих веб-страниц с небольшими изменениями из-за затрат времени, но это не так. Конечно, вы можете использовать его для этого, но вы также можете использовать его для более широких тестов «что, если» для более крупных элементов.

(Возможно, вы не уверены, какой элемент обеспечит наилучшую подъемную силу, и поэтому вы хотите попробовать бросить в стену несколько умных гипотез, чтобы увидеть, какие из них работают.)

Если у вас есть объем трафика для запуска MVT, то нет ничего сложного в том, чтобы не пытаться найти широкие комбинации страниц намного быстрее. Просто обязательно измерьте влияние этого трафика ПОСЛЕ теста для каждого варианта, так как это даст вам более полное представление о вашей аудитории и о том, почему это сработало.

Например, на Facebook вы можете настроить базовую многовариантную тестовую рекламу, добавив различные варианты миниатюры, заголовка, основного текста и т. д.

Тест будет запущен и покажет вам, какой вариант этого объявления имеет самый высокий CTR.

Если бы вашей целью было просто получить клики, то это объявление выиграло бы, верно?

Но если весь этот трафик затем отскакивает от страницы, на которую вы их отправляете, то все, что вы нашли, — это вариант, который заставляет эту аудиторию кликать, а не тот, который заставляет их оставаться и конвертировать.

То же самое и при запуске теста MVT на странице, особенно если вы используете его как более широкий метод сбора идей. Проверьте, что происходит на странице, а также что происходит после клика.

3. При уточнении предыдущего теста для получения дополнительной прибавки

Вы также можете использовать MVT для измерения и улучшения небольших улучшений. На самом деле, многим агентствам нравится использовать их, чтобы получить еще больше прибыли от текущих успешных кампаний и протестировать небольшие изменения.

Допустим, вы уже несколько раз провели A/B-тестирование страницы, чтобы найти выигрышный вариант, но хотите получить как можно больше прироста, даже если это всего 0,5%. Вы можете запустить тесты MVT на этой странице для дальнейшего тестирования (потому что при 100 000 посетителей в месяц каждые 0,5% помогают заметно!)

4. При поиске максимально возможного эффекта от комбинации идей (эффекты взаимодействия)

Иногда последовательное A/B-тестирование может дать нам победителей на бумаге, но когда мы их объединяем, они не всегда являются самым эффективным вариантом для нашей страницы.

Вот пример:

• Вы проводите тест заголовка, выбираете победителя и реализуете его.
• Затем вы запускаете тест изображения героя на той же странице с выигрышным вариантом заголовка и реализуете его.
• Затем вы запускаете CTA-тест на той же странице с предыдущими выигрышными элементами и внедряете их.

Теоретически это должна быть самая эффективная версия вашей страницы, но могут происходить странные вещи из-за взаимодействия или его отсутствия. Проще говоря, возможно, что проигравший элемент в одном тесте иногда превосходит победителя последовательного A/B-теста в сочетании с другим вариантом элемента.

Как?

Ну, может быть, проигрышный заголовок из первого теста обеспечивает более высокий коэффициент конверсии бэкенда в сочетании с победителями из теста изображения и CTA.

Это может случиться, но вы никогда не узнаете об этом, если просто запустите A/B-тестирование. Вместо этого вы бы удалили его из вариантов до того, как протестировали другие элементы. Вот почему многовариантное тестирование так эффективно. Это позволяет вам найти самую высокую общую производительность страницы, даже если это означает, что она берет менее производительный элемент из одной части теста.

Более того, он может даже сказать вам, какой элемент помог больше всего…

5. При поиске самого важного элемента на странице для вашей аудитории, для будущих тестов и страниц

MVT не только покажет выигрышную комбинацию ваших различных вариантов и элементов, но также покажет вам элемент, обеспечивающий наибольшую подъемную силу.

Может быть, ваш геройский кадр получил больше подъема, но вы также видите, что из всех ваших элементов на странице вариантов он больше всего способствует конечному результату?

Это даст вам некоторое представление о том, где в первую очередь тестировать дальнейшие улучшения, чтобы вы могли сосредоточиться в первую очередь на улучшениях выстрелов героя и т. д.

6. Применяя машинное обучение к процессу тестирования

Из-за того, что MVT требует и отслеживает большие объемы данных и взаимодействий, его можно использовать в качестве отличного источника для программ тестирования машинного обучения.

ML требует больших данных, чтобы работать лучше, но как только он их получает, он действительно может начать видеть закономерности и прогнозировать результаты и поведение с меньшим трафиком с течением времени. На самом деле такие сайты, как Amazon, делают именно это…

Примеры многомерного тестирования

Пример многовариантного тестирования №1

Amazon использовала MVT и машинное обучение для настройки макета своих целевых страниц, что привело к увеличению количества покупок на 21% всего за 7 дней!

Пример многовариантного тестирования № 2

Booking.com использует многовариантное тестирование, чтобы тестировать новые уникальные функции для определенной аудитории, а затем измеряет их эффективность, прежде чем развертывать их на всем сайте.

Пример многовариантного тестирования №3

Корпорация Microsoft увеличила коэффициент конверсии на своем веб-сайте для малого и среднего бизнеса на 40 % после проведения теста MVT на нескольких элементах страницы (8×4!)

Пример многовариантного тестирования № 4

Однако не только джаггернауты могут использовать MVT. HawkHost продемонстрировал увеличение продаж на 204%, когда они запустили тест MVT на своей домашней странице (проверив заголовок, подзаголовок и главный кадр).

Плюсы и минусы многовариантного тестирования

Если многовариантное тестирование такое мощное, почему мы все им не пользуемся?

Видите ли, прелесть A/B-тестирования в том, что вы можете быстро протестировать одну идею с относительно небольшой аудиторией. Это означает, что большинство компаний могут провести тест, даже если у них довольно низкий трафик, а затем увидеть результат в течение 14-30 дней.

Но с многовариантным тестом вам нужна гораздо большая аудитория, потому что вы тестируете несколько вещей одновременно. (Особенно, если вы проводите многостраничное тестирование или тестируете несколько комбинаций вариантов.)

Допустим, мы хотели протестировать заголовок на нашей домашней странице:

• Контроль заголовков
• Вариант заголовка

Мы просто тестируем один вариант, так что всего 2 варианта.

Теперь в качестве простого примера предположим, что мы хотим получить 1000 посетителей на каждую версию страницы (вариант и контроль), чтобы мы могли быть уверены, что результаты теста заслуживают доверия.

(Необходимый трафик может варьироваться в зависимости от страницы и ее коэффициента конверсии, но давайте упростим здесь, чтобы вы поняли идею.)

Это означает, что нам потребуется 2000 посетителей, чтобы запустить тест и доверять результатам, по 1000 посетителей на каждую страницу.

Что если мы хотим протестировать:

• 3 заголовка
• 3 главных изображения и
• 3 призыва к действию?

Всего не 9 вариантов, а 27 комбинаций из 9 вариантов (3х3х3).

Это означает, что если бы мы хотели 1000 посетителей для каждого варианта, то наш требуемый трафик составлял бы 27 000 посетителей вместо того, чтобы запустить тест и доверять результатам (исходя из нашего чрезмерного упрощения, что 1000 посетителей достаточно для каждой страницы).

На самом деле вам, вероятно, потребуется около 10 000+ посетителей на вариант, чтобы получить точные данные, поскольку одного трафика недостаточно, вам также нужно видеть конверсии.

Вот почему многие компании не проводят тесты MVT просто потому, что у них нет трафика для их эффективного проведения. Фактически, большинство агентств рекомендуют иметь около 100 000 посетителей в месяц, прежде чем вы начнете проводить кампании MVT, если только страница уже не имеет очень высокий коэффициент конверсии. И даже тогда они по-прежнему рекомендуют запускать максимум 6 вариантов, чтобы иметь возможность запускать их быстрее.

Но если у вас есть такой трафик?

Что ж, тогда MVT может позволить вам выполнить эквивалент гораздо большего количества тестов практически за то же самое время…

Что, если мы возьмем приведенный выше пример и позволим каждому тесту выполняться в течение полного 30-дневного цикла продаж, чтобы получить точное измерительное окно?

Предполагая, что у нас есть трафик, мы могли бы запустить 27 тестовых комбинаций одновременно на одной странице в течение 30-60 дней как один многовариантный тест. Неплохо, если сравнить это с проведением 27 последовательных A/B-тестов на этой странице в течение 27 месяцев!

(Опять же, я упрощаю и предполагаю, что вы выполняете полный цикл продаж в каждом тесте.)

Но, как видите, многовариантное тестирование позволяет получать информацию и идеи, быстрее их реализовывать и сокращать время безотказной работы при последовательных проигрышных тестах.

Неплохо, правда!?

Очевидно, что помимо требований к трафику, у тестирования MVT есть и другие недостатки.

Из-за большого количества вариантов и комбинаций, которые вы можете запустить, это значительно увеличивает время контроля качества до и после тестирования.

Вы должны убедиться, что каждая вариация работает и имеет смысл. (Не показывать заголовок и изображение, которые не совпадают и т. д.), и поэтому это значительно увеличивает время и стоимость настройки.

Кроме того, не забудьте проверить эффекты.

Просто потому, что вы видите рост конверсии на этой конкретной странице, отслеживайте его до достижения ваших конечных целей. Последнее, что вам нужно, — это больше кликов, но плохой пользовательский опыт или высокий показатель отказов (или больше кликов, но нет продаж).

Плюсы многовариантного тестирования

• Если у вас есть трафик, многовариантное тестирование позволяет быстро протестировать множество вариантов.
• MVT может помочь вам масштабировать вашу программу тестирования, чтобы получить больше данных о том, что работает, а что нет.
• Это может помочь вам найти выигрышные комбинации быстрее, чем последовательные A/B-тесты.
• Это может помочь вам найти выигрышные комбинации, которые вы могли пропустить при выполнении последовательных тестов. (Представьте, что один заголовок был вторым по эффективности, и вы его вырезали, но в паре с третьим вариантом изображения он каким-то образом удвоил рост? При последовательном тесте вы бы это пропустили. Многовариантный тест предполагает более высокую степень взаимодействия).
• Некоторое программное обеспечение для A/B-тестирования позволит вам увидеть, какой конкретный элемент помог добиться наибольшего подъема (что даст вам более глубокое понимание вашей аудитории).
• Его также можно использовать для поиска незначительных улучшений на высокопроизводительных страницах. (Представьте, что у вас уже есть высокоэффективная страница, и вы придумываете новые идеи, чтобы увидеть незначительные улучшения, такие как изменение цвета.)

Минусы многовариантного тестирования

• Нужен большой объем трафика, особенно если вам нужен статистический сигнал, чтобы вы могли доверять своим результатам и не видеть ложных срабатываний или отрицательных результатов (ошибки типа 1 и типа 2), а мощность статистики для измерения меньшего % подъема.
• Требования к трафику растут тем быстрее, чем больше вариантов и комбинаций вы тестируете, так что имейте это в виду. Рассмотрите возможность удаления дополнительных элементов, если они не могут обеспечить большую подъемную силу. (т.е. проверьте заголовок, прежде чем беспокоиться о тестировании цветов нижнего колонтитула и т. д. Вы всегда можете протестировать их после, если действительно хотите.)
• На размер выборки влияет не только трафик. Коэффициент конверсии текущей страницы и переменные влияют на размер выборки, необходимый для достижения статистической значимости. Более высокие конверсии могут снизить необходимый трафик, более низкие конверсии увеличивают это требование.
• Погрешность при тестировании большего количества переменных также увеличивает объем трафика, необходимого для того, чтобы вы могли доверять результатам.
• Необходимо провести интенсивные тесты QA, чтобы убедиться, что все они работают заранее.
• Также необходимо запустить QA, чтобы убедиться, что варианты имеют смысл вместе и не имеют противоположных или конфликтующих комбинаций. (CTA, которые не соответствуют предложениям, заголовкам о пляжном отдыхе при рекламе лыжной прогулки или даже конфликтующим или смешивающим цветам шрифта и фона.)
• Если у вас нет большого источника трафика, вы все равно можете запустить тест MVT, просто это может занять НАМНОГО больше времени, пока вы не достигнете статистического сигнала и не сможете завершить тест. (Иногда несколько месяцев или дольше). На самом деле, иногда может быть быстрее и эффективнее просто запустить последовательные A/B-тесты.
• Вы можете потерять некоторые сведения об аудитории, просто протестировав несколько вещей одновременно. (Проверка одного элемента или точки зрения иногда может помочь вам лучше понять свою аудиторию.)

Статистика многомерного тестирования: математика, стоящая за MVT

Так что давайте немного поболтаем…

Когда дело доходит до многовариантного тестирования, мы используем метод статистического анализа, отличный от стандартного A/B-тестирования или сплит-тестирования.

Я не хочу слишком сильно вдаваться в математику, но вот упрощение:

• При A/B-тестировании мы используем t-тест (или z-тест) для измерения разницы между двумя или более наборами результатов.
• При многомерном тестировании для получения результатов теста используется другой метод, называемый ANOVA или «Дисперсионный анализ». Вам не нужно знать все детали, но вот основное. Основное отличие состоит в том, что ANOVA также измеряет связь и влияние между переменными. Это одна из основных сильных сторон MVT , поскольку она позволяет нам увидеть, как комбинации элементов влияют друг на друга.

В зависимости от того, какой инструмент вы используете, при запуске MVT-кампании может быть предложено 3 типа методов многовариантного тестирования. Каждый из них влияет на математику того, как будет работать ваш тест.

Мы называем это:

• Полный факториал,
• Факториал дроби и
• Тагучи.

Так что же они означают?

Полный факториал

Почти каждый инструмент MVT будет предлагать полное факториальное тестирование в качестве основы для своей основной модели тестирования, и это то, что вы хотите использовать все время.

Этот метод относится к «полному» распределению трафика в вашем тесте.

Проще говоря, это когда вы тестируете каждую комбинацию сразу, распределяя тестовый трафик поровну между каждым вариантом.

С помощью A/B-теста вы делите трафик 50:50. Но с MVT, если бы у вас было 10 вариантов, то это означало бы, что на каждый вариант уходит только 10% трафика.

Из-за количества вариантов и трафика, необходимого для достижения статистической значимости каждого варианта, полный факторный анализ требует очень большого источника трафика, но это наиболее точный метод.

Тем не менее, некоторые платформы A/B-тестирования также предлагают в качестве альтернативы так называемое «фракционное факториальное» тестирование.

Факториал дроби

Этот метод пытается обойти некоторые из более крупных требований к трафику, тестируя только меньшую выборку вариантов, а затем оценивая конечные коэффициенты конверсии на основе текущих результатов тестирования .

Его цель не в точности прогнозирования достоверных результатов для масштабирования, как обычно, т. е. если мы масштабируем это до X аудитории, будет ли это работать так же.

Вместо этого он разработан, чтобы помочь вам увидеть, где начинает происходить раннее сцепление, чтобы вы могли получить представление, прежде чем проводить более глубокое тестирование или использовать другой метод.

Допустим, у вас есть 10 вариантов, которые вы хотите протестировать.

Дробный факториал фактически проверит 5 из них, а затем попытается вывести коэффициент конверсии в этих других 5 тестах, основываясь на результатах на данный момент.

Как вы можете догадаться, это не так точно и может привести к ошибкам и ложным срабатываниям, а также является источником споров между оптимизаторами и маркетологами. (Практически все рекомендуют полный факториал в качестве основного метода тестирования.)

Тагучи

Наконец, у вас есть метод многовариантного тестирования Тагучи. Первоначально разработанный как метод измерения контроля качества на основе предположений о допустимых потерях в НИОКР для производства продукта.

Большинство инструментов не предлагают этого из-за сложности использования.

Когда прекратить многофакторный тест?

Есть 3 основных момента, которые нам нужно учитывать при запуске любого теста, прежде чем мы должны его остановить:

• Чтобы тест выполнялся достаточно долго, чтобы собрать достаточно большой размер выборки для каждого варианта, и чтобы тест собрал достаточно конверсий, чтобы быть релевантным.
• Чтобы тест выполнял 1 или даже 2 полных цикла продаж (чтобы сбалансировать периоды трафика и покупок в течение 30-60 дней).
• И, наконец, для того, чтобы результаты были статистически значимыми, т. е. если мы возьмем этот тест в дикую природу и увеличим его масштаб, то мы можем быть на 95% уверены, что он продолжит работать так же.

Мы рекомендуем вам не останавливать какие-либо тесты до этого момента. В противном случае данных будет недостаточно для работы. Однако мы можем остановить, а затем перезапустить тест, если есть проблемы с производительностью, такие как формы оплаты одного варианта, не работающие и т. д., но в идеале мы стараемся даже не заглядывать, когда он работает.

(Некоторые агентства рекомендуют останавливаться раньше, если есть явный победитель, или даже останавливать определенные варианты, если их коэффициент конверсии падает ниже 10%, а затем продолжать тестирование, отфильтровывая больше трафика для более эффективных. Очевидно, что это может повлиять результаты теста значительно.)

Как настроить и выполнить многофакторный тест?

Процесс настройки многовариантного теста очень похож на A/B-тест.

Шаг № 1: Определите свою конечную цель

Во-первых, вам нужно сформировать гипотезу для вашей страницы, ее цели, ее текущих результатов и того, как, по вашему мнению, ее можно улучшить.

Вы можете использовать наш генератор гипотез, чтобы уточнить, чего вы хотите достичь, и поставить конкретные цели.

Шаг № 2: выясните, что тестировать

Затем решите, какие элементы тестировать и какие варианты, по вашему мнению, могут улучшить ваши текущие результаты.

Например, вы можете подумать, что тестирование «основных элементов» в верхней части страницы повысит конверсию, поэтому вы хотите протестировать заголовок, главный кадр и текст кнопки CTA.

Шаг № 3: Рассчитайте временные рамки тестирования

Прежде чем запускать тест или создавать какие-либо активы, мы рекомендуем выполнить предварительный расчет размера выборки, чтобы вы могли оценить временные рамки и требования к трафику для запуска этого теста. Это поможет вам получить некоторое представление о том, сколько вариантов вы можете запустить с вашим текущим трафиком и при этом получать быстрые результаты. (Или даже сообщите, если вам нужно протестировать меньше вариантов).

В приведенном выше примере у вас есть 3 элемента: заголовок, изображение героя и текст кнопки CTA.

Если вы хотите протестировать один вариант для каждого, это будет 2x2x2=8 комбинаций. Зная это, вы можете начать выяснять, сколько трафика вам нужно.

Введите текущий еженедельный трафик страницы и коэффициент конверсии в калькулятор (вместе с любыми настройками мощности и достоверности).

Затем установите количество страниц, которые вы хотите протестировать. (8 в этом примере)

Это даст вам временные рамки того, как долго вам нужно бежать, чтобы обнаружить минимальный подъем.

Шаг № 4: Создайте тест

Затем перейдите к своему инструменту и настройте различные версии и комбинации для многовариантного теста.

Начните с выбора варианта многомерного теста.

Дайте ему имя, а затем добавьте URL-адрес страницы, которую вы хотите протестировать (чтобы инструмент мог использовать ее для редактирования WYSIWYG).

В этом примере мы собираемся работать над улучшением коэффициента конверсии нашей домашней страницы.

Как только страница загрузится в инструменте, вам нужно настроить элементы теста.

Здесь, в Convert, мы используем 2 преобразования имен для частей, которые нужно редактировать в многомерных тестах:

• Раздел, который относится к элементу на странице, который вы хотите протестировать, например к заголовку или призыву к действию, и
• Вариация, которая является вашей редакцией этого конкретного элемента.

Я рекомендую вам выбирать по одному разделу для редактирования и добавлять каждый вариант.

Дайте разделу имя, например «Заголовок», затем отредактируйте и добавьте варианты для этого раздела. (Обязательно сохраняйте каждый вариант по мере работы над ним.)

Затем перейдите к следующему «разделу» или элементу, который вы хотите протестировать. В этом примере это будет настройка другого кадра фонового героя, а затем настройка варианта текста кнопки CTA.

Шаг № 5: Убедитесь, что все работает

После того, как вы настроили каждый вариант, запустите тест контроля качества для каждого нового лечения, чтобы убедиться, что все они работают и что каждый элемент разумно сочетается друг с другом. (Никаких конкурирующих CTA или несоответствующей информации/изображений, а также дублирования цвета шрифта и кнопок.)

Нажмите «Сохранить и продолжить», и загрузится новая страница. Затем перейдите на вкладку «Отчеты».

Отсюда вы увидите варианты страниц и информацию о них. Нажмите на значок глаза рядом с каждой страницей, чтобы увидеть ее предварительный просмотр и проверить работу ссылок.

Отсюда вы можете запустить тест QA и использовать тот же URL-адрес для мобильных тестов.

Шаг № 6: Запустите его в прямом эфире

Пока все варианты работают, теперь вы можете запустить тест и позволить ему работать, пока у вас не будет достаточно данных.

(Обратите внимание, что есть возможность запустить тест прямо со страницы отчета, на которой вы открыли тесты контроля качества.)

Лучшие инструменты многовариантного тестирования для усовершенствования вашей программы оптимизации

Теперь, когда вы понимаете, как работает многовариантное тестирование, давайте разберем существующие на рынке платформы для оптимизации веб-сайтов, которые предлагают многовариантное тестирование. Мы расскажем об их функциях, а также о ценах, если они предлагают бесплатные пробные версии, и некоторые другие подробности.

Одна быстрая вещь, прежде чем мы это сделаем.

Помните, что инструмент, который вы используете, ТОЛЬКО настолько хорош, насколько хорош человек, который его настраивает . Если денежный поток ограничен, то сначала инвестируйте в кого-то, кто поможет внутри компании (или обратитесь к внешнему агентству), а пока просто используйте более дешевый инструмент.

Это очень хорошо, когда у вас есть замечательный инструмент для тестирования MVT, но это бессмысленно, если человек не может настроить его правильно, достаточно быстро или понять данные!

#teamovertools

1. Преобразование опыта

Рейтинг G2 : 4,7/5,0 (46 отзывов)

Цены: начиная с 699 долларов в месяц, после чего 199 долларов за каждые 100 тысяч посетителей.

Предлагают ли они бесплатный план или пробную версию? Да, 14-дневная бесплатная пробная версия без необходимости кредитной карты.

Стоимость на 100 000 посетителей: $199.

Плюсы

• Полное соответствие конфиденциальности: никакие личные данные никогда не сохраняются
• Точная отчетность благодаря использованию сторонних файлов cookie
• Быстро и без мерцания
• Запускайте неограниченное количество тестов
• Наложение условий с более чем 40 фильтрами для точного таргетинга на сегменты аудитории
• Гибкая вставка JavaScript на уровне проекта, эксперимента и варианта
• Инициирование цели пользовательского условия JS
• Интегрируется с более чем 100 сторонними инструментами (например, Shopify, WordPress, Mixpanel, Hotjar)
• В 4 раза быстрее, поддержка клиентов по телефону, электронной почте и в чате.

Минусы

• Базовая сегментация постов на плане Kickstart

Возможности многомерного тестирования : Полный факториал. Мы также предлагаем прямую поддержку и консультации при выполнении этих тестов.

Сторона клиента, сторона сервера или обе? Convert работает как WYSIWYG-редактор на стороне клиента, но его также можно настроить на стороне сервера и запустить собственный JS.

Они обслуживают Enterprise? Да. Нас выбирают такие компании, как Sony, Jabra, Unicef ​​и другие.

Предлагают ли они поддержку клиентов? Да, с самого начала суда. Какой тип? Живой чат, блог и база знаний, и это еще не все.

Они заботятся о конфиденциальности ? Мы полностью соблюдаем GDPR. Мы даже перестали использовать инструменты для нашей внутренней работы от других компаний, которые не соответствуют GDPR, вот как много это значит для нас.

Они заботятся о мире? Да. Это в нашей ДНК. Мы сажаем деревья, запускаем общественные программы, отстаиваем разнообразие с самого начала, делаем пожертвования на благотворительность и многое другое. Черт возьми, у нас в 15 раз больше углерода.

Обзор TrustRadius:

2. АБ Вкусный

Рейтинг G2: 4,5/5,0 (76 отзывов)

Цены: от 1900 долларов США в месяц для 400 тысяч проверенных посетителей в месяц для плана Essentials. План роста стоит 3800 долларов в месяц, а план Elite начинается с 5700 долларов в месяц.

Предлагают ли они бесплатный план или пробную версию? Нет. Вы можете запросить демо-звонок, чтобы увидеть их новые функции.

Стоимость на 100 000 посетителей: около 475 долларов США.

Плюсы:

• AI и ML встроены в оптимизацию
• Проводите неограниченное количество экспериментов
• Чистый и простой в использовании пользовательский интерфейс
• Простота настройки и предварительного просмотра тестов
• Динамические виджеты
• Несколько интеграций
• Обширные аналитические отчеты
• Доступен широкий спектр вариантов таргетинга, а также персонализация.
• Надежная поддержка клиентов
• Ценник средний

Минусы:

• Нет автоматизации маркетинга, чтобы получить представление об эффективности аудитории (особенно для активного эксперимента), и иногда для просмотра требуется поддержка клиентов.
• Калькулятор статистической значимости немного прост в своем UX.
• Интеграция с Google Analytics сложна, требует кодирования
• Нет бесплатной пробной версии

Возможности многомерного тестирования: полный факториал

Сторона клиента, сторона сервера или обе? Оба

Частотный или байесовский? байесовский.

Поддерживает ли он полный стек? Да.

Core Web Vitals готовы? Да. Этот инструмент загружается быстро.

Есть машинное обучение или ИИ? Да.

Они обслуживают Enterprise? Да. Они являются предпочтительным инструментом для таких компаний, как Disney, L'Oreal, Kalviyo и других.

Предлагают ли они поддержку клиентов? Да. У них есть база знаний и живой чат.

Они заботятся о конфиденциальности? Да. IP-адреса пользователей используются для создания идентификационного кода, а затем немедленно удаляются перед переходом в инструмент. Идентификационные коды анонимизируются, а затем удаляются через 13 месяцев.

Они заботятся о мире? Они жертвуют напрямую неправительственным организациям, работают с группами социальных действий, перерабатывают и спонсируют ульи.

Обзор TrustRadius :

Как выглядит этот инструмент многовариантного тестирования в действии:

3. Google Оптимизация и Оптимизация 360

Рейтинг G2: 4,3/5,0 (27 отзывов)

Цена : есть 2 версии этого инструмента. Оптимизация бесплатна, но для расширенных функций необходимо выбрать Google Optimize 360.

Цены на Optimize 360 ​​устанавливаются индивидуально (хотя, по слухам, они составляют около 150 000 долларов в год). Чтобы получить месячную цену, вам нужно будет заполнить форму, чтобы связаться с их отделом продаж.

Они предлагают бесплатный план? Да.

Стоимость на 100 000 посетителей: нет данных

Плюсы:

• Удобный для пользователя — требуется минимум технических знаний
• Отлично подходит для начинающих A/B-тестеров
• Быстрая интеграция с Google Analytics
• Имеет сверхдетальную сегментацию аудитории благодаря огромным ресурсам данных Google.

Минусы:

• Ограничено 5 тестами одновременно на бесплатном уровне
• Нет функции редактора перетаскивания
• Невозможно загрузить ваши изображения напрямую
• Не могу тестировать приложения, только браузеры
• Не подходит для сложных тестов
• UI/UX и отчеты не так привлекательны визуально, как большинство других инструментов на рынке.
• Бывает иногда мерцание.

Функции многовариантного тестирования. По-видимому, Optimize использует гибридный подход, который не является ни полным факторным, ни дробным. Согласно их базе поддержки

«Наши модели позволяют нам использовать гибридный подход, поэтому вам не придется идти на этот компромисс. Мы обслуживаем все комбинации теста, чтобы вы могли узнать о взаимодействиях и лучших комбинациях. Но мы также моделируем тот факт, что некоторые варианты проявляются в комбинациях, и поэтому мы можем узнать о вариантах внутри фактора, а не только о комбинациях».

Сторона клиента, сторона сервера или обе? Оба.

Частотный или байесовский? Google Optimize использует байесовские методы, а не частотные методы, также известные как тестирование значимости нулевой гипотезы (NHST).

Поддерживает ли он полный стек? Да.

Core Web Vitals готовы? Да. Этот инструмент загружается быстро, хотя может мерцать, что может вызвать проблемы с CLS.

Есть машинное обучение или ИИ? Нет.

Они обслуживают Enterprise? Да, но только через Optimize 360.

Предлагают ли они поддержку клиентов? У них есть центр ресурсов с советами, видеоуроками, справочным сообществом и многим другим.

Они заботятся о конфиденциальности? Они соблюдают применимые законы о защите данных в странах, где используются их продукты.

Они также сотрудничают с третьими сторонами и органами по защите данных, чтобы обеспечить безопасность данных пользователей.

Они заботятся о мире? С 2007 года Google придерживается нулевого уровня выбросов углерода и планирует полностью отказаться от выбросов углерода к 2030 году. Кроме того, они известны многочисленными благотворительными акциями с обязательством в размере 1 миллиарда долларов.

Обзор TrustRadius :

Как выглядит этот инструмент тестирования MVT в действии:

4. Adobe Target

Рейтинг G2: 4.0/5.0 (29 отзывов)

Цены : доступны только после заполнения формы из 11 частей, электронного письма и звонка. Стартовая ставка 10 000 долларов в месяц.

Предлагают ли они бесплатный план или пробную версию? Нет.

Стоимость на 100 000 посетителей: нет данных

Плюсы

• Интерфейс прост в использовании
• Предоставляет точные отчеты данных в режиме реального времени
• Хорошо интегрируется с Adobe Analytics и предназначен для дополнительных продаж.
• Инструменты персонализации сайта как для новичков, так и для профессионалов
• Проведет вас через процесс настройки и тестирования
• Имеет продвинутый ИИ для постоянного тестирования и улучшения кампаний и персонализации.

Минусы

• Оптимизация в больших масштабах может быть медленной
• Для лучшей работы требуется очень большой объем трафика
• Редактор на основе форм требует обучения
• Высокая цена
• Нет пробной версии
• Лучше всего работает, если вы уже используете Adobe Analytics
• Можно получить полезную информацию при подключении к другим платным инструментам Adobe Marketing Cloud.

Возможности многомерного тестирования: Полный факториал и Тагучи (как метод частичного факториала).

Сторона клиента, сторона сервера или обе? Оба.

Они обслуживают Enterprise? Да. Почти исключительно из-за стоимости.

Предлагают ли они поддержку клиентов? Да, в виде базы знаний и видео обучающих программ.

Они заботятся о конфиденциальности? Да, но по иронии судьбы им требуется ваш адрес электронной почты и номер телефона, чтобы узнать больше об этом. Однако они проделывают большую работу со сторонними данными для ненавязчивого отслеживания.

Они заботятся о мире? Даже очень. Они отстаивают разнообразие, работают над созданием зданий, на 100% использующих возобновляемые источники энергии, снижают выбросы, реализуют программы действий сообщества и многое другое.

Обзор TrustRadius :

Как выглядит этот инструмент многовариантного тестирования в действии:

5. Камелеун

Рейтинг G2: 4,7/5,0 (24 отзыва)

Цены : Индивидуальные в соответствии с вашими требованиями. Вы получите свою уникальную цену, связавшись с отделом продаж.

Они предлагают бесплатный план? Да.

Стоимость на 100 000 посетителей: нет данных

Плюсы

• Легко настроить отслеживание кликов
• Плавная интеграция со многими другими инструментами
• Имеет простой в использовании редактор WYSIWYG для не-разработчиков
• Усовершенствованная технология защиты от мерцания
• Знающая и полезная команда поддержки
• Точное и детальное планирование и выполнение тестов

Минусы

• Редактор WYSIWYG загружается медленно
• Информационная панель отчетности могла бы использовать немного больше персонализации
• Требуются навыки уровня разработчика для реализации некоторых сложных сценариев.
• Невозможно архивировать тесты
• Старые браузеры, такие как IE7, исключены из тестов.

Возможности многомерного тестирования: полный факториал и дробный факториал (путем распределения в настройках теста).

Сторона клиента, сторона сервера или обе? Оба. Вы можете вносить изменения в редакторе WYSIWYG, а также использовать встроенный редактор кода Kameleoon для редактирования CSS и JS.

Они обслуживают Enterprise? Да. Lexus, Unity, Providence, Toyota и Rakuten используют Kameleoon.

Предлагают ли они поддержку клиентов? Да. Вы даже можете нанять специального менеджера по работе с клиентами, который поможет вам со сложными проектами.

Они заботятся о конфиденциальности? Они соответствуют требованиям HIPAA, GDPR и CCPA. У них также есть гибкая функция управления согласием, позволяющая адаптировать вашу политику конфиденциальности для каждого теста A/B.

Они заботятся о мире? Я не смог найти доказательств какой-либо благотворительности, которую они спонсируют, или экологических инициатив, которые они поддерживают. Хотя интересно узнать, что у них есть два живых хамелеона в их офисах в Германии и Франции.

Обзор TrustRadius :

Как выглядит этот инструмент тестирования MVT в действии:

6. Оптимизировать

Рейтинг G2: 4,3/5,0 (109 отзывов)

Ценообразование : они используют настраиваемую модель ценообразования. Но Splitbase прогнозирует, что они стоят не менее 36 000 долларов в год.

Они предлагают бесплатный план? Нет. Они остановили бесплатный план в 2018 году.

Стоимость на 100 000 посетителей : нет данных

Плюсы:

• Проводите неограниченное количество экспериментов
• Чистый и простой в использовании пользовательский интерфейс
• Функцию виджета интересно использовать
• Доступен широкий спектр расширенных параметров таргетинга.
• Надежная поддержка клиентов

Минусы:

• Не дает автоматических сведений об эффективности аудитории (особенно для активного эксперимента).
• Интеграция с Google Analytics сложна, требует кодирования
• Оптимизированный фрагмент обычно увеличивает время загрузки страницы.

Возможности многомерного тестирования: полное факториальное, частичное и Тагучи.

Сторона клиента, сторона сервера или обе? Оба. Optimize предлагает эксперименты на стороне клиента с помощью фрагмента кода Javascript и эксперименты на стороне сервера с помощью SDK для разработчиков.

Частотный или байесовский? Stats Engine Optimizely использует последовательные эксперименты, а не эксперименты с фиксированным горизонтом, которые вы могли бы увидеть на других платформах.

Поддерживает ли он полный стек? Да.

Core Web Vitals готовы? Да, этот инструмент загружается быстро.

Есть машинное обучение или ИИ? Да.

Они обслуживают Enterprise? Из-за цен он в основном обслуживает корпоративный уровень. Его используют такие бренды, как Microsoft, IBM, HP, eBay, Yamaha, Pizza Hut и Atlassian.

Предлагают ли они поддержку клиентов? Да. У них есть банк ресурсов, чтобы помочь пользователям избавиться от проблем, и номера телефонов, по которым можно обратиться за помощью 24/7.

Они заботятся о конфиденциальности? Они учитывают старые и новые законы о конфиденциальности и интегрируют их в свои продукты, чтобы вам, пользователю, не приходилось беспокоиться о соблюдении.

Они заботятся о мире? Большинство новых сотрудников отправляются добровольцами в сообщество на второй день их работы.

Обзор TrustRadius :

Как выглядит этот инструмент многовариантного тестирования в действии:

7. СайтСпект

Рейтинг G2: 4,4/5,0 (50 отзывов)

Ценообразование : вам необходимо связаться с SiteSpect, чтобы узнать индивидуальную цену в соответствии с вашими потребностями.

Они предлагают бесплатный план? Да, они предлагают бесплатную пробную версию.

Стоимость на 100 000 посетителей: нет данных

Плюсы:

• Поддерживает все языки разметки (HTML, WML, XML и JSON), таблицы стилей и языки сценариев.
• Отсутствие тега javascript означает отсутствие обновления или мерцания контента.
• Достаточно универсален, чтобы протестировать практически любой сценарий
• Неинтрузивное тестирование
• Интегрируется с инструментами аналитики
• Нет необходимости изменять производственную версию вашего кода

Минусы:

• Технические знания, необходимые для проведения тестов
• Добавляет дополнительный прыжок, который может немного замедлить работу вашего сайта.
• Интерфейс отчетов мог бы быть лучше

Возможности многомерного тестирования: полный факториал и дробный факториал (инструмент рекомендует перейти на дробный, если тестируется более 128 комбинаций).

Сторона клиента, сторона сервера или обе? Оба.

Частотный или байесовский? SiteSpect использует двусторонний t-критерий при сравнении вариантов с контролями, чтобы определить точку, в которой доверительные интервалы не перекрываются и, таким образом, указывают на значимость. SiteSpect также вычисляет z-оценку и использует ее в отчетах.

Поддерживает ли он полный стек? Да.

Core Web Vitals готовы? Да. Этот инструмент невероятно быстр.

Есть машинное обучение или ИИ? Да.

Они обслуживают Enterprise? Да. Staples, PetSmart, AmericanGirl и Urban Outfitters используют SiteSpect.

Предлагают ли они поддержку клиентов? Поддержка клиентов доступна по телефону и электронной почте для бесплатных и платных версий. В их базе знаний также есть предварительно записанные вебинары.

Они заботятся о конфиденциальности? Они делают. Они сертифицированы по стандарту PCI DSS 3.2; Соответствие требованиям GDPR, CCPA и Privacy Shield, а также HIPAA.

Они заботятся о мире? Известно, что SiteSpect спонсирует некоторые благотворительные проекты с 2014 года.

Обзор TrustRadius :

Как выглядит этот инструмент многовариантного тестирования в действии:

8. Тестирование ВВО

Рейтинг G2: 4,2/5,0 (239 отзывов)

Цена : от 99 долларов в месяц. Все остальное требует индивидуального ценообразования в соответствии с вашими потребностями. И вам нужно будет связаться с отделом продаж VWO для вашего.

Они предлагают бесплатный план? Да, вы можете начать с 30-дневной бесплатной пробной версии.

Стоимость на 100 000 посетителей: ~$500

Плюсы:

• Гибкие возможности настройки для адаптации вашего теста к множеству сценариев
• Легко планировать и выполнять тесты с небольшим знанием программирования
• Выделенная команда поддержки, которая поможет вам решить любые проблемы
• Имеет возможность отслеживать долгосрочные цели
• Возможность группировать тесты вместе
• Полезные записи для наблюдения за пользователями и устранения неполадок

Минусы:

• Существует кривая обучения, чтобы понять все функциональные возможности VWO.
• Тарифные планы часто меняются
• Они тестируют только клиентскую сторону

Функции многовариантного тестирования: полный факториал (хотя вы можете настроить процент трафика для каждого варианта страницы).

Сторона клиента, сторона сервера или обе? Только клиентская сторона.

Они обслуживают Enterprise? Да. Их корпоративными клиентами являются Ubisoft, AMD, Penn Foster, Optimeria и IMB Bank.

Предлагают ли они поддержку клиентов? Да, вы можете позвонить им, когда вам понадобится помощь. Или обратитесь к их ресурсной странице.

Они заботятся о конфиденциальности? Да. Они соблюдают основные законы и правила о конфиденциальности, но хранят некоторые данные посетителей на своих серверах.

Они заботятся о мире? Недавно председатель Wingify (бренд, стоящий за VWO) Парас Чопра написал в Твиттере о своей поддержке нескольких инициатив по оказанию помощи COVID, включая создание учреждения по уходу за COVID на 10 коек в Дели.

Обзор TrustRadius :

Как выглядит этот инструмент тестирования MVT в действии:

9. Оптимизация веб-трендов

Рейтинг G2: 4,9/5,0 (107 отзывов)

Цена : начинается с 212 долларов в месяц, но может быть ниже или выше в зависимости от того, что вам нужно. У них очень гибкая структура ценообразования, но вам нужно поговорить с отделом продаж, чтобы подтвердить свою цену.

Они предлагают бесплатный план? Да, менее чем за 1500 сеансов в месяц.

Стоимость на 100 000 посетителей: нет данных

Плюсы:

• Удобный для пользователя, подходит для нетехнических пользователей с редактором WYSIWYG
• Поддерживает совместную работу в команде
• Предоставляет информацию на основе данных
• Служба поддержки проявляет искреннюю заинтересованность в вашем успехе
• Плавная интеграция с вашим сайтом и существующими инструментами
• Четкие и понятные отчеты

Минусы:

• Пользовательский интерфейс может быть сложным в использовании для новых пользователей
• Требуется время, чтобы настроить даже простые тесты
• Стоимость полного обслуживания завышена

Возможности многомерного тестирования: полный факториал и дробный факториал.

Сторона клиента, сторона сервера или обе? Оба. У них есть визуальный редактор без прокси для рендеринга на стороне клиента и возможности тестирования на стороне сервера.

Они обслуживают Enterprise? Microsoft, London North Eastern Railway, Marks and Spencer и Virgin Wines используют Optimize.

Предлагают ли они поддержку клиентов? Да. Вы получаете доступ к технической поддержке, обучению и собственному консультанту по оптимизации конверсии.

Они заботятся о конфиденциальности? Они полностью соответствуют GDPR.

Они заботятся о мире? В апреле 2021 года компания Webtrends Optimize поставила перед собой задачу выполнять 100 отжиманий в день на мероприятии GoFundMe, чтобы собрать средства для Cancer Research UK. И они сделали нечто подобное в 2020 году под названием Xmas Charity Donations. Итак, они заботятся.

Обзор Trust Radius :

Хотя на Trust Radius есть отзывы об этом инструменте, последний был в декабре 2019 года, а до этого — в 2018 году. Поскольку инструмент может измениться, как и сервис, я взял их последний обзор из G2.

Как выглядит этот инструмент многовариантного тестирования в действии:

Вывод

Итак, у вас есть это.

Наш список лучших инструментов A/B-тестирования, предлагающих многовариантное тестирование в 2021 году. Мы также показываем, какой метод они используют для тестирования, их функции, цены и обзоры.

Теперь вы можете сравнить лучшие многовариантные инструменты по этим различным параметрам и выбрать тот, который лучше всего подойдет для ваших нужд тестирования.