Как выбрать инструмент A/B-тестирования в 2023 году

Знаете ли вы, что на рынке существует более 50 инструментов A/B-тестирования?

Да, столько.

С таким количеством доступных вариантов, как узнать, какой из них будет соответствовать вашим потребностям в 2023 году?

Вам не нужно грабить банк или обращаться к лидеру категории, если вы хотите, чтобы ваши потребности в тестировании были удовлетворены. Подумайте, с какими проблемами оптимизации вы сталкиваетесь регулярно — лучшее программное обеспечение для A/B-тестирования должно соответствовать вашим потребностям и бюджету.

Как выбрать «единственный» из всех инструментов на рынке?

В этом сообщении блога мы расскажем о факторах, которые вы должны учитывать при принятии решения, и поделимся нашим лучшим выбором лучших инструментов A/B-тестирования 2023 года.

Давайте поможем вам!

Но сначала…

Краткий обзор: понимание головоломки оптимизации

В этом отчете о состоянии экспериментальной зрелости определены 4 столпа экспериментальной зрелости. Это основные аспекты экспериментирования, которые помогли организациям из различных отраслей успешно экспериментировать при масштабировании своих программ.

Интересно, что мы здесь узнаем. Эти столбы

1. Процесс и подотчетность: это включает в себя процесс формирования идей и расстановки приоритетов, планирование эксперимента, способы измерения успеха и т. д.
2. Культура: Каково общее отношение организации к экспериментам? Насколько велика поддержка C-suite?
3. Экспертиза: время, ресурсы и навыки. И наконец…
4. Инструменты и технологии: технологический стек, поддерживающий ваши эксперименты.

Хотя это исследование было проведено несколько лет назад, его основные принципы остались неизменными. Инструменты — это всего лишь очень маленькая часть вашей оптимизационной головоломки.

Если вы читаете это, чтобы найти лучший инструмент A/B-тестирования, который может в одиночку поднять вашу программу тестирования с 0 до 100 или от нормального до фантастического, то считайте это проверкой на практике.

Что тогда должно быть вашим основным направлением?

Можно утверждать, что люди и процессы выигрывают, когда дело доходит до успеха экспериментов. Бренды и агентства, занимающие лидирующие позиции в CRO, очень серьезно относятся к обучению. И вы тоже должны:

Вы должны инвестировать в свою команду больше, чем просто в качестве лучшей практики A/B-тестирования; это часто назначается экспертами в качестве приоритета для организаций, которые хотят вывести свою игру по оптимизации на новый уровень.

Это обучение выходит за рамки базовых учебных пособий по A/B-тестированию и также включает в себя исследования, сбор и анализ данных, критическое мышление, планирование экспериментов, статистику, контроль качества, общение с заинтересованными сторонами и многое другое.

Давайте закрепим эту идею, потому что мы возродим ее позже.

Один поток этого образовательного комплекса должен исходить от вашего поставщика A/B-тестирования. Об этом следует помнить при поиске подходящего инструмента для вашей команды.

Правильный инструмент обеспечит обучение, соответствующее пониманию того, какие практики и фреймворки обеспечивают наибольшую эффективность для высокой скорости тестирования (что является целью программы, которую рекомендуют многие из лучших умов в области экспериментов, включая Ронни Кохави и Лукаса Вермеера) в контексте этого. конкретной тестовой платформы.

Поскольку люди и процессы создают или ломают вашу программу с большей степенью влияния, чем ваш выбор программного обеспечения для A/B-тестирования, идея, которая набирает популярность в отрасли, состоит в том, чтобы тратить всего 20% бюджета оптимизации на инструменты и средства. остальное на образование, набор и Ops.

Например, агентство WeTeachCRO считает, что расходы на инструменты могут и должны быть намного меньше 20%:

Здравый смысл подсказывает, что не следует тратить более 20 % вашего общего бюджета CRO на инструменты, оставляя 80 % резерва для людей — в конце концов, именно люди будут иметь реальное значение для вашей программы, а инструмент — всего лишь средство реализации. Но если оставить эту «мудрость» в стороне, наш опыт показывает, что большинство клиентов могут (и должны) тратить гораздо меньше 20%.

Для большинства наших клиентов затраты на инструменты составляют менее 500 фунтов стерлингов в месяц, а затраты на людей в 10-15 раз выше, что означает, что они стоят больше в диапазоне 5-10%. Начав с бесплатного инструмента, такого как Google Optimize, вы должны сдвинуться с мертвой точки, чтобы перейти к чему-то, что составляет несколько сотен фунтов в месяц, как только ваши сложности тестирования превысят его возможности.

Отрывок из 52 вопросов, которые должен был задать каждый опытный специалист по CRO от WeTeachCRO

Теперь, когда мы сформировали правильное мышление, давайте перейдем к следующему важному соображению при покупке инструмента для A/B-тестирования. Особенно, если это ваша первая покупка инструмента A/B-тестирования.

Если нет, вы можете перейти к изложению того, почему вам нужен новый инструмент.

Достаточно ли у вас трафика для тестирования?

A/B-тестирование не работает для сайтов с низким трафиком. Прежде чем вы начнете тестирование, ваш веб-сайт должен иметь достаточно трафика для каждого варианта вашего A/B-теста. Без адекватного трафика ваши эксперименты не достигнут статистической значимости и могут продолжаться долгое время.

В типичном A/B-тестировании вам нужно привлечь тысячи посетителей к каждому варианту. В Convert мы рекомендуем направлять не менее 5 000 посетителей на каждый вариант и около 1000 конверсий, чтобы получить убедительные результаты о том, какой вариант является явным победителем.

Перейдите к калькулятору A/B-тестирования Convert, чтобы узнать, сколько трафика, конверсий и среднего заказа на доход вам нужно для проведения A/B-тестирования. Если вам не хватает трафика для A/B-тестирования, обратитесь к нашему руководству по тестированию с низким трафиком.

После того, как вы разобрались с трафиком, необходимым для успешного проведения A/B-тестирования, определите, что побуждает вас приобрести новый инструмент A/B-тестирования.

Начните с проблемы

Выясните, зачем вам новый инструмент A/B-тестирования. Это само собой разумеется, но очень важно иметь структурированный подход к этому. Вот как:

Определите, почему вы приобрели существующий инструмент A/B-тестирования

Если у вас уже есть инструмент для тестирования в вашем стеке, что привело вас к нему?

Обратите внимание на это. Это ваша точка А, и она поможет вам добраться до точки Б, которая является вашим следующим идеальным инструментом. Но по пути мы сделаем несколько остановок.

Включите объективные элементы, такие как функции платформы. Какие из них привлекли вас и вашу команду к этому? Какие из них удержали вас как пользователя? Что вам особенно понравилось в этом поставщике?

Не стесняйтесь копать глубже. Понятно, что в нашем процессе принятия решений есть сильный эмоциональный аспект, но ради надежной программы оптимизации вам нужно углубиться в свой текущий инструмент.

Где была ваша программа, когда вы начинали?

Вы только начинали с A/B-тестирования и хотели попробовать? Вы слышали об оптимизации веб-сайта в подкасте по маркетингу роста и рекомендовали ли вам этот инструмент? Или вы использовали бесплатный инструмент и хотели расширить возможности тестирования за его пределами?

Какие показатели Guardrail вы надеялись изменить с приобретением инструмента?

Показатели Guardrail предназначены для того, чтобы вы соответствовали своим целям и задачам. Они предупреждают вас, когда что-то идет не так, как планировалось.

Итак, вы определенно получили инструмент, потому что верили, что можете что-то изменить. Что это было? Доход? Показатели UX, такие как показатель отказов и показатель заказов?

Вы в конечном итоге достигли своих целей?

Если нет, то почему? Изменилась ли ваша программа тестирования? Или инструмент — GASP — был неудачной покупкой?

Ответьте на них честно, и у вас будет четкая карта проблемы. Это ваша точка зрения А.

Вы вообще не нашли проблем? Или у вас нет ответов на некоторые или все эти вопросы? Кто настоящие покупатели и пользователи тяжелого инструмента? Неформальная беседа с ними даст вам ответы, которые вам нужны.

Потому что вы не хотите менять инструменты только потому, что у вас есть бюджет, а кто-то хочет новую модную функцию.

Функции почти никогда не решают проблемы. В лучшем случае они могут помочь в реализации решений. И сдвиг должен иметь смысл для вас:

• Усыновление
• Поддержка поставщика — если у вас отличные отношения с вашим существующим поставщиком, это что-то значит. Это партнер в путешествии.
• Развертывание и наращивание с учетом времени. Дни, потерянные на адаптацию к новому инструменту, — это дни, когда вы не будете тестировать его вообще или в полную силу.

Итог: примите решение о переходе тогда и только тогда, когда вы знаете, что этот шаг решит все элементы, составляющие проблему, которую вы определили, а также закроет дыры и принесет дополнительную пользу вашим людям и процессам.

Технология догонит любые прибамбасы, которые, по вашему мнению, вам нужны, если эти прибамбасы открывают реальную возможность, а не тенденции. Не раскачивайте лодку из-за одной функции.

Спросите нужных людей

Как только вы установили, что существует реальная проблема , которую можно решить путем экспериментов или смены платформы, а не что-то легкомысленное, не стоящее затраченных усилий, или химера (призрак операционного и процедурного хаоса, проявляющийся в виде проблем с инструментами), затем переходите к созданию набора для рассмотрения.

Чтобы построить набор соображений, мы должны вооружиться правильными данными, чтобы принять правильное решение, охватывающее все основания. Как и во всем, правильные данные — это ваши проблемы, а не мнения.

Вы также хотели бы избежать распространенной ошибки, которую совершают большинство людей — выбора лидера категории. Лидеры категорий редко бывают лучшими во всем. Вы также не должны по умолчанию использовать те же инструменты, которые вы оценивали в прошлый раз.

Потому что экспериментировать сложно. Вам нужна платформа, которая будет поддерживать ваши конкретные цели программы и рабочие процессы экспериментов. Идеально вписываясь в вашу культуру, поскольку все столпы зрелости экспериментов должны работать в тандеме.

Будьте открыты для выбора. Как говорит Пип Ладжа, они моментально улучшают ситуацию.

Итак, с чего мы начнем?

Что покупатели B2B говорят о покупке инструментов — вот с чего они начинают

Мы провели опрос в LinkedIn. Мы спросили покупателей программного обеспечения B2B: «Что вы делаете в первую очередь, покупая программное обеспечение стоимостью более 5000 долларов в год?»

Они ответили:

• 57% выполняют поиск в Google
• 21% исследуют известные бренды
• 14% начинают с G2 или TrustRadius, и
• 7% просят рефералов

Дополнительные мнения включали тех, кто будет делать комбинацию всех четырех. Хотя выборка незначительна, она довольно репрезентативна и дает нам представление о предпочтительном методе покупателей, чтобы начать поиск инструмента.

Итак, побеждает инструмент с самым сильным SEO? Не совсем. Мы относимся к этим данным с большой долей скептицизма. Это показывает, что когда мы не имеем ни малейшего представления о чем-то, мы как бы запрограммированы сначала обратиться к Google.

Хотя это и трамплин для вашего поиска, дающий вам список инструментов A/B-тестирования для рассмотрения, вам нужна более информированная стратегия. Тот, который исходит из нижней части этого опроса: Спросите нужных людей.

Что мы рекомендуем

Проконсультируйтесь с людьми, которые широко использовали инструменты A/B-тестирования, с вашей командой, а также узнайте, что используют конкуренты или другие игроки в вашей нише.

Спросите людей в вашей сети, которые регулярно тестируют

Начните с

• LinkedIn: поищите в группах специалистов по оптимизации коэффициента конверсии. Некоторые из них более специфичны для SaaS, специалистов по маркетингу и Shopify. Или опубликуйте сообщение с правильными хэштегами (например, #CRO, #abtesting, #experimentation и #optimization), отметьте известных вам A/B-тестеров и публично попросите рекомендации.
• Сообщества Slack: запрашивайте рекомендации по сообществам Slack для маркетологов, таких как CRO Growth Hacks, Marketers Chat, Growmance и Measure.

Вы хотите избежать

• Контакты агентства: по крайней мере, на данном этапе, потому что у большинства‌ есть связи с инструментами или их фаворитами, которые могут включать или не включать финансовые откаты и компенсации. Это не хорошо и не плохо. Просто сейчас так обстоит дело.
• Результаты Google: избегайте результатов поиска Google для конкретных платформ A/B-тестирования или для принятия решения. Вам нужен инструмент, который вам подойдет, а не инструмент с лучшим SEO.

Вы также можете…

Используйте BuiltWith, чтобы посмотреть на другие бренды в вашем пространстве

Это хорошо работает, если вы работаете в нишевой отрасли. Часто рекомендуемые платформы могут не иметь интеграции с вашим техническим стеком. Или они могут не поддерживать эксперименты по улучшению важных для вас аспектов и показателей.

Например, в пространстве Shopify существует множество оптимизаций коэффициента конверсии, но большинство брендов признают, что борьба с отслеживанием доходов является неотъемлемой частью настройки инструмента A/B-тестирования.

Вы хотите бороться с чем-то, что имеет значение для вашей программы экспериментов?

Вот почему инструмент A/B-тестирования, который вы рассматриваете, должен иметь специальные условия для удовлетворения ваших потребностей в тестировании. Например, Convert предлагает специальное приложение Shopify, чтобы избавиться от проблемы с отслеживанием доходов.

Это может не дать именно тот инструмент, который вам нужен, но он будет информировать вас о наборе соображений.

Чтобы узнать, какие бренды в вашем пространстве используют, все, что вам нужно, это адрес их веб-сайта, чтобы запустить поиск на BuiltWith.

Или вы можете найти инструменты, которые вы рассматриваете, и посмотреть, кто использует их в вашем пространстве. Существуют ограничения при использовании бесплатной учетной записи.

Коснитесь своей команды

Если у вас есть команда, которая регулярно проводит тесты в вашей организации, они являются одним из лучших источников информации для вашего рассмотрения. Они уже плавают в бассейне, так что будут знать температуру.

Узнайте их мнение. Спросите их, почему они хотят использовать определенные инструменты. Какие функции не подлежат обсуждению, а какие просто приятны?

Какой прошлый опыт важнее модных выпусков функций? Лучший вотум доверия исходит от тестировщика, который в прошлом добился успеха с определенной платформой.

Соберите эту информацию и структурируйте ее. Если вы найдете рекомендацию, быстро сверьтесь с вашей проблемой, чтобы убедиться, что она заслуживает внимания.

Создайте свой набор рекомендаций

На данном этапе вы определили 3 или 5 инструментов, которые вас серьезно интересуют. Это хорошая отправная точка. Но прямо сейчас ваше решение может быть основано на неосязаемых факторах, рекомендациях и узнаваемости бренда.

Когда вы создадите свой набор соображений, вы создадите матрицу из этих 3-5 инструментов A/B-тестирования и сопоставите их с компонентами проблемы. То есть, насколько они подходят для решения основных проблем, которые вы хотите решить с помощью подходящего для вас инструмента A/B-тестирования.

Проиллюстрируем:

ПРОБЛЕМА : Задержки в развертывании эксперимента.

Если вы выявили более одной существенной проблемы, вам также нужно иметь еще один набор соображений для них. Но с теми же инструментами, только разные компоненты проблемы.

Суть множественных проблем не только в том, что их сложно оценить, но и в том, что на первое место может выйти неожиданная альтернатива. Вот откуда вы знаете, что принимаете объективные решения. Довольно аккуратно, правда?

Примечание. Поскольку все проблемы имеют разные уровни приоритета, убедитесь, что вы правильно их взвесили.

Итак, как узнать, что нужно заполнить в наборе соображений, как в приведенном выше примере?

Заполнение пробелов

• Отзывы
  
  Начните с популярных сайтов с обзорами программного обеспечения, таких как G2, Capterra и TrustRadius. Помните: спонсируемые профили могут отображаться больше. Тем не менее, это не имеет ничего общего с тем, насколько хорош инструмент для решения ваших проблем.

• Минусы
  
  Стремитесь к этим 2-4-звездочным отзывам. Минусы там обычно хорошо продуманы. Покопайтесь в них на предмет проблем, которые могут иметь разрушительные последствия для ваших целей. Видите что-то, чего вы пытаетесь избежать? Поставьте там «Х» на наборе соображений.

Однако относитесь к критическим отзывам с долей скептицизма. То, что пошло боком для кого-то другого, не обязательно пойдет боком и для вас. Но если вы заметили общий знаменатель в 3-4 отзывах, то есть закономерность, на которую стоит обратить внимание.

• Сравнительные таблицы
  
  Часть работы уже сделана за вас. Посмотрите сравнительные таблицы — как от поставщиков, так и от непредвзятых сторонних источников, таких как HubSpot и CXL.

У нас есть инструмент, который поможет вам сравнить и сопоставить Convert Experiences, Google Optimize, Optimizely, VWO, AB Tasty, Qubit и другие.

Хотите узнать мнение экспертов по CRO о том, как они покупают инструменты A/B-тестирования?

Вот что Рубен Де Бур говорит о выборе инструмента A/B-тестирования:

Во-первых, конечно, вы должны убедиться, что у вас достаточно трафика для A/B-тестирования, что по крайней мере часть вашей компании поддерживает тестирование и что у разработчиков достаточно ресурсов для реализации выигрышных экспериментов.

Затем примите во внимание ваши текущие и будущие потребности. Начните с оценки текущей ситуации, например, ваших целей, потребностей и участников. Например, если ИТ-отдел полностью задействован, вы можете выбрать решение на стороне сервера. Принимая во внимание, что если участвуют только маркетологи, то, скорее всего, лучше всего подойдет клиентская сторона.

Затем вместо того, чтобы смотреть только на текущую ситуацию, подумайте, где вы хотите быть через несколько лет. Какие у вас тогда потребности? Будете ли вы увеличивать количество экспериментов? Есть ли больше членов команды, использующих этот инструмент? Проводить разные эксперименты? Обсудите возможности повышения эффективности с торговыми представителями различных поставщиков.

Наконец, проведите бесплатную пробную версию с двумя-тремя инструментами, которые лучше всего соответствуют вашим текущим и будущим потребностям. Во время бесплатного пробного периода проверьте удобство использования инструмента, параметры (нацеливания) и другие аспекты, применимые к вашему бизнесу (например, работает ли он с вашим одностраничным приложением).

Кроме того, важна личная связь, так как вам может понадобиться их поддержка клиентов. Например, есть ли помощь в адаптации? Если да, то насколько вы им довольны? Также обратитесь в их службу поддержки. Помимо проверки доступных каналов (чат, почта, телефон), посмотрите, как быстро они отвечают (находятся ли они в одном часовом поясе?) и насколько полезны. Наконец, уточните у ИТ-отдела влияние инструмента на производительность вашего сайта .

Рубен Де Бур, ведущий менеджер по конверсии в Online Dialogue

И это мнение Макса Уайтсайда. Макс — ведущий контент в Breaking Muscle:

Определите область тестирования, так как это позволит вам ограничить возможности тестирования вашего инструмента A/B-тестирования. Собираетесь ли вы проводить только A/B-тесты или вам нужен инструмент, который также может обрабатывать многостраничные и многовариантные тесты?

Каждый инструмент работает уникальным образом и предлагает различные типы тестов. Итак, ищите тот, который имеет все необходимые вам функции, чтобы вам не приходилось переключать инструменты по мере роста ваших возможностей тестирования.

Во-вторых, бюджетное A/B-тестирование — это итеративный процесс, что делает бюджет решающим фактором при внедрении среды тестирования. Возможно, вам придется повторить тест несколько раз, прежде чем вы достигнете желаемого результата, после чего вы можете перейти к следующей итерации. Это требует как времени, так и ресурсов, и ваш бюджет будет диктовать свои верхние пределы. Найдите инструмент, который не сильно ударит по вашему кошельку.

Некоторые инструменты тестирования могут отрицательно сказаться на скорости вашего сайта во время тестирования. Медленно загружаемая страница может увеличить показатель отказов и раздражать пользователей, что приведет к снижению конверсии. В таком сценарии ни контроль, ни вариант не будут работать оптимально, что сделает результаты A/B-тестирования ненадежными, даже если соблюдается минимальный размер выборки.

Кроме того, эффект мерцания минимален. Эффект мерцания возникает, когда пользователь ненадолго просматривает исходную веб-страницу, прежде чем будет перенаправлен на ее вариант. Мерцание может мешать работе пользователя и искажать результаты тестов. Чтобы поддерживать надежность ваших A/B-тестов, лучше всего выбрать инструмент, который не дает эффекта мерцания. Поэтому очень важно определить, замедляет ли инструмент A/B-тестирования работу вашего веб-сайта.

Макс Уайтсайд, ведущий контент в Breaking Muscle

Установите контакт с инструментом

До сих пор вы были тайным поклонником рассматриваемых вами инструментов. Пришло время преодолеть свою застенчивость и установить контакт.

И лучше всего начать с бесплатной пробной версии или демоверсии.

Начните бесплатную пробную версию и закажите демонстрацию

Вам нужно увидеть инструмент в действии.

Как он работает в различных приложениях для A/B-тестирования? Например, как CRO для магазина Shopify (или любого другого магазина электронной коммерции), вам нужно знать, как он работает, от тестирования копии CTA для всплывающих предложений до размещения изображения продукта.

Демонстрация показывает, как инструмент решает вашу проблему, а бесплатная пробная версия показывает, подтверждает ли платформа заявленные товары (например, функции, цены, услуги, дорожная карта).

Примечание. Большинство инструментов A/B-тестирования корпоративного уровня не будут представлены вам в демо-версии до тех пор, пока они не пройдут предварительную квалификацию. И они не предлагают бесплатные пробные версии. Это может быть слепым пятном в вашем процессе оценки.

Оцените культуру

Вы можете спросить: «Почему культура вообще имеет значение в инструменте, который я покупаю?»

Когда вы используете инструмент A/B-тестирования, поставщик становится частью вашей культуры экспериментирования. Эти отношения складываются лучше всего, если у вас схожие деловые практики и ценности.

Не волнуйтесь, это не сузит ваш поиск до того, где у вас есть только 1 или 2 инструмента для рассмотрения. Хорошая культура на самом деле не редкость. Вы просто хотите избежать трения, которое может стать слишком неудобным и привести к слишком быстрой смене инструмента.

Итак, как вы оцениваете культуру инструмента A/B-тестирования? Вы можете посмотреть обзоры Glassdoor. Люди, которые работают или работали там, могут дать довольно прозрачное (хотя и анонимное) представление о культуре.

Еще один способ оценить поставщика инструмента A/B-тестирования — его взаимодействие с отраслью. Действительно ли они обучают космос?

Какой тип контента вы можете найти в их блоге и на страницах в социальных сетях? Как другие игроки отрасли взаимодействуют с ними?

через GIPHY

Они смотрят за пределы своего инструмента, чтобы помочь вам улучшить ваши процессы? Это больше, чем просто публикация контента «наш инструмент отличный». Вы можете четко определить бренд, который инвестирует в успех своей аудитории. Трудно скрыть такой яркий свет.

Запросите недостающую информацию

Да, вы можете попросить поставщика инструмента A/B-тестирования заполнить для вас пробелы с помощью документов Request for Information.

Документы RFI похожи, поэтому такой шаблон подойдет. Что будет уникальным в вашем, помимо вводной информации о вашей организации и целях, которых вы хотите достичь, так это вопросы, которые вы задаете. Вы хотите знать

• Послужной список продавца
• История успеха клиентов, похожих на вашу организацию
• Цены
• Ссылки и многое другое

Но также важно получить имя и контактную информацию лица, ответственного за ответ на RFI.

Подготовка к предварительной покупке

Часть усилий по успешной покупке инструмента A/B-тестирования заключается в подготовке к покупке — переходе от отсутствия инструмента или текущего инструмента к свежему программному обеспечению в вашем техническом стеке. Что нужно сделать, чтобы миграция прошла гладко?

Во-первых, покажите свой выбор своей команде и получите бай-ин. Если вы до сих пор не работали в одиночку и будете использовать новый инструмент в команде, они должны быть с вами на одной волне. Сообщите им поставщика, которого вы выбрали. И показать им, почему.

Вот почему структурированный подход действительно помогает. Теперь вы можете показать, какие тщательные размышления вы проделали, чтобы принять это решение, так что выбор этого инструмента имеет смысл. Поскольку до сих пор все сделано правильно, вступить в сделку на этом этапе легко.

Обсудите свое решение в команде. Как это связано с текущими проблемами в вашем экспериментаторском путешествии? Как это поддерживает ваши цели роста? Что другие пользователи говорят об этом инструменте? Что вы узнали из своего исследования? И как это держалось в вашем наборе рассмотрения?

Кроме того, сосредоточьтесь на «почему» при выборе поставщика. Помимо возможностей инструмента, собираетесь ли вы работать с поставщиком, который поддерживает ваши цели тестирования? Предоставляют ли они образовательную поддержку, необходимую вашей команде, чтобы максимально использовать новый инструмент A/B-тестирования? Каковы цели поставщика для своих пользователей?

Затем составьте график перехода и подготовьтесь к развертыванию. Миграцию необходимо тщательно планировать, чтобы избежать сбоев и дорогостоящих задержек.

Вот почему вам нужно работать с поставщиком, который поддерживает вас. Поможет ли поставщик с миграцией? Можете ли вы перенести свои данные на нового поставщика? Существует ли надежный процесс адаптации? Узнайте, какой опыт вам нужен для этого и сколько времени займет каждый этап.

Наконец, сосредоточьтесь на своих целях для программы оптимизации, разбитой на 3-6-9 месяцев. Таким образом, у вас есть ежеквартальные контрольные точки для оценки принятого вами решения. Соответствуют ли выбранный инструмент A/B-тестирования и поставщик ожиданиям, с которыми вы начали?

Будьте осторожны: ожидания должны быть реалистичными. Убедитесь, что вы не оцениваете своего поставщика по результатам, на которые он не может повлиять.

Давайте сделаем из этого действенный контрольный список, который вы сможете взять с собой.

Удобный контрольный список факторов, которые следует учитывать при миграции

Вы хотите перейти от хорошего к лучшему; умный до гениального; удивительно до блаженства. Это происходит не случайно.

Установите все флажки ниже, чтобы убедиться, что инструмент A/B-тестирования, на который вы переходите, превосходит ваши ожидания и поможет вам достичь целей эксперимента.

• Стоимость . Оправдывает ли стоимость инструмента A/B-тестирования ожидаемые результаты? Насколько совокупные инвестиции в инструмент соотносятся с ожидаемой рентабельностью инвестиций?

• Кривая обучения. Вы не хотите тратить драгоценные часы на эксперименты, пытаясь понять, как выполнять базовые задачи с помощью выбранного вами инструмента тестирования из-за пользовательского интерфейса, загроможденного множеством функций, которые вы никогда не будете использовать. Прочитайте обзоры, чтобы узнать о кривой обучения инструмента.

• Мерцание . Мерцание возникает, когда пользователи видят, что исходная версия страницы мигает на их экране до того, как программное обеспечение для A/B-тестирования представляет им вариант. Это может испортить результаты теста.
  
  Некоторые инструменты, такие как Convert Experiences, разработали технологию подавления мерцания, поэтому этого не происходит. Но многие бесплатные инструменты A/B-тестирования с открытым исходным кодом еще не имеют такой возможности.

• Готовые интеграции — ваш инструмент A/B-тестирования не одинокий волк. Он должен сочетаться с другими инструментами в вашем техническом стеке, чтобы принести вам максимальную пользу. Проверьте количество готовых интеграций, с которыми поставляется ваш инструмент CRO. Интегрируется ли он с жизненно важными службами, с которыми он вам нужен?

• Google Analytics . Убедитесь, что ваш инструмент легко интегрируется с Google Analytics. При настройке это одна из первых задач, которые вам нужно будет выполнить. Узнайте, может ли вам понадобиться помощь разработчика с этим инструментом.

• Цели . Постановка целей является неотъемлемой частью вашего A/B-тестирования. Он добавляет контекст к вашим тестам и иллюстрирует влияние результатов ваших тестов. Как ваш новый инструмент справляется с этим? Можно ли импортировать цели из Google Analytics?

• Отслеживание доходов — при миграции вы хотите убедиться, что отслеживание доходов правильно настроено как для однократных, так и для многократных событий. Некоторые инструменты требуют ручной настройки. Вы не хотите этого.
  
  Convert Experiences автоматически подключается к Google Analytics Universal и Classic, чтобы получать данные о транзакциях, доходах и заказанных товарах для информирования тестов.

• A/A-тестирование. Проходит ли новый инструмент A/A-тестирование? Если у вас есть бесплатный пробный доступ к платформе A/B-тестирования, запустите этот тест. Вот как вы узнаете, подходит ли ваш инструмент для беспристрастной обработки A/B-тестов — или нет.

• Настройки соавтора — особенно важно, если вы работаете в команде. Можете ли вы контролировать доступ к тому, что ваши соавторы могут просматривать и вносить изменения?

И эти 2 дополнительных соображения, чтобы помнить:

1. Какой уровень поддержки клиентов обеспечивает инструмент A/B-тестирования?

Еще одним важным моментом при оценке является уровень технической поддержки, доступной вам как клиенту.

Покупка инструмента для A/B-тестирования может стать огромным обязательством. Вы должны быть уверены, что инструмент предоставляет достаточную техническую поддержку вашей команде в случае возникновения трудностей.

Уровень поддержки, предлагаемый лучшими инструментами A/B-тестирования на рынке, варьируется. Проведя небольшое исследование, вы сможете выяснить, предлагают ли инструменты тестирования, которые вы рассматриваете, все перечисленные ниже возможности или их комбинацию:

• Живая поддержка: предлагается по телефону или видеозвонку
• Поддержка по электронной почте: предоставляется по специальному адресу электронной почты.
• Живой чат: с помощью встроенного приложения для обмена сообщениями
• Документация: онлайн-репозиторий статей, предлагающих решения распространенных проблем.
• Автоматизированная поддержка: набор предварительно записанных ответов.

После того, как вы подтвердите доступный уровень поддержки, вам нужно выяснить, являются ли люди, работающие в различных каналах поддержки, экспертами по CRO. Особенно важно, чтобы вы выбрали инструмент с экспертами CRO для вспомогательного персонала, так как они могут лучше предоставить необходимую вам помощь в режиме реального времени, если вы столкнетесь с техническими проблемами.

Также стоит отметить, что некоторые инструменты A/B-тестирования предлагают специальную поддержку клиентов в качестве надстройки, за которую вам нужно заплатить или перейти на более высокий план для бесплатного доступа. Плата за специальную техническую поддержку или переход на план, который намного превышает ваши потребности в тестировании для доступа к более качественной поддержке, увеличит общую стоимость инструмента A/B-тестирования.

В Convert наша команда разработчиков и экспертов по CRO бесплатно предоставляет техническую поддержку нашим клиентам. Наша поддержка осуществляется в форме живого чата, онлайн-документации, поддержки по электронной почте и поддержки в реальном времени.

2. Влияет ли инструмент A/B-тестирования на скорость вашего сайта?

Еще одним важным фактором при покупке инструментов A/B-тестирования является их влияние на скорость сайта. Некоторые инструменты A/B-тестирования могут увеличить скорость вашего сайта на несколько секунд и увеличить время загрузки. Медленная загрузка веб-сайта влияет на взаимодействие с пользователем и может повлиять на ваш трафик.

Давайте рассмотрим механизм того, как некоторые из лучших инструментов A/B-тестирования на рынке могут повлиять на скорость вашего сайта. Инструменты A/B-тестирования обычно делятся на две категории:

1. Инструменты A/B-тестирования на стороне клиента
2. Инструменты A/B-тестирования на стороне сервера

Инструменты A/B-тестирования на стороне клиента используют фрагмент JavaScript, хранящийся в браузере посетителя, для изменения содержимого, которое ваш сервер показывает посетителю, в соответствии с вашими инструкциями по таргетингу. Инструменты A/B-тестирования на стороне сервера доставляют точный контент с изменениями с сервера пользователю, не касаясь браузера пользователя.

Инструменты тестирования на стороне сервера кажутся лучшим вариантом, но они могут быть дорогими и неподходящими для многих случаев использования. Вы можете больше узнать о различиях в нашей статье о тестировании на стороне клиента и на стороне сервера.

Многие из лучших инструментов A/B-тестирования являются инструментами тестирования на стороне клиента. Клиентские инструменты A/B-тестирования загружаются двумя способами:

1. Синхронно

This is when the JavaScript snippet of your A/B testing software loads fully before your web page loads. This way of loading the scripts prevents flickering. But may cause your page speed to slow down, as the code snippet from your A/B testing solution load time adds to your overall page speed.

2. Asynchronously

This is when the code snippet from your A/B testing platform of choice and web page loads simultaneously. Tools that use this method of loading may be fast but are prone to flickering.

As I mentioned earlier, flickering occurs when the visitor sees the original content before the variation loads.

Convert is one of the fastest A/B testing software on the market. This is thanks to its Smart Insert Technology ^TM which reduces its impact on your site speed.

5 A/B Testing Tools We Like

Where do you start in your search for the perfect A/B testing tool to buy? Right here with our top 5 favorites.

We've considered everything we talked about above and created a list based on what we know about our audience.

Давайте погрузимся!

1. Convert Experiences

Convert Experiences is for companies and teams looking to scale up their testing program with a mid-level testing platform that comes at a great price. You get fantastic support through your experimentation growth while staying ahead of privacy and data protection requirements.

Convert seamlessly integrates with over 100 tools in your MarTech stack and frees you from testing limitations you might've experienced with free tools and even some paid testing tools.

What we like about the tool: Everything! We built it

TrustRadius Rating: 9.4 out of 10 (18 reviews)

Pricing: Starts at $699/mo, then $199 for every 100k visitors after that

Free plan or trial? Yes, for 14 days with no credit card info needed to start

Cost per 100k visitors: $199

Плюсы:

• Stable, flicker-free testing
• 3rd-party cookie-free testing with no limits
• Over 100 integrations with other marketing tools (Shopify, WordPress, HubSpot)

Минусы:

• Only basic post segmentation is enabled on the kickstart plan

Client-side or server-side tool? Both. You can use a client-side visual editor as well as set up to run custom JS on the server side.

Integration with Google Analytics? Да.

Core Web Vitals ready? Да. You get fast page loading, flicker-free, and minimal effect on CLS. So, your SEO isn't affected.

Frequentist or Bayesian stats? Frequentist two-tailed z tests.

Enterprise Support? Да. We serve companies like Sony, Unicef, and Jabra.

Customer Support? Yes, including live chat and a support center. And there's more coming.

Consciousness Quotient (CQ): We're an outspoken campaigner for user privacy and have environmental consciousness deeply embedded in our DNA. We are fully GDPR compliant and don't use tools that aren't GDPR compliant. And we're proudly 15x carbon negative.

Fair TrustRadius review:

2. Камелеун

Kameleoon — одна из самых популярных платформ A/B-тестирования в мире на сегодняшний день и любимица компаний из сферы здравоохранения и финансовых технологий. Он приносит дополнительные преимущества с лучшей функциональностью, чем большинство инструментов. Он также поставляется с отличным пользовательским интерфейсом и превосходными настройками персонализации и интеграции.

Почему нам нравится этот инструмент: сегментация посетителей на основе ИИ с полным набором возможностей персонализации.

Рейтинг TrustRadius: 8,9 из 10 (70 отзывов)

Цены: индивидуальные, которые, как мы слышали, составляют около 35 000 долларов в год в зависимости от вашего трафика.

Бесплатный план или пробная версия? Да

Стоимость за 100 тыс. посетителей: Не применимо

Плюсы:

• Усовершенствованная технология защиты от мерцания
• Простой в использовании редактор WYSIWYG
• Легко интегрируется с другими маркетинговыми приложениями

Минусы:

• Требуется некоторое время для загрузки редактора WYSIWYG
• Невозможно архивировать тесты

Клиентский или серверный инструмент? Оба

Интеграция с Google Analytics? Да

Core Web Vitals готовы? Да.

Частотная или байесовская статистика? Информации об этом в открытом доступе нет.

Поддержка предприятия? Да. Их корпоративными клиентами являются Toyota, Rakuten и Lexus.

Служба поддержки? Да. Вы также можете получить менеджера по работе с клиентами.

Коэффициент сознания (CQ): они соответствуют требованиям HIPAA, GDPR и CCPA, а также имеют гибкую функцию управления согласием для каждого проводимого вами A/B-теста.

Честный обзор TrustRadius:

3. АБ Вкусный

При составлении списка лучших инструментов A/B-тестирования вы определенно хотели бы, чтобы AB Tasty был в этом списке. Это инструмент среднего уровня, отлично подходящий для компаний, которые хотят выйти за рамки базовых веб-экспериментов и запустить респектабельную программу тестирования.

Несмотря на то, насколько он надежен, он имеет относительно простой пользовательский интерфейс, который включает в себя такие функции, как функции машинного обучения, поэтому ваш сайт может выполнять более сложную персонализацию и отслеживание данных при большом трафике.

Почему нам нравится этот инструмент: чистый и простой пользовательский интерфейс, отлично подходящий для целенаправленного тестирования.

Рейтинг TrustRadius: 8,7 из 10 (78 отзывов)

Цена: от 1900 долларов в месяц за 400 тысяч посетителей.

Бесплатный план или пробная версия? Нет, но вы можете запросить демонстрацию.

Стоимость на 100 тыс. посетителей: ~ 475 долларов США.

Плюсы:

• Динамические виджеты
• Средние цены для некорпоративных команд
• Обширные аналитические отчеты

Минусы:

• Калькулятор статистической значимости является базовым

Клиентский или серверный инструмент? Оба

Интеграция с Google Analytics? Да.

Core Web Vitals готовы? Да, это быстрый инструмент.

Частотная или байесовская статистика? байесовский.

Поддержка предприятия? Да, они обеспечивают корпоративный клиентский опыт. Такие компании, как Disney, L'Oreal и Klaviyo, используют AB Tasty.

Служба поддержки? Да, с живым чатом и базой знаний.

Коэффициент сознательности (CQ): AB Tasty — это бренд, заботящийся о конфиденциальности, который также оказывает положительное социальное воздействие, делая пожертвования непосредственно НПО, перерабатывая и спонсируя ульи.

Честный обзор TrustRadius:

4. Оптимизировать

Optimizely является одной из первых платформ для веб-экспериментов и заслужила отличную репутацию надежного инструмента, на который можно положиться. Его цена, однако, может быть весьма непомерно высокой для средней команды CRO, поскольку они очень ориентированы на предприятие.

Кроме того, они отлично справляются с задачей, позволяющей CRO-командам запускать передовые экспериментальные программы и персонализированные веб-интерфейсы.

Почему нам нравится этот инструмент: мощный инструмент для экспериментов в сочетании с персонализацией на основе искусственного интеллекта.

Рейтинг TrustRadius: 8,7 из 10 (3 отзыва)

Цена: скрыта, как сообщается, около 36 000 долларов в год.

Бесплатный план или пробная версия? Нет, не с 2018 года

Цена за 100 000 посетителей: не применимо к этому инструменту.

Плюсы:

• Широкий выбор доступных вариантов таргетинга
• Простая в использовании функция виджета
• Интерфейс без помех

Минусы:

• Интеграция с Google Analytics может быть сложной для тех, кто не является разработчиком.
• Очень дорого

Клиентский или серверный инструмент? Оба. Эксперименты на стороне клиента работают с фрагментом кода JS, а на стороне сервера — с помощью SDK для разработчиков.

Интеграция с Google Analytics? Да.

Core Web Vitals готовы? Да.

Частотная или байесовская статистика? Optimizely использует последовательные эксперименты, а не эксперименты с фиксированным горизонтом, которые вы могли бы увидеть на других платформах.

Поддержка предприятия? В значительной степени обслуживает корпоративных клиентов из-за цены. В число клиентов входят HP, IBM и Microsoft.

Служба поддержки? Да, включая круглосуточные телефонные номера и справочные ресурсы.

Коэффициент сознательности (CQ): они заботятся о конфиденциальности и имеют традицию вовлекать своих новых сотрудников в волонтерскую деятельность сообщества на второй день их работы.

Честный обзор TrustRadius:

5. Google Оптимизация (и Оптимизация 360)

Google Optimize (GO) — это бесплатный инструмент для оптимизации веб-сайтов и проведения экспериментов. Раньше это были эксперименты с контентом внутри Google Analytics, но теперь это отдельная служба для запуска A/B, перенаправления, персонализации, многовариантного тестирования и тестирования баннеров.

Премиум-версия Google Optimize — Optimize 360. Это более мощная версия GO без ограничений. GO отлично подходит для начала A/B-тестирования. Будет легко перейти на инструмент среднего класса с опытом, который вы получите от использования GO.

Почему нам нравится этот инструмент: лучший бесплатный инструмент для A/B-тестирования, который отлично подходит для начала вашего CRO-путешествия.

Рейтинг TrustRadius: 7,9 из 10 (43 отзыва)

Цены: Google Optimize бесплатен, но его премиум-версия Optimize 360 ​​имеет индивидуальную цену — по слухам, около 150 000 долларов в год.

Бесплатный план или пробная версия? Да, для Оптимизации.

Стоимость за 100 000 посетителей: не применимо к GO.

Плюсы:

• Самый простой инструмент для начала работы — удобный для начинающих пользовательский интерфейс
• Плавная интеграция с Google Analytics
• Подробная сегментация аудитории благодаря огромным ресурсам данных Google.

Минусы:

• Ограничено до 5 тестов одновременно
• Иногда мерцает
• Не могу протестировать мобильное приложение

Клиентский или серверный инструмент? Оба

Интеграция с Google Analytics? Конечно да.

Core Web Vitals готовы? Вы можете бороться с мерцанием и влиянием CLS, но это решаемо.

Частотная или байесовская статистика? Байесовский подход к тестированию.

Поддержка предприятия? Это доступно только в Оптимизации 360.

Служба поддержки? Для бесплатного инструмента доступно сообщество и другие справочные ресурсы. Клиенты Optimize 360 ​​получают полный спектр клиентской поддержки.

Коэффициент сознательности (CQ): Optimize — один из многих продуктов Google, подпадающий под действие программы Google о углеродной нейтральности и благотворительной деятельности на миллиарды долларов.

Честный обзор TrustRadius:

Ключевые выводы

Найти подходящее программное обеспечение для A/B-тестирования для ваших нужд не так просто, как кажется. Необходимо принимать во внимание сложные факторы, такие как ваши потребности в тестировании, цены, интеграции, доступный набор навыков, настройка, обучение и многое другое.

Когда вы начинаете с проблемы, спрашиваете нужных людей, составляете список рекомендаций и формируете набор рекомендаций на основе тщательного анализа решающих факторов, которые могут повлиять на ваш опыт работы с инструментом A/B-тестирования, вы уже почти на месте.

Вы можете начать свой тест с 5 инструментов, которые мы перечислили выше. Но если это не ваша чашка чая, то мы дали вам все, что вам нужно, чтобы пойти туда, исследовать более 50 инструментов A/B-тестирования и найти правильный для ваших уникальных потребностей.

Потому что окончательное решение остается за вами.