Рекомендуемый стек A/B-тестирования для продвинутых цифровых маркетологов

Концепция A/B-тестирования проста. Вы сравниваете две версии контента друг с другом, чтобы определить, какая из них работает лучше.

В результате проведения сплит-тестов ваш бизнес и веб-сайт получат больше потенциальных клиентов и более высокие коэффициенты конверсии.

Меня зовут Ларс Лофгрен, и до того, как я начал управлять компанией Quick Sprout, я начал свою карьеру в Growth. Как директор по развитию в KISSmetrics и я научу вас быть богатым, я лично отвечал за достижение наших целей по лидам и запускал наши программы A/B-тестирования для повышения конверсии на каждом веб-сайте.

За свою карьеру я провел сотни A/B-тестов.

В обеих компаниях я удвоил и утроил показатели конверсии. В частности, я в четыре раза увеличил ежемесячный поток лидов в KISSmetrics и построил машину для генерации лидов, приносящую 40 000 лидов в месяц, в I Will Teach You To Be Rich.

За время своей маркетинговой карьеры я перепробовал почти все доступные программы, связанные с тестированием. Некоторые были потрясающими, а некоторые нет. Если бы мне снова пришлось расширять программу A/B-тестирования, я бы доверился этим 11 инструментам.

Лучшие инструменты для A/B-тестирования

Существует довольно много разных инструментов, которые вам понадобятся для A/B-тестирования. Это выходит далеко за рамки одного инструмента для запуска тестов. Давайте пройдемся по всем применимым категориям.

Транзакционные и настраиваемые электронные письма

Чтобы правильно протестировать транзакционные электронные письма, вам потребуется полный контроль над созданием электронной почты и аналитикой. SendGrid предлагает этот тип управления. Более популярные инструменты электронной почты, такие как MailChimp, просто недостаточно надежны, даже многие инструменты автоматизации маркетинга недостаточно гибки. Лучше иметь инструмент электронной почты, которым ваши разработчики могут полностью управлять.

В Sendgrid есть встроенное A/B-тестирование, но оно ограничено:

Магия Sendgrid заключается не во встроенных функциях. Это происходит от того, что ваши разработчики могут тестировать целые электронные письма и воронки A / B, поскольку они имеют полный контроль. Когда у вас есть полный контроль, вы можете запускать любые тесты, которые хотите.

Во-первых, лично я никогда не утруждал себя тестированием тем или рейтингом кликов. Они не оказывают существенного влияния на бизнес. Во-вторых, тестирование контента — это нормально, но я предпочитаю тестировать совершенно разные воронки электронной почты. Именно там я нашел свои самые большие победы. Вот почему я игнорирую встроенный интерфейс тестирования и использую Sendgrid для целых электронных писем.

Большинство моих A/B-тестов электронной почты на самом деле являются проверочными тестами. Отправьте свое электронное письмо 50% тестовой группы, остальным 50% ничего не отправляйте. Вы сможете увидеть истинное влияние этого письма.

Опросы

SurveyMonkey — это отраслевой стандарт онлайн-опросов. Почти все из вас, читающие это, в тот или иной момент проходили опрос через их платформу.

Мне нравится SurveyMonkey, потому что им очень легко пользоваться. Поскольку почти все знакомы с ним, пользователям удобно проходить опросы с помощью своего программного обеспечения.

Вы можете спросить: «Почему я считаю опросы частью своего стека A/B-тестирования?»

Ответы на опросы подпитывают понимание, которое приводит к победам в A/B-тестировании. Прежде чем запускать какие-либо тесты, я начинаю с качественного исследования. Чем лучше я понимаю клиентов, тем выше шансы, что я найду победителя с помощью A/B-тестирования.

Чтобы собрать ценную качественную информацию, помните об этих советах:

• Не усложняйте свои опросы. Сосредоточьтесь на том, чтобы задать от 5 до 10 вопросов, которые вам действительно нужно знать.
• Сосредоточьте основную часть своих вопросов на проблемах, с которыми сталкиваются клиенты.
• Начните с открытых вопросов, пока у вас не появится действительно хорошая интуиция для респондента.

Для получения дополнительных рекомендаций здесь есть множество отличных советов по проведению опросов.

Пользовательские тесты

Еще один отличный способ получить качественную информацию для побед в A/B-тестировании — это пользовательские тесты. Лучший инструмент для таких экспериментов — UserTesting.

Первое, что вам нужно сделать, это выбрать свою аудиторию. Вы можете использовать свою собственную аудиторию или подключиться к определенной цели через панель UserTesting. Платформа позволяет вам быть точным с демографическими и другими факторами, чтобы найти лучших пользователей для ваших экспериментов.

Затем выберите 5 или 10 пользователей, чтобы пройти процесс регистрации или другие обычные действия пользователя на вашем веб-сайте. UserTesting предоставит видео этих пользователей, взаимодействующих с вашим контентом. В результате вы можете определить основные точки трения, чтобы получить выигрыш в A/B-тестировании.

Это золотая жила для побед в A/B-тестировании. Я настоятельно рекомендую запустить несколько из них в процессе регистрации или адаптации. Я всегда нахожу основные точки трения, которые позже приводят к большим победам. В KISSmetrics мы узнали, как сложно людям составить карту всех данных, которые им нужно отслеживать. Затем мы переработали процесс онбординга, сделав его более структурированным и шаг за шагом проводя людей через каждую часть данных.

Бизнес-аналитика

Тем из вас, кому нужна серьезная программа A/B-тестирования, вам нужно будет принести все свои данные и отчеты внутри компании. Чтобы сделать это эффективно, вам понадобится какое-то хранилище данных. После того, как это настроено, вы можете внедрить лучший инструмент (на мой взгляд) для создания отчетов бизнес-аналитики — Tableau.

Я предпочитаю Tableau, потому что он дает мне полный контроль и генерирует любой отчет, который вы хотите. Поскольку я точно знаю, какие запросы, отчеты и визуализации мне нужны, я могу построить все так, как мне нужно.

Однако неприятная новость заключается в том, что кто-то должен управлять этим и создавать нужные вам отчеты, а это работа на полную ставку. Вам также понадобится опыт на руководящем уровне, чтобы знать, какая отчетность требуется. Традиционный аналитик бизнес-аналитики может создавать отчеты, но не знает, какие отчеты и показатели наиболее важны для бизнеса. Все это быстро дорожает.

Это решение не для всех. Идите по этому пути только в том случае, если у вас есть опыт и бюджет, чтобы убедиться, что он выполнен правильно.

Калькулятор статистической значимости

В зависимости от вашего уровня навыков для расчета статистической значимости рекомендуются два инструмента.

Легкий калькулятор
Калькулятор значимости A/B от Нила Пателя — ваш самый простой вариант. Все, что требуется, — это вручную указать количество посетителей и конверсий для каждого варианта:

Затем калькулятор определяет, был ли тест достаточно значимым, чтобы делать выводы.

Расширенный калькулятор
Для более продвинутого варианта лучше всего подойдет калькулятор AB Testguide. Этот инструмент дает вам больше параметров для включения в расчет.

С помощью этого калькулятора вы можете выбрать гипотезу и выбрать уровень достоверности. Даже результаты теста более продвинуты. Инструмент показывает не только график, но и другие статистические данные, такие как наблюдаемая мощность, p-значение, z-оценка и стандартная ошибка разницы:

Это куча дополнительных деталей, которые имеют смысл только в том случае, если вы провели много тестов или имеете опыт работы со статистикой. Если это слишком сложно, выберите более простой калькулятор.

Почему я использую их?

Разве большинство инструментов тестирования не вычисляют статистическую значимость?

Если и есть один урок, который я усвоил, так это то, что нельзя слепо доверять новым инструментам. Дважды проверяйте расчеты статистической значимости, пока не будете уверены, что инструменту A/B-тестирования можно доверять. Существует множество способов расчета статистической значимости, и в этом тоже легко запутаться.

Поэтому всякий раз, когда я работаю с новым программным обеспечением для тестирования, я всегда использую один из приведенных выше калькуляторов, пока не буду уверен, что их расчеты надежны.

Веб-аналитика

Не ищите ничего, кроме Google Analytics, короля анализа трафика.

Чтобы провести A/B-тестирование веб-сайта, вам необходимо понять динамику трафика, в частности:

• Какие страницы получают больше всего трафика?
• Какие источники трафика растут или сокращаются?
• Какие страницы приносят больше всего трафика?

Даже если вы используете Google Analytics только для того, чтобы убедиться, что у вас достаточно трафика на страницах, которые вы собираетесь тестировать A/B, установка того стоит. Это также совершенно бесплатный инструмент мирового класса.

Есть причина, по которой он установлен почти на каждом сайте. Качество данных, объем отчетов и информации, а также тот факт, что это совершенно бесплатно, делают Google Analytics непревзойденным предложением.

Раньше я сильно настраивал профили Google Analytics. Однако в настоящее время я редко трогаю настройки и полагаюсь на встроенные отчеты. Поэтому я предлагаю вам сделать то же самое.

Пользовательская аналитика

Зачем нужен второй инструмент аналитики? Разве Google Analytics недостаточно?

Даже по прошествии стольких лет Google Analytics отлично справляется с анализом трафика. Да, теперь у него есть отслеживание пользователей, но он никогда не был предназначен для этого. Вы должны быть опытным пользователем Google Analytics, чтобы использовать его для истинного анализа пользователей.

Для этого мой любимый инструмент для пользовательской аналитики и данных о клиентах — Amplitude, потому что вы можете легко отслеживать пользовательские воронки:

Большинство программ A/B-тестирования обычно фокусируются на воронках регистрации и адаптации. Мало того, что есть много объема для тестирования, но небольшие улучшения в этих воронках могут оказать серьезное влияние на бизнес.

Когда вы тестируете свои воронки, вам нужно следить за ними каждый месяц, чтобы убедиться, что они постоянно улучшаются. A/B-тесты могут показать один результат, но ваши ежемесячные KPI не будут идеально совпадать.

Если вы решили пойти ва-банк с хранилищем данных и инструментом бизнес-аналитики, таким как Tableau, вы можете полностью отказаться от инструмента пользовательской аналитики. Я считаю, что инструмент пользовательской аналитики — это хороший промежуточный шаг, когда бизнес не готов построить всю инфраструктуру.

Целевые страницы после клика

Для кликов после рекламы вам понадобится специальное решение, которое специализируется на работе с целевой страницей, а не универсальное программное обеспечение, в котором есть «A/B-тестирование» или «конструктор». Это особенно верно, когда каждая кампания заслуживает уникальной целевой страницы после клика и A/B-тестирования каждой страницы в процессе. Instapage не только помогает масштабировать создание целевых страниц для каждой кампании, но и имеет встроенное A/B-тестирование. Когда вы обнаружите выигрыши, вы сможете сразу же запустить их:

Мои маркетинговые программы всегда заканчиваются множеством целевых страниц. Если вы не проводите A/B-тестирование страниц с наибольшим трафиком, вы теряете доход.

Тепловые карты

В исследованиях клиентов есть общий совет: «Не сосредотачивайтесь на том, что люди говорят, сосредоточьтесь на том, что они делают». Вот почему тепловые карты — еще один отличный ресурс для сбора качественных данных. Тепловые карты идеально подходят для лучшего понимания поведения людей. Кроме того, их очень легко понять.

Знание того, на что люди нажимают, как далеко они прокручивают и куда движется их мышь, подстегивает всевозможные идеи по оптимизации — это еще одна золотая жила идей для A/B-тестирования.

Instapage имеет тепловые карты, встроенные в их платформу, которые могут делать все три для целевых страниц после клика (изображение ниже — это только карта кликов):

Вы также захотите запустить тепловые карты на своем основном сайте. В этом случае я бы порекомендовал Crazy Egg:

Запустите тепловые карты на своих домашних страницах, страницах с ценами и процессах адаптации. Ищите вещи, которые получают много кликов, которых вы не ожидали, и вещи, которые, как вы думали, привлекут больше внимания, но этого не произошло. Затем придумайте тестовые идеи, которые подчеркивают то, что хотят люди, и принижают акцент на вещах, которые им безразличны.

У CXL есть много отличных советов по использованию тепловых карт здесь.

A/B-тестирование

А как насчет самого инструмента A/B-тестирования? Каков наилучший вариант для тестирования домашних страниц, потоков адаптации и продуктов? На мой взгляд, ВВО:

У VWO есть надежный продукт для A/B-тестирования, стоимость которого начинается от 199 долларов в месяц. По сравнению с другими инструментами, стоимость которых может составлять десятки тысяч долларов в год, VWO гораздо доступнее. Стоимость доллара исключительно высока.

С VWO вы сможете одновременно запускать несколько сплит-тестов. Также есть визуальный редактор, позволяющий запускать A/B-тесты без редактирования кода. Идеально подходит для тестирования таких элементов, как заголовки. Вы также можете использовать их редактор кода, чтобы внести более сложные изменения в свои тесты. Редактор кода — это огромное улучшение.

A/B-тестирование WordPress

WordPress — самая популярная CMS в мире, но проведение A/B-тестов на всем сайте WordPress может быть проблемой. Платформа определенно не предназначена для этого.

Вот почему вы должны использовать такой плагин, как Nelio, для A/B-тестирования WordPress:

Имейте в виду; вы хотите привести свой сайт в порядок перед выполнением этого тестирования. Если вы не очистите все, вы столкнетесь с бесчисленными конфликтами плагинов, и ваш сайт не сможет обслуживать тестовые варианты достаточно быстро для действительного тестирования. Поскольку WordPress никогда не предназначался для тестирования всего сайта, A/B-тесты легко конфликтуют с плагинами, темами и плохо построенными сайтами.

Во-первых, убедитесь, что у вас есть хороший веб-хостинг. Последнее, что вам нужно, — это медленный хост, который будет задерживать обслуживание варианта, чтобы пользователь заметил изменение. Затем очистите свою тему WordPress и удалите все ненужные плагины. Это уменьшит любые конфликты плагинов и будет выполнять ваши тесты достаточно быстро, чтобы вас не заметили.

Как только ваш сайт WordPress будет очищен и будет быстро загружаться, установите Nelio и используйте его для запуска A/B-тестов на всем сайте. Раньше я проводил много тестов в нашем блоге, чтобы увеличить конверсию в подписки по электронной почте.

Заключение

Настоящая программа A/B-тестирования нуждается в наборе инструментов для эффективной работы. После самостоятельного тестирования сотен инструментов в нескольких компаниях и сотен тестов я предпочитаю стек выше, потому что они сосредоточены на разных областях цифрового маркетинга, и ни один из них не является «лучшим» во всех категориях.

Если вы рассматриваете какой-нибудь популярный новый инструмент, не стесняйтесь заменить один из них. Мое общее правило состоит в том, чтобы часто экспериментировать с инструментами, которые легко запускать и останавливать, например с инструментами для записи пользователей или опросами. Но для инструментов инфраструктуры, таких как аналитика, я выбираю тот, который надежен и на который я смогу положиться в течение многих лет.

об авторе
Ларс в настоящее время является генеральным директором QuickSprout. До этого он был директором по развитию в компаниях «Я научу вас быть богатым» и KISSmetrics.