Как проводить A/B-тестирование на сайтах с низким трафиком

Предупреждение триггера:

Мы знаем, что вокруг статистической значимости, мифической (или нет?) отметки 95%, тестирования, трафика и многого другого бушует масса споров.

Если вы оптимизатор, который серьезно относится к этим вещам, вы можете сработать. Что ж, комментарии открыты, и мы можем вести действительно поучительную беседу.

Давайте начнем!

Тестирование не работает для сайтов с низким трафиком.

Это точно.

Потому что для получения статистически значимой информации вам нужно показать варианты вашего эксперимента (как минимум) тысячам пользователей.

Фактически, в Convert Experiences мы часто рекомендуем нашим пользователям проводить A/B-тесты — простейшие CRO-эксперименты — только в том случае, если они могут отправить около 10 000 посетителей на каждый вариант.

Кроме того, мы предлагаем зарегистрировать около 1000 конверсий, чтобы получить убедительные доказательства превосходства контроля или варианта.

Это объясняет, почему CRO не является рынком с миллионом клиентов, поскольку существует всего несколько 100 000 веб-сайтов (или предприятий) с посещаемостью, которую можно успешно протестировать, и бюджетами для дорогих (быстро развивающихся «корпоративных») решений по оптимизации. !

Должны ли сайты с низким трафиком исключать тестирование?

Учитывая, что среднестатистический малый бизнес посещает свой веб-сайт всего несколько сотен человек в день, эксперименты с A/B-тестированием для них не имеют смысла.

Но:

Это не означает, что малый бизнес вообще не может проводить эксперименты.

На самом деле, есть много экспериментов, которые может провести даже малый бизнес.

И есть много преимуществ для их запуска.

Например, если вы владеете небольшим бизнесом, проведение экспериментов поможет вам перейти от принятия решений, основанных на интуиции, к принятию решений, основанных на данных. Это заставит вас смотреть на данные… и с цифрами, которые вы видите прямо перед собой, вы перестанете по умолчанию использовать * я думаю * стратегии. Один только этот подход, основанный на данных, изменит то, как вы строите и развиваете свой бизнес.

Проведение экспериментов также научит вас учиться, пробуя, а не принимая статус-кво. Это вдохновит вас увидеть, работают ли на вас принципы, в которые вы верите.

Наконец, проведение экспериментов подготовит вас к «настоящей» CRO, когда у вас будет «достаточно» трафика , поскольку это поможет сформировать правильное мышление для тестирования — обязательное условие эффективной CRO.

Поэтому начните проводить любые эксперименты, какие только сможете, с любыми маркетинговыми каналами, которые вы используете. Вот некоторые из ваших вариантов.

Тестирование с помощью электронной почты

Удивительно, но электронный маркетинг — это один из каналов, который позволяет вам экспериментировать с разными идеями, не нуждаясь в тоннах подписчиков (или «контактов»).

— Кто сказал?

Говорит каждый поставщик программного обеспечения для электронного маркетинга, от MailChimp, ConstantContact и Campaign Monitor до HubSpot (который поддерживает электронный маркетинг в своем программном обеспечении для автоматизации маркетинга).

Начнем с HubSpot.

Поэтому, если вы хотите провести A/B-тестирование с использованием платформы электронной почты HubSpot, все, что вам нужно, — это 1000 контактов: 1000 контактов также являются нашим эталоном для проведения A/B-тестирования образцов отправляемых электронных писем. — ХабСпот

Campaign Monitor также говорит, что вы можете запускать A/B-тесты даже с небольшими списками адресов электронной почты. Вот математика, стоящая за этим:

Теперь вы можете подумать: «Размер моего списка составляет всего 500 подписчиков, как вы ожидаете, что я проведу успешный тест?» Мой ответ заключается в том, что вам нужно нацелиться на больший MDE [минимальный обнаруживаемый эффект (MDE)]. Когда вы увеличиваете MDE, требуемый размер выборки уменьшается. Таким образом, вместо 592 подписчиков на вариант для обнаружения относительного эффекта 20% вам потребуется всего 94 подписчика на вариант для определения относительного эффекта 50%. Обратите внимание, что базовый коэффициент конверсии также влияет на размер вашей выборки — чем ниже коэффициент конверсии (в данном случае открытый %), тем больше подписчиков вам потребуется для проведения точного теста. — Монитор кампании

Итак, если у вас около 500 или 1000 подписчиков, вы можете протестировать, если у вас есть отзывчивая база данных, которая заинтересована в том, что вы хотите сказать.

Тем не менее, некоторые провайдеры почтового маркетинга рекомендуют немного большую базу контактов.

Например, поставщик решений для электронного маркетинга ConstantContact рекомендует больший размер выборки, вдвое превышающий минимальный размер, допустимый HubSpot. Предполагается, что для полноценного A/B-тестирования размер выборки должен составлять не менее 1000 контактов. Итак, если у вас 2000 подписчиков, вы должны быть готовы к тестированию (каждая из версий A и B получает 50% от общего числа контактов в качестве тестового трафика).

Для тестирования строки темы мы рекомендуем протестировать каждую строку на выборке не менее 1000 контактов, если это возможно. 1000 пользователей для каждой версии, как правило, являются хорошим эталоном для любого A/B-теста, но если у вас недостаточно контактов или посетителей, чтобы набрать эти цифры, все же стоит провести тест. — КонстантаКонтакт

MailChimp также рекомендует несколько большие списки для проведения A/B-тестов. Предполагается, что для запуска тестов у вас должно быть не менее 5000 контактов. Но поскольку многие базы контактов малого бизнеса намного меньше, мы рекомендуем тестировать идеи по всему списку:

Мы рекомендуем вам отправлять комбинации как минимум 5000 подписанным контактам, чтобы получить наиболее полезные данные из вашего теста. Если размер вашего списка или сегмента не позволяет набрать 5000 подписчиков в каждой комбинации, рассмотрите возможность тестирования всего списка и используйте результаты кампании для информирования будущих решений о содержании кампании. — MailChimp

Хотя это правда, что наличие большого размера выборки поможет вам достичь статистической значимости гораздо раньше (и с гораздо большей уверенностью), но вы также можете начать тестирование и с небольшим списком!

Вот более 150 идей для сплит-тестирования электронной почты для ваших почтовых кампаний.

Кроме того, вот краткое руководство по A/B-тестированию электронной почты.

Тестирование в социальных сетях

Социальные сети — это еще один канал, который позволяет вам проверять свои идеи, независимо от того, насколько малы ваши социальные сети. Кроме того, в некотором смысле, в социальных сетях ничто не ограничивает ваш охват.

Так, например, в Convert Experiences даже у нас нет десятков тысяч подписчиков, но наш потрясающий продавец в социальных сетях продолжает экспериментировать с элементами нашей копии в социальных сетях, такими как хэштеги, изображения и многое другое.

И ее испытания приносят нам большие победы. Например, ее эксперимент с использованием определенного набора хэштегов однажды принес нам ретвит из Google Analytics!

Теперь, это некоторая экспозиция в социальных сетях, не так ли?

Вы можете сказать, что легко отмахнуться от быстрых побед как (возможно) от случайностей, НО когда вы видите, что набор хэштегов обычно привлекает больше внимания, чем другие, с которыми вы его тестируете, вы получаете больше, чем результат теста… то, что у вас есть, это тенденция. .

Вы можете запустить множество A/B-тестов в социальных сетях, чтобы выявить такие тенденции и повысить эффективность своих социальных сетей. Мы опубликовали отличный учебник по A/B-тестированию в социальных сетях здесь. Прочтите ее, чтобы узнать, как начать с A/B-тестирования в социальных сетях, о различных A/B-тестах в социальных сетях, которые вы можете проводить, и о лучших методах A/B-тестирования в социальных сетях, о которых вы должны помнить.

A/B-тестирование с платной рекламой (PPC)

Так же, как каналы электронной почты и маркетинга в социальных сетях, маркетинговый канал PPC также позволяет вам экспериментировать с вашими рекламными копиями и всеми другими элементами ваших рекламных кампаний.

Будь то реклама Google Adwords или Facebook, большинство платных сетей поддерживают эксперименты, чтобы вы могли получить максимальную рентабельность инвестиций.

Но чтобы получить статистически значимые результаты от ваших экспериментов с платой за клик, вам нужно несколько тысяч показов каждой копии объявления. Google рекомендует тестировать группы объявлений, которые получают не менее 5000 показов в неделю.

Так сколько же стоят несколько тысяч рекламных показов?

Это во многом зависит от платформы и отрасли (среди прочих факторов), но есть данные, которые помогут вам составить бюджет.

Например, AdStage проанализировал более 110 миллионов показов рекламы (в Google Adwords) в первом квартале 2018 года и обнаружил, что в среднем вам нужно 116,91 доллара США, чтобы получить тысячу показов (CPM) в Google Ads. В прошлом году он был примерно на 13% дешевле .

Социальные сети, такие как Facebook, также предлагают доступные варианты CPM.

Данные исследования Statista показывают, что средняя цена за тысячу показов (цена за тысячу показов) для Facebook составляет 1,26 доллара США. Другие оценки средней стоимости CPM Facebook от AdExpresso и WordStream находятся в диапазоне 7-10 долларов.

Дело в том, что начать тестировать рекламные копии можно даже при ограниченном бюджете.

(Почти) «защищенный от трафика» способ экспериментирования: персонализация

Персонализация или персонализация опыта посетителя веб-сайта на основе того, что вы о нем знаете, — еще одна распространенная форма экспериментирования.

Самое приятное в персонализации то, что с ними могут работать даже веб-сайты с низким трафиком, поскольку ограничения трафика, которые применяются к тестам CRO, не применяются к персонализации.

Причина этого в том, что конечной целью персонализации является не оптимизация показателей конверсии. Вместо этого его цель — предложить более релевантный пользовательский опыт, который приводит к большему количеству конверсий или более высокой удовлетворенности и удержанию клиентов.

Например, вы можете создать разные версии страницы вашего продукта, чтобы показывать их клиентам и не клиентам (или лидам).

На странице вашего продукта для ваших клиентов вы можете показывать такой контент, как руководства по продуктам и видеоролики, быстрые ссылки для доступа к поддержке и многое другое, чтобы они могли получить более полезный опыт работы с продуктом. Принимая во внимание, что версия, которую вы показываете своим лидам — например, тем, кто подписался на пробную версию — может быть сосредоточена на функциях вашего продукта или тематических исследованиях, чтобы помочь им конвертироваться.

Около 93% компаний видят лучшую конверсию благодаря персонализации.

И вы можете начать с персонализации прямо сейчас.

Кроме того, с помощью такого инструмента, как Convert Experiences, вы можете настроить персонализированный интерфейс веб-сайта за считанные минуты. Просто установите правила таргетинга, и вы сможете показывать персонализированные сообщения различным сегментам аудитории, побуждая каждый сегмент перейти к следующему этапу своего пути к покупке.

Заворачиваем…

Хотя низкий трафик веб-сайта может помешать вам проводить серьезные эксперименты с CRO, он не может помешать вам «учиться».

И вот что важно — поскольку, как только вы переключите свое внимание на обучение, пробуя , а не принимая норму, вы начнете развивать культуру экспериментирования, необходимую для эффективной CRO.

Неважно, на какой стадии роста вы находитесь, вы можете инвестировать в развитие культуры тестирования. Это пригодится, когда у вас действительно будет достаточно трафика на ваш сайт, чтобы приступить к жестким, окончательным экспериментам с CRO.