Когда искать локальный и глобальный максимум с помощью A/B-тестирования

Представьте, что вы поднимаетесь на Эверест в густом тумане с амнезией. Вы можете видеть только до протянутой руки. Вы не знаете, где находитесь и в каком направлении двигаться, только то, что вам нужно достичь вершины. Каковы ваши шансы?

Наверное, настолько же низко, насколько высока гора.

Какой бы драматичной ни была эта аналогия, она была сделана в отношении основы популярного метода A/B-тестирования. Этот пик — лучшая версия вашей целевой страницы после клика, и вы сбиты с толку, почти слепы и потеряны на склоне горы вашей текущей страницы.

Что еще хуже, ваши любимые маркетинговые блоггеры, вероятно, вручили вам неправильную карту. Вы можете подумать, что проводите A/B-тестирование в правильном направлении — что вы движетесь к этому пику. Однако есть вероятность, что вскоре вы зайдете в тупик и никогда не найдете самую эффективную версию своей целевой страницы после клика.

Миф об A/B-тестировании, который сбивает с толку новичков

Некоторые из самых популярных маркетинговых блогов в Интернете продолжают увековечивать миф о A/B-тестировании, который с самого начала обрекает новичков на гибель. Меня это тоже мучило, когда я только начинал.

«Не меняйте более одного элемента страницы за одно A/B-тестирование», — я продолжал читать снова и снова. Я не подвергал сомнению это, потому что источники были заслуживающими доверия и потому что в основном, ну, это просто имело смысл.

Смысл A/B-тестирования заключается в сборе данных, которые вы можете использовать для оптимизации страницы, электронной почты, рекламы или всего, что вы тестируете. Как я должен был узнать, что вызвало изменение коэффициента конверсии по завершении теста, если я сделал более одной корректировки между версиями «А» и «Б»? Что это будут за данные?

Итак, я протестировал элементы по одному: заголовок целевой страницы после клика «A» и заголовок целевой страницы после клика «B». Далее, это была синяя кнопка на целевой странице после клика «А» по ​​сравнению с зеленой кнопкой на целевой странице после клика «Б». Именно так это сделали профессионалы, Amazon и Google. Если этого было достаточно для многомиллиардных компаний, то и для меня этого было достаточно.

Проблема, которую я упустил из виду и которую я с болью осознал несколько месяцев спустя, заключается в том, что я не был Amazon или Google. Их веб-сайты генерируют большой трафик, а это означает, что небольшой рост, полученный с помощью этих легкомысленных цветовых тестов кнопок, может принести миллионы долларов дохода.

Однако для большинства людей они являются пустой тратой времени и ресурсов. Для большинства людей использование этого метода A/B-тестирования похоже на восхождение на Эверест в густом тумане с амнезией.

Эвристика восхождения на холм

В нашей повседневной жизни мы сталкиваемся с проблемами, решение которых очевидно. Но что происходит, когда вы сталкиваетесь с незнакомым и во многом уникальным препятствием? Возьмем, к примеру, этот лабиринт:

В блогах нет сообщений о том, как лучше всего ориентироваться в этом конкретном лабиринте. Ваш друг (скорее всего) не сможет вам помочь. У вас нет карты. Итак, как добраться из точки А в точку Б?

Ответ можно найти в компьютерной программе The General Problem Solver, созданной в 1963 году Ньюэллом, Саймоном и Шоу для изучения искусственного интеллекта. Их исследования также были применены к решению человеческих проблем. Доктор Расс Дьюи объясняет:

Ньюэлл и Саймон определили каждую проблему как пространство. На одном конце пространства находится отправная точка, на другом — цель. Сама процедура решения проблем задумана как набор операций по пересечению этого пространства, по одному шагу за раз, чтобы добраться от исходной точки до целевого состояния.

В General Problem Solver программа тестирует различные действия (которые Ньюэлл и Саймон назвали операторами), чтобы увидеть, какие из них приблизят ее к целевому состоянию. Оператор — это любое действие, которое изменяет состояние системы. Общий решатель проблем всегда выбирает операцию, которая приближает его к цели. Эта тактика называется восхождением на холм, потому что она напоминает тактику всегда делать шаг к вершине холма или горы.

В приведенном выше лабиринте каждый тупик представляет собой «пространство» — проблему, которую вам нужно преодолеть с помощью «операций», то есть действий, которые приближают вас к вашей цели (переходу из «А» в «Б»).

Итак, вы начинаете с «А» и следуете по пути, который, по вашему мнению, приведет вас к «Б» быстрее всего. Когда вы попадаете в тупик, вы возвращаетесь и пробуете альтернативный маршрут. Вы повторяете процесс, пока не достигнете своей цели.

Это то, что вы делаете, когда проводите A/B-тестирование небольших элементов. Вы определяете проблему, например, незаметную кнопку. Затем вы приближаетесь к своей цели по созданию лучшей версии вашей целевой страницы после клика (или так вы думаете), проверяя то, что, по вашему мнению, является лучшим. Если это не сработает, вы проверите другое.

Однако в какой-то момент вы достигнете точки убывающей отдачи, называемой «локальным максимумом».

Локальный максимум и глобальный максимум

Причина, по которой описанный выше метод называется эвристикой «восхождения в гору», заключается в том, что он имеет серьезное ограничение, которое может заставить вас чесать затылок на холме, глядя на вершину горы — где находится ваша лучшая целевая страница после клика. Доктор Дьюи объясняет:

Восхождение на холм — простая стратегия, но она не всегда работает. Одной из потенциальных ловушек является «предгорная проблема». Если вы выбираете шаг, который ведет вас в гору (или в определенном направлении), вы можете в конечном итоге подняться на предгорье, которое находится между вами и горой, игнорируя гораздо более эффективную процедуру обхода его. Другими словами, если вы идете прямо к цели без гибкости, вы можете заплатить высокую цену, потратить много энергии или заставить себя работать больше, не способствуя достижению цели.

В терминах оптимизации это «предгорье» называется «локальным максимумом». Это лучшая версия вашей текущей страницы, которая при дальнейшем A/B-тестировании даст убывающую отдачу. Пик горы называют «глобальным максимумом». Это лучшая версия вашей целевой страницы после клика. Вот полезный рисунок для иллюстрации:

Начав с единственной целевой страницы после клика и проводя A/B-тестирование небольших элементов по одному, чтобы улучшить ее, вы приближаетесь к этому локальному максимуму, но этот метод никогда не приведет вас к вершине этой горы. Итак, как вы прокладываете свой путь туда?

A/B-тестирование для достижения глобального максимума

В сообщении в блоге под названием «Не попадитесь в ловушку мелочей A/B-тестирования» Рэнд Фишкин из Moz объясняет разочаровывающий сценарий, который может оказаться слишком близким к цели:

Допустим, вы нашли страницу/концепт, которым вы относительно довольны, и начали тестировать мелочи — оптимизацию вокруг локального минимума. Вы можете запускать тесты в течение 4-6 месяцев, получать 5%-ное улучшение общего коэффициента конверсии и чувствовать себя довольно хорошо. До тех пор...

Вы тестируете еще одну большую новую идею и совершенствуете ее дальше. Теперь вы знаете, что тратили свое время на оптимизацию и совершенствование страницы, общая концепция которой не так хороша, как новая, грубая, неоптимизированная страница, которую вы только что протестировали в первый раз.

Вместо этого Фишкин, как и другие влиятельные лица в маркетинге, рекомендует сначала A/B-тестировать «капитальный ремонт» и «большие идеи» — или, другими словами, тестировать радикально разные страницы. Из этих совершенно разных страниц наиболее эффективная наиболее близка к глобальному максимуму. Это то, что вы должны точно настроить с помощью многовариантного тестирования: кнопка против кнопки, заголовок против заголовка и т. д. Несколько тематических исследований поддерживают этот метод.

A/B-тестирование на глобальный максимум

1. Фейсбук

В 2008 году Facebook протестировал совершенно новый дизайн навигации. Их команда переместила его из левой части страницы в раскрывающийся список справа. Однако при этом они сделали приложения в навигации менее заметными для пользователей, что привело к гораздо меньшему трафику к этим приложениям. Поскольку они были ценным источником дохода для Facebook, это было проблемой.

После попытки спасти новый дизайн с помощью нескольких приемов взаимодействия команда оптимизации поняла, что они достигли локального максимума, и отказались от всего этого. От разработчика продуктов Facebook Адама Моссери:

Здесь мы занимались оптимизацией для локального максимума. В рамках этой структуры было ограниченное количество трафика, которое мы могли направить в приложения. А нам нужны были структурные изменения. Наше помещение было выключено. Наши интересы вели нас по ложному пути. Мы не осознавали этого [...] мы оптимизировали что-то локально, и нам нужно было немного подрывать, чтобы выйти из этого.

2. Моз

Эта страница варианта, созданная экспертами по коэффициенту конверсии для Moz, была в шесть раз длиннее оригинала. В нем было больше инфографики, другой заголовок и видео, а также другие элементы, которых не было на исходной странице. Он превзошел контроль на 52%.

Если бы команда работала только над улучшением элементов на исходной странице, они бы никогда не добавили контент, который повысил конверсию вдвое. От тестировщиков:

Анализируя эффективную личную презентацию Рэнда, мы заметили, что ему потребовалось не менее пяти минут, чтобы обосновать платный продукт Moz. Существующая страница была больше похожа на одноминутное резюме. Как только мы добавили ключевые элементы презентации Рэнд, страница стала намного длиннее.

3. Плотность серверов

Большинство тематических исследований A/B-тестирования, которые вы найдете в Интернете, связаны с внешним видом веб-страниц. Это цвет кнопки против цвета кнопки или изображение против изображения, и их количество растет с каждым днем. В результате большинство людей, которые погружаются в A/B-тестирование, предполагают, что его можно использовать только для веб-дизайна.

Однако концепция A/B-тестирования может применяться ко всему, включая дизайн продукта или даже структуру ценообразования, как вы увидите на этом примере от Sever Density.

Компания, служба мониторинга серверов и веб-сайтов, позволила своим клиентам платить в зависимости от того, сколько серверов и веб-сайтов им нужно отслеживать:

Структура была предназначена для расширения клиентской базы, что она и сделала, но теперь команда нацелилась на более высокий доход. Итак, они провели A/B-тестирование полного пересмотра своих цен на пакетную модель:

Новая структура на самом деле произвела меньше конверсий, но ценность каждой резко возросла. Вот результаты:

Средняя стоимость заказа теперь составляла более 55 долларов по сравнению со старой: 19,70 долларов. Выводы напоминают тестерам о двух важных вещах:

A/B-тестирование можно использовать не только для поверхностных изменений дизайна.
Конверсии — это еще не все. Иногда чем меньше конверсий, тем лучше результаты.

Как найти глобальный и локальный максимум?

Помните: сила A/B-тестирования максимально приближается к глобальному максимуму с большими изменениями. Чтобы найти локальный максимум, вам лучше использовать многовариантное тестирование.

Вы попали в ловушку тестирования только одного элемента страницы за раз? Вносите ли вы несколько изменений в тест, чтобы найти глобальный максимум?

Узнайте, как обеспечить персонализацию рекламы 1:1 для каждой вашей аудитории с помощью демоверсии Instapage Enterprise уже сегодня.