«Протестируйте все» — от бумаги до практики

Давайте будем ясны.

Никогда не будет ошибкой проводить больше A/B-тестов, даже если они напрямую не влияют на продажи и доход, если вы выполняете их хорошо и учитесь в процессе.

Но…

Каждый тест требует затрат времени, усилий, человеческого капитала и многого другого .

Так почему же некоторые эксперты выступают за тестирование всего? И что такое золотая середина… специально для вас… да… вы читаете эту статью.

Теперь у вас может быть множество хороших идей для тестирования, и вы хотите знать, стоит ли вам тестировать их все. Но дело не в этом! Как упоминает Наталья в интервью Бену Лабаю из Speero:

Есть сотни отличных идей, но это не главное. Суть в том, чтобы найти правильный вариант для работы в нужное время .

Может показаться заманчивым начать случайную проверку всего, но ключевой момент — это проверка правильной гипотезы в нужное время.

При правильной расстановке приоритетов вы можете культивировать менталитет «проверить все» . Однако большинство моделей расстановки приоритетов гипотез не оправдывают ожиданий.

Давайте копнем немного глубже, чтобы понять, нужно ли вам проводить A/B-тестирование всего, как расстановка приоритетов помогает вам принимать решения и как создать собственную модель расстановки приоритетов , преодолевающую ограничения традиционных вариантов.

Тестируйте все: почему это рекомендуется?

Давайте начнем с изучения этого противоречивого подхода: имеет ли смысл тестировать все?

Давай, выбери сторону.

Каково ваше действие по умолчанию?

Что для вас «приемлемо», если вы не дочитаете эту статью до конца и не соберете больше данных?

Сделанный?

Теперь посмотрим, совпадают ли наши рассуждения с вашими.

Прежде чем мы решим загадку «тестировать все», нам нужно понять, что подразумевает A/B-тестирование и его результаты.

Статистическая достоверность

A/B-тестирование — это статистически достоверный способ увидеть, влияют ли задуманные вами изменения на ваши ключевые показатели эффективности (KPI).

Например, если ваша цель — увеличить количество посещений вашего блога, вы можете добавить его в главное меню навигации. Новое меню больше не является копией старого . Но это изменение бесполезно, если оно не повлияет положительно на поведение посетителей вашего сайта.

Тот простой факт, что две версии структурно различны, не имеет значения. В целом, важно реализовать желаемый и ожидаемый результат. Люди более склонны посещать блог, когда они видят его в главном меню , чем когда он спрятан в нижнем колонтитуле ?

Здравый смысл может сказать ДА , должен быть (положительный) эффект . Но ваш тест может не показать каких-либо изменений в метриках, которые вы выбрали для отслеживания в качестве меры воздействия.

Если это так, то A/B-тесты также снижают риск.

Снижение рисков

Внедрение изменений в масштабе всего сайта является сложной задачей и представляет собой совершенно другую игру.

Вы можете в конечном итоге внести изменения и рискнуть тратить ресурсы , создавая функции, которые не нужны пользователям, и настраивая элементы веб-сайта, которые не дают ожидаемых результатов. Это одна из основных причин, по которой необходимо A/B-тестирование, так как это лакмусовая бумажка для предлагаемого решения перед его фактической реализацией.

Сборки A/B-тестов (особенно сборки на стороне клиента) менее ресурсоемки, чем жестко запрограммированные изменения веб-сайта и высокоточные функции. Это дает вам зеленый свет, чтобы не идти по определенному пути, особенно когда результаты показывают, что ключевые KPI не движутся в правильном направлении.

Без тестирования вы инвестируете в опыт, который просто не работает. Это слепой риск, на который вы идете, не зная, что вам, возможно, придется вернуться к предыдущему дизайну , чтобы защитить доход и производительность.

Джорджи, создатель Analytics-toolkit.com, даже утверждает, что A/B-тестирование по своей сути является инструментом управления рисками:

Зачем рисковать, если можно проверить?

(—Подробнее об этом позже в блоге. Продолжайте читать!—)

Анализ тренда

Когда вы постоянно проводите тесты, на которых учитесь , вы начинаете замечать тенденции в реакции вашей аудитории на определенные входные данные. Лучше не предполагать, что вы можете извлечь что-то ценное из одной итерации. Но мета-анализ (в среде A/B-тестирования с одной переменной) с течением времени может дать вам уверенность в том, что вы потенциально можете отдавать предпочтение проверке конкретной гипотезы по сравнению с другими.

Некоторые эксперты поддерживают тестирование всего, учитывая, что экспериментирование имеет много преимуществ.

С другой стороны, многие эксперты выступают за то, чтобы хотя бы вдохновиться повторяемыми результатами предыдущих экспериментов, чтобы ответить на важные вопросы .

Главный редактор GoodUI Якуб Линовски — один из самых известных. Он утверждает, что эксперименты генерируют знания, которые позволяют делать прогнозы. Он считает важным поиск знаний, тактик, шаблонов, лучших практик и эвристики.

Знания, полученные в ходе экспериментов, помогают делать более надежные прогнозы. Это, в свою очередь, позволяет создавать более точные гипотезы и лучше расставлять приоритеты.

На первый взгляд эти точки зрения могут показаться противоречивыми. Но они подкрепляют один и тот же аргумент: « экспериментирование приносит уверенность в неопределенном мире ».

Вы либо делаете предположения на основе своего набора данных, либо переносите убеждения из тестов, проведенных для аналогичных желаемых конечных результатов, в нескольких вертикалях и отраслях.

В Convert мы черпаем вдохновение из обоих представлений и смотрим, как один аспект строит другой, двумя следующими простыми способами.

Обучение и тестирование: практический дуэт для вдохновляющего тестирования

Вопрос обо всем

Это стойкое учение мастеров-стоиков .

Когда вы подвергаете сомнению все, что вас окружает, вы понимаете, что представляете собой совокупность того, что вы получаете от людей, которых встречаете, культуры, в которой живете, и эвристик, которым предпочитает следовать ваш мозг.

Этот «внутренний инстинкт» , который обычно движет нами, обычно не принадлежит нам.

Например, многие из нас мечтают вести роскошный образ жизни, основанный на потреблении. Но действительно ли это исходило от нас? Или мы жертвы рекламы, СМИ и Голливуда?

Средства массовой информации и реклама стали играть главную роль в формировании мечтаний и желаний отдельного человека стать в первую очередь потребителем… и стало возможным соблазнить отдельного человека и заставить его поверить, что желаемое им является свободным решением, исходящим изнутри. его (но на самом деле он пленник сотен рекламных объявлений, которые породили желание, которое он назвал субъективным и создало для него автоматическое желание .

Абдель Вахаб Эль-Мессири

Вносить изменения и бизнес-решения, используя ТОЛЬКО свою собственную интуицию, неразумно. Если мы не можем быть уверены, что изменения, которые мы хотим внести, и решения, которые мы хотим внедрить в нашем бизнесе, исходят от нас, почему мы вообще привязаны к ним?

Спрашивать все необходимо . Ваша интуиция, лучшие практики, модели расстановки приоритетов и так далее.

И если мы действительно подвергаем все сомнению, следующим шагом будет подвергнуть это математической проверке с помощью экспериментов. Потому что прекращение вопросов не замыкает петлю от неуверенности к уверенности.

Учитесь на экспериментах

Вы не можете учиться, если вы не тестируете.

Убедитесь, что вы правильно оцениваете свои идеи. Вам необходимо использовать как качественные, так и количественные данные в A/B-тестах, чтобы воплотить полученные знания во что-то значимое. Например, сгруппируйте среднее воздействие по контексту, типу теста, месту проведения теста, отслеживаемым ключевым показателям эффективности, результату теста и т. д.

Отличным примером такого методичного подхода является база данных GOODUI .

Он выявляет шаблоны, которые многократно повторяются в A/B-тестах, помогая компаниям достигать более качественных и быстрых конверсий.

GOODUI содержит 124 шаблона на основе 366 тестов (только для участников) и ежемесячно добавляет более 5 новых надежных тестов . Учась на экспериментах и ​​преобразовывая эти знания в шаблоны, база данных GOODUI сокращает утомительный процесс A/B-тестирования и позволяет клиентам получать больше выигрышей!

Получите вдохновение от этих шаблонов:

Шаблон № 2: Ярлыки значков: https://goodui.org/patterns/2/

Шаблон № 20: готовый ответ: https://goodui.org/patterns/20/

Шаблон № 43: Длинные заголовки: https://goodui.org/patterns/43/

Но сосредоточьтесь на… расстановке приоритетов идей

Определите приоритеты идей, которые соответствуют вашим всеобъемлющим бизнес-целям, принимая во внимание результаты, характерные для компании.

Представьте это.

Вы ведете бизнес с приличной клиентской базой. Однако уровень удержания этих клиентов ниже 15% . Ваша главная цель — построить устойчивый бизнес, который удерживает клиентов с гораздо большей скоростью. Эта цель должна повлиять на ваши приоритеты.

Допустим, у вас есть две идеи, и вы хотите знать, какую из них протестировать в первую очередь: одну, которая, скорее всего, повысит коэффициент удержания, а другую, вероятно, увеличит продажи от новых клиентов . Вероятно, вам следует отдать приоритет первой идее, несмотря на то, что вторая имеет гораздо более высокий потенциал для улучшения.

Это потому, что более высокий уровень удержания клиентов означает более стабильный бизнес в долгосрочной перспективе. Это идеально согласуется с вашими всеобъемлющими бизнес-целями и стратегией.

Другая идея может принести вам гораздо больше новых продаж. Но в конечном итоге ваш бизнес все равно будет терять более 85% клиентов.

Модели расстановки приоритетов для экспериментов всегда не учитывают стратегическую важность того, что тестируется. Они рассматривают вероятное воздействие, усилия и т. д. широкого круга различных идей, но не учитывают, какая из этих идей лучше всего соответствует бизнес-стратегии и направлению .

Джонни Лонгден, через Test Everything

Где большинство моделей расстановки приоритетов терпят неудачу?

Если вы увлеченный оптимизатор, у вас может быть длинный список идей для A/B-тестирования. Но вы не сможете протестировать их все сразу, даже если решите протестировать все, из-за ограниченного трафика и ресурсов .

Это как иметь длинный список дел и знать, что вы просто не можете справиться со всем одновременно. Таким образом, вы расставляете приоритеты и начинаете с того, что имеет ВЫСОКИЙ ПРИОРИТЕТ. Это относится к получению прибыли с помощью экспериментов. При правильной расстановке приоритетов ваша программа тестирования будет намного успешнее.

Но расставить приоритеты в A/B-тестировании, как писал в своей статье Дэвид Мангейм, очень сложно. Это в основном потому, что

• Вы часто выдвигаете идеи, не связанные с бизнес-целями и не связанные с ними.
• Не рассматривайте итерацию и изучение предыдущих экспериментов.
• Используйте неэффективные модели расстановки приоритетов и попытайтесь добавить к проблеме произвольные рамки.

И это также некоторые области, которые даже самые популярные модели расстановки приоритетов упускают из виду и делают что-то неправильно. Но почему? Вот некоторые критические элементы, которые способствуют отсутствию надлежащей расстановки приоритетов.

• Факторы, вводящие в заблуждение: Факторы, которые они используют для выбора тестов, вводят в заблуждение. Во-первых, усилия, создающие впечатление, что идеи с небольшими усилиями заслуживают быстрой расстановки приоритетов.
• Весовая функция: большинство моделей присваивают факторам произвольные веса. Вы не можете просто расставить приоритеты случайным образом; вам нужна причина для этого.
• Сложные итерации: они не могут отличить существующие тестовые итерации (управляемые обучением) от совершенно новых идей для целей расстановки приоритетов.

Во-первых, структура приоритезации PIE ранжирует гипотезы на основе:

• Потенциал для улучшения
• Важность
• Простота

Но как объективно определить потенциал тестовой идеи? Если бы мы могли знать это заранее, как сказал Пип Ладжа, основатель CXL, объяснил, нам не нужны модели расстановки приоритетов.

Модель PIE очень субъективна. Кроме того, это не очень хорошо согласуется с бизнес-целями и продвигает решения с низким уровнем риска. Простота вводит в заблуждение, поскольку предполагает, что приоритет должен отдаваться идеям с низкими усилиями.

Чем больше риск, тем больше награда .

И это применимо только в том случае, если вы бросаете себе вызов более сложными идеями.

Другая популярная модель, модель оценки ICE (Impact, Confidence, and Ease), очень похожа на PIE и имеет те же недостатки, что и PIE .

Структура PXL является улучшением по сравнению с этими двумя и делает любую оценку «потенциала» или «воздействия» гораздо более объективной. Однако у него все же есть свои недостатки.

Во-первых, он не учитывает соответствие бизнес-целям . Во-вторых, он не отличает текущие тестовые итерации от совершенно новых идей.

Дэвид Мангейм, глобальный вице-президент по оптимизации коэффициента конверсии, Brainlabs, рассказал, что 50% из всех 200+ экспериментов, которые они построили для клиента в его бывшей консалтинговой компании User Conversion, были повторениями друг друга. Они также однажды создали улучшенное на 80% значение по сравнению с исходной гипотезой и заявили:

Мы знали, что «концепция» сработала, но, изменив исполнение, я мог бы добавить более 6 различных итераций, мы увидели дополнительный прирост более чем на 80% по сравнению с исходным .

В своем «Отчете об экспериментах , основанных на информации об опыте работы» компания Convert обнаружила, что почти все опрошенные эксперты согласны с тем, что обучение способствует успешному формированию идей. Это может быть дополнительно подтверждено подходом H&M к моделям обучения.

Почти каждый другой эксперимент, который мы проводим в H&M в нашей продуктовой команде, опирается на задокументированное изучение предыдущего эксперимента или другой исследовательской методологии .

Матиас Мандиау

Как создать собственную модель приоритизации A/B-тестирования?

Расстановка приоритетов поощряет мышление «проверить все». Это придает уверенности в проверке (в первую очередь) идей и гипотез, которые оказывают наибольшее влияние на самую насущную проблему.

Но каждый бизнес индивидуален. Таким образом, не может быть универсального подхода к расстановке приоритетов экспериментов. Контекст, как указал Давид, имеет решающее значение .

По сути, все модели ошибочны, но некоторые из них полезны .

Джордж Э. П. Бокс, статистик

Из приведенных выше примеров можно сказать, что все модели ущербны, но есть и полезные. Секрет в том, чтобы создать наиболее полезную и эффективную модель для вашего бизнеса.

Вот четыре шага к построению модели:

1. Вдохновляйтесь примерами

Один из самых плодотворных способов разработать хорошую модель приоритезации — это выбрать возможности из разных моделей, смешать и сопоставить и создать смесь с ограниченными придирками.

Например, вы можете вдохновиться более объективным подходом к оценке PXL , который задает такие вопросы, как «Добавить или удалить элемент?» . В то же время вы можете учесть угол удара ДВС и добавить его.

2. Освободите место для важных факторов

Включите факторы, соответствующие вашим бизнес-целям . Это поможет вам больше сосредоточиться на основных факторах роста и KPI, таких как пожизненная ценность клиента (LTV) и уровень удержания клиентов, а не только на поверхностных показателях и результатах.

Как упоминалось ранее, обучение для конкретной компании также имеет решающее значение при определении приоритетов экспериментов. Определенные решения последовательно и исторически превосходят другие для вашей аудитории?

Кроме того, учитывайте потенциал итераций . Итерации могут помочь добиться большего прогресса в решении конкретной бизнес-проблемы и добиться большего успеха. Если это правда, гипотезы с потенциалом для итерации могут и должны иметь приоритет над автономными тестами. Кроме того, экспериментирование — это не что иное, как маховик, в котором усилия дополняют друг друга.

Наконец, учитывайте инвестиции в ресурсы , включая сложность, время, стоимость и традиционные меры, используемые для определения приоритетности экспериментов.

3. Вес имеет решающее значение

Решите, что вы хотите получить от запускаемых вами тестов. Это исследование новых, новаторских идей ? Или эксплуатировать проблемную область , пока не найдете решение?

Настройте систему подсчета очков в соответствии с вашими потребностями. Давайте рассмотрим два разных типа экспериментов, чтобы лучше понять это.

1. Добавление блога в меню навигации увеличит количество посещений блога.
2. Уменьшение количества заполняемых форм на странице оформления заказа снизит процент отказов от корзины.

Для этого примера предположим, что мы выбрали только два фактора для нашей модели приоритизации. Один из них — потенциал повторения, а другой — потенциал воздействия , и оценивайте каждую гипотезу по шкале от 1 до 5 для каждого фактора.

Сейчас наша основная цель тестирования — исправить проблему отказа от карты на сайте электронной коммерции . Мы должны придавать большее значение потенциалу итерации, поскольку мы, вероятно, не исправим это с помощью теста. И мы, вероятно, будем много раз повторять одну и ту же гипотезу, прежде чем заметно сократим количество брошенных корзин.

Мы можем взвесить фактор потенциала итерации , удвоив его оценку.

Поставим первой гипотезе оценку «4» за фактор потенциального воздействия. И «2» для потенциала итерации. Затем для гипотезы заполнения формы «3» как для факторов воздействия, так и для потенциальных факторов итерации.

Без акцента на итерационный потенциал была бы ничья: «4 + 2 = 3 + 3» .

Но после удвоения оценки по этому фактору побеждает гипотеза номер два:

Окончательная оценка первой гипотезы : «4 + 2(2) = 8 » .

Окончательная оценка второй гипотезы : «3 + 3(2) = 9 » .

Суть в том, что результаты расстановки приоритетов одной и той же структуры должны меняться по мере изменения внешних и внутренних соображений.

4. Прополощите и повторяйте, пока не нажмете правильный акроним

Старайтесь не ожидать хороших результатов от одной итерации. Продолжайте вносить изменения, пока не получите правильную модель расстановки приоритетов для вашего бизнеса.

Например, ConversionAdvocates создали собственную структуру IIEA , которая означает:

• В поле зрения
• идея
• Эксперимент
• Анализ

IIEA пытается решить две основные проблемы большинства моделей, перечисляя учебные и бизнес-цели каждого эксперимента перед запуском.

Какую бы аббревиатуру вы ни создали, постоянно пересматривайте и переоценивайте ее. Сина Фак, руководитель отдела оптимизации в ConversionAdvocates, упомянул, что они совершенствовали IIEA в течение последних пяти лет.

С 2013 года они использовали эту настраиваемую платформу, чтобы помочь нескольким компаниям решить важные проблемы, такие как снижение затрат и увеличение конверсии.

Ваш может быть неудобным ICE или PIE , но результаты будут восхитительными.

С вашей новой чрезвычайно полезной моделью расстановки приоритетов вы можете позаимствовать устаревшее обучение и потенциально «протестировать все» .

Беспроигрышный вариант в нашей книге!