Все различные типы тестов, которые вы можете запускать на своем сайте (+ когда их запускать)

Мир экспериментов в основном вышел за рамки простых A/B-тестов цвета кнопок.

У них может быть свое место в портфеле экспериментов, которые вы проводите, но, надеюсь, на данный момент они не являются синонимами экспериментов или CRO.

Эксперименты могут быть намного масштабнее.

Используя различные типы экспериментов, мы можем узнать о различиях на наших веб-сайтах, протестировать новый опыт, открыть новые пути к страницам, сделать большие скачки или маленькие шаги и определить оптимальную комбинацию элементов на странице.

То, что вы надеетесь извлечь из эксперимента, должно быть отражено в его плане, а план эксперимента выходит далеко за рамки простого сравнения А с Б с использованием конкретной гипотезы.

На самом деле, есть целая область исследований, известная как планирование экспериментов (DoE), которая занимается этим.

Дизайн экспериментов: введение в экспериментальный дизайн

Планирование экспериментов (DoE) — это научный метод, используемый для определения взаимосвязи между факторами, влияющими на процесс, и результатами этого процесса.

Дизайн экспериментов — это концепция, популяризированная статистиком Роном Фишером в 1920-х и 1930-х годах.

DoE позволяет нам понять, как различные входные переменные влияют на результат процесса, путем систематического изменения входных данных и наблюдения за результирующими изменениями на выходе. Этот подход можно использовать для оптимизации процесса, разработки новых продуктов или функций или изучения того, какие элементы лучше всего работают в сочетании друг с другом.

В маркетинге мы используем DoE, чтобы лучше понять, как различные элементы на странице (факторы) влияют на коэффициент конверсии (результат). Эффективно разрабатывая эксперименты, мы можем определить, какие элементы оказывают наибольшее влияние на показатели конверсии.

Существует множество различных типов экспериментов, и каждый из них можно использовать для изучения различных аспектов вашего веб-сайта или приложения.

В этой статье я расскажу о 16 типах экспериментов.

Любители придираться могут заметить, что это не все принципиально разные экспериментальные проекты; скорее, некоторые из них являются разными «типами» из-за того, как вы генерируете свою гипотезу или какие рамки лежат в основе ваших причин для проведения эксперимента.

Некоторые, кроме того, не совсем «эксперименты», а скорее правила оптимизации, построенные на моделях машинного обучения.

Тем не менее, каждое из следующих действий имеет свою цель и может рассматриваться как уникальный инструмент в наборе инструментов экспериментатора.

1. А/А-тест

A/A-тест — это простая концепция: вы тестируете две идентичные версии страницы.

Зачем тебе это?

На это есть множество причин, в основном это необходимость калибровки и понимания базовых данных, поведения пользователей и механизмов рандомизации вашего инструмента тестирования. А/А-тестирование может помочь вам:

• Определите уровень дисперсии ваших данных
• Выявление ошибок выборки в вашем инструменте тестирования
• Установите базовые коэффициенты конверсии и шаблоны данных.

Проведение A/A-тестов вызывает странные споры. Некоторые клянутся этим. Некоторые говорят, что это пустая трата времени.

Мое мнение? Вероятно, стоит запустить его хотя бы один раз по всем вышеупомянутым причинам. Еще одна причина, по которой я ЛЮБЛЮ проводить A/A-тесты, заключается в том, что я объясняю статистику новичкам в тестировании.

Когда вы показываете кому-то «значительный» эксперимент с данными, собранными за два дня, только для того, чтобы позже показать, что это был тест A/A, заинтересованные стороны обычно понимают, почему вы должны провести эксперимент до конца.

Если вы хотите узнать больше об A/A-тестировании (на самом деле это огромная тема), у Convert есть подробное руководство по ним.

2. Простой A/B-тест

Все знают, что такое простой A/B-тест: вы тестируете две версии страницы, одну с изменением и одну без.

A/B-тесты — это хлеб с маслом для экспериментов. Их легко настроить и понять, но их также можно использовать для тестирования больших изменений.

A/B-тесты чаще всего используются для проверки изменений в пользовательском интерфейсе, а цель простого A/B-тестирования почти всегда состоит в повышении коэффициента конверсии на данной странице.

Коэффициент конверсии, кстати, является общей метрикой, которая охватывает всевозможные пропорции, такие как уровень активации новых пользователей продукта, уровень монетизации пользователей freemium, уровень конверсии потенциальных клиентов на веб-сайте и рейтинг кликов.

С помощью простого A/B-теста у вас есть единственная гипотеза, и вы меняете один элемент за раз, чтобы узнать как можно больше о причинных элементах вашего изменения. Это может быть что-то вроде изменения заголовка, изменения цвета или размера кнопки, добавления или удаления видео или чего угодно.

Когда мы говорим «A/B-тестирование», мы в основном используем общий термин, чтобы охватить большинство остальных типов экспериментов, которые я перечислю в этом посте. Обычно он используется как общий термин, означающий «мы изменили *что-то* — большие, маленькие или многие элементы — чтобы улучшить показатель».

3. A/B/n-тест

Тесты A/B/n очень похожи на тесты A/B, но вместо тестирования двух версий страницы вы тестируете несколько версий.

Тесты A/B/n в некотором роде похожи на многовариантные тесты (о которых я расскажу далее). Однако вместо «многовариантного» теста я бы назвал их многовариантным тестом.

Многовариантные тесты полезны для понимания взаимосвязей между различными элементами на странице. Например, если вы хотите протестировать различные заголовки, изображения и описания на странице продукта, а также хотите увидеть, какие комбинации лучше всего взаимодействуют, вам следует использовать многовариантный тест.

Тесты A/B/n полезны для тестирования нескольких версий одного элемента и не так сильно заботятся об эффектах взаимодействия между элементами.

Например, если вы хотите протестировать три разных заголовка на целевой странице, вы должны использовать тест A/B/n. Или вы можете просто протестировать семь совершенно разных версий страницы. Это просто A/B-тест с более чем двумя тестами.

Тесты A/B/n — хороший выбор, когда у вас много трафика и вы хотите эффективно протестировать несколько вариантов. Конечно, статистику нужно корректировать на несколько вариантов. Также ведется много споров о том, сколько вариантов следует включать в тест A/B/n.

Часто вы можете предложить несколько более оригинальных и креативных вариантов при одновременном тестировании нескольких приложений, а не повторять несколько простых A/B-тестов.

4. Многофакторный тест

Многовариантный тест — это эксперимент с несколькими изменениями. В то время как тест A/B/n тестирует составные версии каждого варианта по сравнению с другими вариантами, многофакторный тест также направлен на определение эффектов взаимодействия между протестированными элементами.

Представьте, например, что вы переделываете домашнюю страницу. Вы провели исследование конверсий и обнаружили проблемы с четкостью заголовка, но у вас также есть некоторые гипотезы относительно уровня контрастности и четкости вашего CTA.

Вы не только заинтересованы в улучшении каждого из этих двух элементов по отдельности, но производительность этих элементов также, вероятно, зависит от них. Поэтому вы хотите увидеть, какая комбинация новых заголовков и призывов к действию работает лучше всего.

Дизайн эксперимента становится намного сложнее, когда вы попадаете на многовариантную территорию. Существует несколько различных типов многомерных экспериментальных установок, включая полный факторный план, частичный или дробный факторный план и тестирование Тагучи.

И, исходя из статистического здравого смысла, многовариантные тесты почти наверняка требуют больше трафика, чем простые A/B-тесты. Каждый дополнительный элемент или опыт, который вы изменяете, увеличивает количество трафика, необходимого для действительного результата.

5. Целевой тест

Целевые тесты, более известные как персонализация, предназначены для показа правильного сообщения нужному человеку в нужное время.

С помощью теста таргетинга вы можете создавать разные версии страницы и показывать каждую версию разным группам людей. Обычно цель состоит в том, чтобы повысить коэффициент конверсии, показывая релевантный контент каждому пользователю.

Обратите внимание, что персонализация и экспериментирование не являются синонимами. Вы можете персонализировать опыт, не рассматривая его как эксперимент. Например, с нулевыми данными или намерением собирать данные вы можете решить, что будете использовать токен имени в своих электронных письмах для персонализации сообщений с именем получателя.

Персонализация? Да. Эксперимент? Нет.

Но вы также можете проводить эксперименты, нацеленные на определенные сегменты пользователей. Это особенно часто встречается при экспериментировании с продуктом, когда вы можете изолировать когорты на основе их ценовой категории, времени регистрации, источника регистрации и т. д.

Та же статистика применима и к экспериментам по персонализации, поэтому важно выбрать значимые сегменты для таргетинга. Если вы станете слишком детализированными — скажем, нацелившись на пользователей мобильных устройств Chrome из сельской местности Канзаса, у которых есть от 5 до 6 сеансов — не только невозможно будет количественно оценить влияние статистически, но и вряд ли оно будет иметь значимое влияние на бизнес.

Персонализация обычно рассматривается как естественное продолжение простого A/B-тестирования, но во многих отношениях она вносит массу новых сложностей. Для каждого нового правила персонализации, которое вы используете, это новая «вселенная», которую вы создали для своих пользователей, чтобы они могли управлять, обновлять и оптимизировать.

Инструменты предиктивной персонализации помогают определить целевые сегменты, а также опыт, который, по-видимому, лучше работает с ними. В противном случае правила персонализации часто определяются путем сегментации после тестирования.

6. Бандитский тест

Бандитский тест или использование бандитских алгоритмов немного технический. Но в основном они отличаются от A/B-тестов тем, что постоянно учатся и меняют тот вариант, который показывается пользователям.

A/B-тесты обычно представляют собой эксперименты с «фиксированным горизонтом» (с технической оговоркой об использовании последовательного тестирования), что означает, что вы заранее определяете пробный период при выполнении теста. По завершении вы принимаете решение либо развернуть новый вариант, либо вернуться к исходному.

Бандитские тесты динамичны. Они постоянно обновляют распределение трафика по каждому варианту в зависимости от его производительности.

Теория такова: вы заходите в казино и натыкаетесь на несколько игровых автоматов (многоруких бандитов). Предполагая, что каждая машина имеет разные награды, проблема бандита помогает «решить, на каких машинах играть, сколько раз играть на каждой машине и в каком порядке их играть, а также следует ли продолжать с текущей машиной или попробовать другую машину».

Процесс принятия решений здесь разбит на «исследование», когда вы пытаетесь собрать данные и информацию, и «эксплуатацию», которая извлекает выгоду из этих знаний для получения вознаграждения выше среднего.

Таким образом, бандитский тест на веб-сайте будет стремиться найти в режиме реального времени оптимальный вариант и направить больше трафика на этот вариант.

7. Эволюционные алгоритмы

Эволюционные алгоритмы — это своего рода комбинация многомерных тестов и бандитских тестов. В контексте маркетинговых экспериментов эволюционные алгоритмы позволяют одновременно тестировать большое количество вариантов.

Цель эволюционного алгоритма — найти оптимальное сочетание элементов на странице. Они работают, создавая «популяцию» вариантов, а затем тестируя их друг против друга. Затем наиболее эффективный вариант используется в качестве отправной точки для следующего поколения.

Как следует из названия, в качестве модели для оптимизации используются эволюционные итерации. У вас есть масса разных версий заголовков, кнопок, основного текста и видео, и вы соединяете каждую из них вместе, чтобы создать новые мутации, и динамически пытаетесь избавиться от слабых вариантов и направить больше трафика на сильные варианты.

Это похоже на многовариантное тестирование на стероидах, хотя и с меньшей прозрачностью эффектов взаимодействия (таким образом, более низкий потенциал обучения).

Эти эксперименты также требуют довольно много трафика веб-сайта, чтобы работать хорошо.

8. Тест пути разделения страницы

Тест пути с разбивкой на страницы также является очень распространенным типом A/B-тестирования.

Вместо того, чтобы изменять элемент на одной странице, вы меняете весь путь, по которому пользователь проходит через ваш веб-сайт.

С помощью теста пути с разделенной страницей вы, по сути, тестируете две разные версии своего веб-сайта, продукта или воронки. Обычно цель состоит в том, чтобы найти версию, которая приводит к большему количеству конверсий или продаж. Это также может помочь определить точки возврата в воронке, которые могут диагностировать области фокусировки для дальнейшей оптимизации.

По сути, вместо того, чтобы изменять копию кнопки, вы меняете следующую страницу, на которую кнопки отправляют вас, если вы нажимаете на нее. Это мощный способ поэкспериментировать с путешествием клиента.

9. Тест на существование

Экзистенциальное тестирование — интересная концепция. То, что вы пытаетесь сделать, — это количественно оценить влияние (или его отсутствие) данного элемента в вашем продукте или веб-сайте.

Согласно статье CXL: «Проще говоря, мы удаляем элементы вашего сайта и смотрим, что происходит с вашим коэффициентом конверсии».

Другими словами, вы проверяете, имеет ли изменение какое-либо влияние.

Стратегически это такая недооцененная стратегия. Мы часто предполагаем, либо с помощью нашей собственной эвристики, либо с помощью качественного исследования, какие элементы являются наиболее важными на странице.

Конечно, демо-видео продукта важно. Экзистенциальное тестирование — это способ подвергнуть сомнению это убеждение и быстро получить ответ.

Вы просто удаляете видео и смотрите, что происходит.

Конверсия увеличивается или уменьшается? Интересный — это означает, что элемент или недвижимость, которую он занимал, каким-то образом значимы.

Без влияния? Это тоже интересно. В этом случае я бы обратил внимание моей команды на другие части цифрового опыта, зная, что даже полное удаление элемента никак не влияет на наши ключевые показатели эффективности.

10. Тест окрашенной двери

Тест на окрашенную дверь в некотором роде похож на тест на существование. Они очень распространены для тестирования новых предложений, а также для проверки спроса на новые функции продукта.

По сути, тест с окрашенной дверью — это эксперимент, чтобы увидеть, будут ли люди действительно использовать новую функцию или нет. На самом деле вы не тратите время и ресурсы на *создание* нового предложения или функции. Скорее, вы создаете «нарисованную дверь», чтобы увидеть, попытаются ли люди, проходящие мимо, даже попытаться ее открыть (т. е. вы создаете кнопку или целевую страницу и смотрите, нажимают ли люди на нее, делая вывод об интересе).

Цель теста окрашенной двери — выяснить, есть ли спрос на то, что вы тестируете. Если люди на самом деле используют новую функцию, то вы знаете, что ее стоит использовать. Если нет, то вы знаете, что это не стоит вашего времени, и можете отказаться от этой идеи.

Они также известны как дымовые тесты .

Тесты с окрашенными дверями — отличный способ проверить новые идеи, не вкладывая много времени и денег.

Поскольку у вас на самом деле нет предложения или опыта создания, вы обычно не можете использовать ключевые показатели эффективности, такие как коэффициент конверсии. Скорее, вы должны смоделировать свой минимальный порог ожидаемой ценности. Например, создание функции X будет стоить Y, поэтому, учитывая наши существующие исходные данные, нам нужно будет увидеть рейтинг кликов Y, чтобы гарантировать создание «реального» опыта.

Список ожидания перед запуском — это, в некотором смысле, тест на нарисованной двери (известный пример — бритвы Гарри).

11. Тест на открытие

Тесты Discovery, которые я взял из Методологии тестирования на основе дисциплины Эндрю Андерсона, направлены на расширение диапазона возможных вариантов.

Они почти всегда представляют собой версию A/B/n-тестов с несколькими вариантами, но они не обязательно должны быть разработаны таким образом. Более крупная цель их состоит в том, чтобы проверить варианты, выходящие за рамки того, что вы обычно считаете разумным. Это смягчает вашу собственную предвзятость, которая может ограничить количество вариантов, которые вы когда-либо рассматривали.

Вместо узкого определения гипотезы вы надеетесь выйти за пределы собственных предубеждений и потенциально узнать что-то совершенно новое о том, что работает с вашей аудиторией.

Чтобы провести исследовательский тест, вы берете часть своего продукта или веб-сайта и создаете множество различных вариантов. Цель состоит в том, чтобы каждый вариант сильно отличался от предыдущего, предоставляя вам широкий спектр непохожих вариантов. Цель состоит в том, чтобы найти что-то, что работает, даже если вы не знаете, что это такое заранее.

В тестах обнаружения важно сопоставить ваш эксперимент с вашим макро-KPI, а не оптимизировать для микроконверсий. Также важно тестировать на осмысленном опыте с большим трафиком, поскольку вам понадобится соответствующая статистическая мощность, чтобы выявить подъемы среди множества вариантов.

Чтобы увидеть пример подобного эксперимента, посмотрите пример Эндрю Андерсона из Malwarebytes, где они протестировали 11 совершенно разных вариантов.

12. Итеративный тест

В информатике есть понятие, известное как «проблема восхождения на холм». По сути, алгоритмы восхождения на холм стремятся найти самую высокую точку ландшафта, начиная снизу и постоянно двигаясь вверх.

Та же концепция может быть применена к маркетинговым экспериментам.

В итеративном тесте вы начинаете с небольшого изменения, а затем продолжаете увеличивать его, пока не достигнете точки убывающей отдачи. Эта точка убывающей отдачи называется «локальным максимумом». Локальный максимум — это самая высокая точка ландшафта, до которой можно добраться из начальной точки.

Цель итеративного теста — найти локальный максимум для заданного изменения. Это может быть очень эффективным способом проверки таких вещей, как изменения предложения или ценообразования, а также любого элемента, влияние которого вы обнаружили в результате исследования или проверки существования.

По сути, вы знаете, что элемент X имеет значение, и вы знаете, что есть дополнительное пространство для маневра, чтобы улучшить KPI Y за счет улучшения элемента X. Таким образом, вы предпринимаете несколько небольших итерационных попыток изменить элемент X, пока не окажется, что вы больше не можете улучшить показатель (или сделать это крайне сложно).

Простой пример итеративного теста взят с моего собственного веб-сайта. Запускаю всплывающие окна с лид-магнитами. Я знаю, что они направляют электронные письма, и, вероятно, существует точка убывающей отдачи, но я не думаю, что еще достиг ее. Поэтому каждые несколько месяцев я меняю одну переменную — либо заголовок, либо само предложение, либо изображение, в надежде получить небольшой рост.

13. Инновационный тест

В отличие от итеративного тестирования, инновационные тесты стремятся найти совершенно новые вершины, на которые нужно взобраться.

Согласно статье CXL, инновационные тесты «предназначены для изучения неизведанных территорий и поиска новых возможностей».

Инновационные тесты — это попытка попробовать что-то совершенно новое. Обычно они немного более рискованны, чем другие типы экспериментов, но они также могут быть очень полезными. Если вы стремитесь к большим победам, то инновационное тестирование — это то, что вам нужно.

Полный редизайн домашней или целевой страницы подпадает под эту категорию. Исследовательское тестирование — это форма инновационного тестирования. Цветовые тесты кнопок были бы полной противоположностью инновационному тесту.

Инновационный тест должен вызывать у вас или у ваших заинтересованных лиц легкий дискомфорт (но помните, красота экспериментов в том, что они ограничены по времени и ограничивают ваши недостатки).

Компания CXL привела пример инновационного теста, который они провели для клиента:

14. Тест на неполноценность

Тест не меньшей эффективности используется, чтобы определить, не хуже ли новое лечение, чем стандартное лечение.

Цель теста не меньшей эффективности — показать, что новое лечение не менее эффективно, чем стандартное.

Зачем вам запускать такой тест?

Много причин. Лучшее, что я могу придумать, это если у вас есть вариант, который «лучше» в каком-то другом аспекте (он дешевле в обслуживании, лучше соответствует стандартам бренда и т. д.), но вы хотите убедиться, что он не нанесет вреда вашему основные бизнес-KPI.

Или в свете медицинских клинических испытаний представьте, что было разработано лекарство, которое стоит в 10 раз меньше, чем обычно прописываемое лекарство. Пока он не работает *хуже*, чем существующее лекарство, его доступность означает, что это гораздо лучший вариант для развертывания.

Еще одна причина, по которой я провожу их, заключается в том, что руководство или заинтересованное лицо в значительной степени одобряют лечение. Не хотелось бы вас разочаровывать, но тот факт, что у нас есть доступ к данным как у профессионалов-экспериментаторов, не означает, что мы избегаем беспорядка предвзятого мышления и человеческой политики.

Я рад время от времени проходить тест, представленный HiPPO, и запускать его через более низкий порог достоверности, например, тест на неполноценность. Пока это не испортит *мои* KPI, нет ничего плохого в том, чтобы развернуть его, и это завоевывает политическую поддержку.

15. Флаг функции

Флаги функций — это метод разработки программного обеспечения, который позволяет включать и выключать определенные функции или функции, а также тестировать новые функции в рабочей среде.

Не вдаваясь в тонны технических подробностей, они позволяют вам тестировать функции в производственной среде или медленно развертывать их для небольших групп пользователей, сохраняя при этом возможность быстро уменьшать масштаб или отключать функцию, если она не работает.

Во многих отношениях они являются методологией обеспечения качества. Но опять же, во многом то же самое и с A/B-тестами.

Термин «флажок функции» является своего рода общим термином, который включает в себя множество связанных «переключаемых» функций, таких как канареечные выпуски, тестирование в производственной среде, непрерывная разработка, откаты и шлюзы функций.

16. Квазиэксперименты

Наконец, самая сложная, широкая и трудная для определения категория экспериментов: квазиэксперименты.

Квази-эксперименты часто используются, когда невозможно случайным образом распределить пользователей по тестовым группам.

Например, если вы тестируете новую функцию на своем веб-сайте, вы можете запустить A/B-тест, пометку функции или даже персонализацию.

Но что, если вы хотите протестировать множество SEO-изменений и увидеть их влияние на трафик? Или, что еще важнее, их влияние на конверсию блога? Что делать, если вы хотите проверить эффективность наружной рекламы на рекламных щитах?

В удивительно большом количестве случаев трудно, если вообще возможно, провести тщательно организованный и действительно контролируемый эксперимент.

В этих случаях мы разрабатываем квази-эксперименты, чтобы обойтись тем, что у нас есть.

В случае изменений SEO мы можем использовать такие инструменты, как Causal Impact, для количественной оценки изменений во временном ряду. Особенно, если мы контролируем наш эксперимент на основе страниц или какого-либо другого идентифицируемого измерения, это даст нам хорошее лонгитюдное представление о том, сработало ли наше вмешательство.

В случае рекламы на радио или на рекламных щитах мы можем попытаться выбрать репрезентативные географические местоположения и количественно оценить эффект с течением времени, используя аналогичную байесовскую статистику.

Это сложная тема, поэтому я дам ссылку на два замечательных ресурса:

• Как Netflix проводит квази-эксперименты
• Как Shopify проводит квази-эксперименты

Вывод

Я надеюсь, что это убедило вас в том, что A/B-тестирование выходит далеко за рамки изменения заголовка или кнопки CTA для оптимизации показателей конверсии.

Когда вы расширяете свое представление о том, чего можно достичь с помощью экспериментов, вы понимаете, что это невероятный инструмент обучения.

Мы можем наметить эффективные элементы на целевой странице, определить оптимальное сочетание элементов, определить новый и улучшенный путь пользователя к странице, разработать новые функции и возможности, не рискуя техническим долгом или плохим пользовательским интерфейсом, и даже протестировать новые маркетинговые каналы. и вмешательства за пределами нашего веб-сайта или вне нашего продукта.