Как увеличить скорость тестирования? Зачем вам нужна высокоскоростная программа?

Как правило, если вы запускаете 4 CRO-теста каждый месяц (это тест в неделю) и если 10% ваших тестов выигрывают, вы используете хорошую программу оптимизации. Это приличная емкость для тестирования и хороший процент побед.

Еще лучше, если вы добьётесь хорошего прироста за свои выигрышные тесты и производительность вашей программы со временем будет улучшаться.

Но большинство программ оптимизации работают не так хорошо.

На самом деле, только 22% компаний довольны своими усилиями по CRO.

Это означает, что целых 78% компаний смогли оптимизировать свои программы оптимизации.

Но как…

Что убивает большинство программ оптимизации конверсии

Проблема большинства программ оптимизации заключается в том, что они не рассчитаны на долгосрочный успех. Вместо этого они процветают на основе тестирования за тестированием.

Такие программы в большинстве случаев эффективны (или нет) ровно настолько, насколько эффективны последние проведенные ими тесты.

И управляющие ими компании смотрят на реализацию экспериментов как на выигрыш. Их близорукие взгляды мешают им когда-либо разрабатывать инфраструктуру для поддержки последовательной и качественной программы тестирования.

Хотя правильное выполнение является обязательным условием для любого эксперимента, но даже плохой эксперимент можно провести очень хорошо.

Но никто не выигрывает, когда это происходит.

Сосредоточение внимания исключительно на выполнении и недостаточное количество времени и усилий на такие этапы, как выдвижение идей, выдвижение гипотез и документирование/обучение, которые фактически определяют качество экспериментов, обычно приводит лишь к краткосрочному успеху, если вообще приводит к нему.

Итак, давайте посмотрим, как можно увеличить скорость тестирования и запустить хорошую программу оптимизации. Если вы уже используете его, вы можете использовать эти советы, чтобы еще больше повысить свой процент побед и общую производительность программы.

Вот оно.

Как генерировать больше идей для тестирования

Чтобы запускать (как минимум) 4 теста каждый месяц, вам нужен конвейер, полный идей тестирования. Без «банка идей» вы не сможете поддерживать хорошую и постоянную скорость тестирования.

Несмотря на это, в большинстве CRO-программ тесты планируются, когда у кого-то в команде есть какое-то прозрение CRO-теста.

В идеале у вас должен быть постоянный приток идей по тестированию качества в вашу программу экспериментов. Эти идеи тестирования могут исходить от:

• Копаемся в горах данных, которые генерируют ваши инструменты CRO. Лучший способ найти идеи для тестирования — это копаться в ваших данных. Ваши аналитические решения, такие как Google Analytics, Kissmetrics, Mixpanel и т. д., являются отличными источниками для поиска страниц, на которых вы теряете больше всего людей, или страниц с низким уровнем вовлеченности. Такие инструменты, как Hotjar, Clicktale и Decibel, показывают, что ваши пользователи делают на вашем веб-сайте, и могут помочь определить ваши реальные точки конверсии. Кроме того, существуют такие решения, как UserTesting, UsabilityHub и Usabilla, среди прочих, которые позволяют вам собирать множество качественных отзывов, которые могут привести к некоторым важным возможностям для тестирования. Несмотря на то, что анализировать такое количество хранилищ данных сложно, это те места, откуда берутся настоящие выигрышные идеи тестирования.

• Проведение ручного CRO-аудита. Аудит вашего веб-сайта для CRO выявляет некоторые из наиболее важных пробелов в оптимизации для тестирования. Проведение аудита CRO заставляет вас систематически просматривать каждый аспект вашего веб-сайта (и не только) и видеть, где вы можете потерять деньги.

• Использование таких оценок, как Stuck Score, для выявления «барьеров конверсии» на вашем веб-сайте. Вы также можете использовать оценки, такие как Stuck Score, которые выявляют проблемы с конверсией на вашем веб-сайте и предлагают отличные идеи для тестирования. Эти интеллектуальные инструменты могут точно определять возможности тестирования на всем вашем веб-сайте.

Как только вы начнете подключаться к этим источникам, вы сможете генерировать последовательный поток идей.

Но генерация идей по тестированию качества — это лишь один из аспектов этой проблемы. Во-вторых, отсутствие общения и сотрудничества по рассматриваемым идеям. Это может показаться тривиальным (потому что, в конце концов, вам нужны только данные, верно?), но эти проблемы глубоко влияют на ваших людей и могут исказить вашу культуру экспериментов.

Например, возьмем знаменитый эксперимент Google с 41 оттенком синего. Эксперимент Google — несмотря на то, что он был основан на данных — все еще подвергался критике за использование инженерного подхода. Вот что думал Дуглас Боуман, штатный дизайнер Google, о том, как Google провел свои эксперименты: « Да, это правда, что команда Google не могла выбрать между двумя синими цветами, поэтому они тестируют 41 оттенок между каждым синим. чтобы увидеть, какой из них работает лучше. Недавно у меня были дебаты о том, должна ли рамка быть шириной 3, 4 или 5 пикселей, и меня попросили доказать мою правоту. Я не могу работать в такой среде. Я устал обсуждать такие незначительные дизайнерские решения».

Без обмена идеями, которые вы рассматриваете, и вовлечения вашей команды вы не сможете создать всеобъемлющую культуру экспериментов, частью которой все хотят быть.

С помощью CRO-инструмента, такого как Compass (из нашего пакета Convert Suite), вы можете без особых усилий способствовать такому совместному творчеству, основанному на данных. Compass позволяет вам придумывать идеи для тестирования на основе данных, объединяя ваши различные источники данных, а также предлагает идеи для тестирования на основе информации из Stuck Score. Compass даже позволяет вам приглашать членов вашей команды и привлекать их с помощью вариантов обратной связи и многого другого.

Формирование гипотез, основанных на данных, и лазерно-ориентированная расстановка приоритетов

Как только у вас появятся идеи для тестирования, вы обнаружите, что некоторые из них просто очевидны. Например, если вы получаете отзывы пользователей о том, что ваш контент не читается (и ваша целевая демографическая группа — это, скажем, люди старше сорока лет), то, возможно, вы можете правильно реализовать идею увеличения размера шрифта или изменения его цвета. прочь. В конце концов, это одноминутное исправление с небольшим изменением кода CSS.

Некоторые из ваших идей будут выглядеть многообещающе и полностью заслуживают проверки, но вам все равно придется искать «достаточное количество» точек данных для их поддержки [подробнее об этом через минуту…].

А некоторые идеи вам просто придется отбросить, потому что они будут расплывчатыми, и у вас не будет возможности их проверить. Например, если ваш аудит CRO показывает, что у вас низкий показатель NPS, и вы считаете, что это является причиной плохих конверсий, то вы не можете использовать простой эксперимент, чтобы исправить это.

Из них идеи, которые на самом деле могут превратиться в сильные гипотезы, являются вашими реальными возможностями для тестирования.

Но вам нужно МНОГО данных, чтобы поддержать каждую выдвинутую вами гипотезу. Так, например, если вы предполагаете, что оптимизация целевой страницы для мобильных устройств приведет к более высоким конверсиям , вам понадобится множество точек данных, чтобы подтвердить это. В этом случае вот некоторые данные, которые вы могли бы использовать:

1. Низкие мобильные конверсии — данные с помощью вашего решения для веб-аналитики, такого как Google Analytics.
2. Необычно высокое падение мобильного трафика — опять же, данные с помощью вашего решения для веб-аналитики, такого как Google Analytics.
3. Плохая обратная связь от клиентов — данные через ваше решение для пользовательского тестирования.

Как видите, данные для формирования этой гипотезы достаточно сбалансированы, поскольку у вас есть входные данные из нескольких источников данных. Кроме того, у вас есть как количественные, так и качественные данные. В идеале вы должны найти такие сбалансированные данные, чтобы поддержать все ваши «достойные проверки» идеи.

Но вы еще не закончили.

Потому что после того, как вы соберете все свои хорошие гипотезы, вам понадобится способ их оценки или расстановки приоритетов. Так вы подскажете, какую гипотезу попробовать в первую очередь или вообще попробовать. ПОДСКАЗКА: «Давайте протестируем новый дизайн сайта!!! Это поднимет наши продажи». обычно ОЧЕНЬ ПЛОХАЯ гипотеза.

Многие факторы влияют на решение, насколько практической является проверка гипотезы. Здесь необходимо учитывать время и сложность реализации, а также потенциальное влияние на конверсию.

Но у большинства компаний нет для этого модели расстановки приоритетов. Это часто приводит к запуску амбициозного теста, такого как, скажем, капитальный ремонт дизайна, который использует весь месячный объем пропускной способности CRO. Это означает, что вы больше не можете планировать или проводить тесты, по крайней мере, в течение месяца. Хуже всего то, что даже такие амбициозные тесты не гарантируют значительных результатов.

Чтобы избежать этого, вы можете использовать структуру приоритизации PXL от CXL. Эта структура заставляет вас думать на очень детальном уровне, например, лучше понять предлагаемые изменения, оценить, как они решают проблемы, обнаруженные в ходе исследования, их потенциальное влияние и усилия по реализации.

Вы также можете проверить структуру PIE и ICE Score для определения приоритетов ваших гипотез.

Еще более разумный способ расставить приоритеты для ваших гипотез — использовать инструмент CRO, который может сказать вам, насколько ресурсоемким и трудоемким может быть эксперимент. Например, Compass дает вам хорошие оценки для всех ваших гипотез.

Учитесь на своих A/B-тестах

Тесты могут быть неубедительными.

Для большинства программ оптимизации коэффициента конверсии вы получаете всего лишь 20% тестов, достигающих статистической значимости.

Таким образом, все обучение должно вернуться к тестированию и использоваться для выработки лучших и более совершенных идей и гипотез.

Мало того, выигравшие эксперименты могут быть и проигрышными, когда версия-претендент выигрывает, а доход снижается.

Кроме того, если гипотеза действительно сильная и подкреплена данными, обычно для нее создают около 3-4 последующих экспериментов (даже если первоначальный эксперимент выиграл!).

Это означает, что недостаточно просто интерпретировать и записывать результаты вашего эксперимента. Чтобы спланировать осмысленное итеративное тестирование, вам необходимо документировать весь процесс экспериментирования каждый раз, когда вы его запускаете.

Задокументировав свои наблюдения и полученные знания, LinkedIn смогла продолжить неудачный эксперимент, который на самом деле оказался победителем в тестировании ключевой функции. Вот полная информация:

В 2013 году LinkedIn Search запустил крупный эксперимент, в рамках которого был выпущен обновленный унифицированный поисковый функционал. По сути, LinkedIn Search стал «достаточно умным», чтобы автоматически определять цель запроса без необходимых квалификаторов, таких как «Люди», «Вакансии» или «Компании». Целевая страница поиска была полностью переработана для этого релиза — все, от панели навигации до кнопок и сниппетов, было переделано, так что пользователи увидели много-много изменений.

Но эксперимент провалился, и LinkedIn был удивлен, увидев падение ключевых показателей.

Теперь команда решила вернуться к исходному дизайну, отслеживая одно изменение за раз, чтобы определить то, которое не понравилось пользователям. Во время этого трудоемкого отката LinkedIn обнаружил, что людям не понравился не единый поиск, а группа из нескольких небольших изменений, которые снизили количество кликов и доход. Как только LinkedIn исправила их, единый поиск показал положительный пользовательский опыт и был выпущен для всех.

Поэтому, будь то простой A/B-тест или сложный многовариантный, любой эксперимент, который вы запускаете, должен быть подробно задокументирован. Его выводы также должны быть задокументированы. Поступая таким образом, вы можете быть уверены, что ваши будущие (или последующие) эксперименты на самом деле будут лучше предыдущих.

С помощью инструмента CRO, такого как Convert Compass, вы можете создать базу знаний из своих идей, наблюдений, гипотез и знаний, чтобы вся ваша команда могла учиться и расти вместе. Мало того, Compass может даже использовать ваши знания, чтобы предложить следующую гипотезу.

Завершение…

Оптимизируя части вашей программы CRO, связанные с созданием идей, выдвижением гипотез и обучением, вы можете значительно повысить качество своих экспериментов. И, сотрудничая и взаимодействуя со всеми своими людьми над этим, вы можете создать и развить всеобъемлющую культуру экспериментов.

Вам может быть трудно собрать воедино все свои данные при выдвижении идей или страдать от перегрузки данных при выдвижении гипотез (и расстановке приоритетов), или даже испытывать трудности с документированием или использованием знаний для ваших последующих экспериментов, но это то, что поможет вам увеличить тестирование. скорость и заложите основу для вашего долгосрочного успеха CRO.

Если вы предпочитаете использовать инструмент CRO, который сделает всю эту тяжелую работу за вас, зарегистрируйтесь ниже.

Compass помогает вам с идеями, основанными на данных (путем объединения всех данных из ваших различных хранилищ данных и с входными данными из Stuck Score, предлагающими идеи, которые нужно попробовать в первую очередь), осмысленной расстановкой приоритетов (сообщая вам, насколько сложным, простым или эффективным может быть эксперимент). ) и документирование ваших знаний (путем объединения всех ваших идей, исследований данных, наблюдений, результатов, знаний и многого другого в одном месте!).