Как обрабатывать качественные данные и количественные данные для победы в A/B-тестировании?

Если разбить его на основные концепции, CRO — это не столько о конверсиях, сколько о понимании вашей аудитории и о том, как они взаимодействуют с вашим сайтом.

Чем лучше вы понимаете их, чего они хотят и как они действуют на вашем сайте, тем лучше качество обслуживания клиентов и предложения, которые вы можете предоставить.

Это означает, что нашей основной целью как тестировщиков является получение как можно большего количества информации . Чем больше данных у нас будет, тем лучше мы сможем спланировать тесты и попытаться увидеть улучшение результатов.

Проблема?

Мы не всегда хороши в сборе или понимании этих данных. Возможно, мы не знаем, какие инструменты использовать, процессы поиска информации, или, возможно, мы не анализируем и не получаем точных сведений либо из-за отсутствия опыта, либо из-за того, что еще хуже, из-за нашей собственной предвзятости, которая искажает результаты.

Это то, что мы собираемся рассмотреть в сегодняшнем руководстве: как собирать информацию о вашей аудитории, понимать ее и использовать. Мы даже углубимся и посмотрим на других тестировщиков и их процессы , чтобы вы могли почерпнуть еще больше идей и идей для своих новых тестов.

Продолжайте читать, чтобы узнать больше, или нажмите здесь, чтобы узнать, «как использовать данные, чтобы добиться успеха в A/B-тестировании».

Когда дело доходит до тестирования и поиска информации для вашего сайта или приложения, есть два типа данных, на которые мы хотим обратить внимание.

Примерами количественного анализа данных могут быть:

• Измерение трафика на страницу
• Показатель отказов этого трафика
• CTR
• Абонентская ставка
• Уровень продаж
• Средняя стоимость продажи.

Большинство программ тестирования начинаются как с технического анализа, чтобы получить данные о том, что работает или не работает на веб-сайте, так и с количественного анализа, чтобы получить базовый уровень того, как сайт работает в настоящее время, прежде чем перейти к качественному анализу.

Примеры качественных данных:

• Исследование пользователей
• Прокрутите карты
• Отслеживание кликов
• Тепловое картирование
• Опросы.

Цель состоит в том, чтобы просто лучше понять аудиторию и то, как они взаимодействуют, чтобы мы могли выявить потенциальные проблемы в использовании сайта или узнать о любых внешних проблемах, которые могут повлиять на их действия на сайте.

Например, хотя мы знаем, что CTA не получает много кликов, только из интервью с клиентами мы обнаруживаем, что язык неясен или не находит отклика у аудитории.

Как правильно использовать данные в A/B-тестировании?

Хотя кажется, что мы отслеживаем только определенные события конверсии или отслеживаем поведение пользователей, цель состоит в том, чтобы объединить как количественные, так и качественные данные . Возможно, чтобы найти технические ошибки или общие проблемы, но в идеале мы объединяем их, чтобы мы могли обучаться и получать более целостное представление о нашей аудитории.

Нам нужна не только немедленная информация. Мы хотим выяснить, почему что-то происходит, а затем сделать еще один шаг, чтобы найти основную причину.

Допустим, мы проводим количественное исследование и видим, что коэффициент конверсии на странице низкий. Предложение или продукт просто не нужны? Или нам нужно улучшить процесс?

Затем мы запускаем тепловую карту на целевой странице и видим, что большая часть аудитории не нажимает на конкретный призыв к действию, поэтому мы можем предположить, почему. Может язык не понятный?

Но затем, при более глубоком рассмотрении, мы видим, что на некоторых устройствах он просто за кадром, а на других он не выделяется настолько, чтобы было понятно, что это кнопка, которую нужно нажать.

• Если бы мы смотрели только на качественные данные, мы бы просто подумали, что это низкий CTR.
• Если бы все, на что мы смотрели, были качественные данные, то мы могли бы предположить, что люди просто не кликают.

Но, комбинируя их, мы можем видеть гораздо глубже. (Вот как мы на самом деле понимаем данные в A/B-тестировании.)

Старая идиома верна в том, что «то, что измеряется, управляется». Ключ, конечно, в том, чтобы убедиться, что мы не принимаем решения на основе ограниченных или ошибочных наборов данных, поэтому ВСЕГДА смотрите на несколько источников данных.

Научитесь замедляться, спрашивайте, почему, и позволяйте данным усваиваться, и это поможет вам стать гораздо лучшим тестировщиком и решать проблемы.

Вместо того, чтобы пытаться найти ответ сразу, спросите себя, достаточно ли у вас информации:

• Есть ли у ваших пользователей легко решаемая проблема (сломанная кнопка или слабый призыв к действию) или что-то еще, что можно было бы улучшить?
• Есть ли у вас врожденная предвзятость или предыдущий опыт, который влияет на ваши первоначальные идеи?
• Не могли бы вы сначала узнать больше о своей аудитории?

Что, если, изучив этот призыв к действию и макет, вы обнаружите, что большая часть вашей аудитории использует устаревшие мобильные устройства с другим разрешением экрана и скоростью загрузки? Возможно, им не хватает большей части вашего контента и взаимодействий, а не только ваших CTA и страниц продаж. Даже содержимое ваших социальных сетей и блога может быть затронуто!

Снова углубиться. Зачем им эти устройства? Неужели они не могут позволить себе более дорогое устройство? Им это не важно? Если нет, то что?

Не пытайтесь просто принимать все свои решения, исходя из того, что у вас уже есть. Не торопитесь, подумайте и погружайтесь глубже с любым результатом, который вы получите. Найдите причину почему.

Больших ошибок, которых следует избегать при сборе и анализе данных

Теперь не беспокойтесь, если вы относитесь к типу тестировщиков, пытающихся найти немедленную информацию из своих первоначальных исследований, поскольку вы не одиноки в этом.

Это лишь одна из немногих повторяющихся проблем, с которыми сталкивается большинство людей, пытаясь собрать или понять свои данные…

Проблема № 1: Сбор данных для подтверждения мнения

Используете ли вы данные, чтобы узнать новые идеи? Или вы используете данные для проверки текущих идей?

Можно использовать данные для проверки идеи. Это цель гипотезы. У нас есть представление о том, что не так и как это исправить, поэтому мы пытаемся доказать это с помощью теста и его результатов.

Но не забывайте о научном методе! Мы не можем привязываться к своим идеям и мнениям. Нам нужно доверять данным и найти настоящую причину. Это то, о чем мы заботимся. Это нормально быть «неправильным» с гипотезой. Обнаружение другой идеи из неудавшегося теста просто учит вас больше о вашей аудитории!

Просто будьте осторожны с данными, говорящими вам об одном, но вы искажаете их, чтобы попытаться доказать что-то другое.

Проблема № 2: спонсирование анализа без четкого формулирования проблемы

Распространенная проблема в тестировании (и даже в большинстве предприятий) заключается в том, что человек, который анализирует данные, не всегда является аналитиком.

Вместо этого аналитик используется как средство для извлечения информации в отчеты для третьей стороны, которая пытается решить проблему. (Они становятся почти прославленной приборной панелью.)

Вот пример:

• У вашего босса есть цель и проблема.
• У них есть приблизительное представление о решении и причине, поэтому они запрашивают у аналитика данные по XYZ, но без контекста. Они пытаются выяснить, может ли эта проблема и решение работать.
• Обычно, чтобы запросить больше данных, есть туда и обратно. Этот запрос либо ложно поддерживает идею, либо дальнейшего понимания не произошло.
• И поэтому выдвигаются новые тесты или идеи, а проблема остается нерешенной.

Не здорово, правда?

Но представьте, если бы начальник пришел к аналитику с контекстом конкретной проблемы, и они вместе работали бы, чтобы сформулировать проблему и найти первопричину?

Это может как ускорить понимание, так и новые тесты для его решения.

Проблема № 3: полагаться на один источник данных, не погружаясь в разные точки зрения

Мы намекали на это раньше, но очень важно не ограничиваться одним источником данных, так как вы сильно ограничиваете свое понимание и потенциальные тестовые решения и идеи.

Чем больше у вас источников, тем лучше вы можете нарисовать картину того, что происходит и почему.

Да, это требует времени, но оптимизация коэффициента конверсии — это понимание этой аудитории. Работайте и учитесь как можно больше.

Чем больше вы знаете, тем лучше!

через GIPHY

Проблема № 4: Не отдавать приоритет критическому мышлению как навыку

Наш мозг странный. Мы функционируем на основе системы базовых импульсов, эмоциональных движущих сил и предыдущего опыта. Цель состоит в том, чтобы сохранить нам жизнь, размножаться и принимать решения, не тратя слишком много энергии.

Зная это, тестировщикам (и любому владельцу бизнеса) всегда полезно знать о процессе как критического мышления, так и когнитивных искажений и о том, как они влияют на наше понимание и решения…

Что такое критическое мышление?

Критическое мышление — это способность анализировать факты и данные, чтобы сформировать беспристрастное суждение.

При принятии решений учитываются сотни различных факторов, одним из которых является предвзятость решений, основанная на предыдущем жизненном опыте или ситуациях. Мы называем это когнитивными искажениями .

Те, кто практикует критическое мышление, понимают это, поэтому они используют специальный процесс, помогающий им выносить непредвзятые суждения:

• Идентификация . Найдите проблему.
• Соберите данные . Обязательно используйте несколько источников. Не добавляйте искажений к выбору источника.
• Анализ . Можно ли доверять этим источникам? Надежны ли они? Достаточно ли велик набор данных, чтобы быть правдой?
• Интерпретация + вывод. Какие закономерности вы видите из этих данных? Что это говорит вам до сих пор? Что самое значимое? Вы видите причинно-следственную связь или корреляцию?
• Объяснение . Как вы думаете, почему это происходит?
• Саморегулирование . Есть ли у вас какие-либо когнитивные искажения, влияющие на этот анализ и проверку гипотез? Вы делаете неверные предположения? Проработайте их, чтобы быть уверенным.
• Непредубежденность и решение проблем. С вашим нынешним пониманием, как вы можете решить эту проблему? Нужно ли вам сначала узнать больше?

Как видите, процесс анализа этой информации невероятно важен. Но даже в этом случае вам следует обратить внимание на любые подсознательные предубеждения, которые могут повлиять на то, как вы принимаете решения и анализируете эти данные.

Что такое когнитивные искажения?

Когнитивные предубеждения — это чит-коды для нашего мозга, позволяющие экономить энергию при принятии решений с помощью распознавания образов. Проблема, конечно, в том, что наши предубеждения не всегда правильны и могут влиять на наши решения и действия, как положительно, так и отрицательно. Ik Особенно это заметно, когда дело доходит до тестирования.

Вот некоторые примеры:

• Предвзятость действия : склонность хотеть действовать, даже если данные говорят о том, что улучшения невозможны?
• Якорная предвзятость: склонность основывать решения на ранее полученной информации.
• Предвзятость авторитета: склонность придавать большее значение мнению с позиций авторитета.

Видите ли вы, как это может повлиять на ваш анализ данных и тестовые идеи?

Их слишком много, чтобы я мог их здесь охватить (по некоторым оценкам, всего около 150). Я настоятельно рекомендую вам составить собственный список. Затем вы можете попытаться построить процесс критического мышления для анализа ваших данных, как мы описали ранее, и «проверить» любые потенциальные предубеждения, которые могут повлиять на ваш анализ.

Проблема № 5: Принятие корреляции в качестве причины

Это почти связано с когнитивным искажением, поскольку мы видим закономерности в данных, которые могут существовать, но не могут быть причиной результата.

Они просто часто встречаются вместе либо как побочный продукт, либо как простое совпадение.

Например, большинство серферов не работают по утрам, а вместо этого занимаются серфингом. (Это когда у вас есть лучший морской ветер для волн).

Для человека, наблюдающего на пляже, вы бы предположили, что, возможно, у этих людей не было работы или они заболели. Однако после нескольких разговоров в океане стало ясно, что почти все занимающиеся серфингом работали на себя и поэтому могут выбирать свое время.

Теперь некоторые из них начали заниматься серфингом, потому что у них была эта гибкость и свободное время (Корреляция), а другие выбрали профессии, где у них была эта гибкость, чтобы они могли заниматься серфингом (Причинность).

Довольно круто, правда?

Дело в том, что даже после первоначального исследования и «интервью» было бы легко получить неточное представление о наборе данных. Обязательно посмотрите на свои данные непредвзято и погрузитесь глубже, чтобы найти настоящую причину.

Различные методы сбора качественных и количественных данных

Что мы можем использовать для сбора этих данных?

Для сбора количественных данных мы обычно рассматриваем два типа инструментов:

• Инструмент аналитики, такой как Google Analytics или сторонний поставщик, для получения текущих результатов.
• Инструмент A/B-тестирования, такой как Convert Experiences, чтобы вы могли измерить численное изменение производительности между вариантами и контролем.

Оба они дадут нам необработанные числовые данные.

(Ознакомьтесь с нашим руководством по сравнению инструментов A/B-тестирования здесь, чтобы увидеть, какие из них лучше всего подходят для вас.)

Для качественного исследования мы рассматриваем более широкий выбор, так как мы тестируем несколько различных элементов:

• Тепловое картирование
• Отслеживание кликов
• Отслеживание взгляда
• Записи пользователей
• Опросы на месте и
• Прямые опросы клиентов.

Отслеживание взгляда, как правило, является самым дорогостоящим инструментом из-за требований к оборудованию. Есть несколько вариантов программного обеспечения, доступных для установки и использования внутри компании, в то время как другой вариант — нанять сторонние компании, которые установят очки или камеры с отслеживанием глаз для проверки движения глаз и интересующих мест.

Для теплового картирования, отслеживания кликов, базовой записи пользователей и опросов вы можете использовать недорогой инструмент, такой как Hotjar, который сочетает в себе все эти функции. Это помогает вам выявлять распространенные проблемы и получать почти мгновенное представление без необходимости обращаться за помощью к третьей стороне, и выполняет *почти* те же функции, что и отслеживание взгляда.

Наконец, вы также можете пойти еще дальше и нанять агентства, которые будут привлекать независимых пользователей для использования вашей веб-страницы, заставлять их выполнять поставленные задачи, а затем записывать их взаимодействия и передавать информацию вам.

Примечание:

Хотя мы не перечислили их в разделе «Количественные инструменты», иногда есть совпадения, когда качественные инструменты могут использоваться для сбора количественных данных.

Вы можете использовать инструмент опроса и измерить ответы X участников, чтобы получить числовое значение их мыслей о рекламном тексте и того, как, по их мнению, они отреагируют на него.

Однако… Это все еще субъективно , поскольку то, что люди говорят, не всегда совпадает с тем, что они делают .

Всегда полезно измерить их реакцию на действие (то, что они говорят), а затем также измерить фактическую реакцию на действие (действия, которые они предпринимают). Иногда это может дать вам более глубокое представление о том, что предоставить и как это оформить.

Как профессионалы экспериментов подходят к качественным и количественным данным?

Хотите знать, как профессионалы собирают и используют данные? Недавно мы взяли интервью у 7 профессионалов CRO в рамках нашей серии «Думай как профессионал CRO».

Я не буду спойлерить их интервью, так как очень рекомендую вам их прочитать, тем не менее, я вытащил несколько интересных фактов о том, как они думают о приведенных ниже данных, а также о моих мыслях об их методах…

Гурсимран Гурджал — OptiPhoenix

Количественные данные, как правило, хороши для выявления основных пробелов конверсии, чтобы понять, где пользователи уходят, как работают разные каналы, CR с разных устройств, где пользователи уходят с веб-сайта и т. д., тогда как качественные данные помогают нам раскрыть детали того, почему пользователи уходят или совершают определенное действие. .

Сочетание «Где+Почему» с экспериментами рисует полную картину поведения пользователя.

Изучение качественных данных, таких как тепловые карты, записи сеансов, результаты опросов или тестирование юзабилити, требует гораздо больше времени для создания статистически значимой закономерности, в то время как количественные данные легче анализировать. чтобы не просто полагаться на GA или Hotjar для сбора данных, а вместо этого отправлять свои собственные настраиваемые события, чтобы сделать данные более значимыми, например, пометить запись для всех пользователей, которые получают ошибку в процессе оформления заказа, отправив событие в GA для какого фильтра или вариант сортировки используется чаще всего и т. д., чтобы вы могли максимально использовать доступные данные .

Добавление пользовательских тегов для сквозной передачи данных — отличная идея. Таким образом, вы можете не только увидеть проблему и то, к чему она привела, но и то, откуда она возникла, и источник трафика.

Хейли Карпентер, старший эксперт по CRO-стратегии

Постоянно напоминайте себе, что у всех нас есть предубеждения. Знайте, что ваша работа — сообщать как можно более правдиво и точно. Целостность является ключевой ценностью, которую нужно держать высоко.

Кроме того, перепроверьте свою работу или попросите кого-нибудь проверить ее, если вы в чем-то не уверены. Иногда вторая пара глаз может быть чрезвычайно полезной, особенно если вы смотрели на что-то часами, днями или неделями.

Однажды я прошел курс антропологии, где нам нужно было расшифровывать записи. Профессор подчеркнул, что крайне важно, чтобы транскрипция соответствовала тому, кто произносил слова. Мы не должны были даже сделать что-то такое незначительное, как вырезать одно слово из двух букв или исправить небольшую грамматическую ошибку.

Я до сих пор храню этот урок у себя и применяю его к анализу данных… особенно к записям пользовательского тестирования. Важно, чтобы ваш анализ максимально соответствовал исходным данным.

Многократный взгляд на исследования и результаты — отличный способ не упустить ни одной проблемы, устранить потенциальные предубеждения и получить разные точки зрения. Это часто может привести к пониманию, которое пропустил бы один тестировщик.

Риши Рават – Торговля без трения

Мои взгляды на количественные данные:

Данные есть данные. Не щурьтесь, чтобы понять это. Не привязывайтесь к этому эмоционально. Сформулируйте свою гипотезу до начала сбора данных. Если данные опровергают ваши инстинкты, перепроектируйте новый тест и запустите его. Данные есть данные. Уважайте это.

Мои взгляды на качественные данные:

У нас неоднозначный взгляд на эту тему. Мы не верим в исследования конечных пользователей, то есть я не разговариваю с людьми, купившими продукт. Дело не в том, что я не думаю, что этот тип исследования важен, это так; это просто дорого. Я предпочитаю получать все свои качественные данные от основателя или изобретателя продукта, над которым я работаю.

В то время как пользовательский опыт конечного покупателя — это просто моментальный снимок одной покупки, совершенной в этот момент, изобретатель имеет представление обо всем путешествии. Я хочу получить свое количественное «чувство» от основателя. У основателя/изобретателя так много институциональных знаний, что у вас закружится голова. Просто они так долго находились в «середине», что не знают, с чего начать. Именно здесь вступают в игру навыки оптимизатора задавать вопросы. Оптимизатор помогает создателю с внешним видом. Я придаю большое значение такого рода качественным данным.

А вот это интересная идея…

В CRO мы склонны сосредотачиваться на пользователе, чтобы понять путь клиента. Проблема в том, что клиенты иногда не знают, что не так или как это сформулировать.

Точно так же, однако, владелец бизнеса может знать продукт вдоль и поперек, но не умеет доносить информацию о нем. Для них это очевидно, потому что у них есть весь опыт, но для клиента в этом сообщении может быть что-то упущено. В идеальном мире, если вы проводите тесты для другой компании, вы хотите поговорить как с аудиторией, так и с владельцем.

Если у вас не хватает времени или ресурсов, поговорите с владельцем бизнеса. Как говорит Риши, у них часто есть все это понимание, которое можно извлечь. Наша работа как тестировщиков состоит в том, чтобы найти, чего не хватает, и как это может быть связано с клиентом.

Сина Фак - Сторонники конверсии

Реальность такова, что все данные имеют встроенную предвзятость.

Все, от того, как данные были собраны, до выборки данных, которые используются для анализа, до человека, просматривающего данные и проводящего анализ, — есть элемент предвзятости, который мы не можем полностью контролировать.

Одни только данные не дадут вам всей истории. Это только даст вам отправную точку, чтобы понять часть истории и сделать выводы. Единственный способ обрабатывать данные так, чтобы они рассказывали непредвзятую историю, — это проверить их и провести с ними эксперимент.

Это связано с тем, что мы говорили ранее.

Каждый тест и исследование имеют предвзятость. Мы можем попытаться свести на нет некоторые из них с помощью процессов критического мышления и анализа, но они все равно могут проникнуть внутрь.

Проверьте идею, узнайте и проверьте еще немного. Не забывайте о научном методе. Мы можем «проваливаться вперед» и также находить ответы, которые ищем.

Якуб Линовски — GoodUI

В целом, чем больше у нас последовательных измерений, тем более надежными и заслуживающими доверия могут стать наши эксперименты.

Когда дело доходит до сравнения результатов A/B-тестирования, мы можем сделать это несколькими способами:

● Сравнение нескольких показателей из одного и того же эксперимента (например, согласованность эффекта при добавлении в корзину, продажах, доходе, возврате покупок и т. д.)

● Сравнение исторических данных по отдельным экспериментам (например, согласованность результатов двух отдельных экспериментов, проведенных на двух разных веб-сайтах).

Не забывайте, что анализ данных Quant и Qual столь же важен ПОСЛЕ ТЕСТА, как и в нашем первоначальном планировании.

Наличие процесса составления контрольного списка потенциальных проблем и мест для «ага-моментов» может дать гораздо лучшие результаты, чем первоначальный взгляд.

(Иногда данные есть прямо здесь, но мы их упускаем.)

Эден Бидани - Копия зеленого света

Я стараюсь как можно больше работать с обоими типами данных рядом друг с другом. Для меня это помогает сбалансировать полную картину.

Качественные данные придают глубину и смысл количественным данным, а количественные данные определяют общее направление в отношении того, каким элементам качественных данных следует придать больший вес .

Объединить оба набора данных, чтобы можно было сравнивать и сопоставлять, — это лучший способ проанализировать и понять, что происходит.

Это связано с тем, что мы говорили ранее о наличии единого набора данных для поиска проблем и решений. Если бы все, что у нас было, было бы одним, мы бы пришли к другим выводам. Используйте оба, чтобы попытаться найти эту корреляцию.

Шива Манджунатх — Спиро

То, как я пытаюсь подойти к анализу Quant + Qual, похоже на полицейский допрос. Есть мотив или гипотеза, но вы не можете предполагать, что человек, которого вы вызвали на допрос, невиновен или виновен. Привлеченный человек (экспериментальные данные) считается невиновным, и ваша задача — доказать его виновность вне всяких разумных сомнений (статистическая значимость).

Таким образом, вы можете сами просматривать данные, брать интервью у других людей (качественные данные) и, возможно, просматривать банковские выписки или просматривать журналы регистрации приходов/уходов людей на работу, чтобы проверить, подтверждается ли их алиби (количественные данные).

Может быть, не лучший пример, но всегда нужно подходить к нему объективно. И подтвердите источники данных (например, тепловые карты с опросами на сайте с количественными данными), чтобы придумать историю и посмотреть, поддерживает она или не поддерживает гипотезу. Очевидно, со статистической точностью !

Мне нравится эта аналогия, она напоминает мне о Шерлоке Холмсе и напрямую связана с тестированием.

У меня пока нет данных. (Или недостаточно). Большая ошибка теоретизировать, не имея данных. Незаметно начинают подгонять факты под теории, а не теории под факты.

Как экспериментаторы, мы должны устранить все предубеждения. Либо пережили, либо просто потому, что придумали гипотезу. Вместо этого нам нужно справедливо относиться к результатам и найти истину.

Наша цель не быть правым. Нужно найти то, что работает, чтобы мы могли на этом строить!

Как лучше всего использовать данные для разработки выигрышных тестов?

Если вы какое-то время занимались тестированием, то знаете, что большинство тестов не создают победителей. На самом деле только около 3/10 выиграют, а остальные считаются неудачниками.

Однако терминология победы или поражения невелика. Да, тест не дал подъема, но он дает нам данные, которые мы можем использовать для улучшения и выяснить, почему.

Запомнить:

Мы не фокусируемся на одном тесте. Даже если он выиграет, мы все равно используем итеративный процесс обучения и улучшений. Мы тестируем, учимся, выдвигаем гипотезы и снова тестируем.

Это помогает нам создать цикл обратной связи с новыми данными, чтобы либо поддержать, либо опровергнуть идеи.

• Мы тестируем и ошибаемся, но мы учимся.
• Мы берем эти знания и проверяем их, пока не победим и не получим улучшения.
• И затем мы продолжаем тестировать, пока не достигнем локальных максимумов и не сможем дальше улучшаться.

Не сосредотачивайтесь на том, чтобы сразу же получить победителя. Это быстрый способ заявить, что CRO не работает на вас. Вместо этого превращайте данные в идеи и каждый раз узнавайте больше.

Возможно, вы близки к победе, но для этого нужно лучшее исполнение.

Или вы можете быть близки к моменту ага , который может коренным образом изменить весь ваш обмен сообщениями. Придерживайтесь этого и продолжайте учиться с каждым тестом!

Встройте этот цикл обратной связи в процесс обработки и тестирования данных.

Но самое главное? Убедитесь, что вы можете получить доступ и понять данные, которые вы собираете, что вы используете эти данные правильно и что вы можете им доверять!…

Как улучшить доступность данных в организации

Очень хорошо иметь данные для работы, но это бесполезно, если вы не можете получить к ним доступ для обучения!

Некоторые компании часто сталкиваются с узким местом в потоке данных, поскольку имеют доступ к своим данным только через своего специалиста по данным. Если вам нужна информация, вам нужен либо доступ, либо работа с ней напрямую, вызывающая проблемы.

Отличный способ обойти это — демократизировать доступ к данным:

• Разрешить доступ к данным для традиционно одноролевых инструментов (GA и т. д.) командам, которым это необходимо,
• Посмотрите на использование инструментов самообслуживания, в которых встроены возможности отчетности по данным, которые может использовать вся команда,
• Создайте централизованный репозиторий результатов обучения. Это позволяет всей организации получать информацию о данных, а не только группе непосредственного тестирования.

Зачем заботиться о доступе к данным?

Потому что доступ к данным увеличивает количество возможных решений, которые могут повлиять на рентабельность инвестиций вашего бизнеса.

Хитрость, конечно, в том, чтобы убедиться, что, получив доступ, вы сможете найти то, что хотите…

Как повысить удобство использования данных путем сбора данных, которым можно доверять

Удобство использования данных означает простоту использования данных для ответа на вопросы.

Если мы посмотрим на это из обзора, цель с вашими данными должна быть:

• Чтобы найти идеи, которые влияют на рентабельность инвестиций в бизнес . Без этого это просто информационные данные без цели.
• Чтобы найти их быстро и не нужно бороться, чтобы получить информацию.
• И использовать эти идеи для принятия быстрых и надежных решений . Либо потому, что данным доверяют, либо потому, что вы понимаете и не манипулируете результатами или не получаете ложных срабатываний.

Как вы можете догадаться, здесь могут быть некоторые проблемы, в зависимости от используемых вами систем и процессов.

Мы уже обсуждали, насколько важно иметь доступ к этой информации и преимущества наличия инструментов или процессов, которые имеют возможности самообслуживания для открытия отчетов данных в масштабах всей компании.

Но теперь, когда у нас есть доступ к этим данным, нам нужно убедиться, что мы можем найти нужную информацию и можем ей доверять.

В идеале вам нужно активно запускать процессы для организации ваших наборов данных:

• Сделайте наиболее важные показатели легкодоступными.
• Используйте эталонные модели и цели, чтобы найти определенные наборы данных, которые не могут отслеживаться традиционными инструментами.
• Обеспечьте синхронизацию между источниками данных, чтобы обновления, изменения и новая информация не пропадали.
• И позвольте вашей команде специалистов по анализу данных обработать ваши большие данные, чтобы вы могли легко найти всю эту информацию и доверять ей!

Как только вы поймете эту конечную цель для своих данных, вам будет проще начать заранее разрабатывать процессы подготовки к поступлению новых наборов данных. найти их позже).

Как провести беспристрастный анализ данных для получения информации, которая поможет выдвинуть гипотезы

Итак, как мы можем использовать эти данные, чтобы получить информацию и идеи?

Что ж, предупреждение о спойлерах, мы на самом деле освещали это на протяжении всего этого руководства.

• Стремитесь использовать несколько источников данных для получения более широкой картины.
• Попробуйте использовать беспристрастные процессы для сбора этих данных. Не ограничивайтесь конкретными демографическими данными или устройствами, если это возможно.
• Используйте критическое мышление для оценки информации.
• Посмотрите на когнитивные искажения и то, как они могут повлиять на ваш анализ.
• Обязательно изучите каждый источник данных в совокупности. (Технический, количественный и качественный вместе).

Разрешите учиться на тестах, чтобы вдохновить на новые тесты

Вы должны рассматривать свои тесты как цикл обратной связи для дальнейшего улучшения. Это может быть связано с вашим текущим тестом, чтобы продолжать совершенствоваться и получать больше результатов, или вы даже можете применить это к более старым тестам, где ваши новые идеи могут помочь еще больше.

В любом случае, цель должна состоять в том, чтобы тестировать, учиться, совершенствоваться и повторять до тех пор, пока вы не сможете поднять больше.

Но… Как мы на самом деле извлекаем уроки из результатов этих тестов?

Что ж, хорошая новость заключается в том, что мы написали 7-шаговое руководство по обучению на основе результатов ваших A/B-тестов, с которым вы можете ознакомиться здесь.

Если у вас нет времени прямо сейчас, вот краткий обзор:

• Начните с того, чтобы убедиться, что вы можете доверять своим результатам. Они точны? Являются ли они значительными? Вы уверены в них? Был ли тестовый запуск достаточно долгим? Повлияли ли на них внешние факторы?
• Переходите на микро и макро. Просто потому, что тест выиграл или провалился, вам нужно увидеть, как это повлияет на ваши показатели ограждения. По иронии судьбы, рост CTR может означать снижение продаж, если он привлекает не ту аудиторию. Точно так же падение CTR может привести к росту продаж, поскольку сейчас это может привлечь только лучшую аудиторию. Поэтому проверяйте свои показатели, а не только результаты тестов.
• Идите глубже и сегментируйте свои результаты. Не каждая аудитория, канал трафика и устройство будут работать одинаково. Некоторые каналы могут быть сломаны. Это может затем исказить результаты там, где они кажутся хорошими или плохими, поскольку у вас нет подробной картины. (Это также может дать вам представление о вариантах, которые будут лучше всего работать на определенных каналах, помогая вам сегментировать доставку для более высокого подъема).
• Проверьте производительность и поведение пользователей. Just because we ran a qualitative and quantitative data analysis before, doesn't mean you should skip it after the test. In fact, this is the best way to understand what happened and how you got these results.
• Learn from the failures. Что пошло не так? How can you fix this?
• Learn from the winners and improve further. Did you get a new aha moment? Do you have more ideas of how to improve the page again after the QA and Qual analysis? Keep pushing for more lift!
• Don't forget what you did! Get in the habit of creating and using a learning repository. This way you can see past tests, learn from them, train new staff and even go back and apply new insights to old ideas.

Вывод

Итак, у вас есть это. Our entire guide to using technical, quantitative, and qualitative data to create winning tests.

It doesn't matter if it's A/B, split URL, or multivariate testing. You can use this same methodology to learn more from every test you run, so go ahead. Run those tests, learn from those mistakes, analyze that data and then let us know how much lift you got!