Тестирование серии ментальных карт: как думать как CRO Pro (часть 6)

Интервью с Якубом Линовски из GoodUI

Вы когда-нибудь задумывались, почему некоторые люди, кажется, умеют работать с CRO?

Дело не только в том, что они умеют ставить эксперименты. Они также умеют думать о вещах по-другому, и эта серия поможет вам в этом. Мы подробно рассмотрим образ мышления, который составляет успешную CRO, и то, как вы можете применить его к своей стратегии.

Если вы сможете настроить себя на правильный лад, тогда успех придет гораздо легче, чем если бы вы попытались, не поняв сначала, где могут быть ваши слепые зоны. В конечном счете, серия ментальных карт Testing предназначена для того, чтобы помочь вам лучше спланировать свою стратегию оптимизации и выполнять тесты с большей уверенностью!

В этой статье Якуб Линовски из GoodUI рассказывает, что сила экспериментов заключается не только в том, что они могут быть полезным методом, но и в том, чтобы генерировать важные идеи, которые могут помочь в принятии более эффективных решений.

Якуб, расскажи о себе. Что вдохновило вас заняться тестированием и оптимизацией?

Меня привлек мир экспериментов где-то в 2014 году, когда мой опыт в дизайне привел меня на этот путь. По мере того, как люди начали делиться примерами хорошего пользовательского интерфейса и списками «лучших практик», я тоже, и так появился GoodUI.org. Однако мне не потребовалось много времени, чтобы понять, что все мои предложения и шаблоны пользовательского интерфейса были ближе к визуальным гипотезам, чем к чему-либо, подкрепленному доказательствами. Я действительно хотел обрести больше уверенности и лучше фильтровать хорошие идеи от плохих.

Поэтому, когда я услышал об A/B-тестировании, я был очень взволнован (хотя я понятия не имел, что такое доверительный интервал). Я нанял разработчика интерфейса, и мы открыли небольшое агентство по оптимизации. Мы начали тестировать все идеи, которые читали в блогах, слышали от наших клиентов, а также из нашей собственной появляющейся библиотеки паттернов GoodUI. Поскольку большинство наших клиентов позволяли нам открыто публиковать A/B-тесты, стало очевидным, что некоторые паттерны лучше других. Некоторые мало что сделали. Другие хорошо воспроизводятся. И другие привели к отрицательным результатам.

Теперь нам нужно было взвесить эти эксперименты.

И поэтому GoodUI.org быстро начал превращаться в хранилище похожих и сопоставимых экспериментов с полным циклом обратной связи. Вещи, которые работали лучше с более высокой частотой и влиянием, всплывали наверх (с использованием медианных совокупных данных). В то время как результаты тестов для аналогичных шаблонов возвращались в нашу базу данных, исправляя наши прогнозы и повышая точность.

Так что да, мне нравится экспериментировать не только потому, что это замечательный метод , но и как мощный источник профессиональных знаний , который позволяет нам делать более точные прогнозы.

Сколько лет вы занимаетесь оптимизацией? Какой ресурс вы рекомендуете начинающим тестировщикам и оптимизаторам?

Мы провели наш первый скачкообразный A/B-тест еще в мае 2014 года на целевой странице котировок крупной страховой компании. Вариант включал в себя все, что мы знали на тот момент об улучшении форм, форм копирования и лидов, основанных на нашем собственном ограниченном опыте. Результатом стало относительное увеличение количества отведений на +53% (±28, p-значение 0,0002). Это мой первый эксперимент, который меня зацепил.

Что касается ресурса, я люблю учиться на том, что тестируют другие. Особенно интересно и ценно искать эксперименты крупных игроков, таких как Netflix, Airbnb и Amazon, которые, как мы знаем, имеют хороший размер выборки и проводят множество тестов. В целом, я думаю, что всегда полезно учиться у людей, которые на пару шагов впереди нас (как это предлагают многие, в том числе в Mastery Роберта Грина).

Ответьте в 5 словах или меньше: что для вас дисциплина оптимизации?

Оптимизация означает, что мы улучшаем вещи.

(Результаты имеют решающее значение для оптимизации. Например, сотня плоских или нежелательных результатов эксперимента недостаточно хороша. Да, вы можете многому научиться. Но для того, чтобы мы что-то оптимизировали, нам нужно двигать стрелку в нужном направлении. .)

Какие 3 вещи ДОЛЖНЫ понять люди, прежде чем начать оптимизацию?

ИССЛЕДОВАНИЕ – генерирование как можно большего количества идей.

ЭКСПЛУАТАЦИЯ — определение приоритетов идей с прошлыми результатами для большей скорости.

ЭКСПЕРИМЕНТАЦИЯ – открытие наших идей для фальсификации или проверки.

Как вы обрабатываете качественные и количественные данные, чтобы они могли рассказать вам непредвзятую историю?

Я согласен с идеей проверки результатов A/B-тестирования. В целом, чем больше у нас последовательных измерений, тем более надежными и заслуживающими доверия могут стать наши эксперименты.

Когда дело доходит до сравнения результатов, мы можем сделать это несколькими способами:

• Сравнение нескольких метрик из одного и того же эксперимента (например, согласованность результатов: добавление в корзину, продажи, доход, возврат покупок и т. д.)
• Сравнение исторических данных по отдельным экспериментам (например, согласованность результатов двух отдельных экспериментов, проведенных на двух разных веб-сайтах)

Какую программу обучения вы разработали для своей команды по оптимизации? И почему вы выбрали именно этот подход?

Я твердо верю, что повторение эксперимента является критическим элементом в улучшении прогнозирования результатов тестирования (генерировании профессиональных знаний).

Следовательно, на нашей собственной платформе мы группируем похожие эксперименты и агрегируем схожие показатели.

При построении базы знаний на основе экспериментов важно свести к минимуму предвзятость публикации . То есть вести учет всех экспериментов независимо от их результатов (включая положительные, отрицательные, значимые и незначимые).

От какого наиболее раздражающего мифа об оптимизации вы бы хотели избавиться?

Совсем недавно меня раздражали люди, утверждающие, что эксперименты не имеют обратной стороны (хорошо отражено в этой замечательной ветке на LinkedIn). Тонкий способ, которым это иногда проявляется, заключается в заявлениях, похожих на «нет проигрышных тестов, есть только знания».

Это может быть правдой в мире башни из слоновой кости, где обучение является ключевой целью и где экспериментатор защищен от затрат.

Однако как профессия, когда мы используем экспериментирование как инструмент для оптимизации веб-сайтов клиентов, бесплатных обедов не бывает. Проведение экспериментов имеет свои издержки, риски, недостатки и преимущества. С этой точки зрения, я думаю, очень полезно отслеживать и признавать результаты такими, какие они есть на самом деле (в том числе чувствовать себя комфортно, признавая полосы отрицательных тестов, а не обелять их). Все профессии нуждаются как в положительной, так и в отрицательной обратной связи, чтобы продолжать совершенствоваться.

Надеемся, что наше интервью с Якубом поможет вам выбрать правильную стратегию конверсии! Какой совет вам больше всего понравился?

Обязательно ждите нашего следующего интервью с экспертом по CRO, который расскажет нам о еще более продвинутых стратегиях! А если вы еще этого не сделали, ознакомьтесь с нашими интервью с Гурсимраном Гуджралом из OptiPhoenix , Хейли Карпентер из Speero , Риши Рават из Frictionless Commerce , Сина Фак из ConversionAdvocates и Иден Бидани из Green Light Copy !