Тестирование серии ментальных карт: как думать как CRO Pro (часть 14)

Интервью с «позитивным» Джоном Островски (Positive Experiments)

Здравый смысл и навыки принятия решений необходимы для успеха в CRO. Для Джона Островски оптимизация — это понимание проблемы, знание своей аудитории и командная работа над ростом.

Он считает, что любой показатель результата можно до некоторой степени улучшить с помощью экспериментов, но это не всегда стоит затраченных усилий. Вы не можете просто смотреть на цифры в вакууме — вы должны учитывать альтернативные издержки, риски и другие факторы. Понимание того, когда «сок стоит выжимать» (т. е. расстановка приоритетов), является одной из самых больших проблем, с которыми сталкиваются экспериментаторы. Здесь следует использовать качественные и количественные данные для повышения уверенности в принятии решений.

Джон предлагает свежий подход к CRO, не похожий ни на что из того, что вы читали раньше.

Давайте погрузимся в…

Джон, расскажи нам о себе. Что вдохновило вас заняться тестированием и оптимизацией?

От Бразилии до США, Венгрии и Польши. От инженера-механика до аналитика данных, экспериментатора и наставника по развитию.

Я был оптимизатором независимо от того, где и что я делал.

Инструменты развивались.

Бережливое производство стало Бережливым стартапом.

«Шесть сигм» стали основой для роста продукта.

Непрерывное совершенствование, Кайдзен, оставалось общим знаменателем.

Переломным моментом для полного перехода на цифровые технологии стало видение, которое я придумал еще в Венгрии: «Представьте себе мир, в котором я работаю за ноутбуком из любой точки мира, без необходимости ездить на фабрику…»

Сколько лет вы занимаетесь оптимизацией? Какой ресурс вы рекомендуете начинающим тестировщикам и оптимизаторам?

Со днями индустрии, около девяти лет что-то оптимизируя. В частности, работа над оптимизацией в Интернете в течение примерно 5 лет.

Первый эксперимент, который я помню, был между двумя машинами для холодной штамповки с разными настройками, чтобы узнать о различных допусках между производственными линиями. Веселые времена.

Что касается ресурсов, я рекомендую один курс, одну книгу, один подкаст и один информационный бюллетень.

Онлайн курс:

Experimentation Deep Dive от Reforge выводит оптимизацию игры на стратегический уровень.

Книга:

Я не могу рекомендовать «Надежные онлайн-эксперименты» Ронни Кохави. Это дает вам сверхспособности, просто читая это.

Подкаст:

Бесчисленные золотые самородки в кафе CRO Гвидо.

Новостная рассылка:

Бессовестный плагин для новостной рассылки Positive Experiments, моего уголка в Интернете, где я делюсь своими мыслями об экспериментах роста, финансовой свободе и позитиве.

Ответьте в 5 словах или меньше: что для вас дисциплина оптимизации?

Извлечение сока стоит выжать.

— Обратите внимание, что определение того, что означает ценность для вашего бизнеса, само по себе является упражнением.

Какие 3 вещи ДОЛЖНЫ понять люди, прежде чем начать оптимизацию?

«Если бы у меня был один час, чтобы решить проблему, я бы потратил 55 минут на размышления о проблеме и 5 минут на размышления о решениях».

1. Поймите проблему. Что вы пытаетесь решить и почему это важно? Как это помогает развитию бизнеса? Какую историю вы рассказываете?
2. Знайте свою аудиторию . Динамика власти — это невидимая сила в организациях, с которой вы не сталкиваетесь во время адаптации. Как заинтересованные стороны реагируют на данные и какие типы данных они предпочитают? Что заставляет их тикать? Знайте свою аудиторию. Быть чемпионом.
3. Рост — это командная работа и долгосрочная игра . Для меня «лайфхаки для роста» относятся к той же категории, что и «быстро разбогатеть». Вы слышите истории об успешных, а все остальные миллионы неудачников замалчиваются. Предвзятость выживания. Платформы WYSIWYG позволяют отдельным участникам делать не так много. Знайте, что находится в вашей власти, а что нет. Узнайте, как найти рычаги воздействия, будь то труд или капитал.

Как вы обрабатываете качественные и количественные данные, чтобы они рассказывали непредвзятую историю?

Мой подход к исследованиям, основанный на принятии решений, представляет собой смесь Бехзода Сирджани и Дугласа Хаббарда.

Для меня жизнь, бизнес и инвестиции — это здравый смысл и принятие решений.

Таким образом, качественные и количественные данные становятся доказательствами некоторого решения, которое несет в себе риск.

Я продумываю пять шагов прикладной информационной экономики (DDCMM):

1. Определите решение.
2. Определите, что вы знаете сейчас.
3. Подсчитайте ценность дополнительной информации по сравнению со стоимостью отказа от принятия решения. (Если нет, перейдите к шагу 5.)
4. Измерьте, где информационная ценность высока. (Возвращайтесь к шагам 2 и 3 до тех пор, пока дальнейшие измерения не потребуются.)
5. Примите решение и действуйте в соответствии с ним.

Выбор метода исследования (этап 4) сам по себе является этапом определения приоритетов.

Узнайте свою аудиторию и какие доказательства повысят уверенность в принятии решения, а затем определите наилучший метод.

Избегайте по умолчанию «давайте запустим метод исследования X», не определив сначала, какой тип доказательств будет более полезным для вашего решения.

Помните о своей аудитории — иногда заинтересованная сторона лучше реагирует на интервью с клиентами или анекдоты.

Стоит отметить, что мои наиболее эффективные эксперименты были связаны с гипотезами, основанными на качественных исследованиях, а точнее на опросах счастливых пользователей.

Какую программу обучения вы разработали для своей команды по оптимизации? И почему вы выбрали именно этот подход?

Наш отдел экспериментов — это группа из 10 человек, стремящихся к росту, которые всю жизнь учатся и любят, когда данные доказывают их неправоту.

Семьдесят лет опыта оптимизации, все из разных областей.

Помимо того, что вы можете ожидать от церемоний отделения и рецензирования, у нас есть Reforge для нашей команды.

Мы просим всех пройти как серию «Глубокое погружение в эксперименты», так и серию «Развитие».

Наличие общего языка — недооцененная сверхспособность высокоэффективных команд.

От какого наиболее раздражающего мифа об оптимизации вы бы хотели избавиться?

Эксперимент? Эээ.. вы имеете в виду CRO, верно?

Вот как я обдумываю это в четыре шага:

1. Существуют основополагающие строительные блоки (стратегия, инструменты и технологии, процесс, люди).
2. Которые помогают формировать структуру управления (гибридная, централизованная, децентрализованная)
3. Это должно быть в наличии, чтобы культура экспериментирования процветала (маховик тестирования AB).
4. И в зависимости от вашей организационной структуры (например, ориентированной на продукт) устанавливаются разные рабочие процессы — для iTech Media, OKR-инициатив, CRO и Safety Net, подробнее читайте здесь.

Нам как отрасли лучше отказаться от этой ложной дихотомии.

Мы можем сделать лучше.

Надеемся, что наше интервью с Джоном поможет направить вашу стратегию экспериментов в правильное русло!

Какой совет вам больше всего понравился?

Обязательно ждите нашего следующего интервью с экспертом по CRO, который расскажет нам о еще более продвинутых стратегиях! А если вы еще этого не сделали, ознакомьтесь с нашими интервью с Гурсимраном Гуджралом , Хейли Карпентер , Риши Рават , Сина Фак , Иден Бидани , Якуб Линовски , Шива Манджунат , Андра Бараган , Рич Пейдж , Рубен де Бур , Аби Хаф и наши последние интервью с Алекс Биркетт .