Тестирование серии интеллект-карт: как мыслить как CRO Pro (часть 22)

Интервью с Нильсом Коппельманном

Нильс Коппельманн — страстный сторонник преимуществ экспериментов и принятия решений на основе данных. Он понимает, что успешное A/B-тестирование заключается не только в том, чтобы выяснить, работает ли что-то, но и в том, почему оно работает, и он здесь, чтобы развеять два распространенных мифа об этой практике.

Что A/B-тестирование сопряжено с рисками и что небольшие компании не могут эффективно его тестировать. Напротив, Нильс считает, что A/B-тестирование может помочь снизить риски, давая представление о том, что работает, а что нет. И хотя у небольших компаний может быть меньше трафика, чем у крупных, они могут проводить более смелое тестирование, потому что на карту поставлено меньше.

Так что в следующий раз, когда вы подумаете, что A/B-тестирование звучит слишком рискованно или дорого, прочтите это интервью с Нильсом, чтобы узнать, как эффективно проводить тестирование на вашем сайте, не создавая ненужных рисков.

Нильс, расскажи о себе. Что вдохновило вас заняться тестированием и оптимизацией?

За последние 8 с лишним лет я создавал веб-сайты и интернет-магазины, чтобы помочь крупным и малым клиентам «оптимизировать» свое присутствие в Интернете.

Некоторое время назад мои мысли обратились к тому, как сделать так, чтобы наши проекты действительно оказывали желаемое влияние.

Когда я впервые столкнулся с термином «оптимизация коэффициента конверсии» около 3,5 лет назад, я удивился, почему мы до сих пор не сосредоточились на этом. С этого момента я переключил свое внимание с предоставления дизайна и технологий на предоставление идей и результатов.

Мир оптимизации таит в себе огромный потенциал, который до сих пор остается неисследованным большинством онлайн-компаний. Мы должны использовать в своих интересах огромное количество доступных данных, а также учиться на них, чтобы мы могли постоянно совершенствоваться.

Одна из самых поразительных вещей для меня — это то, как весело учиться заново. Я никогда не думал, что добровольно открою книгу о статистике (спасибо Георгию Георгиеву и его замечательной книге «Статистические методы онлайн-тестирования A/B») и на самом деле прочитаю ее. Этот и многие другие аспекты продолжают вдохновлять меня тестировать, чтобы учиться.

Сколько лет вы занимаетесь оптимизацией?

Желание оптимизировать проистекает из неудовлетворенности существующим положением дел, любопытства по поводу того, что еще можно сделать, и уверенности в том, что все можно улучшить.

В профессиональном контексте я занимаюсь оптимизацией уже около 8 лет. Первоначально создавал и оптимизировал сторонние проекты и помогал компаниям улучшать веб-сайты и интернет-магазины. Теперь мы помогаем новым и устоявшимся компаниям создать культуру экспериментов и использовать силу экспериментов для ускорения своего роста.

Оглядываясь назад, я не помню, чтобы когда-либо не оптимизировал. Уже в детстве я всегда задавался вопросом, как все делается. Я помню, как мой отец сказал, что я задавал «слишком много» вопросов, и, оглядываясь назад, я действительно счастлив, что задавал и до сих пор задаю.

Известно, что даже в личной жизни я отслеживаю и оптимизирую большинство аспектов своей жизни.

Какой ресурс вы рекомендуете начинающим тестировщикам и оптимизаторам?

Есть много ресурсов, которые я бы порекомендовал начинающим, но давайте сделаем это немного более практичным.

Для начала несколько советов:

1. Будьте более любопытны и начните задаваться вопросом, почему что-то делается именно так. Уже одно это откроет совершенно новый взгляд на мир.
2. Тратьте больше времени на обдумывание проблемы, чем на поиск решения. Сначала вам нужно действительно понять проблему, тогда решения будут приходить легче.
   
   Как выразился Альберт Эйнштейн: «Если бы у меня был час на решение проблемы, я бы потратил 55 минут на обдумывание проблемы и 5 минут на размышления о решениях».
   
   Тем не менее, важно мыслить нестандартно, что означает не только мышление в рамках параметров проблемы, но и рассмотрение внешних углов и возможностей.
   
   Главное — найти баланс между ними.
3. Научитесь лучше задавать вопросы. Это один из самых полезных инструментов, который может иметь в своем арсенале любой оптимизатор, потому что он активирует любопытство и пробуждает его.

Кроме того, я делюсь интересными статьями, ресурсами и инструментами в своем еженедельном информационном бюллетене по экспериментам, который адресован как новичкам, так и ветеранам экспериментов.

Ответьте в 5 словах или меньше: что для вас дисциплина оптимизации?

Тестируйте, чтобы учиться. Непрерывное улучшение. Эксперимент. Строительные системы.

Какие 3 вещи ДОЛЖНЫ понять люди, прежде чем начать оптимизацию?

Сначала исследуйте, а потом тестируйте. Прежде чем приступить к оптимизации, убедитесь, что вы подкрепляете свои предположения качественными и количественными данными. Затем создайте сильные гипотезы, основанные на этом.

Не просто оптимизируйте краткосрочные приросты — хотя для программы жизненно важно иметь положительную рентабельность инвестиций, она должна не только сосредоточиться на этом, но и учитывать огромный диапазон возможностей обучения и ограничения рисков, которые несут с собой эксперименты.

Усилия по оптимизации должны быть направлены не на то, чтобы доказать, что вы правы или не правы, а на то, чтобы определить, почему — в любом случае. Нет смысла что-либо оптимизировать, если вы не понимаете, как вы туда попали и как это воспроизвести. Для долгосрочного успеха A/B-тестирования крайне важно иметь хорошие системы.

Как вы обрабатываете качественные и количественные данные, чтобы они рассказывали непредвзятую историю?

Непредвзятых данных не существует, но для того, чтобы свести к минимуму предвзятость к любым данным, важно понимать, как данные были собраны, как они интерпретируются и какие выводы из них делаются.

Чтобы классифицировать, насколько надежны данные, о которых вы говорите, вы должны проверить иерархию доказательств.

Мы используем количественные данные для предварительной фильтрации, затем используем качественные данные и научные ресурсы для углубления, а затем снова количественные данные для подтверждения или опровержения первоначальных предположений и гипотез.

В основе наших усилий лежит так называемый метаанализ, позволяющий нам искать закономерности в предыдущих экспериментах и ​​согласовывать дальнейшие исследования и эксперименты.

Еще один хороший способ устранить предвзятость — создать разрыв между человеком, который проводит эксперимент, и тем, кто оценивает его результаты. Это сводит к минимуму предвзятость в отношении успеха эксперимента.

От какого наиболее раздражающего мифа об оптимизации вы бы хотели избавиться?

Хочу развеять два мифа:

1. Это тестирование создает риски, хотя на самом деле оно снижает риски, если все сделано правильно.
2. Что небольшие компании не могут тестировать, хотя на самом деле небольшие компании с небольшим трафиком могут тестировать более смело, потому что с ними связан меньший риск / меньше поставлено на карту.

Надеюсь, наше интервью с Нильсом поможет направить вашу стратегию экспериментов в правильном направлении!

Какой совет вам больше всего понравился?

А если вы еще этого не сделали, ознакомьтесь с нашими прошлыми интервью с легендами CRO Гурсимраном Гуджралом , Хейли Карпентер , Риши Рават , Сина Фак , Иден Бидани , Якуб Линовски , Шива Манджунат , Дебора О'Мэлли , Андра Бараган , Рич Пейдж , Рубен де Бур , Эби Хаф , Алекс Биркетт , Джон Островски , Райан Левандер , Райан Томас , Бхавик Патель , Шивон Сольберг , Тим Мехта , Роммил Сантьяго и наш последний со Стеф Ле Прево .