Как обеспечить точные результаты ваших A/B-тестов, несмотря на ITP Apple

Первоначально он был разработан для блокировки сторонних файлов cookie (трекеров, которые идентифицируют пользователей в разных доменах) для пользователей Safari. Со временем он также превратился в ограничение некоторых основных файлов cookie, которые действуют как трекеры. В этом и заключается важность ИТП. Он отлично справляется с предотвращением отслеживания злонамеренных посетителей.

Почему Safari ITP появился?

Долгое время, до разработки ITP, сторонние данные были основным источником информации о посетителях веб-сайтов для маркетинговой, аналитической и рекламной отраслей.

Однако посетители не имели ни малейшего представления о том, кто может получить доступ к их личным данным и что они могут с ними сделать. Отсутствие прозрачности в отношении того, кто может получить доступ к информации, затрудняет определение того, используют ли компании ее ответственно или нет.

Решение пришло в виде ряда неожиданных законов о конфиденциальности (GDPR, CCPA, CPRA, LGPD, ePrivacy), которые позволили пользователям понять, когда их личная информация собирается компаниями или к ней неправомерно получают доступ, давая им возможность решать, как она используется. – включая то, хотят ли они его вообще собирать!

С введением этих законов, защищающих конфиденциальность пользователей, браузеры были вынуждены подчиниться. Apple первой внедрила функции конфиденциальности в свой браузер. В 2017 году он запустил Intelligent Tracking Prevention (ITP) для защиты конфиденциальности своих пользователей.

Как развивались ITP на протяжении многих лет?

ITP менялся с годами, каждая версия вводила новые ограничения. Давайте пройдемся по наиболее важным версиям ITP и посмотрим, какие изменения привнесла каждая из них.

Поделитесь этой инфографикой на своем сайте:

Влияет ли Safari ITP на ваше A/B-тестирование?

Если вы проводите эксперименты с любым из следующих элементов, ITP может повлиять на ваши результаты:

Сторонние файлы cookie

Поскольку ITP не разрешает использование сторонних файлов cookie, это, скорее всего, негативно скажется на вас, и вам следует подумать о переходе на другое решение.

Собственные файлы cookie

Эти файлы cookie будут удалены из браузера пользователя через 7 дней, что может повлиять на ваши данные и взаимодействие с пользователем.

Локальное хранилище

Эти данные будут удалены из браузера пользователя через 7 дней, что может повлиять на результаты тестирования и взаимодействие с пользователем, если путь конверсии обычно превышает неделю.

Тестирование на стороне сервера

На данный момент это самое безопасное решение, но убедитесь, что ваши инструменты тестирования поддерживают группировку и сегментацию на стороне сервера.

Какие инструменты вы можете использовать, чтобы определить влияние ITP?

Если вы все еще не уверены, повлияло ли на вас ITP, вот несколько инструментов, которые помогут вам сразу определить его влияние.

Отчеты Google Аналитики

Вы можете использовать свои отчеты Google Analytics и искать изменения, которые мы рассмотрим ниже. В основном вы будете использовать отчет «Браузер и ОС» и отчет «Источник/канал», чтобы определить влияние ITP на ваши данные.

Калькулятор влияния ITP для данных Google Analytics

Вы также можете использовать калькулятор влияния ITP, чтобы увидеть, как ITP 2.1, 2.2 и 2.3 могли повлиять на ваши данные GA. Существует также статья, в которой вы найдете объяснение вывода этого инструмента.

Как выглядит влияние ITP на результаты A/B-тестирования?

Теперь, когда вы знаете, как определить, подвержены ли вы воздействию ITP, вам может быть интересно, как ITP может повлиять на результаты ваших A/B-тестов.

Итак, давайте посмотрим, какое влияние ITP окажет на результаты ваших A/B-тестов, и какие общие сигналы следует искать в отчетах о A/B-тестировании.

Меньше вернувшихся посетителей с Safari 12.1 и выше

Одним из явных признаков того, что интеллектуальное предотвращение отслеживания имеет место, является увеличение числа новых пользователей, использующих браузеры, принудительно вносящие изменения в ITP, и уменьшение числа вернувшихся пользователей. Это означает, что вы получаете больше новых посетителей и меньше постоянных посетителей, чем обычно.

Это связано с тем, что, когда происходит ITP, файлы cookie больше не могут выполнять свою работу. Ограничения ITP на 24-часовой и 7-дневный таргетинг посетителей изменяют значение термина «повторные посетители».

Те посетители, которые возвращаются на ваш сайт в течение 7 дней после их последнего посещения, точно регистрируются как «вернувшиеся посетители». В то время как пользователи, которые повторно взаимодействовали с вашим сайтом, но совершили конверсию или покупку через 7 дней, неправильно классифицируются как «новые посетители».

Это новое определение «постоянных посетителей» означает, что ITP препятствует надлежащей маркетинговой атрибуции, а также сегментации рынка и ретаргетингу.

Далее давайте покажем вам, как именно вы можете обнаружить эту потенциальную проблему в своих отчетах Google Analytics.

Отфильтруйте отчет «Браузер» по браузерам, содержащим «Safari». Установите метрику, отображаемую на диаграмме, на «Новые пользователи» и «Повторившиеся пользователи», а степень детализации — на «Месяц». Это позволяет увидеть, что со временем фиксируется меньше вернувшихся пользователей.

Вы также можете использовать для этого Калькулятор воздействия ITP. Круговые диаграммы показывают, как количество новых и вернувшихся пользователей менялось с течением времени. В этом случае только 15,8% пользователей с ITP 2.1 или выше могут быть идентифицированы как вернувшиеся пользователи. 22,4% других браузеров могут быть идентифицированы как вернувшиеся пользователи.

Более высокий % новых сеансов

Из-за того, что вернувшихся посетителей нелегко распознать, вы заметите еще одну вещь: это повлияет на параметр «количество сеансов».

Это означает, что вы увидите более высокий процент пользователей Safari с одним подсчетом сеансов.

Давайте посмотрим на этот параметр в Google Analytics.

Отфильтруйте отчет «Браузер» для любого браузера, содержащего «Safari». Установите метрику, отображаемую на диаграмме, на «% новых сеансов» и степень детализации на «Месяц». Это показывает вам тенденции «% новых сеансов» с течением времени.

Вы также можете использовать калькулятор влияния ITP и посмотреть, как изменился «% новых сеансов» после марта 2019 года, когда вступил в силу ITP 2.1. Поскольку продолжительность файлов cookie была уменьшена, вы увидите больше «% новых сеансов» для Safari по сравнению с вашим сайтом в целом, чтобы понять макро- и микропоследствия.

Ошибочно объявленные выигрышные варианты

Это худший страх любого тестировщика. Никто не хочет объявлять ложных победителей, но реальность такова, что ITP может быть виновником. Из-за ITP вы можете заметить некоторые несоответствия заявленным победителям A/B-тестирования.

Поскольку посетители могут быть правильно классифицированы как новые и вернувшиеся только в течение 7 дней, у вас очень мало времени с достоверными данными, чтобы объявить победителя. Но если ваш сайт не получает достаточно трафика до истечения срока действия, может быть объявлен не тот победитель или вообще не будет объявлен победитель.

Посмотрите, как это будет выглядеть в приложении Convert Experiences:

Нет маркетинговой атрибуции

Один из самых больших кошмаров для маркетологов — неспособность правильно атрибутировать конверсии. Это означает, что вы не можете отследить, какие маркетинговые кампании приводят к продажам, и поэтому вы не можете определить, в какие из них стоит инвестировать.

В настоящее время большинство маркетологов используют параметры запроса, такие как параметры UTM, для атрибуции конверсий.

Но они могут быть помечены ITP, что ограничивает срок действия соответствующих файлов cookie с 7 до 1 дня . Это дает вам очень короткое время, чтобы правильно атрибутировать конверсии. Кроме того, как мы уже показывали вам ранее, вернувшиеся посетители не классифицируются надежно по категориям после 7 дней. Это перенаправляет кредит за конверсию посетителя на последний канал взаимодействия или транзакции.

В редких случаях ITP может даже удалить всю дополнительную информацию из URL-адресов. Когда параметры UTM потеряны, невозможно связать конверсию с конкретным каналом или источником, что делает вашу аналитику бессмысленной.

Возьмем два примера.

Посетитель А приходит с партнерского сайта в понедельник, а через неделю возвращается, чтобы совершить покупку:

• До ITP: продажа относится к «Партнеру»
• После ИТП: продажа относится к «Директ»
• Почему: 2-й визит более чем через день после 1-го

Посетитель Б переходит с объявления в Facebook на ваш последний пост в блоге и совершает покупки:

• До ITP: продажа приписывается «Facebook»
• После ИТП: продажа относится к «Директ»
• Почему: посещение блога не связано с посещением другого домена

Перейдите на панель инструментов Google Analytics и выберите «Приобретение», а затем «Весь трафик» в раскрывающемся меню. Чтобы просмотреть список того, как люди находят ваш сайт, перейдите в раздел Источник/Канал.

Если вы полагаетесь на трафик от аффилированных лиц, таких как Facebook и LinkedIn, ITP может подтолкнуть вашу программу веб-аналитики к отображению завышенных значений уникальных посетителей. Партнеры, такие как Facebook и LinkedIn, могут легко распознавать уникальный трафик посетителей из этих источников в обычных условиях, не связанных с ITP. Посетители вашего сайта будут приносить с собой уникальный идентификатор посетителя через URL-адрес, который партнер будет сравнивать с файлом cookie, сброшенным в браузер до этого. Затем партнер будет отслеживать посетителей в разных доменах, используя файлы cookie и идентификацию посетителей.

Ниже вы можете увидеть количество уникальных посетителей, пришедших с Facebook и LinkedIn без влияния ITP:

С ИТП дела обстоят немного иначе. ITP теперь использует черный список доменов, способных к межсайтовому отслеживанию. Если ITP внесет сайты ваших партнеров в черный список и они используют что-то похожее на идентификатор посетителя, сбрасываемые ими файлы cookie будут иметь 24-часовой срок действия вместо обычного 7-дневного. В результате вы сможете отслеживать пользователей только в течение 24 часов.

Если вы должны были загрузить тот же отчет, что и раньше, но теперь он показывает влияние ITP, вы заметите уменьшение «Пользователи»:

Нет постоянного создания профиля пользователя

С ITP создание профиля пользователя больше недоступно. Профиль пользователя также будет размыт. Средство отслеживания профилей пользователей больше не может выдавать посетителям постоянный идентификатор пользователя или клиента при использовании ITP. Это динамическая ситуация. Затрагивается и механизм «ретаргетинга». Чтобы предоставить наиболее подходящий контент и рекламу, ретаргетинг в значительной степени зависит от постоянного идентификатора пользователя.

Значимые персонализации только для новых посетителей

Персонализация будет затронута в зависимости от лежащей в ее основе логики.

Персонализация в реальном времени, при которой взаимодействие с пользователем определяется его поведением во время конкретного сеанса, останется неизменной. Однако распознавание их предпочтений и поведения по возвращении больше не будет работать, если они не вернутся на ваш сайт в течение 7 дней.

Проблемы веб-функциональности

ITP оказывает влияние и на другие области, такие как веб-функциональность и аффилированный маркетинг. Если вы используете файлы cookie с возможностью записи по сценарию или любую другую форму хранилища с возможностью записи для сохранения данных посетителей, вы действительно почувствуете эффект ITP. Ваш веб-сайт может регулярно запрашивать согласие на использование файлов cookie, сбрасывать настройки языка и валюты до значений по умолчанию и т. д.

Сквозная производительность

Из-за ограничения основных файлов cookie на вашем веб-сайте ITP оказывает влияние на ваш цифровой маркетинг и, как следствие, на ваш бизнес в целом. Поскольку рекламные и аналитические платформы используют эти файлы cookie для отслеживания и отчетности, внедрение ITP означает, что больше нельзя полностью доверять маркетинговым данным.

Живой A/B-тест использовался для имитации влияния ITP

Рассмотрим веб-сайт, который получает 30% своего трафика от пользователей Safari. Он получает 200 000 уникальных посетителей в месяц и имеет коэффициент конверсии в среднем 3%.

Мы создали симуляцию того, что произойдет, если провести двухстраничный A/B-тест (исходный и вариант1). Вариант 1, по теории, превосходит Оригинал.

На нашем графике, однако, видно, что если ITP не удален, то с Оригиналом дела обстоят лучше.

Моделирование показывает, что из-за ITP инструмент экспериментирования сообщит, что оригинал является победителем через 7 дней.

Это противоположно результатам, полученным при устранении влияния ITP, что показывает, что вариант 1 должен быть фактически выигрышным результатом.

По сути, ITP приводит к тому, что ваш A/B-тест дает совершенно неточные и ненадежные результаты. Однако есть кое-что, что вы можете с этим поделать. Читайте дальше, чтобы узнать, что это такое.

Что произойдет, если вы проигнорируете влияние ITP на результаты A/B-тестирования?

В своей Политике предотвращения отслеживания Apple заявила:

Это означает, что если ваш веб-сайт попытается обойти встроенные функции защиты от отслеживания Apple, он будет рассматриваться как вредоносное ПО.

Если вы попытаетесь использовать льготный период, вы можете не сразу заметить влияние в своих отчетах Analytics, но вы увидите несоответствие между Google Analytics/вашей экспериментальной платформой и другими внешними поставщиками, которые принимают во внимание изменения ITP.

Решение Convert для обхода ITP

Давайте начнем с примера, чтобы понять, как ITP может повлиять на ваш опыт и отчеты Convert (если вы не примените наше решение ниже).

Например, если ваша воронка состоит из трех шагов, а посетитель завершает последний шаг на восьмой день, последовательность воронки никогда не будет завершена, даже если посетитель выполнит все шаги. Это связано с тем, что данные, собранные на протяжении всего пути клиента, могут истечь через 7 дней.

Кроме того, посетитель рассматривается как новый посетитель, и процесс сбора данных начинается заново.

Результаты становятся неясными, потому что один и тот же пользователь отслеживается много раз.

Это также может означать, что если посетитель вернется на веб-сайт через 7 дней, ему будет предложена другая версия того же теста, чем та, которая отображалась ранее.

Это может привести к несоответствиям в пользовательском опыте и повлиять на точность кампании.

Посетители, которые приходят на ваш сайт из домена с возможностями междоменного отслеживания и строкой запроса или идентификатором фрагмента в URL-адресе, распознаются как новые посетители, если они приходят через 24 часа после предыдущего посещения, даже если они задержались на сайте немного дольше. до этого.

Это связано с тем, что файлы cookie содержат информацию о том, какой вариант был показан пользователю.

Так что же может пойти не так в вашем опыте и отчетах Convert?

• Тот, кто возвращается несколько раз во время опыта, может каждый раз иметь разные вариации.
• Из-за различных стандартов защиты конфиденциальности в каждом браузере одно и то же действие может выполняться по-разному.
• Конверсии не могут быть должным образом связаны с впечатлениями, предлагаемыми в течение длительных периодов конверсии (более 7 дней).
• По мере того, как четкое разделение влияния вариаций становится все труднее, ваша программа оптимизации будет замечать более «неубедительные» или «плоские» результаты.
• Поскольку вернувшиеся посетители ошибочно помечаются как новые посетители, эксперименты, скорее всего, превысят предварительно рассчитанный минимальный размер выборки раньше, чем ожидалось.
• Пользователи не будут идентифицированы во время посещений.

К счастью, ничего из вышеперечисленного не должно произойти с вами.

Чтобы преодолеть вышеперечисленные проблемы, мы изучили многочисленные методы смягчения воздействия ITP, прежде чем принять решение о переносе процесса создания файлов cookie из браузера на сервер.

Поскольку новые ограничения продолжительности действия файлов cookie применяются только к файлам cookie, созданным браузером, мы переместили часть создания файлов cookie на ваш веб-сервер, что означает, что файлы cookie будут создаваться вашим сервером, а не браузерами пользователей.

Для пользователей, которые не могут применить наше решение ITP

Если указанное выше решение невозможно с вашей стороны, Convert предлагает фильтрацию результатов вашего взаимодействия с помощью набора пользовательских сегментов по умолчанию, который включает в себя браузер, прямо из коробки.

Используйте параметр «Сегмент браузера», чтобы отобразить результаты, включающие и исключающие Safari, чтобы проверить согласованность результатов эксперимента в разных браузерах.

Вот как:

Перейдите на вкладку «Отчет» вашего опыта:

В раскрывающемся списке «Сегмент» установите флажки «Фильтровать по браузеру»:

Выберите все браузеры, перечисленные в меню, кроме Safari.

Это позволяет вам просматривать результаты со всеми типичными отчетными цифрами и расчетами статистической значимости, с учетом и без учета совокупности посетителей, на которых может повлиять ITP.

Просто имейте в виду, что другие браузеры могут форсировать эти изменения конфиденциальности по умолчанию, поэтому этот обходной путь применим только до тех пор, пока ITP не будет принудительно применен ко всем другим браузерам (аналогично Safari).

Заключительные мысли

Как компании должны управлять этой территорией, учитывая постоянно меняющиеся требования к конфиденциальности, а также улучшать маркетинговые усилия, сохранять конкурентное преимущество и удовлетворять растущий спрос на индивидуальный подход к клиентам?

К сожалению, простого решения не существует.

Главное помнить, что если ваша компания еще этого не сделала, важно убедиться, что ваши команды осведомлены о проблемах конфиденциальности и потенциальных последствиях сбора данных, анализа результатов и оптимизации.

Было бы серьезной ошибкой закрывать глаза или игнорировать потенциальные эффекты только потому, что Safari может представлять собой небольшую часть вашего трафика.

В то время как Safari находится на переднем крае повышения защиты данных, Firefox и Chrome также предпринимают шаги для улучшения своей конфиденциальности. В результате эти ограничения могут повлиять на большее количество пользователей вашего сайта.

Если ваши команды изо всех сил пытаются не отставать от всех новых обновлений конфиденциальности и определить, как они повлияют на бизнес, дайте нам знать.

Три основных стратегических решения Convert направлены на обновление важных аспектов бизнеса, на которые может повлиять изменение правил конфиденциальности, таких как:

• Улучшение клиентского опыта
• Повышение ваших маркетинговых результатов
• Получение конкурентного преимущества

Теперь мы помогаем нашим клиентам ориентироваться в обновлениях ITP и обеспечиваем наличие необходимых обходных путей в их различных системах. Дайте нам знать, если мы можем сделать то же самое для вас.