Apple의 ITP에도 불구하고 A/B 테스트에서 정확한 결과를 보장하는 방법

원래 Safari 사용자를 위해 타사 쿠키(여러 도메인에서 사용자를 식별하는 추적기)를 차단하도록 설계되었습니다. 시간이 지남에 따라 추적기 역할을 하는 일부 자사 쿠키도 제한하는 것으로 발전했습니다. 여기에 ITP의 중요성이 있습니다. 악의적인 방문자 추적을 방지하는 데 탁월한 역할을 합니다.

Safari ITP가 등장한 이유는 무엇입니까?

오랫동안 ITP가 개발되기 전에는 제3자 데이터가 마케팅, 분석 및 광고 산업을 위한 웹사이트 방문자 정보의 주요 소스였습니다.

그러나 방문자는 누가 자신의 개인 데이터에 액세스할 수 있는지, 무엇을 할 수 있는지에 대한 단서가 없었습니다. 누가 정보에 액세스할 수 있는지에 대한 투명성이 부족하여 회사가 이를 책임감 있게 사용하고 있는지 여부를 알기가 어려웠습니다.

솔루션은 일련의 예상치 못한 개인정보 보호법(GDPR, CCPA, CPRA, LGPD, ePrivacy)에서 제공되었으며, 이를 통해 사용자는 회사에서 개인 정보를 수집하거나 부적절하게 액세스하는 시기를 이해하고 이를 사용하는 방법을 결정할 수 있습니다. – 수집을 원하는지 여부를 포함합니다!

사용자 개인 정보를 보호하는 이러한 법률이 도입됨에 따라 브라우저는 준수해야 했습니다. Apple은 브라우저에 개인 정보 보호 기능을 처음으로 통합했습니다. 2017년에는 사용자의 개인 정보를 보호하기 위해 지능형 추적 방지(ITP)를 출시했습니다.

ITP는 수년에 걸쳐 어떻게 발전해 왔습니까?

ITP는 수년에 걸쳐 변경되었으며 각 버전에는 새로운 제한 사항이 도입되었습니다. 가장 중요한 ITP 버전을 살펴보고 각각이 어떤 변화를 가져왔는지 살펴보겠습니다.

귀하의 사이트에서 이 인포그래픽을 공유하십시오:

A/B 테스트가 Safari ITP의 영향을 받습니까?

다음 중 하나로 실험을 수행하는 경우 ITP가 결과에 영향을 줄 수 있습니다.

타사 쿠키

ITP는 타사 쿠키를 허용하지 않기 때문에 부정적인 영향을 받을 가능성이 높으므로 다른 솔루션으로 전환하는 것을 고려해야 합니다.

자사 쿠키

이 쿠키는 7일 후에 사용자의 브라우저에서 삭제되며, 이는 귀하의 데이터와 사용자 경험에 영향을 미칠 수 있습니다.

로컬 스토리지

이 데이터는 7일 후에 사용자의 브라우저에서 삭제되며, 일반적으로 전환 경로가 일주일 이상인 경우 테스트 결과와 사용자 경험에 영향을 미칠 수 있습니다.

서버 측 테스트

이것은 현재로서는 가장 안전한 솔루션이지만 테스트 도구가 서버 측 버킷팅 및 세분화를 지원하는지 확인하십시오.

ITP 영향을 파악하기 위해 어떤 도구를 사용할 수 있습니까?

ITP의 영향을 받았는지 여전히 확실하지 않은 경우, ITP의 영향을 즉시 파악하는 데 도움이 될 수 있는 몇 가지 도구가 있습니다.

구글 애널리틱스 보고서

Google Analytics 보고서를 사용하여 아래에서 다루는 변경 사항을 찾을 수 있습니다. 주로 브라우저 및 OS 보고서와 소스/매체 보고서를 사용하여 데이터에 대한 ITP 영향을 식별합니다.

Google Analytics 데이터용 ITP 영향 계산기

ITP 영향 계산기를 사용하여 ITP 2.1, 2.2 및 2.3이 GA 데이터에 어떤 영향을 미쳤는지 확인할 수도 있습니다. 이 도구의 출력에 대한 설명을 찾을 수 있는 기사도 있습니다.

ITP가 A/B 테스트 결과에 미치는 영향은 무엇입니까?

이제 ITP의 영향을 받는지 확인하는 방법을 알았으므로 ITP가 A/B 테스트 결과에 어떤 영향을 미칠 수 있는지 궁금할 것입니다.

따라서 ITP가 A/B 테스트 결과에 미치는 영향과 A/B 테스트 보고서에서 찾아야 할 몇 가지 일반적인 신호를 살펴보겠습니다.

Safari 12.1 이상을 사용하는 재방문자 감소

ITP 변경을 강제하는 브라우저를 사용하는 신규 사용자의 수는 증가하고 재방문 사용자의 수는 감소할 때 Intelligent Tracking Prevention이 실행되고 있음을 알 수 있습니다. 즉, 평소보다 신규 방문자는 더 많고 재방문자는 더 적습니다.

ITP가 발생하면 쿠키가 더 이상 제 역할을 할 수 없기 때문입니다. ITP의 24시간 및 7일 방문자 타겟팅 제한은 "재방문자"의 의미를 변경합니다.

마지막 방문 후 7일 이내에 귀하의 웹사이트를 다시 방문하는 방문자는 "재방문자"로 정확하게 보고됩니다. 귀하의 사이트와 반복적으로 상호작용했지만 7일 후에 전환하거나 구매한 사용자는 "신규 방문자"로 잘못 분류됩니다.

"재방문자"에 대한 이러한 재정의는 ITP가 시장 세분화 및 리타게팅뿐만 아니라 적절한 마케팅 속성을 억제한다는 것을 의미합니다.

다음으로, Google Analytics 보고서에서 이 잠재적인 문제를 정확히 찾아내는 방법을 보여드리겠습니다.

"Safari"가 포함된 브라우저별로 "브라우저" 보고서를 필터링합니다. 차트에 시각화된 메트릭을 "신규 사용자" 및 "재방문 사용자"로 설정하고 세분성을 "월"로 설정합니다. 이를 통해 시간이 지남에 따라 더 적은 수의 재방문 사용자가 포착되었음을 확인할 수 있습니다.

이를 위해 ITP 영향 계산기를 사용할 수도 있습니다. 파이 차트는 신규 및 재방문 사용자 수가 시간이 지남에 따라 어떻게 변했는지 보여줍니다. 이 경우 ITP 2.1 이상 사용자 중 15.8%만이 재방문 사용자로 식별될 수 있습니다. 다른 브라우저의 22.4%는 재방문 사용자로 식별될 수 있습니다.

더 높은 % 새 세션

재방문자는 쉽게 알아볼 수 없기 때문에 "세션 수" 차원이 영향을 받습니다.

이는 단일 세션 수로 더 높은 비율의 Safari 사용자를 볼 수 있음을 의미합니다.

Google Analytics에서 이 측정기준을 살펴보겠습니다.

"Safari"가 포함된 모든 브라우저로 "브라우저" 보고서를 필터링합니다. 차트에 시각화된 메트릭을 "% New Sessions"로 설정하고 세분성을 "Month"로 설정합니다. 이것은 시간 경과에 따른 "% New Sessions" 경향을 보여줍니다.

ITP 영향 계산기를 사용하여 ITP 2.1이 발효된 2019년 3월 이후 "% New Sessions"가 어떻게 변경되었는지 확인할 수도 있습니다. 쿠키의 기간이 단축되었기 때문에 매크로 및 미시적 의미를 이해하기 위해 사이트 전체에 비해 Safari의 "% New Sessions"가 더 많이 표시됩니다.

잘못 선언된 우승 변형

이것은 모든 테스터의 가장 큰 두려움입니다. 아무도 거짓 승자를 선언하고 싶어하지 않지만, 현실은 ITP가 범인일 수 있다는 것입니다. ITP로 인해 선언된 A/B 테스트 승자와 일부 불규칙성을 발견할 수 있습니다.

방문자는 7일 동안만 신규 및 재방문으로 정확하게 분류될 수 있으므로 유효한 데이터를 가지고 매우 짧은 시간에 승자를 선언할 수 있습니다. 그러나 만료일 전에 사이트에 충분한 트래픽이 발생하지 않으면 잘못된 승자가 선언되거나 승자가 전혀 선언되지 않을 수 있습니다.

Convert Experiences 앱에서 다음과 같이 표시됩니다.

마케팅 저작자 표시 없음

마케터에게 가장 큰 악몽 중 하나는 전환을 적절하게 어트리뷰트할 수 없다는 것입니다. 즉, 어떤 마케팅 캠페인이 판매로 이어지는지 추적할 수 없으므로 어떤 캠페인에 투자할 가치가 있는지 결정할 수 없습니다.

오늘날 대부분의 마케터는 UTM 매개변수와 같은 쿼리 매개변수를 사용하여 전환을 어트리뷰트합니다.

그러나 관련 쿠키를 7일 에서 1 일로 제한하는 ITP에 의해 플래그가 지정될 수 있습니다. 이렇게 하면 전환을 적절하게 어트리뷰트할 수 있는 매우 짧은 기간이 제공됩니다. 또한 이전에 보여드린 것처럼 재방문자는 7일 이상으로 확실하게 분류되지 않습니다. 이것은 방문자의 참여 또는 거래의 마지막 채널로의 전환에 대한 크레딧을 잘못 지정합니다.

드문 경우지만 ITP는 URL에서 모든 추가 정보를 제거할 수도 있습니다. UTM 매개변수가 손실되면 변환을 특정 채널이나 소스로 연결할 방법이 없어 분석을 무의미하게 만듭니다.

두 가지 예를 들어보겠습니다.

방문자 A는 월요일에 제휴 사이트에서 왔다가 일주일 후에 다음 항목을 구매하기 위해 다시 방문합니다.

• ITP 이전: 판매는 "제휴사"에 귀속됩니다.
• ITP 이후: 판매는 "직접"에 귀속됩니다.
• 사유: 2차 방문이 1차 방문보다 하루 이상 지난 경우

방문자 B는 Facebook 광고에서 가장 최근의 블로그 게시물 및 구매 항목을 클릭합니다.

• ITP 이전: 판매는 "Facebook"에 귀속됩니다.
• ITP 이후: 판매는 "직접"에 귀속됩니다.
• 이유: 블로그 방문이 다른 도메인 방문과 연결되지 않음

Google Analytics 대시보드로 이동하여 획득을 선택한 다음 드롭다운 메뉴에서 모든 트래픽을 선택합니다. 사람들이 귀하의 사이트를 찾는 방법 목록을 보려면 소스/매체로 이동하십시오.

Facebook 및 LinkedIn과 같은 계열사의 트래픽에 의존하는 경우 ITP는 웹 분석 프로그램을 푸시하여 부풀려진 고유 방문자를 표시할 수 있습니다. Facebook 및 LinkedIn과 같은 계열사는 ITP가 아닌 일반 조건에서 이러한 소스의 고유 방문자 트래픽을 쉽게 인식할 수 있습니다. 귀하의 사이트 방문자는 URL을 통해 고유 방문자 식별자를 가져오고 제휴사는 그 전에 브라우저에 떨어진 쿠키와 비교합니다. 그런 다음 제휴사는 쿠키 및 방문자 ID를 사용하여 도메인 전체의 방문자를 모니터링합니다.

아래에서 ITP 영향 없이 Facebook 및 LinkedIn에서 오는 고유 방문자 수를 확인할 수 있습니다.

ITP를 사용하면 상황이 약간 다릅니다. ITP는 이제 교차 사이트 추적이 가능한 도메인 블랙리스트를 사용합니다. ITP가 귀하의 계열사 사이트를 블랙리스트에 올리고 방문자 식별자처럼 보이는 것을 사용하는 경우 해당 쿠키는 일반적인 7일이 아닌 24시간의 만료 기간을 갖습니다. 따라서 24시간 이내에만 사용자를 추적할 수 있습니다.

이전과 동일한 보고서를 로드했지만 이제 ITP 영향을 표시하는 경우 "사용자"가 감소한 것을 알 수 있습니다.

영구 사용자 프로필 생성 없음

ITP를 사용하면 더 이상 사용자 프로필을 생성할 수 없습니다. 사용자 프로필도 흐리게 표시됩니다. 사용자 프로필 추적기는 ITP를 사용할 때 방문자에게 더 이상 영구 사용자 또는 고객 ID를 발급할 수 없습니다. 이것은 역동적인 상황입니다. "재타겟팅" 메커니즘도 영향을 받습니다. 가장 적절한 콘텐츠와 광고를 제공하기 위해 리타게팅은 주로 사용자의 영구 ID에 의존합니다.

신규 방문자만을 위한 의미 있는 개인화

개인화는 이를 뒷받침하는 논리에 따라 영향을 받습니다.

사용자의 경험이 특정 세션 동안의 행동에 의해 형성되는 실시간 개인화는 영향을 받지 않습니다. 그러나 그들이 돌아올 때 선호도와 행동을 인식하는 것은 7일 이내에 귀하의 사이트로 돌아오지 않는 한 더 이상 작동하지 않습니다.

웹 기능 문제

ITP는 웹 기능 및 제휴 마케팅과 같은 다른 영역에도 영향을 미칩니다. 스크립트 쓰기 가능한 쿠키나 다른 형태의 스크립트 쓰기 가능한 저장소를 사용하여 방문자 데이터를 저장하면 ITP의 효과를 실제로 느낄 수 있습니다. 귀하의 웹사이트는 정기적으로 쿠키 동의를 요청하고 언어 및 통화 기본 설정을 기본 설정으로 재설정하는 등의 작업을 수행할 수 있습니다.

엔드 투 엔드 성능

웹사이트의 퍼스트 파티 쿠키에 대한 제한 때문에 ITP는 디지털 마케팅에 영향을 미치고 결과적으로 비즈니스 전체에 영향을 미칩니다. 광고 및 분석 플랫폼은 추적 및 보고를 위해 이러한 쿠키에 의존하기 때문에 ITP의 구현은 마케팅 데이터 통찰력을 더 이상 완전히 신뢰할 수 없음을 의미합니다.

ITP의 영향을 시뮬레이션하기 위해 라이브 A/B 테스트가 사용되었습니다.

Safari 사용자로부터 트래픽의 30%를 수신하는 웹 사이트를 고려하십시오. 월간 순 방문자 수는 200,000명이며 평균 전환율은 3%입니다.

두 페이지의 A/B 테스트(Original 및 Variant1)가 수행되면 어떻게 될지 시뮬레이션을 만들었습니다. 이론에 따르면 변형 1은 원본을 능가합니다.

그러나 그래프에서 ITP가 제거되지 않은 경우 원본이 더 잘 수행되고 있음을 알 수 있습니다.

시뮬레이션은 ITP로 인해 실험 도구가 7일 후에 원본이 승자로 보고함을 보여줍니다.

이것은 ITP의 영향을 제거했을 때 얻은 결과와 반대이며 Variant1이 실제 승리 결과여야 함을 보여줍니다.

기본적으로 ITP는 A/B 테스트가 완전히 부정확하고 신뢰할 수 없는 결과를 생성하도록 합니다. 그래도 할 수 있는 일이 있습니다. 그것이 무엇인지 계속 읽으십시오.

A/B 테스트 결과에서 ITP의 영향을 무시하면 어떻게 됩니까?

추적 방지 정책에서 Apple은 다음과 같이 말했습니다.

즉, 웹 사이트가 Apple의 내장된 추적 방지 기능을 우회하려고 하면 맬웨어로 처리됩니다.

유예 기간을 사용하려고 하면 Analytics 보고에 즉시 영향을 미치지 않을 수 있지만 Google Analytics/실험 플랫폼과 ITP 변경 사항을 고려하는 다른 외부 제공업체 간에 불일치가 표시됩니다.

ITP를 우회하기 위한 Convert의 솔루션

ITP가 귀하의 변환 경험 및 보고서에 어떤 영향을 미칠 수 있는지 이해하기 위해 예제로 시작하겠습니다(아래 솔루션을 적용하지 않는 경우).

예를 들어 유입경로에 3단계가 있고 방문자가 8일째에 마지막 단계를 완료하는 경우 방문자가 모든 단계를 완료하더라도 유입경로의 흐름은 완료되지 않습니다. 고객 여정을 통해 수집된 데이터는 7일 후에 만료될 수 있기 때문입니다.

이 외에도 방문자는 새로운 방문자로 취급되며 데이터 수집 프로세스가 새로 시작됩니다.

동일한 사용자를 여러 번 추적하므로 결과가 불명확해집니다.

이는 방문자가 7일 후에 웹사이트를 다시 방문하는 경우 이전에 표시된 것과 동일한 테스트의 다른 버전이 제공됨을 의미할 수도 있습니다.

그러면 사용자 경험의 불일치가 발생하고 캠페인 정확도에 영향을 줄 수 있습니다.

교차 도메인 추적 기능이 있는 도메인에서 사이트에 도착한 방문자와 URL에 쿼리 문자열 또는 조각 식별자가 있는 방문자는 사이트에 도착한 시간이 조금 더 길더라도 이전 방문 후 24시간 후에 도착하면 신규 방문자로 인식됩니다. 그것 앞에.

쿠키는 사용자에게 어떤 변형이 표시되었는지에 대한 정보를 보유하기 때문입니다.

그렇다면 Convert 경험과 보고서에서 무엇이 잘못될 수 있습니까?

• 경험 중에 여러 번 돌아온 사람은 매번 다른 변형을 가질 수 있습니다.
• 브라우저마다 개인 정보 보호 표준이 다르기 때문에 동일한 활동이라도 다르게 수행될 수 있습니다.
• 전환은 긴 전환 기간(7일 이상) 동안 제공된 경험으로 인해 적절하지 않을 수 있습니다.
• 변형 영향의 명확한 분리가 더 어려워짐에 따라 최적화 프로그램은 더 "결정적이지 않은" 또는 "평평한" 결과를 알아차릴 것입니다.
• 재방문자는 신규 방문자로 잘못 분류되기 때문에 실험은 예상보다 일찍 사전 계산된 최소 샘플 크기를 초과할 수 있습니다.
• 사용자는 방문을 통해 식별할 수 없습니다.

다행히도 위의 어느 것도 당신에게 일어날 필요가 없습니다.

위의 문제를 극복하기 위해 쿠키 생성 프로세스를 브라우저에서 서버로 이전하기로 결정하기 전에 ITP의 영향을 완화하기 위한 다양한 기술을 조사했습니다.

새로운 쿠키 기간 제한은 브라우저에서 생성된 쿠키에만 적용되므로 쿠키 발행 부분을 웹 서버로 옮겼습니다. 즉, 쿠키는 사용자의 브라우저가 아닌 귀하의 서버에서 생성됨을 의미합니다.

ITP 솔루션을 적용할 수 없는 사용자를 위해

위의 솔루션이 귀하의 입장에서 가능하지 않은 경우, Convert는 브라우저를 포함하는 기본 사용자 세그먼트 세트로 경험 결과를 바로 필터링할 수 있는 기능을 제공합니다.

브라우저 세그먼트 옵션을 사용하여 Safari를 포함하거나 제외하는 결과를 표시하여 실험 결과의 브라우저 간 일관성을 확인합니다.

방법은 다음과 같습니다.

경험의 "신고" 탭으로 이동합니다.

세그먼트 드롭다운에서 '브라우저별 필터링' 확인란을 사용합니다.

Safari를 제외한 메뉴에 나열된 모든 브라우저를 선택합니다.

이를 통해 ITP의 영향을 받을 수 있는 방문자 수와 관계없이 모든 일반적인 보고 수치 및 통계적 유의성 계산으로 결과를 볼 수 있습니다.

다른 브라우저는 기본적으로 이러한 개인 정보 변경을 강제할 수 있으므로 이 해결 방법은 ITP가 다른 모든 브라우저(Safari와 유사)에 강제 적용될 때까지만 적용할 수 있습니다.

마무리 생각

끊임없이 변화하는 개인 정보 보호 요구 사항을 고려할 때 기업은 마케팅 노력을 개선하고 경쟁 우위를 유지하며 개별화된 소비자 경험에 대한 증가하는 수요를 충족하면서 이러한 지형을 어떻게 관리해야 할까요?

불행히도 간단한 해결책은 없습니다.

기억해야 할 중요한 점은 회사에서 아직 인지하지 못한 경우 팀이 개인 정보 보호 문제와 데이터 수집, 결과 분석 및 최적화의 잠재적인 결과를 인지하고 있는지 확인하는 것이 중요하다는 것입니다.

Safari가 트래픽의 작은 부분을 차지할 수 있다는 이유로 눈을 돌리거나 잠재적인 영향을 무시하는 것은 중대한 오류입니다.

Safari가 데이터 보호를 강화하는 데 앞장서고 있는 동안 Firefox와 Chrome도 개인 정보를 개선하기 위한 조치를 취하고 있습니다. 결과적으로 이러한 제한은 더 많은 수의 사이트 사용자에게 영향을 미칠 수 있습니다.

귀하의 팀이 모든 새로운 개인 정보 보호 업데이트를 유지하고 비즈니스에 어떤 영향을 미칠지 결정하는 데 어려움을 겪고 있다면 저희에게 소리를 지르십시오.

Convert의 세 가지 주요 전략 솔루션은 다음과 같이 개인 정보 보호 규정 변경으로 인해 영향을 받을 수 있는 비즈니스의 중요한 측면을 업데이트하는 데 중점을 두고 있습니다.

• 고객 경험 향상
• 마케팅 결과 향상
• 경쟁 우위 확보

이제 우리는 고객이 ITP 업데이트를 탐색하고 다양한 시스템에서 필수 해결 방법이 있는지 확인하도록 지원하고 있습니다. 우리가 당신을 위해 똑같이 할 수 있는지 알려주십시오.