尽管有 Apple 的 ITP，如何确保 A/B 测试的准确结果

它最初旨在为 Safari 用户阻止第三方 cookie（识别不同域用户的跟踪器）。 随着时间的推移，它演变成还限制了一些充当跟踪器的第一方 cookie。 这就是ITP的重要性所在。 它在防止恶意访问者跟踪方面做得很好。

为什么 Safari ITP 应运而生？

长期以来，在 ITP 开发之前，第三方数据是营销、分析和广告行业网站访问者信息的主要来源。

然而，访问者不知道谁可以访问他们的个人数据以及他们可以用这些数据做什么。 由于谁可以访问这些信息缺乏透明度，因此很难知道公司是否负责任地使用这些信息。

该解决方案来自一系列意想不到的隐私法（GDPR、CCPA、CPRA、LGPD、ePrivacy），使用户能够了解他们的个人信息何时被公司收集或不正当访问，从而使他们能够决定如何使用这些信息——包括他们是否想要收集它！

随着这些保护用户隐私的法律的出台，浏览器被迫遵守。 苹果是第一个在其浏览器中加入隐私功能的公司。 2017 年，它推出了智能跟踪预防 (ITP)，以保护其用户的隐私。

多年来 ITP 是如何发展的？

ITP 多年来发生了变化，每个版本都引入了新的限制。 让我们浏览 ITP 最重要的版本，看看它们各自带来了哪些变化。

在您的网站上分享此信息图：

您的 A/B 测试是否受到 Safari ITP 的影响？

如果您使用以下任何一项进行实验，ITP 可能会对您的结果产生影响：

第三方 Cookie

由于 ITP 不允许第三方 cookie，您很可能会受到负面影响，应考虑切换到其他解决方案。

第一方 Cookie

这些 cookie 将在 7 天后从用户的浏览器中删除，这可能会影响您的数据和用户体验。

本地存储

该数据将在 7 天后从用户的浏览器中删除，如果转化路径通常超过一周，这可能会影响您的测试结果和用户体验。

服务器端测试

这是目前最安全的解决方案，但请确保您的测试工具支持服务器端分桶和分段。

您可以使用哪些工具来确定 ITP 影响？

如果您仍然不确定自己是否受到 ITP 的影响，这里有一些工具可以帮助您立即发现它的影响。

谷歌分析报告

您可以使用您的 Google Analytics（分析）报告并查看我们在下面介绍的更改。 您将主要使用 Browser & OS 报告和 Source/Medium 报告来确定 ITP 对您的数据的影响。

谷歌分析数据的 ITP 影响计算器

您还可以使用 ITP 影响计算器查看 ITP 2.1、2.2 和 2.3 可能如何影响您的 GA 数据。 还有一篇文章，您可以在其中找到有关此工具输出的说明。

ITP 对 A/B 测试结果有何影响？

既然您知道如何发现自己是否受到 ITP 的影响，您可能想知道 ITP 如何影响您的 A/B 测试结果。

因此，让我们看看 ITP 会对您的 A/B 测试结果产生多大影响，以及在您的 A/B 测试报告中寻找的一些常见信号。

Safari 12.1 及更高版本的回访者减少

智能跟踪预防正在发生的一个迹象是，当使用强制 ITP 更改的浏览器的新用户数量增加，而返回用户数量减少时。 这意味着您获得了比平时更多的新访客和更少的回访者。

这是因为，当 ITP 发生时，cookie 无法再发挥作用。 ITP 的 24 小时和 7 天访客定位限制改变了“回头客”的含义。

那些在上次访问后 7 天内再次访问您网站的访问者被准确地报告为“回访者”。 虽然反复与您的网站互动但在 7 天后转换或购买的用户被错误地归类为“新访问者”。

这种对“回头客”的重新定义意味着 ITP 抑制了适当的营销归因，以及市场细分和重新定位。

接下来，让我们向您展示如何在 Google Analytics（分析）报告中发现此潜在问题。

按包含“Safari”的浏览器过滤“浏览器”报告。 将图表中可视化的指标设置为“新用户”和“回访用户”，粒度设置为“月”。 这使您可以看到随着时间的推移捕获的回访用户越来越少。

您也可以为此使用 ITP 影响计算器。 饼图显示了新用户和回访用户的数量随时间的变化情况。 在这种情况下，只有 15.8% 的 ITP 2.1 或更高版本的用户可能被识别为回访用户。 22.4% 的其他浏览器可以被识别为回访用户。

更高的新会话百分比

由于不容易识别回访者，您会注意到的另一件事是“会话数”维度会受到影响。

这意味着您将看到更高百分比的 Safari 用户具有单个会话计数。

让我们看看 Google Analytics 中的这个维度。

将“浏览器”报告过滤到任何包含“Safari”的浏览器。 将图表中可视化的指标设置为“% New Sessions”，将粒度设置为“Month”。 这会向您显示一段时间内的“新会话百分比”趋势。

您还可以使用 ITP 影响计算器，查看 2019 年 3 月 ITP 2.1 生效后“新会话百分比”的变化情况。 由于 cookie 的持续时间已减少，因此与您的网站相比，您将看到更多 Safari 的“新会话百分比”，以了解宏观和微观影响。

错误地宣布获胜的变体

这是任何测试人员最害怕的事情。 没有人想宣布虚假的赢家，但现实是 ITP 可能是罪魁祸首。 由于 ITP，您可能会注意到您宣布的 A/B 测试获胜者存在一些违规行为。

由于访客只能在 7 天内正确归类为新访客和回访者，因此您只有很短的时间拥有有效数据来宣布获胜者。 但是，如果您的网站在到期日期之前没有获得足够的流量，则可能会宣布错误的获胜者或根本没有宣布获胜者。

在 Convert Experiences 应用程序中查看这会是什么样子：

没有营销归因

营销人员最大的噩梦之一就是无法正确归因转化。 这意味着您无法跟踪哪些营销活动带来了销售，因此您无法确定哪些值得投资。

如今，大多数营销人员使用 UTM 参数等查询参数来属性转换。

但是这些可以被 ITP 标记，它将相关的 cookie 从 7 天限制到 1 天。 这为您提供了一个非常短的窗口来正确归因转换。 此外，正如我们之前向您展示的那样，回访者不能可靠地分类超过 7 天。 这会将访问者转化为最后一个参与或交易渠道的功劳误导。

在极少数情况下，ITP 甚至可以从 URL 中删除所有额外信息。 当 UTM 参数丢失时，无法将转化链接到特定渠道或来源，从而使您的分析变得毫无意义。

让我们举两个例子。

访客 A 周一来自一个附属网站，然后在一周后回来购买：

• 在 ITP 之前：销售归因于“附属公司”
• 在 ITP 之后：销售归因于“直接”
• 原因：第二次访问比第一次晚一天多

访问者 B 从 Facebook 广告点击到您最近的博客文章和购买：

• 在 ITP 之前：销售归因于“Facebook”
• 在 ITP 之后：销售归因于“直接”
• 原因：对博客的访问与对另一个域的访问没有关联

转到您的 Google Analytics（分析）仪表板并选择 Acquisition，然后从下拉菜单中选择 All Traffic。 要查看人们如何找到您的网站的列表，请转到来源/媒体。

如果您依赖来自 Facebook 和 LinkedIn 等附属公司的流量，ITP 可能会推动您的网络分析程序以显示夸大的唯一访问者。 Facebook 和 LinkedIn 等附属公司可以在常规、非 ITP 条件下轻松识别来自这些来源的独特访问者流量。 您网站的访问者将通过 URL 携带一个唯一的访问者标识符，附属公司会将其与之前放置在浏览器上的 cookie 进行比较。 然后，附属公司将使用 cookie 和访问者标识监控跨域的访问者。

您可以在下面看到来自 Facebook 和 LinkedIn 的不受 ITP 影响的唯一访问者数量：

有了 ITP，情况就有些不同了。 ITP 现在使用能够跨站点跟踪的域黑名单。 如果 ITP 将您的附属网站列入黑名单，并且他们使用类似于访问者标识符的东西，那么他们丢弃的 cookie 将有 24 小时的有效期，而不是通常的 7 天。 因此，您只能在 24 小时内跟踪用户。

如果您要加载与以前相同的报告，但现在显示 ITP 影响，您会注意到“用户”减少：

没有持久的用户配置文件创建

使用 ITP，用户配置文件创建不再可用。 用户配置文件也将是模糊的。 使用 ITP 时，用户配置文件跟踪器不再能够向访问者发出持久的用户或客户 ID。 这是一个动态的情况。 “重定向”的机制也受到影响。 为了提供最合适的内容和广告，重定向很大程度上依赖于用户的永久 ID。

仅对新访客有意义的个性化

个性化将受到影响，具体取决于支持它们的逻辑。

实时个性化（用户体验由他们在特定会话期间的行为决定）将不受影响。 但是，除非他们在 7 天内返回您的网站，否则在他们返回时识别他们的偏好和行为将不再有效。

网络功能问题

ITP 也会对其他领域产生影响，例如网络功能和联属网络营销。 如果您使用脚本可写 cookie 或任何其他形式的脚本可写存储来保存访问者数据，您将真正感受到 ITP 的效果。 您的网站可能会定期请求 cookie 同意，将语言和货币偏好重置为默认设置，等等。

端到端性能

由于您网站上对第一方 cookie 的限制，ITP 会影响您的数字营销，从而影响您的整体业务。 由于广告和分析平台依赖这些 cookie 进行跟踪和报告，ITP 的实施意味着营销数据洞察力不再是完全可信的。

使用实时 A/B 测试来模拟 ITP 的影响

考虑一个网站，其 30% 的流量来自 Safari 用户。 它每月接收 200,000 名唯一身份访问者，平均转化率为 3%。

我们模拟了如果进行两页 A/B 测试（原始和变体 1）会发生什么。 根据理论，Variant1 优于 Original。

然而，在我们的图表中，显示当不删除 ITP 时，Original 表现更好。

模拟显示，由于 ITP，实验工具将在 7 天后报告 Original 为获胜者。

这与去除 ITP 的影响后得到的结果相反，这表明 Variant1 应该是实际的获胜结果。

从本质上讲，ITP 会导致您的 A/B 测试产生完全不准确和不可靠的结果。 不过，您可以做一些事情。 请继续阅读以了解那是什么。

如果忽略 ITP 在 A/B 测试结果中的影响会发生什么？

苹果在其跟踪预防政策中表示：

这意味着如果您的网站试图绕过 Apple 的内置反跟踪功能，它将被视为恶意软件。

如果您尝试使用宽限期，您可能不会立即看到对您的分析报告的影响，但您会发现 Google Analytics/您的实验平台与其他考虑 ITP 更改的外部提供商之间存在不一致。

Convert 绕过 ITP 的解决方案

让我们从一个示例开始，了解 ITP 可能会对您的转换体验和报告产生什么影响（如果您不应用下面的解决方案）。

例如，如果您的漏斗包含三个步骤，而访问者在第八天完成了最后一步，则即使访问者完成了所有步骤，漏斗的流程也永远不会完成。 这是因为在整个客户旅程中收集的数据可能会在 7 天后过期。

除此之外，访客被视为新访客，数据收集过程重新开始。

结果变得不清楚，因为多次跟踪同一用户。

这也可能意味着，如果访问者在 7 天后返回网站，他们将获得与之前显示的不同版本的相同测试。

这可能会导致用户体验的不一致，并影响活动的准确性。

从具有跨域跟踪功能的域以及 URL 中的查询字符串或片段标识符到达您网站的访问者如果在上次访问后 24 小时到达，即使他们登陆网站的时间稍长，也会被识别为新访问者在那之前。

这是因为 cookie 保存有关向用户显示了哪些变体的信息。

那么您的转换体验和报告中可能出现什么问题？

• 在体验期间多次返回的人可能每次都有不同的变化。
• 由于每个浏览器的隐私保护标准不同，相同的活动可能会执行不同的操作。
• 转化可能无法恰当地归因于在较长转化窗口（超过 7 天）内提供的体验。
• 随着变异影响的清晰分离变得越来越困难，您的优化程序将注意到更多“不确定”或“平坦”的结果。
• 由于回访者被错误地标记为新访客，因此实验可能会比预期更早地超过预先计算的最小样本量。
• 用户在访问中将无法识别。

幸运的是，以上都不会发生在您身上。

为了克服上述问题，我们研究了多种技术来减轻 ITP 的影响，然后决定将 cookie 生成过程从浏览器重新定位到服务器。

由于新的 cookie 持续时间限制仅适用于浏览器创建的 cookie，因此我们将 cookie 发布部分移至您的网络服务器，这意味着 cookie 将由您的服务器而不是用户的浏览器创建。

对于无法应用我们的 ITP 解决方案的用户

如果您无法使用上述解决方案，Convert 会提供开箱即用的默认用户细分集（包括浏览器）过滤您的体验结果。

使用浏览器段选项显示包含和排除 Safari 的结果，以检查实验结果的跨浏览器一致性。

就是这样：

转到您体验的“报告”选项卡：

从 Segment 下拉列表中，使用“Filter by Browser”复选框：

选择菜单中列出的所有浏览器，不包括 Safari。

这使您可以查看所有典型报告数字和统计显着性计算的结果，无论是否有可能受 ITP 影响的访客人数。

请记住，默认情况下其他浏览器可能会强制更改这些隐私，因此此解决方法仅适用于 ITP 强制所有其他浏览器（类似于 Safari）。

结束的想法

鉴于不断变化的隐私要求，企业应该如何管理这一领域，同时改善营销工作、保持竞争优势并满足对个性化消费者体验不断增长的需求？

不幸的是，没有简单的解决方案。

要记住的主要事情是，如果您的公司还没有，那么确保您的团队了解隐私问题以及数据收集、结果分析和优化的潜在后果非常重要。

仅仅因为 Safari 可能代表您流量的一小部分而视而不见或忽视潜在影响将是一个严重错误。

虽然 Safari 一直处于加强数据保护的最前沿，但 Firefox 和 Chrome 也在采取措施改善其隐私。 因此，这些限制可能会影响您网站的大量用户。

如果您的团队正在努力跟上所有新的隐私更新并确定它们将如何影响业务，请给我们留言。

Convert 的三个主要战略解决方案专注于更新可能受不断变化的隐私法规影响的业务的重要方面，例如：

• 提升客户体验
• 提升您的营销成果
• 获得竞争优势

我们现在正在协助我们的客户浏览 ITP 更新，并确保在他们的各种系统中实施必要的变通办法。 让我们知道我们是否可以为您做同样的事情。