道德 A/B 测试指南：优化计划中缺失的部分

早在 2014 年，Facebook 就受到强烈反对，当时它透露它已将用户分组到一项“情绪传染”研究中，该研究通过向被选中的人显示“乐观”或“沮丧”的信息来公然操纵情绪。

整个崩溃中最令人不安的方面是，被实验的人不知道他们被操纵的事实。

让我们在这个想法中加上一个别针，然后问你：

答案可能是否定的。 毕竟，你不是在试图操纵他们的情绪……是吗？

事实是，营销是影响情绪的艺术和科学。 A/B 测试就是如何隔离和量化这种影响。

让人们对网站感到更安全，他们会购买更多。 如果该网站实际上是安全的，那么您正在通过消除不必要的恐惧来增强用户体验。 如果网站没有后端来证明信任信号的合理性，那么这是公然操纵。

与任何有效的技术一样，A/B 测试可以通过让企业以对人们有所帮助的方式提供相关优惠来创造一个美好的世界。

或者，它可以通过欺骗、操纵，甚至通过以懒散的方式处理为实验收集的数据来造成伤害，使其容易受到破坏。

什么是道德优化以及您为什么要关心？

A/B 测试将继续存在，并且只会随着人工智能的发展而变得更加强大。

如果您展望优化的未来，您会看到 AI 提出的假设对网站访问者行为的影响比我们现在所能想象的要高一千倍。

数据是逐步构建这个未来的基石。

这就是著名的 GDPR（通用数据保护条例）如此重要并将继续如此重要的原因。

这是对科技巨头和企业的抨击，他们将人们视为无非是在线资产的访客。 尽管 GDPR 是一项法规，但奇怪的是，它通过迫使公司将人们视为可能抗议其数据被滥用的个人来使人们人性化。

更重要的是……GDPR 是其他举措的先驱，例如 ePrivacy 指令和加州隐私权法案。

随着 Netflix 和亚马逊等品牌扩展他们的测试计划，A/B 测试中的道德问题成为主流并获得自己的一套准则只是时间问题。

如果您计划在每项新法规出台时都遵守它，您将扼杀您的业务创新，并且将逃避地雷。

更好的方法是将道德 A/B 测试嵌入您的公司，并使其成为您组织文化的一部分。

简而言之，你变得透明和负责。

在您的日常业务实践中涉及任何法规（过去、现在或未来）的情况下，您都会合规。

在本指南中，我们将分解您可以采取的步骤，以尽量减少测试期间的数据隐私麻烦，以及在进行透明、合乎道德的 A/B 测试时要牢记的注意事项。

GDPR、CCPA 2.0 及其他：他们如何改变 A/B 测试和分析

欧洲对数据滥用的反应是数据保护法，即 GDPR（通用数据保护条例），它迫使任何处理数据的公司加倍努力以保护其客户的数据。

美国的反应是 CCPA（加利福尼亚州消费者隐私法）、内华达州 SB 220 以及最近的 2023 年加利福尼亚州隐私权法。

这些法律的目的本质上是关于两件事，个人数据的合乎道德的使用和保护个人数据的安全。

这迫使来自世界各地的公司开始加强他们的数据安全和隐私。

通过这些隐私法，欧盟和美国还引入了一项新的法律要求：设计隐私。

在其核心，设计隐私要求从系统设计开始就包含数据保护，而不是添加。

此外，同意的条件得到了加强，公司不再能够使用充满法律术语的冗长、难以辨认的条款和条件。

这些法律引入了数据可移植性——数据主体接收与他们有关的个人数据的权利——他们以前以“常用和机器可读的格式”提供这些数据，并有权将该数据传输给另一个控制者。

但是，适应上述变化不应出于对后果的恐惧。

相反，公司和营销人员应该考虑他们的价值观对业务实践领域的支持程度，以及可能导致他们的系统和程序面临挑战的场景。 这可能来自个人测试访问者，他们的数据应该被移动或删除，或者黑客试图非法获取个人数据。 它还可能附带数据主体访问请求 (DSAR)。

无论对个人数据提出什么要求，营销人员都应该了解、理解并致力于适当的行为和价值观。

它将允许做出选择以保护个人和公司。

这就是道德 A/B 测试如此重要的原因：它影响价值观在组织内的沟通方式、领导力如何展示价值观，以及价值观如何体现在日常工作关系中。

GDPR 不合规的成本：唤醒数字

以下是自 GDPR 实施以来大小品牌所遭受的罚款清单。 就企业不得不掏出的巨额资金而言，这是一个可怕的汇编。

但更可怕的是违规的原因。

他们公然无视用户/客户的隐私，并驱使人们需要在组织范围内采用道德商业文化。

这些例子都不能直接追溯到 A/B 测试。 但是，导致这些违规和罚款的许多心态也普遍存在于公司的优化中。

是时候醒来并改变它了。

如何开始进行道德 A/B 测试：要牢记的 10 个可靠注意事项

在涉及人类参与者的任何类型的研究中，考虑研究项目的伦理是很重要的。

当您进行 A/B 测试时也是如此。 您对参与者的福祉、诚实地代表他们以及保护他们的个人信息安全负责。

在这里，我们将讨论道德 A/B 测试的一些最重要的考虑因素。

涉及个人数据处理的 A/B 测试必须提供有关数据保护规定的信息。 如果您的测试涉及以下内容，则更有可能引发更高的道德风险：

• 处理“特殊类别”的个人数据（以前称为“敏感数据”）；
• 处理有关儿童、弱势群体或未同意参加测试的人的个人数据；
• 复杂的处理操作和/或大规模处理个人数据和/或大规模系统监控可公开访问的区域；
• 具有侵入性并被认为对被测访问者的权利和自由构成风险的数据处理技术，或容易被滥用的技术；
• 在欧盟以外收集数据或将在欧盟收集的个人数据传输到非欧盟国家的实体。

考虑#1：测试，而不是欺骗

必须区分传统的 A/B 测试和另一种实验形式，其中算法结果为一小部分用户修改以用于假定的研究目的。

Ding..ding... Facebook 2014 有人吗？

在 A/B 测试中，界面设计特征——例如按钮的排列、布局或解释性文本——被阻止或重新排列以测试它们的效果。 许多在线公司定期对其用户进行 A/B 测试，以评估网站设计更改的影响。

然而，当网站算法的编程代码被改变以诱导欺骗并操纵结果时，就会出现一种新的实验形式。

这是一种深度测试，我们称之为代码/欺骗或 C/D 实验，以区别于与 A/B 测试相关的表面测试。

C/D 实验应与在线公司为改进其算法以用于运营目的的持续努力区分开来。

这种优化案例不涉及欺骗，因为目标是为所有用户产生更好（更准确）的结果。 相比之下，在 C/D 实验中，算法的结果被更改（即扭曲或伪造）以用于研究目的。

考虑#2：关注用户的最大利益

正如 Croco 团队的 Isaac Wardle 所解释的，您的目标应该是使公司和用户的利益保持一致。

理想情况下，行为科学家必须询问他们的合作公司他们的意图是什么，以及他们的意图如何与他们一起工作的人（通常是员工或客户）的意图保持一致。

当意图不一致时，研究人员和公司需要更加关注行为洞察力的使用方式和目的。

以下是每次测试上线前要问的问题列表：

1. 我们希望从测试中获得哪些 KPI 改进？
2. 我们希望通过测试引起什么样的感知变化？
3. 这种观念转变合理吗？ （回想一下后端无法支持的具有信任信号的站点示例）。
4. 诱导这种感知是否会使被测试的访客面临任何形式的身体、心理或财务风险？
5. A/B 测试值得花钱吗？ 如果这种方法有风险并且有可能出现问题，请考虑一下商誉、机会和客户的损失。

考虑#3：透明度和诚实

您应该向您的测试访问者诚实地告知您 A/B 测试的目的、您为谁做的以及您将如何使用结果。

这样，参与者可以给予他们的知情同意，并且如果他们以后遇到您的结果也不会感到惊讶。

但是，在某些情况下，您可能无法立即告诉被测试的访问者所有内容。 有时，了解您正在进行的实验可能会影响他们的反应。

他们可能喜欢或不喜欢您的品牌，或者他们对您的产品或服务的体验会影响他们对它的期望。

其他时候，了解您的实验目的将影响访问者如何操作或浏览您的网站，因为他们会希望为您提供他们认为您正在寻找的结果。 从他们的角度来看这是一个很好的姿态，但如果你的实验是为涉及用户的现实世界的努力提供坚实的基础，那肯定不是你想要的。

考虑#4：保持偏见

当您分析您的测试或展示您的结果时，请始终诚实地代表您的测试访问者所说和所做的。

当我们构建假设时，我们通常对我们认为结果会是什么样子或我们希望结果是什么样子有先入为主的观念。

重要的是不要搜索您希望测试访问者做什么的示例。 这是主观的和误导性的，就像在现实发生之前对现实做出反应。 毕竟，你不能在他们的环境中编排真实的人。 您必须改为监视它们。

保持开放并倾听被测试的访问者在说什么和做什么。 这听起来很明显，但在实践中可能很困难，因为营销人员也是人。

在传达您的结果时，请明确您的结果所依据的参数。 确保您计算有多少受测试的访问者说过或做过与您的新设计想法完全吻合的有趣事情。

是全部，大多数，只有少数，还是只有一个？

在 A/B 测试结果中插入偏见不仅会花费商业资金（当未达到预期结果时），还会导致部署不会增强访问者体验的变体，并且在许多情况下可能会给他们带来创伤，尤其是如果涉及金融交易并且用户体验特别不愉快。

考虑 #5：如果涉及 PII，请获得同意和许可

确保您获得每个测试访问者的知情同意（如果您使用可以识别他们的个人信息）以口头或书面形式参与您的 A/B 实验。 知情同意要求您的参与者清楚地了解您正在做什么以及您将使用实验做什么。

大多数受试者可能不会费心阅读这些信息，他们只会尽快点击进入网站。

如果受试者确实阅读了这项研究，请尽量不要提供可能影响他们的信息。 假设我们正在评估不同深浅的蓝色的影响。 阅读它几乎肯定会改变他们在访问网站时对颜色的反应，从而使研究结果产生偏差。

因此，如果您打算存储个人信息，请务必征得同意，但请尝试以中立的方式进行。

考虑#6：添加简单的退出

在 Facebook 臭名昭著的“社会传染”实验中，新闻提要被操纵的人没有得到任何事先通知，他们也无法选择退出在该网站上进行的任何研究活动。 这是非常有问题的。

必须允许用户轻松退出 A/B 测试。

考虑#7：承认数据点是人（并且隐藏的伤害是真实的）

负责任和合乎道德的 A/B 测试的最基本规则之一是坚定地承认大多数数据代表或影响人们。

从所有数据都是人的假设开始，直到被证明否则将把数据与人类受试者分离的任务走上正轨。

尽管很明显，您永远不应该做任何可能对您的测试访问者有害的事情，但这种伤害与隐藏的、间接的伤害之间是有区别的，后者可以将丑陋的头颅抬得更远。

如果您不仔细考虑如何与测试的访问者互动以及如何处理他们的数据，您可能会无意中造成伤害。 风险不能超过他们从您的结果中获得的任何好处。

行为心理学家和 A/B 测试专家 Bart Schutz 解开了隐藏伤害的概念：

如果在女性心目中旅馆或酒店的清洁度与安全性相关联，那么强调高犯罪率地区住宿清洁度的测试实际上可以促使女性预订干净但不安全的地方。

考虑 #8：防止重新识别您的数据

当被认为是匿名的数据集与其他变量结合时，可能会导致意外的重新识别，就像添加最终成分导致的化学反应一样。

虽然出生日期、性别和邮政编码的识别能力是众所周知的，但还有一些其他参数——特别是与数字活动相关的元数据——对于识别个人可能同样有用，甚至更有用。 IP、地理位置、客户 ID 和标签、时区、交易 ID、时间戳可用于重新识别人员。

因此，在您的测试数据中识别可能的重新识别向量。 尽可能在您发布的结果中尽量减少它们。

利用假名化和匿名化

减轻因使用个人数据而引起的道德问题的最佳方法之一是将其匿名化，使其不再与可识别的人相关。

不再与可识别的人相关的数据，例如聚合和统计数据，或以其他方式呈现匿名的数据（因此无法重新识别主体），不是个人数据，因此不在数据保护法的范围内。

但是，即使您计划仅使用匿名数据集，您的 A/B 测试仍可能引发重大的道德问题。

这些可能与数据的来源或获取方式有关。 因此，您必须指定您打算在测试中使用的数据集的来源，并解决出现的任何道德问题。

您还必须考虑滥用方法或调查结果的可能性，以及对数据相关的群体或社区造成伤害的风险。

如果有必要保留被测访问者与其个人数据之间的链接，您应该尽可能对数据进行假名化，以保护受试者的隐私，并在未经授权的访问时将其基本权利的风险降至最低。

注意事项 #9：不要在 A/B 测试中针对儿童

所有涉及儿童和青少年的 A/B 测试都会引发重大的伦理问题，因为受试者可能不太了解他们参与的风险和后果。 这也适用于处理他们的个人数据。

最重要的是，孩子是易受影响的，对他们进行测试所产生的任何隐藏伤害都可能成倍增加和根深蒂固。

如果您的测试涉及从儿童那里收集数据，您必须遵守 GDPR 关于知情同意的说明，特别是关于获得父母/法定代表同意以及在适当情况下获得儿童同意的规定。

正如该指南明确指出的那样，您向孩子提供的任何信息都必须采用适合他们年龄且易于理解的简单语言。 您还必须应用设计保护原则来测试有关儿童的数据，并尽量减少对其数据的收集和处理。

GDPR 为儿童建立了有关“信息社会服务”的特殊保护措施，这是一个涵盖所有互联网服务提供商的广义术语，包括社交媒体平台。 其中包括在直接向 16 岁以下儿童提供的信息社会服务方面要求获得父母的核实同意。

如果您从儿童那里收集数据，您必须确保遵守国家和欧盟/美国法律保障措施，并在您的隐私政策中说明您将如何获得和验证父母/法定代表的同意。

考虑 #10：远离伪装

Google 是否允许进行 A/B 测试？

我会因为伪装而在 Google 搜索结果中受到惩罚吗？

Google 建议，如果他们在您的网站上检测到伪装，您可能会完全从 Google 索引中删除。

那么隐身是什么意思呢？ 简而言之，您向搜索引擎机器人和人类显示不同的内容，以操纵您的搜索引擎排名。

大多数伪装脚本识别用户代理（人类或搜索引擎机器人）的 IP，并根据搜索引擎机器人的预定义 IP 列表猜测访问者是搜索引擎还是人类。

其他脚本使用“陷阱”来识别机器人。 根据谁在访问您的网站，您可以设置您的网络服务器以将棘手的内容提供给搜索引擎，并将好看的内容提供给人类。

一些伪装的例子包括：

• 向搜索引擎提供 HTML 文本页面，同时向用户显示图像或 Flash 页面
• 仅当请求页面的用户代理是搜索引擎而不是人类访问者时，才将文本或关键字插入页面

有一些简单的方法可以避免因伪装而被罚款：

• 不要在 Googlebot User-Agent 上区分
• 使用 rel="canonical"
• 使用 302 进行重定向
• 只在“必要时”运行实验。

让道德 A/B 测试更容易：使用了解数据隐私的工具

没有 A/B 测试解决方案可以为您争辩测试的道德制高点。

但是，您可以将谨慎处理数据的责任以及让您处于合规测试实践的正确位置的责任委托给正确的工具。

以下是您应该在注重隐私的工具中寻找的 7 个必备功能：

功能 #1：数据匿名化——无需同意即可进行测试

GDPR 中的一个重要原则是数据最小化。

这意味着在个人数据的背景下，产品和服务提供商应仅收集、存储和处理充分、相关且仅限于其业务案例的内容。

对于应该收集哪些个人数据以及不应该收集哪些个人数据，没有明确的定义。 它完全基于特定的用例。

为了实践数据最小化原则，我们在跟踪中匿名访问者的 ID，将数百名网站访问者分组到仅计算访问者存在的访问者组中。

个人访客不会存储在转换体验中。 无法以任何方式将组计数与单个访问者联系起来。

GDPR 让我们能够仔细研究我们在 Convert 中存储的内容，以及将其保存在日益以隐私为中心的环境中的用例。

功能 #2：方便的 GDPR 警告

转换体验等工具引入了警告，以告知客户其项目或实验中使用的 GDPR 相关设置或选项：

• 传统上，Convert Experiences 允许按位置和行为等条件对站点访问者进行分组。 这些组称为自定义细分。 但是，在 GDPR 之后，如果启用了分段功能，欧洲的隐私当局可以将其解释为识别数据主体的一种方式。 为了通知用户，我们插入了明显的警告，如果为至少一个受众启用了分段，则会激活该警告。

• 使用个人数据构建的受众：当使用 cookie 或 JavaScript 条件构建受众时，或者如果已使用时区、城市、地区、客户 ID 或客户标签，已保存的受众和体验摘要页面中存在 GDPR 警告

• 跨域跟踪：默认情况下，Convert Experiences 中的所有项目都关闭跨域 cookie。 打开它会激活另一个警告：

• 个性化体验可能包含小部分（少于 100 位唯一访问者），隐私权机构可能会将其解释为数据主体的标识。 出于这个原因，我们在任何个性化体验的摘要中添加了警告。

这些警告的目的是确保我们的用户了解哪些功能可能被欧盟当局视为数据主体的潜在“识别”。

很难记住 GDPR 指令的要点！

通过使用“转换体验”，您可以使用一种可以做很多事情的工具，但也可以通过提醒您某些行为现在在欧盟国家/地区以不同方式解释来强调其潜力。

您可以关闭 GDPR 警告。

功能 #3：使用更改历史记录跟踪用户操作

有多个人合作进行您的测试吗？ 您必须注意 A/B 测试中引入的意外更改。

在这方面，变更日志至关重要。 转换体验之类的工具会记录可以在项目中进行的大多数操作； 例如，创建实验、修改变体、添加和删除受众等等。 更改历史记录显示每个项目的用户活动记录。

如果某个实验的行为似乎异常或停止正常工作，您可以通过检查更改历史记录来查看进行了哪些更改、何时进行了更改以及由谁进行了故障排除。

这种详细的更改历史记录创建了一个活动跟踪，为具有多个协作者的个人和团队提供额外的安全性。

功能 #4：两因素身份验证

双因素身份验证 (2FA) 通过在登录时添加第二级身份验证来提高测试工具的安全性。启用双因素身份验证后，您将需要输入您访问的代码，而不是仅依赖密码从您的移动设备。 这样您就可以高枕无忧了，即使您的密码被泄露，您的帐户也会受到保护。

我们还在 Convert Experiences 中构建了一个安全的单点登录系统 (SSO)，以提高安全性和易用性。

功能 #5：尊重用户设置（退出和 DNT）

您的 A/B 测试工具应提供允许将访问者排除在外的退出功能。

每个 Convert 客户都需要在其网站上提供此选择退出表格，以赋予其网站访问者反对此统计研究的权利。

您的软件还应该识别Do Not Track (DNT) ，因为我们认为有一种简单的方法来控制最终用户信息的使用方式非常重要。

Convert Experiences 将 DNT 视为您和您的最终用户希望我们如何使用数据的信号。

Convert 将如何支持该字段的技术实现可以用 DNT 的三个可能值来解释：

1. 不跟踪（选择退出跟踪）
2. 跟踪（选择跟踪）
3. 空 - 无偏好

默认情况下，Web 浏览器使用 null 值（无偏好），表示最终用户尚未表达他们是否希望被跟踪的愿望。

自 2018 年以来，当在浏览器中设置选项 #1，不跟踪（选择退出跟踪）时，Convert 不会加载脚本/实验，并使用其他两个选项加载它们。

尤其是使用最新的浏览器设置（带有 ITP 2.2 的 Apple Safari 和带有 ETP 的 Mozilla Firefox），显然应该尊重测试访问者在浏览您的站点时使用的 DNT、选择退出和其他浏览器设置。

功能 #6：透明的统计引擎

A/B 测试是一种基于统计方法和分析的技术。 也就是说，您无需成为统计学家即可理解所涉及的概念或您最喜欢的 A/B 测试框架给您的结果。

但是，了解用于计算围绕测试的统计数据和指标的数学方程式并了解结果对您意味着什么以及它们如何潜在地影响您的测试访问者是很好的。

Convert 公司对我们用于计算统计置信度和获胜变化的算法非常透明。 您可以在此处找到更多详细信息。

我们使用 0.05 统计显着性水平（95% 置信度）的 2 尾 Z 检验（即每个尾为 0.025，正态对称分布），可选择在 95%-99% 之间进行更改。

功能 #7：道德工具与道德合作伙伴

仅使用来自道德供应商的合规测试工具是不够的。 我们生活在一个相互关联的世界中，没有一家 SaaS 公司是孤立的。

选择一个建立了有意识的合作伙伴生态系统的解决方案。

在 Convert，我们有一组问题用于与任何新的第三方供应商合作：

1. 您的数据和应用程序存储在哪里？
2. 这些数据是否曾经移出欧洲经济区？
3. 您是否曾经在欧盟以外的数据中心之间传输数据？
4. 当我的数据被传输时，您是否总是通知我？
5. 您有数据保护官吗？
6. 您有哪些数据控制和风险管理流程？
7. 您如何管理平台上的版本发布流程以确保足够的数据保护水平？
8. 谁可以访问我的数据，在什么情况下，他们可以看到什么？ 是否跟踪此访问？
9. 我可以审核你们在保护数据方面的安全和技术措施吗？
10. 您是否制定了安全漏洞通知流程？
11. 你符合 GDPR 吗？