（彻底）理解 A/B 测试指标的无行话分步指南

伟大的内容不是由个人创造的。 向使本指南成为可能的专家打个招呼。 超过 80 年的实验和 A/B 测试经验——在分钟阅读。

亚历克斯·伯克特

本·拉贝

柯蒂斯斯坦尼尔

黛博拉·奥马利

埃里克·伯恩哈德森

贾斯汀·克里斯蒂安森

马克斯·布拉德利

苏曼莎·尚卡拉那拉那亚那

蒂姆·梅塔

试图理解 A/B 测试指标就像在过于复杂的定义、技术术语和永无止境的专家“意见”中陷入困境。

如果您为了在网上找到有价值的东西而发出不止一次恼怒的叹息，我们不会责怪您。

即使您确信自己想要进行实验，也可能会觉得那些知情者是把关信息。

但我们决心改变这一点。 实验适用于每个人，到此结束时，您也会相信这一点。

关于开始实验的硬道理

我们将深入探讨如何通过不同的视角看待指标，但首先，我们需要弄清楚。

你可能以前听过这样的说法：“A/B 测试没有损失——只有学习。”

这是部分正确的。

不确定的（平坦的）测试甚至损失可以帮助您清楚地了解哪些内容不适合您的目标受众。 但是，如果您正在构建实验计划并且还没有获得最高管理层的支持，请准备好在一些棘手的水域中航行。 明白那些拿着钱包的人不会特别高兴在没有受过大量教育的情况下就“学习”进行深奥的讨论。

要获得他们的认可，您首先需要展示快速而切实的胜利。 您的经理可以向领导层报告 A/B 测试结果，以便他们对以下事实表现出一定的信心：主要是学术性的科学实验方法确实可以推动像业务一样实用的事情向前发展。

最简单的方法是什么？

追求最容易实现的目标：提高相当接近影响交易或购买的用户体验的转化率。 比如说，直接增加 1000 件订单（如您的测试结果所示）很容易转化为美元和利润。

将该报告带入董事会会议，您会在房间里兴奋地嗡嗡作响——这种兴奋来自于发现另一个“收购渠道”，即 CRO。

但是这个季度会来去匆匆，而您却从未看到承诺的飙升。 那些称赞你是企业未来的高管们将大失所望。 预算削减将随之而来。 并且某个高层（*咳嗽* 不可救药的 HiPPO *咳嗽*）会吐出一些关于实验如何永远无法胜过传统渠道（如经受住时间考验的广告和活动）的胡说八道。

[HiPPO = 有意见的最高薪人]

看看刚刚发生了什么？ 通过激活你的隧道视野，你将实验降级为仅仅是 CRO——这被视为（几乎）被视为一种新奇的收购渠道，以收回留在桌面上的资金。 以及随之而来的？ 随之而来的所有重大索赔、骗局和陷阱。

查看 A/B 测试指标的不同方法

实验是一台机器。 但大多数人对其工作原理的理解存在缺陷。

他们认为输入是业务问题，输出是具有统计意义的有效业务解决方案。 这可能是理想的大图景。

放大后，实验机器接受在科学过程中的学习和努力作为输入，并产生程序指标作为输出。

但是这里有一个很大的 IF：对于最终产生预期和期望结果的输出，实验计划的质量是最重要的。

只有当您执着于实验质量时，您才有更高的机会看到能够推动所有企业都希望解决的大增长和效率问题的结果。

实现这一目标的方法是制定一个不将结果放在基座上的指标策略。

相反，它帮助团队测量和跟踪输入和输出（输入是唯一完全控制优化器的因素）并将它们用作进度的衡量标准。 通往结果的旅程不是冲刺，而是在后台运行的马拉松，作为良好实验的副产品。

不要误会我们的意思。 这说起来容易做起来难。

通常实验会表明不应该进行某些更改。 特定功能不应发货！ 实验本身是经过深思熟虑的……将重点从运输第一战略转移到洞察力和学习第一战略（由正确的指标支持）。

对实验犹豫不决在高管中非常普遍。 大多数创始人在没有实验的情况下建立公司多年，感觉实验是一种保守的力量，阻碍了公司的速度、产品营销和登月创新。

Erik Bernhardsson，模态实验室创始人

切换到洞察第一策略的案例（使用正确的指标）

为了取得实际进展，我们必须从追逐运输策略转向度量策略。 这分散了产品策略，即把想法推到底部，这是理想的。 采用度量策略本质上意味着实验。 您不能回避测试新产品更改如何影响您的业务。

你的实验计划的“为什么”被编码在你的指标策略中。

• 你所有的努力都集中在速赢和收入上吗？
• 实验是了解您的客户并在他们的整个生命周期中为他们提供价值的方式吗？
• 或者实验本身就是目标，你测试得越好，你产生的洞察力就越可靠，你的责任是保持这个轮子运转，而不会对现有的体验产生负面影响？

稍后与 Speero 的 Ben Labay 进行更多讨论。

在实验到实验的基础上，指标巩固了你的（真正的）关注点。 您可以有一个 10 页的宣言，谈论在您的业务 DNA 中嵌入实验以加速创新，但如果您的主要目标始终是转换，那么您的测试计划本质上是一个 CRO 计划。 这可能是您想要实现的目标，但请注意将来会出现的限制，包括将 A/B 测试视为获取/收入的奴才——坦率地说，它们不是。

不同类别的指标可以跟踪对最高管理层重要的指标，同时优化程序以获得更高质量的测试、因果洞察力，并通过不同的迭代来改进机器的内部运作，以便输出可以开始驱动结果从长远来看。

这段与 Tim Mehta 合作的视频坦率地揭示了为什么仅围绕学习的实验叙述不是一个实际的立场。

我认为在参与方面获得所有这些知识真的很酷，但是对于您的企业主来说，您能够知道继续为该计划建立资源并获得预算，基本上您知道您确实需要确保您是至少能够从商业角度表明，实验程序为您带来的美元价值。

所以我认为对于很多实验来说，更多的是围绕你想要做的所有一般科学方法是学习有这是你知道它不像假设证明那样多赢/输你知道证明或拒绝嗯而我们大多数人都做得很好，我们在营销方面，所以自然我们需要能够传达某种类型的胜利或收入价值才能继续。

Lucid Software 增长营销总监 Tim Mehta

在更实际的层面上，指标持有学习。 背靠背运行平面测试？ 这可能是您收集数据的方式（以仪器为中心的问题）或您设计实验的方式的问题。 指标可帮助您在大海捞针中找到目标并做得更好。

TL&DR; 指标帮助测试人员捕捉实验的各个方面，并以利益相关者理解、重视和欣赏的语言将其影响分配给他们。 度量策略远远超出了“目标”和评估获胜变化和损失的基础。

通过指标，实验计划得以生存、成熟、发展和成功（或失败）。

输入、输出和结果指标：Ben Labay 和 Alex Birkett 解构实验项目

关于主要、次要和护栏指标有很多定义。 但是任何运行过实验程序的人都知道，必须有一个框架来定义不同级别的目标。

所以我们问了 Speero 的董事总经理 Ben Labay 和 Omniscient 的联合创始人 Alex Birkett，这个问题：

您将测量的变量映射到多层实验影响的首选指标框架是什么？

本的框架

1.程序指标类别

这种“分阶段”是轻描淡写的。 您想一直监控所有这些，但根据程序的阶段，FOCUS 会有所不同。

2. 从顶级度量分类开始，这是我的：

然后，对于每个，

3. 目标度量示例：

然后

4. 驱动指标示例

然后

5.程序护栏指标

所以…。 那么你有一个指标策略的成分：

注意：早期实验应关注输入指标，但如果您没有正确的教育、人员和流程，您必须应对产生无法实现的结果的压力。

这是一个自我毁灭的循环。 此外，不应立即庆祝结果指标，尤其是在您预测“收入”时。

理解这一点的最好方法是看看 Airbnb 如何转向度量策略：

“客人必须先征得房东同意才能留在他们的Airbnb，然后房东才能决定他们是否喜欢预订请求。 这造成了大量的摩擦，对客人来说是一种糟糕的体验，并为不正当的偏见进入了这个过程。

产品交付策略将规定要交付的一系列功能。 但 Airbnb 建立了一个强大的团队，制定了衡量策略：让 Airbnb 达到 100% 即时预订。

结果是一个以实验为主的策略，累积地改变了市场。 该产品改变了搜索排名、房东入职和核心房东功能（例如，客人控制、房屋规则、交货时间设置等），使房东能够在客人即时预订房屋的世界中取得成功。

埃里克·伯恩哈德森

Alex 的首选框架

我绘制实验指标的首选框架是一个简单的框架：输入和输出指标。

利益相关者关心输出指标。 这些用于投资回报率计算并证明程序的价值——例如网站转化率、渠道转化率、高质量的潜在客户等。

就个人而言，我认为这些在程序级别上被高估了，而在每个实验级别上被低估了。 我的意思是，如果您按季度跟踪网页的转化率，那么实验不会是这段时间唯一发生的事情。 筹资、宏观经济趋势、收购渠道的转变——所有这些都可能是巨大的混杂因素。 您可以通过设置保留集或重新测试您的数字体验的基线版本来解决其中的一些问题。

他们在每个实验的基础上都被低估了，因为人们倾向于不考虑他们的核心实验 KPI，而是选择包含各种目标并挑选适合他们叙述的目标。 很难想出一个综合目标，一个总体评估标准来定义你的实验。 输入指标对我来说是衡量我们程序的更好方法。 我看的主要三个是
a) 实验速度
b) 实验胜率和
c) 每个实验的平均胜利。

如果我在其中任何一个上移动指针，我可能会在输出指标上移动指针

目标、驱动因素和护栏：按范围衡量的指标

Ben Labay 使用汽车的类比来解释这些指标：

关键是你有长期的指标，比如目标指标，这是你的 GPS 或导航系统，即北极星指标 (NSM)。

这与驾驶员指标形成对比，后者是短期指标，也就是您的车速表。 例如，平均订单价值 (AOV) 的转化率优化。

将此与您的警报和校准指标（如转速表或热量表）进一步对比； 这些是您的护栏指标。

PS观看 Ben 的这段视频，以更好地了解这些类别：

目标或北极星指标

Ben 定义的北极星指标或滞后或范围广泛的指标在本质上更具战略性而非战术性。

例如，Netflix 的 A/B 测试并不是为了提高参与度而设计的——它们旨在提高留存率。 如果他们留住客户，则意味着订阅者参与并发现产品的价值。 因此，留存率包含了几个战术指标，例如付费或观看超过 3 条内容的用户百分比。

驱动程序指标

这些领先指标是您在短期内关注的，即您的跳出率和转化率。 有时，只有一个指标不足以评估结果。 这就是总体评估标准或 OEC发挥作用的地方。

OEC 也称为响应或因变量、结果变量或绩效指标，本质上是不同加权 KPI 的组合，作为单个主要 KPI。

一个单一的指标迫使对多个实验进行一次权衡，并使组织与一个明确的目标保持一致。 一个好的 OEC 不应该是短期的（例如，点击）； 相反，它应该包括预测长期目标的因素，例如预测的终身价值和重复访问。

罗尼·科哈维

护栏指标

根据 Ronny Kohavi 的说法，

Guardrail 指标是关键指标，旨在提醒实验者违反假设。 Guardrail 指标提供了 Spitzer (2007) 所称的“发起知情行动的能力”。 当处理效果意外移动护栏指标时，您可能希望降低对结果的信任，或者在可能对用户或组织造成伤害的情况下停止实验。

护栏指标有两种类型：信任相关护栏指标和组织护栏指标。 我们从我们认为每个实验都应该具备的最重要的护栏指标开始：样本比率，然后是其他护栏指标和组织护栏指标。

样本比率 = 在受控实验中，样本比率等于不同测试组之间的样本量分配比率：对照和变体

衡量指标的哲学观点：5 W

EndlessROI 的创始人 Sumantha Shankaranarayana 以不同的方式看待指标。

另一个指标来自谷歌数字营销传播者 Avinash Kaushik。

在他最近一期的时事通讯 The Marketing <> Analytics Intersect 中，他建议忽略喜欢和关注者等虚荣指标以及页面浏览量和“参与度”等虚假指标。

相反，应关注诸如简报注册和任务完成率等微观结果、转化收入和收入等数字宏观结果，以及利润和生命周期价值等影响底线的指标。

Conversion Advocates 的 Simon Girardin 对指标的另一种看法：

选择对驱动程序树产生影响的指标

制定可靠的指标策略归结为了解驱动树是什么。

驱动树是组织中不同指标和杠杆如何组合在一起的地图。 在最左侧，您有一个要推动的总体指标。 这是您希望所有团队努力实现的最终目标。

当您向右移动时，您在如何实现该目标方面变得更加细化。 每个分支都为您提供了构成其上方“内容”的组成部分的指示符。

Curtis Stanier，Delivery Hero 产品总监

驱动因素树与指标结合使用时，可以帮助识别潜在的机会领域并引导您找到解决方案。

柯蒂斯用一个例子解释了这一点。 例如，如果您的目标是增加电子邮件注册的数量。 假设只有一半的客户成功点击了您发送给他们的电子邮件确认链接。 这里有两种可能的情况——客户没有收到电子邮件，或者他们没有点击它。 这些驱动因素可能有不同的影响因素。

当您将流程流映射到驱动程序树时，您可以找到根本原因。 也许您使用的电子邮件提供商有 10% 的错误率，这意味着该电子邮件从未发送过。 这个特定问题成为您的团队修复的机会。

这是由 Hopin 产品分析主管 Bhavik Patel 提供的一个具体示例，用于说明如何将测试速度等目标（即运行的测试数量）映射到驱动程序和护栏指标。

按照以下 3 个步骤启动您的实验计划

1.选择实验计划的目标

让 HiPPO 也就是您的 C-Suite 参与进来，这样您就不会追逐领导层不感兴趣的北极星指标。否则，您的实验计划将永远不会出现。 圈进那些明白大问题需要创新解决方案的人，而不是安全行事。

根据经验，Ben Labay 说您的实验计划的滞后的长期目标可以是三件事之一——收入、客户或实验过程。

例如，Booking.com 将实验质量作为其北极星指标。 原因如下：

对我们来说真正重要的不是做出了多少产品决策，也不是做出决策的速度有多快，而是这些决策有多好。

虽然将实验作为产品开发和决策的一部分是当今的普遍做法，但它本身并不能保证做出好的决策。 正确地执行实验可能很困难，从实验中获得的数据仅与实验本身的执行一样可靠。 进行糟糕的实验只是做出不可靠决策的一种非常昂贵且令人费解的方式。

Booking.com 集团产品经理 Christophe Perrin

2. 建立可接受的 Guardrail Metrics 日志

Tim Mehta 建议将测试速度作为护栏指标，但需要注意的是，仅当您的测试完整性良好或符合标准时。 如果您没有进行质量测试，那么您选择的任何指标最终都会成为虚荣指标。

与 Tim 一样，Ben Labay 也建议将测试速度与这些其他指标一起作为一组防护指标：

3.根据具体情况选择您的驱动程序指标

并非所有指标都是好的指标。 在运行了数千次 A/B 测试后，Microsoft 确定了良好 A/B 指标的六个关键属性：

1. 灵敏度
2. 可信度
3. 效率
4. 可调试性
5. 可解释性和可操作性
6. 包容性和公平性

您可以使用 STEDII 来细化要跟踪和衡量更改的指标。

Zendesk 的高级 Web 优化经理 Max Bradley 认为，您应该对驱动程序指标保持灵活，这样您就可以在框内或框外思考：

我们注意到，到目前为止，子域创建字段（如下所示）是我们为访问者提供的试用注册流程中最具挑战性的表单字段。 该领域的流失率远高于任何其他领域。

至关重要的是，我们进行了跟踪，使我们能够首先详细研究表单的性能。 如果您刚开始，短期内不太可能达到这种水平的跟踪，但我会鼓励您随着时间的推移“进入杂草”。

确定问题后，我们采取了各种步骤来确定我们希望测试的方法。 我们研究了其他公司在涉及子域的情况下做了什么，我建议您在这里超越竞争对手。 我们认为用户不需要关心创建子域，它为用户引入了另一个暂停和思考的区域，增加了他们的认知负荷。 我们可以根据他们已经提供的公司名称创建他们的子域，并对用户隐藏子域字段。

我们自然预计此更改会增加成功注册试用的用户数量，由于提到的跟踪，我们能够估计预期的增加。

但是，我们此时不知道这将对业务产生的整体影响。 我们预计试用转化率会增加，但这会一直转化为赢吗？

此外，通过隐藏子域字段并为用户自动生成子域，我们希望确保我们不会简单地将这个问题转移到业务的另一个领域。 这涉及从一开始就参与客户宣传和客户支持。

我们认为在确定该实验的影响方面很重要的主要领域如下：

• 表格访问者的试用注册率
• 潜在客户、MQL、机会和胜利
• 用户在产品注册后对子域名所做的更改
• 客户倡导的子域名更改收到的票数。”

根据您选择的目标以及您始终如一地接近您的驱动程序，您的实验角色和程序轨迹可以采用几种不同的方式。 看看 Ben Labay 的这张图表：

心理模型：专业人士如何在现实世界的实验中选择他们的指标

我们请专家通过一个示例向我们介绍他们看到了问题、设计了假设，然后选择了衡量成功和巩固学习的指标。

他们是这样说的：

Ben Labay 和目标映射

弄清楚业务的发展方向以及原因。

什么是业务增长策略？ 他们明年是否会通过获得更多用户而增长 20%？ 他们是否会专注于新产品或现有用户群的货币化？ 有了这些信息，您就知道优化程序的定位，您应该知道漏斗中的哪个位置或要关注的主要渠道。

对于 2021 年的许多电子商务公司来说，这是获取和转换新用户。 2022 年末，它以 AOV 为中心，专注于盈利能力和收购效率。

• 在过去的几年里，SaaS 出现了一种专注于以产品为主导的增长的模式，因此专注于试验，尤其是针对低端细分市场的入职培训。

清楚地了解客户行为（下车、导航模式等）和感知（动机与 FUD、恐惧、不确定性和怀疑）。

我们在这方面有一个很棒的数据模型，ResearchXL，它不仅收集有关行为和感知的数据，而且通过信息将数据转化为构建优先路线图的洞察力。

结合步骤 2 和 3，将您从客户研究中创建的问题/机会主题与目标树图中的业务目标联系起来。

这是该目标树图的特写，您可以在其中看到与结帐页面进度指标相关的实验，这是该电子商务客户的重点：

当我在 Workato 时，我们想尽可能多地学习如何构建交互式产品之旅。 鉴于我们没有免费增值版本，许多潜在客户希望了解产品的实际运作方式。

我们希望学习的内容决定了这里每个实验的 KPI。

在一项实验中，我们只是想看看，与“请求演示”等其他核心网站 CTA 按钮相比，人们是否甚至对产品游览的概念感兴趣。 这是一种“彩绘门”测试，尽管我们实际上已经建立了一个最小可行的产品之旅。 在这个实验中，我们只是跟踪了产品导览的点击比例，并对潜在客户进行了非劣效实验（我们只是不希望他们下降）。

然后，在优化导览本身时，我们使用网站转化率（leads）的主要宏观KPI，将点击进入产品导览的人进行细分，看看是否也存在高相关性以及我们的核心KPI的宏观改进。”

Deborah O' Malley 如何帮助提高点击率

指标通常是客户驱动的。 通常，它们与收入挂钩。 然而，有时客户只是想增加参与度。

在此示例中，教育部门的客户希望将点击率 (CTR) 从解释教育计划的页面提高到潜在学生可以了解有关该计划并申请该计划的更多信息的页面。

基于数据驱动的分析，假设页面上有太多竞争信息，用户不清楚如何继续或点击何处了解更多信息。

在应用上述 5 步框架时，我们决定以最佳格式和定时弹出或滑入式通知最有效地告知访问者单击何处以了解更多信息。

因此，进行了一系列实验以确定通知弹出窗口的最佳格式和时间。 测量点击率。

正如这些案例研究结果所示（测试 1、测试 2）优化弹出窗口的位置和时间对点击率转换产生了巨大的积极影响。

然而，虽然结果证明是积极的，但最终，提交的申请才是真正推动学校发展的指标。 因此，需要进行额外的测试以确定增加申请提交的最佳方式。

从这个例子中学到的关键点是客户通常知道他们想要改进什么。 作为一名实验者，你的工作是满足他们的期望，但要更进一步。 增加的点击率很好。 但旨在增加漏斗中更深层次的转化。 尽可能深入了解最终渠道的赚钱指标，例如完成的应用程序或结帐完成情况。 衡量完成情况并量化您的成功。

为什么 Justin Christianson 添加辅助数据点

我们以目标为基础。 你不能只考虑销售额和收入。 通常，我们的主要指标将是销售转化率和 RPV，但这并不总是描绘访问者互动方式的最大图景。

为此，我们喜欢设置辅助数据点，例如添加到购物车、元素点击、对某些页面（例如购物车或结帐）的访问。 次要目标会根据页面或测试类型略有变化。 有时，就结果而言，销售和收入并不是你想要追求的。

我们使用我们的实验来真正帮助了解访问者关心什么，哪些元素在整体 UX 中占有重要地位，然后根据这些结果制定策略。 我们的假设通常总是在问问题，为什么或什么情况。 它可以像在主页上移动一个部分一样简单，然后我们的目标将是该部分的点击量、销售额、收入、产品页面上的访问量。 那么如何解释数据将是，如果访问者通过移动该部分表现出更高的参与度，则该部分具有权重，因此访问者更喜欢该整体路径。 这方面的一个例子是在电子商务商店的页面上显示集合细分与显示实际产品块。

CXO：学习第一实验的巅峰之作？

转化率不是虚荣指标。 虽然它已经成为一个狭义的术语。

Speero 客户服务总监 Annika Thompson

Annika 解释说，问题不是 CRO 不重要，而是它带来了大量的包袱。 它只是时间上的快照，没有上下文，它可能是无关紧要的，而且非常危险。

另一方面，CXO 或客户体验优化侧重于挖掘有关客户偏好和行为的质量洞察——从转换块粉碎实验到稳健的业务战略，提供一切。 这对您的测试费用来说更划算。