如何准确阅读和解读转换体验报告

如果您是 Convert 用户，那么您就会知道您的报告中包含有价值的数据。 但是所有这些数字和图表代表什么？ 你怎么知道你可以从中得出什么结论并使用这些信息来改进你的测试？

是否像使用统计显着性计算器来验证体验一样简单？

如果 A/B 测试在实验报告中显示为绿色就足够了——或者我们也应该考虑其他因素？

虽然统计显着性计算器对于准确测试至关重要，但它们并不能说明全部情况。 为了充分利用您的转换报告，您需要对 A/B 测试统计数据有深入的了解。

为什么是这样？

因为 A/B 测试从根本上说是一种统计分析方法。 你不能没有另一个。

A/B 测试或体验是统计假设测试的一个示例，其中开发了关于两个数据集之间关系的假设并进行比较，以查看是否发现了统计显着性。

因此，无论您是新手还是经验丰富的用户，请继续阅读以了解报告中可用的全部测试统计数据，并从 A/B 测试中获得更好的结果！

那么你可以用 A/B 测试报告做什么呢？ 让我们看两个实际的例子。

示例 1

一家电子商务企业正计划优化产品页面以提高转化率。

在这种特殊情况下，

产品页面转化率=订单数/产品页面访问量

营销团队正在评估三个新的产品页面设计。 他们想从四种可能性中选择最有效的一种：现有设计和三种新设计。 考虑到转化率是一个因素，他们如何使用“转化体验”报告及其统计方法来发现表现最好的企业？

示例 2

通过更改其定价页面，SaaS 网站希望扩大其会员群。

对他们来说，

定价页面转化率=订阅数量/定价页面访问者数量

营销部门正在评估三种不同的设计，看看它们中的任何一种是否可以吸引比当前更多的订户。

使用转换体验报告及其统计方法，他们如何使用转换率作为选择标准进行这样的比较？

本文将解释转换体验报告包含的内容、如何使用它来改进您的网站，以及如何解释对访问者体验的详细分析，以便您采取行动。

请继续阅读以获取易于理解的指南，以帮助您了解转换 A/B 测试报告背后的统计数据。

转换体验报告每个部分的详细地图

作为 Convert 用户，您可以通过报告访问有关网站性能的详细信息。 让我们全面了解转换报告的所有元素，以便您准确了解所呈现的信息，以及如何最好地使用它来提高您网站的性能。

您可以通过选择要查看的体验并单击“报告”选项卡来访问报告。

在本节中，您将看到四个不同的部分：

• 顶部菜单
• 概括
• 变化
• 目标

➢ 顶部菜单

顶部菜单提供对以下信息的快速访问：

• 开始日期：体验开始的日期
• 运行天数：体验运行的时间长度
• 报告范围：日期过滤器允许您过滤特定时间段的数据
• 细分：按访问者细分过滤报告
• All Tested Users ：参与测试的用户数
• 总转化次数：目标转化总数。 转换仅跟踪每个唯一访问者的单一目标转换。 查看此页面以了解多目标转化。
• 目标：给定体验的目标数量

过滤特定日期范围

可以使用报告范围过滤特定日期范围的数据。 可以使用现有选项或日历控件指定自定义日期范围。

过滤特定段

您可以通过从“所有用户”下拉框中选择访问者细分来过滤报告。 您可以使用它来回答诸如

• 来自不同来源的流量在体验中表现如何？
• 移动设备与桌面设备的制胜法宝是什么？
• 哪种变体吸引了最多的新用户？

您应该针对对您的组织很重要并且可能表现出各种用户行为和意图信号的受众/细分市场。

检查每个受众的改进和信心得分，以了解每个变体的表现。 根据您的分析结果，您可以决定是对所有流量启动获胜变体还是调整分配。

转换体验报告包括以下部分：

• 使用的浏览器，
• 使用的设备，
• 新老游客，
• 用户国家，
• 流量来源，
• 大陆，和
• 10 个自定义细分。

您还可以使用三点菜单并应用一些进一步的操作：

分享报告

单击共享报告将打开一个弹出窗口，其中包含以下用于下载体验数据的选项：

查看代码

查看代码是第二个选项，它使您可以访问您的转换跟踪代码：

统计设置

第三个选项“统计设置”允许您配置以下内容：

• 置信水平（统计显着性）——在此处描述
• 交易异常值——在此处描述
• 自动化——在此处描述
• 重置统计按钮可重置体验数据

暂停体验

第四个选项允许您暂停体验。

➢ 总结

在转换体验报告的摘要部分，您将找到适用于您的体验的站点区域和受众条件的摘要。 它还提供了一些明智的建议：

启用智能推荐

转到您的项目配置，更多设置，以启用智能推荐：

查看智能推荐

您可以在两个地方查看这些智能推荐。

1. 在报告摘要中：

根据您的结果，可能会出现以下消息：

• 显着且负提升：我们观察到变体 ${variant_name} 是表现最好的变体，负提升为 ${lift}%。 目标 ${primary_goal_name} 的实验意义重大。 我们建议提取学习并设计一个新假设。
• 显着和积极的提升：恭喜！ 对于 ${primary_goal_name}，${variant_name} 目前以 ${lift}% 的提升获胜。 实验意义重大。”
• 微不足道的积极提升：需要更多的访问者才能得出 ${primary_goal_name} 的有效结论。 我们只看到 ${variant_name} 是表现最好的，提升了 ${lift}%，但需要更多的访问者才能给出明确的结论。
• 微不足道的负提升：需要更多的访问者才能得出 ${primary_goal_name} 的有效结论。 在得出结论之前，请保持测试运行。

2. 在目标扩展框中：

以下是根据您的结果您可能会看到的一些消息：

• 恭喜 {variation.name} 获胜，我们有 00% 的统计置信度。
• 不幸的是，{variation.name} 的表现比 {baselineText} 差，我们确信统计置信度为 00%。
• {variation.name} 似乎比 {baselineText} 表现更好，但我们还不能确定
• 现在判断 {variation.name} 还为时过早

基线截图

如果您将鼠标悬停在基线屏幕截图上，您将看到一些附加选项：

• 查看真实大小的快照
• 预览变体
• 重新拍摄变体快照

实时预览和强制变化链接

预览变体将打开一个弹出窗口，您可以在其中获取实时预览和强制变体 URL。

➢ 变化

名为“变化”的部分提供了有关您的体验变化的详细信息。 状态列之后的每一列代表您的体验目标：

您可以通过单击三点菜单启用/禁用列或重新排列它们：

启用状态按钮后，您将能够暂停变化：

当您单击其中一个变体行上的三点菜单时，有一些额外的选项可用：

• 打开强制变体 URL
• 停止变化
• 转换为新的部署
• 在新实验中转换为原件
• 编辑变体
• 实时预览

➢ 目标

在本节中可以找到每个体验目标的简要描述，以及我们将在下一节中分析的一些有趣的统计数据和图表。 在我们继续之前，让我们解释一些您可能不熟悉的术语。

• 默认目标：如果您在其中一个目标旁边看到“默认目标”一词，这意味着它是我们添加到每个体验中的 2 个默认目标之一。
• 主要目标：只能有一个主要目标，必须由您决定。 这是您体验的最重要目标。 这将首先显示在目标列表中，并且经验状态将基于此更改。
• SRM ：在您的测试中检测到的潜在样本比率不匹配。 检查体验设置或联系 [email protected] 如果您发现此问题。
• 基线：这是您的默认体验基线。

现在，让我们来看看这份报告中的每个元素。

变体名称

这是您的变体的名称。 它旁边有一个复选框，您可以启用/禁用它以显示和隐藏变体统计信息。

改进

您可以在此处查看网页的原始版本和变体在转化率方面的表现。 百分比差异可以是正数或负数。 当计算出的置信度大于统计设置中设置的置信度时，颜色会发生如下变化：

• 红色代表 –
• 绿色为 +
• 其他灰色

访客

这是体验的总人数。 此处列出了唯一身份访问者。

转换

这表示每个目标/变体的总转化次数。 您希望用户采取的任何所需操作都称为转化。 根据您的网站，这可能包括从单击按钮到购买的所有内容。

兑换率

此列显示转化为转化的访问者的百分比。

置信水平（统计显着性）

在解释 A/B 结果时，统计显着性是最重要的概念。

此列指示实验变体的转化率的置信区间与原始置信区间的差异程度。 如果置信度未显示任何数字，这是因为（默认情况下）每个变体至少需要 5 次目标转换才能计算它。 它还必须满足为每个变体设置的最低访问量。 如果您更改了最低转化率，则必须满足您选择的最低转化率。

此列包含灰色/绿色点，表示：

• 1 个绿点表示 75%-85% 的置信度
• 2 个绿点表示 85%-95% 的置信度
• 3 个绿点表示 95%-96% 的置信度
• 4 个绿点代表 96%-97% 的置信度
• 5 个绿点代表 97% 及以上

箱线图（置信区间）

箱线图或置信区间表示真实转化率下降的值范围。

在讨论结果时，最好显示观察到的原始页面和变体页面的转化率值差异，以及转化率实际可以落入的范围。 差值区间是在数轴刻度上绘制的值的可能范围。

转换率的最高可能范围以数字刻度的上限为标志，转换率的最小可能范围以数字刻度的下限为标志。

在刻度上，您可以看到以下颜色：

• 灰色区域：表示实验仍无定论或需要更多人来声明有效结果。
• 绿色表示获胜的变化。
• 红色表示失败的方差。

在箱线图中，请注意原始转化率和变体转化率之间的重叠。

假设 Original 的转化率具有 10-20% 的置信区间，而 Variation 1 的转化率具有 15-25% 的置信区间。 值得注意的是，两个置信区间的重叠率为 5%，介于 15-20% 之间。 在这种情况下，无法判断 B 的变化是否实际上是一个重大改进。 这就是为什么如果箱形图重叠，Convert 不会宣布获胜者。

地位

这将向您显示有关变体的状态报告。

图表

从这里，您可以访问三种不同类型的图表。

下面是对每一个的解释：

转换

• 随时间变化的转化率：Y 轴显示转化率，X 轴显示时间。 每条线代表一个变体（累计转化率）+ 一个代表整个实验的转化率（所有变体的平均值）+ 右侧的第二个 Y 轴，代表整个实验内的累计访问者数量
• 随时间的转换：Y 轴显示转换，X 轴显示时间。 每条线代表一个变体（转化）+ 一个用于整个实验的转化（所有变体的平均转化）+ 右侧的第二个 Y 轴，它代表整个实验内的累计转化次数。
• 随时间变化的每日转化率：非累积转化率 - 类似于随时间变化的图表转化率，不同之处在于 Y 轴不显示累计访问者并且非累计用于 API。
• 随着时间的推移改进：在 X 轴和每个变化线（但不是原始）上的转化率逐日提高。
• 随时间变化的每日访客

产品

• 每位访客的产品：每位访客的累计平均订购产品 - Y 轴显示每位访客的平均订购产品，X 轴显示时间。 每条线代表一个变体（每个访问者的累积平均订购产品）+ 一个表示整个实验的每个访问者的平均订购产品（所有变体的平均值）+ 右侧的第二个 Y 轴，表示整个实验中的累计访问者数量.
• 每位访客的每日产品：每位访客的非累积平均订购产品
• 随着时间的推移改进：产品在 X 轴上的改进以及每个变化的线（但不是原始的）
• 随时间变化的每日访客

收入

• 随时间变化的收入：每位访客的累计平均收入 - Y 轴显示每位访客的平均收入，X 轴显示时间。 每条线代表一个变体（每位访问者的平均收入）+ 一个代表整个实验的每位访问者的平均收入（所有变体的平均值）+ 右侧的第二个 Y 轴，表示整个实验中的累计访问者数量
• 每位访客的每日收入：每位访客的非累积平均收入
• 随着时间的推移改进：X 轴上每天的收入改进和每个变化的线（但不是原始的）
• 随时间推移的访客

将鼠标悬停在图表上

将鼠标悬停在图表上将显示当天每个变体的转化率以及与原始变体相比的变体转化率：

显示标准偏差

您还可以选中该框以显示标准偏差（也称为标准误差）：

统计公式转换用途

注意：统计术语在另一个博客中介绍，因此我们不会在这里重复它们。 我们在这里的目的是提及 Convert 使用的数学公式。

Convert 使用 0.05 置信水平 (95%) 的常客双尾 Z 检验。 这是 0.025，因为每个尾部是正态对称分布，可以选择在 80%-99% 之间进行更改。

我们将很快将贝叶斯统计数据添加到转换报告中。 敬请期待更多的信息。

当我们想在任何方向（上升或下降）找到统计上的显着差异时，应该使用双尾检验。 此处的目标是确定变化是否导致转化次数在统计上显着增加或减少。

兑换率

此公式用于计算每个变体的转化率：

（目标转化总数/唯一身份访问者数量）* 100

变化的转化率变化

体验变异与原始转换率的百分比变化计算如下：

置信区间

用于计算围绕转换率的置信区间的统计方法用于每个变体。

使用 Wald 方法计算二项分布的标准误差（对于 1 个标准差）。 因此，对于给定的转化率 ( p ) 和样本量（独立访客的​​数量），标准误差计算为

标准误差是使用这个公式计算的，它假设二项分布可以近似为正态分布（因为中心极限定理）。 当特定目标的转化次数超过 10 次时，样本分布可以近似为正态分布。

要确定转换率的置信区间，请将标准误差与标准正态分布的第 95 个百分位相乘（常数值等于 1.65）。

换句话说，您可以有 90% 的把握确信您的真实转化率 p 在此范围内：

Z分数

使用 Z 分数，我们可以确定结果是否显着（转化率不会因随机变化而不同）：

Z分数是原始平均值和变异平均值之间的标准偏差数。 使用标准正态分布，当查看事件计数大于 1000 并且满足以下条件之一时，确定 95% 的显着性：

• 概率(ZScore) > 95%
• 概率(ZScore) < 5%

改进

不同的机会（显示在报告上）来自概率（Z 分数）值，其中：

• 如果
  
  概率（ZScore）<= 0.5
  
  然后
  改进 = 1- 概率（ZScore）
  

• 如果
  
  概率(ZScore) > 0.5
  
  然后
  改进 = 概率（ZScore）

解读经验报告时要注意什么

现在您已经熟悉了转换体验报告的所有部分及其统计公式，让我们尝试解释一些不同的体验报告，看看您能从这些报告中得到什么。

体验数据重要吗？

在评估结果并判断下一步要做什么之前，请确保经验数据是重要的。 使用转换体验报告中的“置信度”，您可以确定这些发现是偶然的，还是用户行为的真实反映。

95% 的显着性水平意味着您有 95% 的把握观察到的结论不是偶然的结果。 这也意味着你有 5% 的可能性是错误的。

或者，您可以将置信水平视为重复实验获得不同结果的可能性。

如果您获得 90% 的置信度，那么如果您重复测试，就有十分之一的可能性会得到不同的答案。 在 95% 的置信度下，有 20 分之一的机会，而在 99% 的置信度下，有 100 分之一的机会。

获胜变化：积极影响

这是一个显着变化的示例，它优于原始版本并带来了积极的改进。

对于“自定义订阅 - 步骤 1 页面视图”目标，变体 1 在此体验中击败变体 0（原始）的几率为 98.7%。 箱线图显示，选择 Variation 1 可以导致比 Original 提高 13.73% +- 0.6%

在本次体验中，可以肯定地说改进是 +7.20%，但转化率介于 13.73% +- 0.6% 之间的可能性相同。 无论情况如何，Variation 1 都会比 Original 有所改进，因此这是实施它的有力迹象！

为什么？

如果相同的体验在相同条件下重复 10,000 次，则变体 1 仍将赢得 10,000 次中的 9,870 次。

失去变化：负面影响

让我们仔细看看一个重要经验的结果，其中变体 1 没有带来积极的改进，而是对变体 0（原始）转化率产生了负面影响。

在此体验中，变体 1 在转换率上比变体 0 失败的可能性为 98.87%。变体 1 对原始转换率的负面影响预计在 4.5% +- 1% 之间。

不确定的结果：中性影响

现在让我们看一个不重要的经验。 在下面的经验中，没有一个变体有足够高的获胜机会或大于 95% 的概率。

在本次体验中，变体 1 胜过变体 0 的概率仅为 84.58%。

您可以采取的下一步是什么？

有多种选择可供选择，所有这些都取决于假设和体验的最终目标。 不管是什么情况，桌面上总是有几个选项：

• 扩大你的听众。 如果您的访问者细分太有限，请尝试关注具有更多受众的细分。
• 删除一些变化。 例如，如果您开发了四种变体，请尝试使用两种或三种变体来运行相同的体验。
• 让它运行更长的时间。
• 跟随你的直觉，选择最符合你的品牌的东西。 如果两种变体的结果相似，并且您的同事认为其中一种比另一种更符合您的品牌要求，您可以选择其中一种作为获胜者。
• 重新启动体验。 运行相同的测试两次以验证或使初始结果无效是一种明智的做法。 因为情况不太可能相同（不同的时间段，流量波动等），结果可能会有所不同！
• 让它成为。 您的原件可能已经过优化。

流量分布是否均匀？

当您设置 A/B 体验时，您会为每个变体分配一定百分比的流量（默认情况下为 50/50）。

访问者计数应代表预测的流量拆分。

在显着差异的情况下，几乎可以肯定存在样本比率不匹配（SRM）

在 50/50 的拆分中，如果一侧有 400 个访问者，另一侧有 600 个访问者，则结果不可靠。 发生这种情况时，是时候检查您的 A/B 体验设置了。 结果可能会受到内部 IP 地址或外部机器人等异常值的影响。

请记住，数据仅与您使用它进行的分析一样好。 利用您可以使用的所有工具，包括 Convert Experiences 的深入报告，以获得准确和可操作的见解。

如果您还没有帐户，请注册免费试用并试用 15 天。 您将可以访问我们在这篇文章中讨论的所有很酷的功能，以及更多其他功能。 如果您有任何问题或需要帮助入门，我们的团队随时为您提供帮助。