如何在 A/B 测试报告中展示 Shopify 指标以提供明确的价值

创建出色的 Shopify A/B 测试报告有两个主要方面 - 选择正确的指标并知道如何呈现它们。

您选择的指标会影响测试的输出并定义整个优化程序的重点。

PS 不要选择太多的指标。 使用金发姑娘规则：不要太多也不要太少。 太多了，你会在每个实验中找到一个“赢家”。 太少，您将失去潜在的学习能力，并可能对其他关键指标产生负面影响。

在您的 Shopify 报告中呈现这些指标时，请考虑全面但精简。 将视觉效果与数字结合起来，以便突出显示关键变化以及导致变化的指标的趋势或模式。

如果没有一份报告向领导层提供有意义的发现，就很难获得更多实验的支持或证明 A/B 测试的投资回报率。

也许你的学习是你避免的所有风险，因为你没有推出你在失去一个变化时获得的坏想法或见解，但一个部分显示出希望或一个指标以意想不到的方式移动。 现在您需要通过实验了解为什么会发生这种情况并证明因果关系。

底线：创建一个易于解释的报告，并帮助实验团队清楚地向利益相关者传达努力的价值——实际的胜利、学习和见解。

在 A/B 测试中跟踪的顶级 Shopify 指标及其含义

虽然您应该跟踪的指标取决于您的假设，但以下是 Shopify 的一些指标，您应该考虑密切关注

• Total orders : 下单的数量

• 总销售额：总金额按销售渠道分类
  公式：总销售额 - 折扣 - 退款 + 运费 + 税金

• 热门登陆页面：显示客户开始会话的页面。
  
• 平均订单价值：所有订单的平均值（减去礼品卡）除以订单总数。

• 在线商店转化率：产生订单的会话百分比
  
  
  • 添加到购物车：客户将至少一件商品添加到购物车的会话数量和百分比。
    公式： （（已查看购物车项目的会话数）/（总会话数））*100
  • 到达结账：购物者将至少一件商品添加到购物车、到达结账并执行操作的会话数和百分比。
  • 转换的会话数：购物者将至少一件商品添加到购物车、到达结账处然后进行购买的会话数和百分比。
• 放弃购物车率：客户在结账前放弃购物车的百分比。
  公式： (1 – (完成购买次数/发起销售次数))*100

• 跳出率：单次参与会话的百分比
  公式：总一页会话数/总入口访问量

您还可以按位置跟踪新客户、回头客、推荐渠道（SEO、社交媒体、直接或电子邮件）和销售情况。

我们通过 HARO 向 50 多名 Shopify 优化人员询问了他们更喜欢跟踪的指标，并出现了一些明显的最爱：

• 转化率 (CR)
• 点击率 (CTR)
• 转化价值
• 页面停留时间
• 跳出率
• 滚动深度
• 参与特定页面 - 例如目录/类别页面
• 站点导航深度
• 页面浏览量
• 元素视图
• 添加到购物车
• 净购买
• 结帐时间
• AOV
• NPS（购买后）
• 每位访客的平均收入
• 废弃购物车率
• 净利

现实情况是，在跟踪指标方面，没有一刀切的答案。 要跟踪的最重要指标将根据您的具体目标和目的而有所不同。

对于某些 Shopify 商店，它可能如下所示：

我最喜欢在 Shopify 商店中跟踪的一些目标是

1. 提高广告点击率。
2. 增加特定产品的销售。
3. 改进主页的导航。

Jessica Kats，Soxy 的电子商务和零售专家

Shopify 分析：您应该特别注意的 3 个指标

在 Convert，我们要求 Shopify 店主特别注意 3 个指标：

1. 转化率（CR） ——冒着明显的风险，你的转化率可以很好地表明你的实验成功或失败。 最终，您想要更多的销售额和增加的收入。 但是，如果您不尝试衡量您的行为如何影响人们在您的网站上采取的行动，那么这可能不是最佳指标。
   
   继续阅读以找出最重要的指标！

2. 平均订单价值 (AOV) ：虽然 AOV 不是最完整的指标，但您仍应考虑对其进行监控。 它是不同细分市场盈利能力的一个指标——一个广泛的指标，用于量化人们从不同类别中购买的数量。
   将其用作您的主要电子商务指标时，请确保：
   
   
   • 跨 SKU 监控 AOV
   • 您跟踪来自分销商的订单和批量订单，因为它可能会导致 AOV 失败
   • AOV 不表示利润，因为它没有减去销售成本，这是一项重大费用。

3. 每位访问者的平均收入 (ARPV)：与将订单作为随机单元的 AOV 不同，因此很难正确测试，ARPV 使用访问者作为随机单元，这很实用。
   
   ARPV 是最重要的跟踪指标，因为它由 CR 和 AOV 组成。

Omniscient Digital 的联合创始人 Alex Birkett 也同意：

你的实验目标对于你的实验设计和你最终从实验中学到的东西都非常重要。

在太多的公司里，“转化率”这个简单的比例指标是通用的实验目标。 如果您想了解您的干预是否会增加采取行动的人的比例，例如在您的网站上购买*任何东西*，那么这很好，但如果这不是您想要学习的，或者如果那不是您想要的针试图移动，这不是最好的指标。

我合作过的许多 Shopify 网站都想要
a) 增加购买者的购买规模（或平均订单价值 - AOV）或
b) 提高​​访问者在一组页面上的平均价值。

对于前者，您需要设置 AOV 和收入跟踪。 这些需要与您的购物车集成，但包括 Convert 在内的大多数测试工具都与 Shopify 进行了原生集成。

Convert 还有一个完整的 AOV 优化指南，您可以查看。

当我针对 AOV 进行优化时，我还会跟踪转化率，以确保我不会损害该指标。

但我将其视为一个护栏指标。

如果我可以在保持基线转化率的同时增加 AOV，我会将实验交付生产。 我还可以计算转化率确实下降一点的情况下的边际价值，但平均订单价值通过增加实验的每位访客的平均收入来弥补它。

这让我想到了 Shopify 的第二个事后报告工具：每位访客的平均收入。

一些人认为，这是最终的电子商务商店转换优化指标，因为它是一个复合指标，可以通过增加转换或增加每次转换的价值（即平均订单价值）来影响。

平均订单价值和每位访客的平均收入给报告带来了一些额外的复杂性。

转换率是一个二元指标，可以被视为一个分类变量（通过/失败，转换或不转换），并且可以使用卡方检验之类的方法进行分析。

平均订单价值是一个连续变量，并且经常受到异常值的影响（例如，有人进来并购买了正常购买量的 10 倍——您如何处理该异常值？）。

每个访问者的平均收入也受到异常值的影响，并且是一个连续变量，但该模型的基本假设往往会在更高的样本量下达到平衡。

这两个指标在 Shopify 实验报告中被低估了，但除了简单的转化率增加之外，它们确实给分析带来了一些新的挑战。

然而，大多数 A/B 测试工具都可以考虑到这一点，并且您不会在推理方面遇到太多麻烦。

工具提示：使用转换前测试分析计算器来衡量他们的样本量要求，以了解他们的风险承受能力以及他们希望检测到的对上面列出的重要指标的影响。

一份出色的 Shopify A/B 测试报告应包含哪些元素和见解？

那么出色的 Shopify A/B 测试报告是什么样的呢？ 我们稍后会谈到。

首先，浸泡这个：

只有从一个好的假设开始你的测试，你才能创建一个好的和有价值的测试报告

ONTRACK Digital 创始人 Andra Baragan

如果您想要一些关于如何创建可靠假设的指示，我们已经为您提供了保障。

现在我们已经覆盖了我们的基础，下面是 Andra Baragan 关于如何构建 A/B 测试的更多建议：

任何新的 A/B 测试都应该从回答以下问题开始：

问题：您要解决的问题是什么？

机会：您的解决方案将如何解决问题？

优化轨道：这如何帮助我们的客户实现他们的目标？ 来源：您使用哪些数据源来提出您的解决方案？

最后，在报告方面，Andra 建议返回并用数字回答这些问题。

在任何测试报告中，我们都包括以下内容：

• 测试持续时间：（测试运行了多少天）
• 测试间隔：（它运行的时间范围）
• 我们测试了什么：（解释你改变了什么）
• 见解：（1-2 行说明你为什么要测试它，你观察到什么让你想测试它）
• 你从测试中学到了什么？ 现在下一步是什么？
• 测试是否需要在实时网站上实施？ 你想重复变化并再次测试吗？ 这份报告之后需要采取什么行动？

我们总是从 Google Analytics 获得我们的测试结果——我们为每个变体创建用户的自定义细分，然后我们可以在所有相关报告上运行这些细分——这让我们对测试对用户行为的影响有了无与伦比的看法。

注意：如果您从 Shopify 仪表板中获取分析数据并将其与 Google Analytics（分析）进行比较，由于指标的计算方式会存在一些差异。 这是有关为什么会发生这种情况的更多信息。

构建报告

报告的结构可以根据您向谁展示而有所不同——执行人员不需要像您的测试团队那样详细。 但是，您的报告通常应包括以下方面：

• 幻灯片 1：测试的目的- 你为什么要运行测试，你的假设是什么导致你设计这个特定的测试？
  
  对于利益相关者和您更广泛的组织，您可以保持这个相当高的水平。 在向您的测试团队展示时，请包含以前测试的上下文（如果适用），并深入了解您希望移动的指标。

• 幻灯片 2：测试的详细信息 - 显示测试的不同变体并添加简要说明以解释差异。 包括您运行测试的时间、运行了多长时间以及按变化划分的访问者数量概览。
  
  在向领导层或其他团队展示时，您可以省略与学习或见解无关的细节。 对于您的测试团队，您可以扩展此幻灯片或页面以涵盖每一个微小的细节。

• 幻灯片 3：测试结果- 显示提升或损失百分比、不同变体的转化率以及测试的统计显着性。
  
  利益相关者关心结果，这使其成为您报告中最重要的方面之一。 突出胜利和以正确方式移动的 KPI。 删除与结果无关的异常值。 请记住，您必须诉诸他们的自身利益。 给他们一些可以让他们看起来不错的东西。
  
  对于您的测试团队，您可以将更多时间花在损失以及哪些指标未能按照您预期的方式移动。

• 幻灯片 4：从测试中吸取的教训——如果测试没有明显的胜利，这是您使用数据讲述故事的机会。 向利益相关者解释您报告中的数字意味着什么，您从运行这些测试中获得了哪些见解，以及您计划如何为未来的测试生成新假设。
  
  这对您的测试团队也非常重要。 你从失败中吸取的教训可以决定团队的下一步。

• 幻灯片 5：对收入的影响：如果可以的话，试着用 YoY 预计的收入影响来量化你之前显示的百分比提升。
  
  请记住，如果高管利益相关者对实验感兴趣，您必须向他们展示对公司底线的影响。 如果您没有任何预计的收入可显示，请确保您的学习内容包括运行可能会产生影响的未来测试的计划。
  
  

由于没有一种方法可以做到这一点，我们请了几位专家分享他们如何构建报告，这就是他们所说的：

我有一个非常标准的报告结构方法，其中包括：

1. 概述
   
   对我们测试的内容、我们为什么这样做、我们观察到的内容以及我们接下来打算做什么的快速、简单的语言总结。

2. 测试概念
3. 实验广告素材
4. 日期和持续时间
5. 指标
6. 页面
7. 假设
8. 分析
9. 结果
   
   在我看来，每份报告都必须包含完整的原始结果，以便其他人审问它们，也为了后代的利益。
   
   我们可能想当然地认为我们现在可以访问我们的 A/B 测试工具中的结果，但是一年之后呢？ 两年？ 三？

10. 下一步
    
    根据我们在这个实验中看到的情况，我们接下来要做什么？

Oliver Palmer，Oliver Palmer 的 CRO 顾问

我们的 A/B 测试报告始终包含以下要素：

1. 清晰描述每个版本所做的更改；

2. 实验结果，包括哪个版本表现更好； 和

3.根据A/B测试结果对进一步实验的建议

这些报告帮助我们了解什么对我们的商店最有效，并就如何提高我们的转化率做出明智的决定。

PalaLeather 首席执行官 Luke Lee

1. “已查看实验（页面）– 有多少人查看了该实验？
2. 已查看的实验（元素）——如果实验只显示在滚动条上，有多少人看到了它？
3. 实验停留 - 在桌面上，用户的光标是否悬停在实验区域上？
4. 实验交互——用户是否与实验交互？ （单独跟踪每个元素）
5. 页面停留时间
6. 是时候结账了”

AirOps 创始人兼首席执行官 Alex Halliday

以下是 ONTRACK Digital 活动报告之一的快速示例：

（您可以将其用作报告的模板。）

幻灯片 1：

• 品牌
• 报告名称
• 时间段

幻灯片 2：

测试亮点

• 完成的测试数量
• 成功测试的数量
• 实现的功能
• 正在进行的测试数量
• 带有状态更新的所有测试的概要

幻灯片 3：

特定时期的 Google Analytics（分析）概览

• 收入和转化率
• 交易
• AOV

幻灯片 4：

当前运行的测试

• 当前正在进行的测试的快照
• 来自 A/B 测试软件的视觉效果，显示哪一个正在成为赢家
• 来自 Google Analytics 的指标来支持测试的进度

幻灯片 5：

未来测试概述

• 计划中的所有测试

您可以使用一张幻灯片来解释每个测试，并附上视觉效果。

涵盖目标和 KPI

目标和 KPI 位于“测试详细信息”部分，因此您可以解释实验的目标。

请务必添加注释以解释您的选择。 您可能会被询问为什么选择特定目标或 KPI 来跟踪其他目标。

需要帮助确定要跟踪的目标和 KPI？ 获取我们在 A/B 测试中使用目标的终极指南。

我们还请了几位专家就他们追踪的目标发表意见：

我最喜欢在 Shopify 商店进行测试的目标是增加目录页面的参与度。 我们的产品定义了渠道内的销售收入和客户增长。 专注于这个目标和测试为我们提供了关于页面是否被访问足够多次的足智多谋的见解。 如果参与度低，测试可以帮助我们找出我们缺乏的领域，从而促使我们改进营销工作。

Faruzo 首席执行官 Aviad Faruz

在目标跟踪方面，我通常从下面的列表中选择一个主要指标，然后将其他指标用作健康指标或计数器指标。 最好留意多个数字，以防出现意外后果。

1. 跳出率
2. CVR（整体提升转化率）
3. AOV（平均订单价值）
4. 每位访客的平均收入（上述两者的混合）
5. NPS 或类似的

我还喜欢通过以下方式对用户进行细分：

1. UTM 源
2. 设备类型
3. 地点
4. 新访客与回访者”

AirOps 创始人兼首席执行官 Alex Halliday

就目标而言，我们通常会直接尝试影响一个领先指标（例如，查看的产品页面或与尺寸/颜色过滤器的交互），然后几乎总是有每位访客的转化率和收入。 跟踪的目标应该与实验的假设和商业目标直接相关，因此最多跟踪三个或四个以上很少有用。

Oliver Palmer，Oliver Palmer 的 CRO 顾问

我们通常在 A/B 测试中跟踪两个目标：转化率和平均订单价值。 但是，根据实验的性质，我们也可能会跟踪其他目标，例如点击率或网站停留时间。 它通常取决于实验。 其他用户和企业可能有不同的标准来跟踪他们各自的目标。

我们最喜欢在 Shopify 商店进行测试的目标是转化率和平均订单价值。 我们发现这些是我们商店最重要的指标，它们为我们如何改进商店提供了最深刻的见解。 但是，每家商店都不同，您可能会发现其他目标对您的业务更重要。 这实际上取决于您要优化的内容。

Palaleather 首席执行官 Luke Lee

为视觉叙事添加创意

您使用的大多数 A/B 测试软件都会提供表格和图表或某种现成的模板，供您在导出报告时使用。 您可以将这些图形添加到您的报告中（当然，如果它们是相关的）并考虑创建一些您自己的图形。

你的数字讲述了一个故事。 只需使用广告素材来直观地描绘它。 诀窍是使用易于理解的可视化，最好一次性使用。

CXL 的 Annemarie Klaassen 和 Ton Wesseling 走上了这条道路，尝试了不同的方法来找到一个行之有效的解决方案。 以下是他们建议的快速摘要：

提示 1：如果您不确定，请遵守规范 — Excel 电子表格

您可以立即看到升力和冲击力。 此外，您可以对获胜者进行颜色编码，以便每个人都可以轻松查看哪个变体获胜。

提示 2：添加图表

您可以查看一段时间内每天的转化率，并添加默认变化的下限和上限。

但是，这不会让您清楚地回答哪个变体获胜以及 KPI 是如何受到影响的； 仅向您表明存在对利益相关者不感兴趣的稳定效果。

提示 3：模仿统计学家

另一种方法（可能更准确）是复制统计学家所做的：2 条钟形曲线、一个临界值和一个阴影区域。 但问题是很难清楚地解释它。

所以 Annemarie 和 Ton 想出了这个：

两个明确的点来显示两种变体的转化率。 虚线表示置信区间。

“如果变体 B 的转化率超出了 A 的置信区间，则变体 B 明显更好。 绿色阴影区域强调了这一点。 红色区域中的一个点意味着变化的表现明显更差。”

他们又试了几次才把它弄好。 他们最终得到的是一个更统一的版本，这对他们的团队来说是有意义的，并且他们能够自动化创意的制作。

你可以阅读完整的帖子，看看他们最终得到了什么。

PS你不必过于复杂。 确保你有创意来支持你的结果和学习，并确保每个人都容易理解。

涵盖靶向和实验设计

您如何设计实验以及针对哪个细分受众群与您从中学到的东西一样重要，尤其是因为您必须使用这些见解来构建未来的测试。

这些也位于“详细信息”部分。 您可能希望抽象出一些与最高管理层无关的信息或提供其精简版。

以下是专家处理目标和细分的方法：

不同的实验将针对不同的用户群，例如回头客或看过您的主要产品页面的个人。 如果您有来自盎格鲁世界各地的用户，您可以使用英国英语定位英国客户。 通过细分您的受众，您可以仅向符合您条件的特定数量的访问者展示您的实验，同时排除那些不符合条件的访问者。

在您的商店中进行 A/B 测试之前，您需要确定您的受众的哪一部分适合您的假设。 分段可确保向正确的客户展示正确的实验。

Lulu Albanna, 联合创始人 – WRC Media

解释你为什么做出这些具体的选择。 是之前实验的结果吗？ 或者，您是否基于转换研究得出了某个假设？

Electric Sc​​ooter Guide 的技术经理 Paul Somerville 还建议分享触发测试的位置以及为什么这很重要：

作为 Shopify 公司，我们针对实时聊天、号召性用语按钮、产品图片、追加销售定位、登录页面、导航菜单等功能进行了多次 A/B 测试。

例如，A/B 测试帮助我们在交叉销售和追加销售之间建立了正确的平衡，而不会给客户体验带来烦恼或摩擦。

我们注意到，经过多次实验，我们的受众立即喜欢产品页面上高度相关的建议，而不是结帐时提出的建议，因此，我们提高了平均交易价值。

归零分割

所有的测试都不是从一个受众群体开始的。 通常，测试的目的是找出哪个部分对变化的反应更好。

因此，如果您打算在测试完成后定义细分受众群，请确保将您的发现包含在报告的“结果”和“学习”部分中。

您希望在报告中包含的一些常见细分：

• 地理
• 行为的
• 天气
• 技术图

所有这些都将帮助您改进必须的结果，以更好地了解您的受众并设计卓越的测试。

但是，您应该记住，后期细分可能会遇到三个常见问题——样本量太小、比较多个细分以及关注完全错误的细分。

注意：您还可以根据 cookie、数据层甚至 HubSpot 列表进行后期细分——细分受众群体。

在内部和向客户传达 Shopify A/B 测试的价值

现在您已经知道 Shopify A/B 测试报告应该是什么样子了，以下是我们专家的一些建议：

• B2C 与 B2B – 向他们展示正确的道路
  B2C 中的购买周期要短得多，流量也多得多，因此理想情况下您有可能进行大量测试。 但是，您会发现大多数品牌仍然专注于“久经考验”的获取渠道，由于新的隐私更新导致数据不佳，这些渠道变得不可持续。 结果？ 客户获取成本的惊人增长。 向您的客户/利益相关者解释您不能超过所有竞争对手。

• 发挥领导的利益
  A/B 测试的真正价值在于您从实验中收集到的见解。 但这些对创始人和其他利益相关者没有用。 他们不太可能对学习印象深刻，而对“胜利”更感兴趣。

• 不要设定错误的期望
  当然，您应该尝试显示对收入的影响，但这里的关键词是：尽可能。 不要根据转化率或平均订单价值的增加来预测收入。
  而是专注于测试的内容：
  
  
  • 具体说明您所做的事情并创建可视化和相关的报告。
  • 学到了什么？ 这可以来自 CR 或 ARPV 移动等指标。 不要关注运动，而是如果假设被证明是正确的。 如果是这样，因果关系揭示了您的细分受众群的哪些方面？
  • 你将如何处理这种洞察力？ 你会细化定位吗？ 或者也许改进网站设计？
  • 这对整个企业意味着什么？ 它能让品牌更接近实现业务目标吗？

• 为您提供的数字添加上下文
  你必须毫不含糊地让人们知道他们在看什么。 这可能意味着颜色编码、添加行业基准、显示平均值、受众细分，甚至显示不同渠道的成本。

遵循这种方法可确保您不会总是面临快速获胜的压力。

你可以将注意力重新集中在实验的意义——学习上。 但关键不是将一件事优先于另一件事。

最好的实验机构与他们正在测试的内容一样关注兴趣和支持。 在热情（是的！实验可以发展业务）和设定不准确的期望（我们的收入将翻倍）之间进行真正的平衡。

前进的道路是（*请打鼓*）教育。 获取一份“Experimentation Works”的副本——这是一本没有行话的读物，它将指导您进行更好的测试并分享可操作的见解。

如果您正在寻找可以帮助分担负载的 A/B 测试工具，不妨试试 Convert。 免费使用 15 天，无需信用卡。