通过质量保证确保您的 A/B 测试万无一失：A/B 测试 QA 完整指南

无法正常运行的 A/B 测试不会转换。

A/B 测试可能会耗费优化人员大量的时间、金钱和资源。 当然，没有人希望他们的辛勤工作白费。 这就是为什么您需要对网站、登录页面、个性化、A/B 测试、电子邮件活动等执行质量保证 (QA)，以确保一切正常运行。

而创建简单、易用、直观、无错误且高效的 A/B 测试的最佳方法是采用适当的 QA 流程。 通过这种方式，访问者会收到有价值、可靠且高度互动的最终产品。

QA是防灾的关键。 它能够在缺陷和漏洞变得严重之前发现它们，这有助于优化人员在测试过程中避免高成本。

虽然众所周知质量保证很重要，但许多优化人员并没有真正花时间对他们的测试进行正确的 QA。 结果，这些测试经常失败。 如果他们这样做了，那么“不起作用”的网站就会减少。

什么是质量保证？

让我们先来一些快速的定义。

什么是质量？

质量转化为“适合使用或目的”。 在 A/B 测试功能、设计、可靠性、耐用性和价格方面，一切都是为了满足客户的需求和期望。

什么是保证？

保证只是关于 A/B 测试的积极声明，可以灌输信心。 可以确定 A/B 测试将按照预期或要求正常工作。

A/B 测试中的质量保证

简而言之，质量保证是一种确定 A/B 测试质量的技术。 它将优化人员和开发人员聚集在一起，以确保一切在所有相关设备和浏览器上都能正常运行。

换句话说，网站（或登录页面、变体、电子邮件活动等）需要具有高质量，以避免让访问者面临摩擦和其他痛点。

用户测试：

• 检查真实的人如何使用网站以及这与开发人员的意图有何不同
• 在真实世界的使用环境中发现潜在的访客误解和摩擦点。

质量保证：

• 显示网站上的错误和损坏的元素
• 提高网站性能

因此，它们是不同的，QA 是一个更广泛的术语。

为什么 QA 在 A/B 测试中很重要？

当然，这里和那里的一些错误是令人讨厌的。

但是，归根结底，它们会影响利润吗？ QA 是否值得投入更多资源？ 如果事情不完美，那有什么区别？

尽管我们已经克服了质量保证方面的相当大的障碍，但许多组织仍然低估了它。

让我们找出影响 QA 的最大风险，以及为什么它在 A/B 测试中扮演如此重要的角色。

优化人员和开发人员离 A/B 测试太近了

优化人员和开发人员通常一起工作来设置 A/B 测试。 他们是如此接近，以至于当他们负责质量保证时，很容易忽略次要但至关重要的方面。

但是，QA 测试人员确保关注质量。 它们执行非显而易见的功能，以“意想不到的方式”推动应用程序，而这些功能通常从未想过。 除非有证据，否则 QA 测试人员拒绝接受“已修复错误”。 他们不怕尝试新事物而失败。 如果他们第一次没有发现错误，他们会在测试中更有创意，并将其与预期标准保持一致。

对 A/B 测试及其设计的第二双眼睛可以发现意想不到的缺陷。

模拟器不是真正的交易

最终用户不使用模拟器； 取而代之的是带有浏览器的实际设备。 如果您不在真实设备或浏览器上进行调查，则完全有可能错过特定于浏览器的问题。

我们已经看到许多支持案例，用户非常确信他们的 A/B 实验在 BrowserStack 上运行良好（模拟 A/B 测试在不同浏览器上的外观）。 但在为真实访客启动测试时，他们会联系我们的支持代理报告 A/B 测试故障。

真实支持案例：

对我的项目进行转换时遇到问题。

Click_Cart_Checkout_1 似乎不会在 iPhone XR/Safari 上触发。 我已经检查了开发工具控制台（chrome://inspect 并将 iPhone 链接到 macbook），我可以看到执行该转换的代码，但它没有在报告中跟踪。

在 devtools 中使用 XR 模拟 iPhone 时会跟踪转换，但在实际测试中不会。

我们已经在两个单独的 iPhone 上进行了测试。 我们的 QA 测试员和我的。

除非您跨浏览器执行手动 QA，否则您可能无法测试您的指标配置是否正确。 几周后，您甚至可能会检查结果并发现您的主要操作在某些浏览器上没有正确触发或根本没有触发！

因此，请确保您在不同的环境中对测试进行 QA，而不仅仅是在模拟器中。

互动

如果您不手动检查变体，您也可能会错过链接到页面或变体交互的错误。 这可能会导致简单的问题，例如难以打开手风琴、按下按钮或影响整个漏斗的重大问题。

真实支持案例：

在变体页面上，我们遇到了 CheckOut 按钮的问题，有时还遇到了 PayPal 按钮的问题，尽管在原始页面上一切正常。

当我单击结帐按钮时，它会将我重定向到此处：cart.php/checkout.php 但应该是 /checkout.php

我们的标志也有问题； 有时它显示，有时不显示。

A/B 测试不仅仅是向页面变体添加新元素以及这些元素如何相互交互以及它们如何增强整体网站功能。

断点和更改设备显示模式

如果您使用模拟器，您可能会忽略将设备模式从纵向更改为横向或反之亦然的问题。 您可以快速抽查变量是否在两种模式下都正确显示，以及用户是否在两种模式之间切换，以确保真实移动或平板设备上的变量的质量。

真实支持案例：

我们正在对我们的项目进行多变量测试，客户注意到图像在移动横向模式下显示不正确。 我可以请你帮忙找出原因吗？

从人类的角度进行测试

只有人工执行的 QA 才能分辨出什么时候看起来“奇怪”。 自动化测试方法不会发现这些视觉缺陷。 QA 工程师可以通过与网站进行交互来发现可用性问题和用户界面 (UI) 故障，就像他们是用户一样。 自动化测试脚本无法测试这些。

如果您不对 A/B 测试进行 QA 会发生什么？

现在很清楚 QA 可能意味着业务成功或失败之间的区别，让我们看看如果忽略它会发生什么（提示：它不漂亮） 。

延迟启动 A/B 测试

为了确保 A/B 测试的成功，事先留出足够的时间进行质量保证至关重要。 这包括确保所有 Web 或应用程序元素正常工作并满足业务和客户需求。 QA 有助于在您开始测试之前识别和修复问题，以避免启动延迟。

报告结果中的错误

如果没有 QA，就会出现变异错误，并可能导致报告结果中出现统计错误。

当测试结果显示原始结果与没有差异时的变异之间存在显着差异时，就会出现假阳性结果（也称为I 类错误）。 另一个错误是假阴性（又名II 型错误），当结果显示变异和原始之间没有显着差异，但有差异时。

兼容性差

您的访问者从不同的位置和浏览器访问您的服务。

如果可能的话，您应该考虑和测试与设备和语言的兼容性。 您有责任确保您的应用程序在不同的浏览器中运行，尤其是在所有版本中。

客户挫败感和声誉损失

您是否知道不满意的消费者比满意的客户更有可能发表公开评论？

线上和线下的投诉，以及产品废弃，对您的企业来说都是个坏消息。 由于负面信息，其他潜在买家对购买该产品犹豫不决。 一些心怀不满（和直言不讳）的客户可能意味着对您的品牌的信心降低。 如果消费者在网上发表负面评论，他们的不满可能会影响未来的购买。

对 A/B 测试工具缺乏信任

品牌首先投资 A/B 测试解决方案的唯一原因是做出明智的决定并为访问者提供最佳的在线体验。 如果您不能信任您的 A/B 测试解决方案，您就不能指望您的优化努力转化为有意义的收益。

通过确保所有 A/B 测试的质量有保证，您将知道数据得到了适当的收集，并且您的优化工作为您的访问者带来了真正的好处。

A/B 测试中的技术问题至关重要，因为它们给品牌带来了重大风险，包括数据丢失、失真报告和有偏见的决策。 它们还会产生严重的财务后果。 品牌需要完全信任他们的解决方案，因为它是一种直接影响不断提高的转化率、销售和收入的决策工具。

企业遭受销售损失

你只有一次机会给人留下第一印象。 这在很多方面都是正确的，如果你不花时间进行质量检查，你可能会把钱留在桌面上。

看似很小的事情，例如阻止结帐进度或不显示 CTA，都可能导致您的客户放弃您的商店。 您需要测试所有这些以丰富客户体验。

客户成功和客户幸福的关键是提供高质量的产品。 满意的客户会返回，甚至可能会推荐其他人。

QA A/B 测试的 4 个最佳实践

如果您已经阅读到这一点，则意味着您了解质量保证的价值并希望了解更多信息。 但是您可以对 A/B 测试的哪些部分进行 QA？ 最好的做法是什么？

以下是一些帮助您入门的方法。

1. 制定质量保证策略

在对 A/B 测试进行 QA 之前，请创建策略或建立结构化流程。 它应该有一个明确的目标和具体的质量标准来衡量质量保证。

此外，与您的开发和优化团队讨论痛点。 通过考虑不同的观点并设定共同的目标和标准，让所有参与的人达成共识。

您的QA 策略也应该与您的转换目标保持一致。 如果您花在质量保证上的时间和资源最终没有促成转化，您可能需要重新考虑整个过程。

你通常需要什么来建立一个方便的策略？

• 奠定基础并分配角色
• 确切知道要进行质量检查的内容
• 预测可能出现的问题和解决方法
• 列表变体
• 确定 QA 的目标对象（目标用户组）
• 制定质量保证标准

2. 在 A/B 测试中确定要 QA 的内容

如果您不知道什么以及如何为 QA 做准备，那么确保 A/B 测试的质量可能会非常乏味和复杂。 以下是需要考虑的一些最关键的方面。

页面元素

页面元素是 A/B 测试的核心。 因为它们面向客户并直接影响页面速度和用户体验，所以您需要不断测试它们的质量。 在开始之前，准备一份所有元素的列表以供 QA 使用。 这应该是您的 QA 策略的重要组成部分，以进行成功的审计、减少周转时间以及识别和修复明显的站点弱点和问题。

您应该关注的一些关键领域：

• 页面速度和响应能力：这些在 QA 中很容易被忽略。许多动态站点因素会影响页面性能和响应能力。 虽然您可以针对单个功能评估这些因素，但要查看它们是否会使您的网站变慢以及如何影响所有差异。 您需要创建一个更大的图景并探索响应式设计的所有可能性，同时牢记您的网站性能和客户体验。
• 设备类型：屏幕分辨率因访问页面的设备而异。 在针对分辨率严重影响用户行为的移动受众进行测试时，这一点非常重要。 要实现优质体验，您需要确定消费者使用的设备。 相应地跟踪模式和 QA 您的测试元素（对于那些设备）。
• 图形和视觉效果：所有图形和视觉页面元素都应经过 QA，影响页面性能和加载时间。 理想情况下，您需要了解如何在 A/B 测试中使用图像。 您使用的任何图像都应与您的网站结构和设计同步，并在不同的设备上正确加载。
• 基本上一切：页面上的表格工作正常吗？ 对它们的任何更改是否会影响网站质量？ 旧的和新的是什么样子的？ 我们可以在一个站点上讨论数百个元素以进行质量检查，但仍然没有抓住重点。 这就是为什么您应该了解需要验证和测试的每一个小细节。 你是怎么做到的？ 通过不断检查并确保您的更改带来的结果。

与第三方工具的集成

如果您设置了Google Analytics 集成（或任何其他第三方界面，例如 Google Analytics、Mixpanel 或 Kissmetrics）来在平台之间发送特定于变体的数据，请确保数据流畅而准确地流动。

闪烁或闪烁

在进行测试之前消除任何闪烁。

在您的网站上使用异步代码片段，您可能会在加载变体之前看到原始代码片段。 为了给您的访问者提供流畅的网站体验，请切换到“同步网站”。 对于较短的加载时间，原始内容被隐藏，您的访问者只能看到变化

跨浏览器和跨设备

A/B 测试最常见的问题之一是“浏览器和设备兼容性”。 检查变体在最流行的浏览器中的显示方式，包括 Chrome、Safari、Firefox、Edge 以及设备类型、台式机、平板电脑和移动设备。

仅仅因为您的网站具有响应性并不意味着它会在所有设备上正常显示和工作。 您仍然需要QA 牢记特定于移动设备的问题。 请记住，良好的“桌面体验”与良好的“移动体验”不同。

您仍然必须执行 QA。 您还应该考虑特定于移动设备的问题。 请记住，良好的桌面体验与良好的移动体验不同。

GetUplift 的转化优化顾问 Talia Wolf 很好地总结了跨设备问题并提供了一些可能的解决方案：

Talia 对设备可用性的看法不仅仅揭示了设备体验的常见方面，主要集中在能够轻松导航和简单操作的领域。 您需要超越并考虑现有和未来的设备功能以提供正确的质量。

3.专注于页面体验

如果它们最终不能改善页面体验，您会为什么而付出所有努力？ 页面的功能会显着影响页面体验，应及时进行 QA。

• 用户交互：首先分析用户如何与页面交互。 列出不同的交互接触点，并根据其技术性对其进行分类。 确保检查最小的细节。 一切都可点击且可正确重定向吗？ 导航悬停是什么样的？ 是否有任何页面故障或弹跳触发器？
• 页面加载时间：在运行 A/B 测试之前和启动它之后，检查页面加载时间。 页面加载时间的任何差异通常可以忽略不计，但如果您发现显着增加，请重新检查变化变化。 这可能是由于您对变体所做的更改需要很长时间才能加载或跟踪代码段的速度。

值得注意的是，在使用测试工具执行 QA 时，加载时间比平时要长——这是对实际页面加载时间的不准确表示。

此外，预览不同变体的测试可确保正确加载并产生预期结果。

4. 使 QA 与您的转化目标保持一致

A/B 测试是转化的先导。 如果您的测试最终无法与您的转换和 A/B 测试目标保持一致，那么您将面临长期消耗现有资源的风险。

如果布赖恩的话是可以接受的，那么前面讨论的所有元素不仅应该将您的访问者移到转化漏斗中，还应该导致转化。 只要您有时间、人员和预算，您就只能进行测试并再次尝试测试。 这需要以影响您的底线并保持您的业务运行的方式优化所有这些领域。

这是一个用例：

如果您在控制台中运行 CSS 选择器，您可以查看生成的元素是否是您正在寻找的。 如果有任何偏差，请检查正则表达式是否不够窄。 可以肯定的是，获取一些网站 URL 并使用 RegEx Pal 之类的工具运行它们。 这适用于运行测试和跟踪转化。 您可以进一步检查您是否在不是为它设计的页面上运行测试？

这一切可能看起来很多，但该过程应该类似于您在发布新网站/应用程序时所做的广泛测试，这可能需要数天时间和大量精力。

为什么质量检查没有正确完成

以下因素会导致您的 A/B 测试没有得到充分的 QA。

时间限制

开发团队一直承受着保持高拆分测试速度以实现更快增长的压力。 但是，在这样的负载下，A/B 测试更有可能被错误地实施。

错误实施的跟踪代码

这是一个简单的错误，但它可能会产生巨大的后果。 当您错误地实施跟踪代码或完全忘记它们时 – A/B 测试中的数据将变得毫无用处，因为无法知道哪种变体更能将访问者转化为潜在客户和客户。

没有明确的假设

在 A/B 测试中针对您的原始页面测试新假设——仅此而已。 并且它们需要被充分描述和定义。

例如，您可能想查看是否包含 CEO 的报价会提高或降低着陆页的转化率。 零假设表明综合报价对转化率没有有意义的影响。 您可以制定一个有向假设：包含报价会导致更高的转化率。

样本量不足

对于测试无用或不合适的小型在线商店和网站，可能就是这种情况。 由于样本量小，结果容易出现严重的波动和扭曲。

样本越“小”，估计不准确的可能性就越大。

过大的样本也可能是一个问题。 当使用区间尺度数据（例如测量住院时间）时，即使是很小的平均差异也会在大样本中变得显着。 计算效应量和理想样本量可以帮助您解决这一挑战。

Convert 如何克服典型的 QA 挑战

任何将实验引入其数字营销策略的公司都应将 QA 措施纳入其运营工作流程，例如在上线前验证集成和预览体验。

在 Convert ，我们将拼图的许多部分整合在一起，以最简单的方式创建个性化策略。 我们已经帮助数百家企业提高了使用我们多样化的工具和资源构建、测试、审查和发布体验的能力。

让我们向您展示它们是什么，以及它们如何成为您所有 QA 问题的全面解决方案。

Google Chrome 转换调试器

我们的 Google Chrome 扩展将“转换脚本日志”输出到 Chrome 开发者工具控制台。 它包括实验和某些触发的变化。 该工具使您能够确定测试事件的顺序，并在调试测试时提供有价值的信息。

请记住：在整个 QA 过程中使用此调试器来决定您是否参与实验并观察变化。

与原始变体混为一谈并错误地认为实验不起作用是很常见的。 我们建议启用扩展程序并在隐身会话中执行 QA 以解决此问题。调试器输出中的所有变体和实验引用都使用相应的 ID。

预览变体 URL

这些 URL 支持使用Visual Editor开发或起草体验。 操作时，实验 QA 测试人员应该在这些 URL 和可视化编辑器视图之间来回切换。 由于编辑窗口只有一帧，因此视图可能并不完全准确。 此外，在编辑器中进行更改的代码会重复运行以获得更好的用户体验。

预览变体 URL 时请注意以下几点：

• 使用“实时预览 URL”进行预览时，不考虑站点区域和受众条件。
• 对附加参数的页面 URL 进行更改。 这是为了方便测试不同的视图。

强制变体 URL

强制变化 URL 为您提供明确的测试前景。 使用这些，您可以在类似于访问者的环境中测试您的实验。

请记住：您应该使用这些 URL 进行实验的最终测试。

使用此 URL 提供的变体是从用于提供实验的 CDN 服务器提供的。

使用 Force Variation URL 时，会评估测试条件，因此请确保它们匹配。 此外，请记住目标配置通常包含 URL 条件。 这可能是您的目标不使用 Force Variation URL 触发的原因。

在 QA 受众中使用查询参数

您可以通过向其添加 QA 受众来限制查看您的实验的访问者。

要创建“新受众”，您可以使用以下条件：

中：完全匹配 qa

QA 观众让您“激活”并验证测试，而无需将访问者捆绑到其中。

• 首先，为您的实验分配一个目标组。
• 在浏览器中打开一个新的隐身窗口进行测试。
• 不要打开第二个选项卡，并确保没有打开其他隐身窗口。
• 完成当前测试后关闭窗口，并为每个新测试打开一个新窗口。

您主要访问与“站点区域”条件匹配的 URL。 根据您的实验结构，在某些情况下，您可能首先访问不同的页面，然后导航到触发实验运行的站点区域。 无论哪种情况，请确保将查询参数添加到您访问的第一个 URL 。 即使您导航到其他页面，也会保存此参数。

如果您按照上面的说明进行操作，您可以看到实验的每个变体，因为它是随机选择的。 此外，如果您还没有从与站点区域条件匹配的 URL 开始，您可以访问匹配的 URL。 然后，您应该会看到“原始”或其中一种变体，具体取决于实验随机选择的内容。

请记住：添加 QA 受众可能会影响您匹配站点区域和目标 URL 条件的能力。

实时日志

Convert Experiences 中的实时日志跟踪最终用户如何在项目和实验级别实时与网页和实验交互。 它们捕获目标触发时的时间戳、触发事件的类型、呈现给最终用户的变化等信息。

在这里，您可以点击行中的任意位置查看更多活动详情，例如实验名称、浏览器类型、用于访问实验的设备、用户所在国家/地区、访问期间触发的目标等。

使用实时日志，您可以跟踪和监控转化的发生方式。 它们还使您可以轻松验证设置并调试在测试设置或转换过程中发现的任何问题。 实时日志还可以作为一个来源，帮助您跟踪收入并验证实验和设定的目标。

向前看，永远！

A/B QA 测试对于确保您的网站功能齐全且无错误至关重要。 QA 不仅有助于解决当前的问题，而且还为预防未来的问题奠定了基础。

但是，将 QA 流程放在一起可能很困难。 有这么多潜在用户在许多设备上具有不同的目标和抱负，很难知道从哪里开始以及要问什么问题。

我们就 QA 的重要性对转化率优化社区进行了调查。

回应是明确的。

100% 的受访者表示，QA 程序对于实验的成功非常重要。

我们将行业范围内的 QA 最佳实践与 Convert 认证代理合作伙伴的见解相结合，构建了一份您将反复使用的综合清单。

上面的清单并不是您应该检查的所有内容的完整列表，而是在启动 A/B 测试之前考虑需要做什么的起点。 重要的是要记住，QA 是一个旅程，而不是一个目标，它应该定期进行，并贯穿于重大变更。