A/B 测试 vs 多变量测试 vs 多页测试

在运行 CRO 实验时，您可以在四种类型的测试中进行选择：A/B 测试、拆分测试、多变量测试和多页测试。

这些测试中的每一个都有其自身的优势和局限性。

除非您为实验选择正确的测试，否则做出以数据为依据的 CRO 决策可能会变得很困难。

因此，让我们了解这些不同的优化测试技术是什么以及它们如何相互比较……以及每次运行实验时如何确保选择正确的测试。

开始。

什么是 A/B 测试

A/B 测试是一种测试页面上一个或多个元素的更改的方法。

通过 A/B 测试，您可以向页面添加元素或删除或更改元素，并查看添加、删除或更改如何影响页面的转化率。

这些元素可以是页面中的任何图形或文本项目——例如，它的 CTA 或标题副本或主图。

在 A/B 测试中，您创建原始页面的一个或多个精确副本，其中唯一不同的元素是要测试的元素。

当您针对原始副本（称为控制）测试这些副本（称为挑战者）时，您可以看到更改如何影响转换率。

拆分 URL 测试

还有另一种形式的测试通常与 A/B 测试混为一谈，但与 A/B 测试有着根本的不同。

它们被称为拆分 URL 测试或拆分测试。

在拆分测试中，页面接收的流量被拆分到中间并定向到同一页面的两个完全不同的版本，以便识别对指定目标执行更好的版本。

通常，这些版本托管在不同的 URL 上，但最终目标是提高特定操​​作的转化率，例如填写表单或添加到购物车。

拆分 URL 测试用于测试完全不同的页面设计或版本。

这里的目标是找到表现最好的那个。

因此，如果您想测试两个完全不同的想法，那么您应该使用拆分 URL 测试。 例如，如果您要测试两个主页设计，那么这将是正确的技术。

A/B 测试示例

生产力工具的领先销售商 BestSelf Co 意识到可以通过 CRO 提高其旗舰产品的销售额。 因此，它聘请了一家 CRO 机构 (SplitBase) 来研究这种情况是如何发生的。

SplitBase 进行了研究，并假设在着陆页（最初没有标题）中添加以利益为导向的标题可以帮助获得更多销售额。

SplitBase 决定运行 A/B 测试，并针对原始页面测试带有标题的页面。 SplitBase 还决定测试两个版本的标题。

因此，它使用简单的 A/B 测试的实验最终得到了三个版本：

• 版本 A（没有标题的控件）
• 版本 B（带标题的挑战者）
• 版本 C（标题变体的挑战者）

三个版本的流量平均分配（每个约 33%），以查看哪个版本的销量最高。

如您所见，A/B 测试实验很可能成为 A/B/C/D…n 测试实验。

A/B 测试用例

A/B 测试有一个非常具体的用例：

测试非常相似的设计（测试元素的变化除外）。

这是 A/B 测试最常见的用例，您只需对一个元素进行试验，看看更改如何影响转化率。

如果您假设某个元素可以对转化率产生积极影响，那么您应该采用这种测试技术。 例如，您可以使用这种优化测试技术来查看更改对主页 CTA 的影响。

A/B 测试的优点

• A/B 测试易于实施：无论您是测试两个非常相似的体验还是两个完全不同的体验，设置 A/B 测试都非常简单。 它们通常不会占用太多时间或资源。
• A/B 测试需要较少的流量（与多变量相比）测试才能产生明确的结果：如果您的网站获得足够的流量以向每个变体发送大约 10k 访问者，您应该能够使用 A/B 测试来查找对您的网站进行设计、用户界面或复制更改的具有统计意义的结果。 当您仅使用控件和挑战者（或者说，两个挑战者）运行 A/B 测试时尤其如此，因为您仍然可以向每个挑战者发送大量的测试流量。
• A/B 测试不需要太长时间来运行。 通常，A/B 测试可以在 2-3 周内产生具有统计意义的结果，并且不需要连续运行数月。

A/B 测试的局限性

• A/B 测试通常提供有限的见解：类似体验的 A/B 测试（其中只有一个元素是不同的）通常运行两个版本。 这意味着，营销人员可以从实验中学到的最多的是三个版本（1 个原始版本 + 2 个挑战者）中哪一个做得最好。 这就是全部——关于三种可能性的见解。 如果您想测试更多变体（例如，如果您想测试 CTA 按钮的 5 个版本），您将需要足够的流量来生成具有统计意义的决策，即使在为这么多变体拆分流量之后也是如此。
• A/B 测试大多只适用于做出高层次的网站决策：因为 A/B 测试非常擅长客观地回答哪个版本是最好的，所以它们非常适合做出高层次的决策。 因此，您可以决定要对您的网站或着陆页的设计或 UI 采取的方法，或通过 A/B 测试进行复制。 但是，如果您想对设计、UI 或文案等更精细的元素进行微调，那么您可能需要运行多个 A/B 测试，这可能既费时又费力。

A/B 测试工具

Convert Experiences 是一个强大的 CRO 解决方案，您可以使用它来支持您的所有 A/B 测试实验，并发现最有效的 CTA 按钮、标题副本、主图、配色方案、徽标放置等，以便在您的网站上使用。

Convert 允许通过其可视化编辑器和更强大的代码编辑器进行常规 A/B/n 测试和拆分 URL 测试。

什么是多元测试 (MVT)

多变量测试或 MVT 是一种针对对照测试多个变体的方法。

在多变量测试中，您可以添加、删除或更改页面上的一组元素，从而创建具有多个调整的多个版本，并查看对一组元素的添加、删除或更改如何影响转化率。

多元测试中的一组元素必须至少包含两个元素。 并且每个元素必须有两个变体。 这意味着在多变量测试中，您至少要测试四个版本。

这是一个简单的多变量测试的细分：

要测试的元素组：元素 1、元素 2。

元素 1 的变体：

元素 1 变体 A

元素 1 变体 B

元素 2 的变体

元素 2 变体 A

元素 2 变体 B

多元测试的数学：

要测试的版本数 = 组中的元素数 * 每个元素的变体数

多变量测试用例

公司通常使用多变量测试作为一种优化技术，以使他们的测试更加精细。 让我们马上弄清楚。 这就是延长实验周期的原因。

但是由于您可以对每个变体的元素集群进行更改，您可以从识别更大的问题/转换障碍（通过 A/B 测试进行）到微调特定页面的访问者体验。

多变量测试示例/案例研究

让我们从上面的案例研究示例创建一个假设的多变量测试扩展。

现在，由于这家电子商务商店已经使用 A/B 测试来找到其旗舰产品页面的获胜版本，它现在可以跟进一轮多变量测试，以试验获胜设计上元素的不同组合，以进一步提高其转化率。

因此，例如，在其多变量测试中，它可以通过更改 CTA 按钮、英雄图像和 CTA 按钮副本的颜色来创建多种变体，并针对原始版本运行它以找到“更多”的获胜组合。

多变量测试的优点

• 多变量测试非常适合做出微转换决策：通过多变量测试，您可以尝试设计、UI 和文本更改的多种组合。 这意味着您可以从“调整”网站的过程中排除所有猜测，以获得更好的转化率。 实际上，您甚至可以验证您最细微的选择。
• 多变量测试可以更深入地了解元素如何协同工作：因为多变量测试可以让您测试元素的组合，所以您可以看到不同的组合如何影响用户的选择（而不是像 A/ 那样只测试独立的元素） B 测试）。 对于多变量测试，当对一个变体应用多个更改而不是仅一个更改时，观察到的效果总是更大。 这称为交互效应。

多变量测试的局限性

• 多变量测试需要大量流量：如果您查看多变量测试的数学运算，您会发现要测试的版本数量非常庞大，具体取决于要测试的元素数量及其变化。 例如，如果您想使用多变量测试并测试 CTA 按钮的不同组合（三种颜色：一个控件和两个挑战者以及三个副本：一个控件和两个挑战者），那么您需要创建3*3，即九个版本。 即使对于高流量的网站来说，拥有足够的流量来分配这么多版本也是一个挑战。
• 多变量测试可能难以计划：计划一个有意义的多变量测试很棘手，因为您可以测试的组合（页面上不同元素的）数量之多。 在标题、英雄图片和英雄区域 CTA 或标题、USP 和标题等组合之间进行选择可能需要付出很多努力。 此外，在多变量测试中测试太多元素可能会扭曲结果。
• 多变量测试不适合做出明确的高级决策：因为多变量测试测试元素的组合，所以您不能总是最终确定为什么某个组合会获胜。 这意味着通过多变量测试并不总是可以做出激进的 CRO 决定。 这减少了多变量测试，以支持更精细的 CRO 决策，例如测试您已经知道运行良好的版本中元素的放置/图形/副本。

多变量测试工具

使用转换体验，您可以轻松地在您的网站上设置多变量测试，并查看元素的不同组合如何影响您的转换率。

仍然不确定选择什么多元测试工具？ 检查最佳多变量测试工具的完整细分。

多变量测试与拆分测试：您应该使用哪个？

查看下面的多变量测试与拆分基础测试（或 A/B 测试）比较表，了解何时应该使用这两种技术中的任何一种。

什么是多页测试和漏斗测试

多页测试是一种实验形式，您可以在其中测试跨多个页面对特定元素的更改。

有两种方法可以解决这个问题。

您可以获取销售漏斗的所有页面并为每个页面创建新版本。 这组新页面构成了您的“挑战者”销售漏斗，然后您针对原始销售漏斗（或“控制”）运行它。 这称为“漏斗测试”。

或者，您可以测试重复元素（如安全徽章）的存在/不存在如何影响整个渠道的转化。 这是经典或传统的多页测试。

多页测试和漏斗测试用例

通过多页测试，您可以自由评估对整个买家旅程中的元素所做的更改的影响。

选择投资于漏斗测试的企业会产生大量高级见解。

例如，您可以使用漏斗测试来找到最有效的：

• 您可以运行漏斗测试来测试页面上的不同声音和音调——例如，如果你是反病毒服务提供商，你可以在销售漏斗中测试一个令人恐惧的副本和你的中立或信任的副本——看看哪些消息最能引起您的访问者的共鸣并获得最多的销售额。
• 设计理念。 您可以尝试不同的设计理论，看看哪一种效果最好。
• 销售/支持策略。 您可以设计一个挑战者销售渠道版本，您可以在渠道的几个选定页面上提供实时聊天支持，并查看启用实时聊天的渠道与常规销售渠道（没有实时聊天支持）的比较。 同样，您可以测试大量销售/支持策略，并了解如何在销售渠道中帮助更多转化。

多页测试示例/案例研究

同样，让我们​​对上面的同一个案例研究示例进行假设扩展。

现在，因为这个特定的网站是一个在线商店，它最基本的销售渠道是：

产品页面 > 添加到购物车页面 > 结帐页面

因此，要运行多页测试，这家商店需要为每个页面创建一个变体，并创建一个挑战者漏斗，例如：

产品页面版本 A > 添加到购物车页面版本 A > 结帐页面版本 A

在其挑战者漏斗中，这家电子零售商可能会决定测试添加“10,000 名专业人士信任”的传说如何转化为买家旅程每个阶段的转化。 或者，它可能会选择显示非常不同的页面（类似于使用两个完全不同的页面进行拆分测试）。

如果他们觉得雄心勃勃，他们可以进行漏斗测试并实际玩弄副本，放弃购物车策略等等。

你明白了，对吧？

多页测试的优点

• 多页漏斗测试有助于堵住销售漏斗中的漏洞：如果您的 Google Analytics（分析）数据显示销售漏斗的某些页面出现重大下降，您可以设置多页测试以找出可以减少它们并获得更多转化的方法。
• 多页测试可以更深入地了解用户行为：通过多页测试，您可以确定用户最常参与的控制和挑战者渠道的不同元素。 您可以利用这些见解做出更明智的设计、复制和用户体验决策。

多页测试的缺点

• 多页实验可持续数月。 由于 B2B 的购买过程很长（通常长达数月），因此 B2B 多页测试可以连续运行数月。
• 从多页测试的结果中获得洞察力可能很棘手：如果您的挑战者版本试验了太多变量（例如，如果您在挑战者中同时试验设计和副本），您可能无法判断设计是否导致更多转换或副本。 创建一堆挑战者（例如，一个用于测试设计，一个用于测试副本）将需要您将流量分成三部分。 除非您的网站有成千上万的访问者，否则当您运行太多此类变体时，您可能没有足够的流量来获得具有统计意义的结果。

多页测试工具

借助 Convert，您可以轻松设置多页测试或漏斗实验，并查看不同的更改如何影响跨页面的转化。

A/B 测试 vs. 多变量测试 vs. 多页测试

A/B 测试

这是什么：

在 A/B 测试中，您测试同一页面/广告/资产的两个非常相似的版本，以找到表现最佳的变体。

何时使用：

从本质上讲，A/B 测试是优化人员用来识别转化的最大障碍的方法。 您必须创建一个假设来确定低转化率的（据称）原因，并测试更改/调整元素如何缓解问题。

通过 A/B 测试，您可以做出高级设计和复制决策。

例如，主页的高跳出率通常表明访问者没有获得产品或解决方案提供的“价值”。 具有不同版本的价值主张标题的 A/B 测试很常见。

易于获得洞察力：

A/B 测试需要每个变体大约 10K 访问者和大约 1000 次转化才能产生洞察力。 但与多变量测试相比，它们的执行速度相对较快。

多变量测试

这是什么：

在多变量测试中，您针对控制（您已经知道执行良好）测试多个变体。

何时使用：

多变量测试可用于做出更精细的决策。 例如，如果您有一个想要进一步优化的高性能主页，您可以使用多变量测试来试验主页上一组元素的更根本不同的变体。

可以将其视为在 A/B 测试阻止洪水泛滥之后堵塞较小的泄漏。

易于获得洞察力：

由于在多个变体中包含多个元素，多变量测试非常复杂。 因此，交通需求和达成最终结果的时间都变得复杂起来。

多页测试

这是什么：

在多页测试中，您测试不同的购买旅程以找到最佳的购买旅程。 多页测试类似于在销售漏斗的多个页面上同时运行一堆 A/B/N 和多变量测试。

何时使用：

多页测试或漏斗测试可用于在整个销售过程中做出高级决策。

例如，您可以针对常规销售旅程测试个性化销售旅程。

易于获得洞察力：

具有有限版本（例如 2）的多页测试可以相对较快地产生显着的结果。

比较 A/B 测试、多变量和多页测试

只有使用正确的测试格式，实验才能给出确定的结果。

作为一个概要，这是你应该记住的：

• A/B 测试——您通常在另一个版本（变体）中测试至少一个在假设中被确定为转换障碍的重要元素。
• 拆分测试——拆分测试侧重于在两个单独的 URL 上为访问者托管两个完全不同的页面和体验，同时针对相同的转换目标评估它们。 通过拆分测试，您可以测试两种完全不同的设置——例如托管平台和主题。
• 多变量测试或A/B/N 测试– MVT 通常针对 A/B 测试的获胜者进行。 在多变量测试中，您对页面元素的集群进行更改，每个独特的或经过调整的集群成为其自己的变体或版本。 很难将 MVT 变体的更高转化归因于特定元素，但优化器可以测试复制和设计的精细修改。
• 多页测试——运行多页测试类似于在销售漏斗的一堆页面上同时运行多个 A/B/N 测试。 或者，您可以测试完全不同的销售漏斗体验（例如，将一半流量发送到控制版本第 1 页>第 2 页>第 3 页，将另一半发送到挑战者版本第 1 页变体>第 2 页变体>第 3 页挑战者与控制者完全不同的变体。）

为实验选择正确的检验很大程度上取决于假设正确。 这里有一些 CRO 工具可帮助您在每次运行实验时编写清晰的假设。

此外，当您准备好开始为您的实验进行 A/B、多变量或多页测试时，请查看转换。 Convert Experiences 可以轻松处理所有您能想到的针对高流量网站的优化实验，即使在数据隐私敏感的行业也是如此。

为 Convert Experiences 提供为期 15 天的无义务免费试用，并重新思考测试如何提高您的 KPI。