2022 年最受欢迎的多变量测试工具

因此，您当前正在运行 A/B 测试并希望扩展您的测试程序。

你有很好的流量，你看到了很好的结果，现在你想运行更多的测试并尽快获得数据。

但是如何才能更快地开始测试呢？ 或者更好的是，您如何在同一时间段内运行更多测试并获得更多信息？

这就是多变量测试的用武之地。它允许您同时测试多个变体，以查看哪个特定的最有效。

在本指南中，我们将分解 MVT 是什么、它是如何工作的、使用它需要什么，并分解一些可用的顶级多变量测试工具。

从价格和功能到他们如何开展业务的所有内容，因此您可以在决定获得哪种多变量测试工具时做出正确的选择。

那么让我们深入研究一下……

什么是多元测试？

理解多变量测试的最佳方法是将其与其他测试方法进行比较，看看它有何不同。

因此，让我们看一下 A/B 测试和多变量测试以及它们之间的比较。

通过 A/B 测试，我们针对原始控制版本测试单个变体。 也许我们对如何改进标题有一个想法，所以我们创建了那个变体，然后看看哪个效果最好。

您的 A/B 测试将如下所示：

标题 1（控制）与标题 2（变化的想法）

我们可以运行的另一个测试是A/B/n 测试。

在这里，我们可以针对对照测试多种变体，以找到总体赢家。 A/B/n 测试是单变量的。

例如，我们可能有一堆标题创意，但不确定哪个会奏效。 但是因为我们有流量来运行一些测试变体并且仍然可以获得准确的结果，所以我们决定测试多个标题创意，看看哪个表现最好。

标题 1（控制）与标题 2 与标题 3

一旦我们找到获胜的标题变化，我们可能会测试一堆英雄镜头图像，然后可能是一堆 CTA 角度。

你可以猜到，这一切都需要时间，对吧？

另一种选择是运行一个测试，我们一次性更改一堆东西，看看这是否会改善指标。

对于大多数 A/B 测试，我们倾向于不这样做，除非我们正在考虑做出根本性的改变，例如，因为所有其他测试想法都停滞不前或没有产生任何影响，所以扔下冰雹来尝试寻找新的赢家。

那么为什么我们不建议对正常的广告系列进行这样的彻底改变，它与多变量测试有什么关系呢？

我们一次测试一个元素，因为如果我们进行了巨大的更改并且新页面成功或失败，我们不确定哪些更改导致了这种提升。

多变量测试或 MVT 允许我们测试多个变体，同时还跟踪每个变化以及它们如何影响结果。

我们不仅可以测试元素的多种变体，甚至可以运行它们的不同组合，直到找到最终的赢家。

假设我们想改进我们的主页，并且我们对测试什么以获得最大提升有一些想法：

• 标题
• 英雄拍摄图片
• CTA。

通过多变量测试，我们不仅可以测试每个标题创意、英雄拍摄图像选项和 CTA 角度，还可以测试这些变体的每个组合以找到获胜组合：

标题 1 + 英雄形象 1 + CTA 1 对比

标题 1 + 英雄形象 2 + CTA 1 vs

标题 1 + 英雄形象 1 + CTA 2 vs

标题 2 + 英雄形象 1 + CTA 1 vs

标题 2 + 英雄形象 2 + CTA 1 vs

标题 2 + 英雄形象 2 + CTA 2

多变量测试可以帮助您找出元素的最佳组合并了解导致这些变化的原因。

尽管如此，进行适当的多变量测试仍需要花费大量时间和资源。 您是否愿意投入这么多资源，不仅用于测试，还用于 QA 和分析？ 但在某些情况下，它可能是更好的选择。 让我们看看那些是什么。

何时使用多元测试？

多变量测试用于什么？ 在某些情况下，MVT 测试可能比 A/B 测试更有用。

1. 当你有高流量并想要增加你的测试程序时

流量是多变量测试的主要症结所在。 您需要大量流量才能测试每个更改并信任您的测试结果。

但是，如果您有流量并且想要扩大测试规模以获取更多数据并做出更多决策，那么 MVT 将允许您同时运行多个想法。

2. 当你想提升升力并有几个想法但又不想等待一个一个测试它们时

有些人认为，由于时间投入，您应该只使用 MVT 来优化当前网页并进行细微的更改，但事实并非如此。 当然，您可以使用它，但您也可以将其用于更大元素的更广泛的“假设”测试。

（也许你不确定哪个元素会提供最好的提升，所以你想尝试在墙上抛出一些巧妙假设的想法，看看哪个有效。）

如果您有运行 MVT 的流量，那么不尝试更快地找到广泛的页面组合是不费吹灰之力的。 请务必在每个变体的测试之后测量该流量的影响，因为这将使您进一步了解您的受众及其工作原理。

例如，在 Facebook 上，您可以通过添加缩略图、标题和正文等变体来设置基本的多变量测试广告。

测试将运行并告诉您该广告的哪个变体获得最高点击率。

如果您的目标只是获得点击，那么这个广告会赢，对吧？

但是，如果所有这些流量都从您发送到的页面反弹，那么您所发现的只是一种导致该受众点击的变体，而不是让他们留下并转换的变体。

在页面上运行 MVT 测试时也是如此，尤其是当您将其用作更广泛的想法收集方法时。 检查页面上发生的情况以及点击后发生的情况。

3. 改进以前的测试以获得增量提升时

您还可以使用 MVT 来衡量和改进小的改进。 事实上，许多代理机构喜欢使用它们来为当前的获胜活动争取更多的提升并测试小的变化。

假设您已经对一个页面进行了多次 A/B 测试以找到一个成功的变体，但您希望获得尽可能多的提升，即使它只有 0.5%。 您可以在该页面上运行 MVT 测试以进一步测试（因为每月有 100,000 名访问者，每 0.5% 的帮助是显而易见的！）

4. 当从想法组合中寻找最大可能的提升时（交互效应）

有时，连续的 A/B 测试可以在纸上为我们提供优胜者，但是当我们将它们结合起来时，它们并不总是我们页面表现最好的选项。

这是一个例子：

• 您运行标题测试并选择获胜者并实施。
• 然后，您使用获胜的标题变体在同一页面上运行英雄镜头图像测试并实施。
• 然后，您使用之前的获胜元素在同一页面上运行 CTA 测试并实施。

从理论上讲，这应该是您页面的最高性能版本，但由于交互或缺乏交互，可能会发生奇怪的事情。 简而言之，当一个测试中的失败元素与另一个元素变体结合时，有时可能会胜过您的顺序 A/B 测试获胜者。

如何？

好吧，当与图像和 CTA 测试中的获胜者相结合时，也许第一次测试中失败的标题提供了更高的后端转化率。

这可能会发生，但如果您只是运行 A/B 测试，您永远不会知道这一点。 相反，您会在测试其他元素之前将其从选项中删除。 这就是为什么多变量测试如此强大的原因。 它允许您找到最高的整体页面性能，即使这意味着它从测试的一部分中获取了性能较差的元素。

更好的是，它甚至可以告诉你哪个元素最有帮助……

5. 在页面上为您的受众、未来的测试和页面搜索最重要的元素时

MVT 不仅会展示您不同变体和元素的成功组合，还会向您展示提供最大提升的元素。

也许你的英雄镜头得到了更多的提升，但你也看到在你的变体页面上的所有元素中，它对你的最终结果贡献最大？

然后，这将使您深入了解首先要在哪里进行测试以获得进一步的改进，以便您可以首先专注于英雄射击改进等。

6. 将机器学习应用到您的测试过程中

由于 MVT 需要和跟踪大量数据和交互的性质，它实际上可以用作提供机器学习测试程序的重要来源。

ML 需要大数据才能发挥最佳效果，但一旦获得数据，它实际上可以开始看到模式并预测结果和行为，而随着时间的推移，流量会减少。 事实上，像亚马逊这样的网站正在这样做……

多变量测试示例

多变量测试示例 #1

亚马逊使用 MVT 和机器学习来调整其着陆页的布局，仅 7 天就使购买率提高了 21%！

多变量测试示例 #2

Booking.com 使用多变量测试为特定受众测试新的独特功能，然后在将其推广到整个网站之前衡量他们的表现。

多变量测试示例#3

在对多个页面元素（8×4！）运行 MVT 测试后，微软的 SMB 网站的转化率提高了 40%

多变量测试示例 #4

不过，也不仅仅是可以使用 MVT 的主宰。 HawkHost 在主页上进行 MVT 测试（测试标题、副标题和英雄镜头）时，销售额增长了 204%。

多变量测试的优缺点

如果多变量测试如此强大，为什么我们不都使用它呢？

你看，A/B 测试的美妙之处在于你可以用相对较小的受众规模快速测试一个想法。 这意味着大多数企业即使流量相当低也可以运行测试，然后在 14-30 天内看到结果。

但是对于多变量测试，您需要更多的受众来运行，因为您同时测试多个事物。 （特别是如果您正在进行多页测试或测试多种变体组合。）

假设我们想测试主页上的标题：

• 标题控制
• 标题变化

我们只是在测试单个变体，所以总共有 2 个选项。

现在作为一个简单的例子，假设我们希望页面的每个版本（变体和控件）都有 1,000 名访问者，这样我们就可以确保测试结果是可信的。

（所需的流量可能因页面及其转化率而异，但让我们在这里简化一下，以便您明白这一点。）

这意味着我们需要 2,000 名访问者来运行测试并信任结果，每个页面有 1000 名访问者。

如果我们想测试呢：

• 3 个头条新闻
• 3张英雄图片，以及
• 3个CTA？

这不是总共 9 个变体，而是9 个变体 (3x3x3) 的 27 种组合。

这意味着，如果我们希望每个变体有 1000 名访问者，那么我们的流量要求将是 27,000 名访问者，而不是运行测试并信任结果（基于我们对每页 1,000 名访问者的过度简化）。

实际上，每个变体可能需要大约 10,000 多个访问者才能获得准确的数据，因为仅靠流量是不够的，您还需要查看转化。

这就是为什么很多企业不运行 MVT 测试的原因，仅仅是因为他们没有流量来有效地运行它们。 事实上，大多数代理商建议在您开始运行 MVT 活动之前每月拥有大约 100,000 名访问者，除非该页面已经具有非常高的转化率。 即便如此，他们仍然建议最多只运行 6 个变体，以便能够更快地运行它们。

但是，如果您确实有这种流量呢？

那么，MVT 可以让您在几乎完全相同的时间范围内执行相当于更多测试......

如果我们从上面举这个例子，我们允许每个测试运行一个完整的 30 天销售周期，以获得一个准确的测量窗口？

假设我们有流量，我们可以在 30 到 60 天内在一个页面上同时运行 27 个测试组合，作为一个单一的多变量测试。 当您将其与在该页面上运行 27 次连续 A/B 测试（在 27 个月的时间范围内）进行比较时，这还不错！

（再次，我在这里简化并假设您在每个测试中运行一个完整的销售周期。）

但正如您所看到的，多变量测试可以让您获得见解和想法，更快地实施它们并减少连续失败测试的正常运行时间。

相当不错，对吧！？

显然，除了流量要求之外，MVT 测试还有其他一些缺点。

由于您可以运行大量的变体和组合，它确实大大增加了您在测试前和测试后的 QA 时间。

您需要确保每个变化都有效并且有意义。 （不显示不匹配的标题和图像等），因此它确实会显着增加您的设置时间和成本。

另外，一定要检查效果。

仅仅因为您在该特定页面上看到了转化率的提升，就将其跟踪到您的最终目标。 您最不想要的是更多的点击但糟糕的用户体验或高跳出率（或更多的点击但没有销售）。

多元测试的优点

• 假设您有流量，多变量测试允许您快速测试很多变体。
• MVT 可以帮助您扩展您的测试程序，以找到更多关于哪些有效和哪些无效的数据。
• 它可以帮助您比连续的 A/B 测试更快地找到获胜组合。
• 它可以帮助您找到在运行连续测试时可能错过的获胜组合。 （想象一下，如果一个标题是第 2 次执行并且您将其删除，但与第 3 次图像变体配对，它以某种方式使提升倍增？通过连续测试，您会错过这一点。多变量测试需要更高程度的交互效果）。
• 一些 A/B 测试软件可以让您查看哪个特定元素有助于提供最大的提升（让您更深入地了解您的受众）。
• 它还可以用于帮助在高性能页面上找到较小的提升。 （想象一下，您已经有一个高性能的页面，并且您正在构思新的想法以查看细微的提升，例如颜色变化。）

多元测试的缺点

• 需要大量流量才能运行，特别是如果您需要 stat sig 以便您可以信任您的结果并且不会看到误报或误报（类型 1 和类型 2 错误），并且需要 stat power 来测量较小的提升百分比。
• 您测试的变体和组合越多，流量需求就会快速增长，因此请记住这一点。 如果它们可能无法提供很大的提升，请考虑移除其他元素。 （即在担心测试页脚颜色等之前测试标题。如果你真的想的话，你可以随时测试这些。）
• 影响样本大小的不仅仅是流量。 当前页面的转化率和变量，都影响达到统计显着性所需的样本量。 更好的转化可以降低所需的流量，较低的转化会增加该要求。
• 测试更多变量时的误差幅度也会增加您信任结果之前所需的流量。
• 需要运行密集的 QA 测试以确保它们都提前工作。
• 还需要运行 QA 以确保变体一起有意义，并且没有对立或冲突的组合。 （与优惠不匹配的 CTA、海滩度假的头条新闻同时宣传滑雪旅行，甚至字体和背景颜色冲突或混合。）
• 如果您没有高流量源，您仍然可以运行 MVT 测试，只是可能需要更长的时间才能点击 stat sig 并结束测试。 （有时几个月或更长时间）。 事实上，有时只运行连续的 A/B 测试会更快、更有效。
• 仅仅通过一次测试多个事物，您可能会失去一些受众洞察力。 （测试单个元素或角度有时可以帮助您更好地了解您的受众。）

多元测试统计：MVT 背后的数学

所以让我们有点书呆子......

对于多变量测试，我们使用与标准 A/B 测试或拆分测试不同的统计分析方法。

我不想过多地研究它的数学，但这里有一个简化：

• 对于 A/B 测试，我们使用 t 检验（或 z 检验）来衡量 2 组或更多组结果之间的差异。
• 对于多变量测试，另一种方法用于查找称为 ANOVA 或“方差分析”的测试结果。 你不需要知道所有的细节，但这是核心。 主要区别在于方差分析还测量变量之间的联系和影响。 这是 MVT 的主要优势之一，因为它使我们能够看到元素组合如何相互影响。

根据您使用的工具，运行 MVT 活动时可以提供 3 种类型的多变量测试方法。 它们中的每一个都会影响您的测试如何进行的数学计算。

我们称之为：

• 全阶乘，
• 分数阶乘，和
• 田口。

那么它们是什么意思呢？

全阶乘

几乎每个 MVT 工具都将提供全因子测试作为其主要测试模型的基础，这几乎是您一直想要使用的。

此方法指的是测试中流量的“完整”分布。

简而言之，它是您一次测试每个组合的地方，在每个变体之间平均分配测试流量。

通过 A/B 测试，您可以 50:50 拆分流量。 但是对于 MVT，如果您有 10 个变体，那么这意味着只有 10% 的流量流向每个变体。

由于变体的数量和每个变体达到统计显着性所需的流量，全因子确实需要非常大的流量源，但它是最准确的方法。

但是，一些 A/B 测试平台也会提供一种称为“分数阶乘”测试的替代方案。

分数阶乘

这种方法试图绕过一些较大的流量需求，只测试较小的变化样本，然后根据当前的测试结果估算最终转化率。

它的目标不在于预测可信赖的结果以像正常一样进行扩展，即如果我们将其扩展到 X 观众，它的表现是否相同。

相反，它旨在帮助您了解早期牵引力开始发生的位置，以便您在进行更深入的测试或使用其他方法之前获得洞察力。

假设您要测试 10 个变体。

Fractional factorial 实际上会测试其中的 5 个，然后根据目前的结果尝试推断其他 5 个测试的转化率。

您可以猜到，这并不准确，可能会导致错误和误报，实际上是优化人员和营销人员之间争论的一个来源。 （几乎所有推荐全因子作为主要测试方法。）

田口

最后，您有了多变量测试的田口方法。 最初设计为一种根据产品制造研发中可接受的损失假设来衡量质量控制的方法。

大多数工具不会提供此功能，因为它使用起来很复杂。

何时停止多变量测试？

在停止任何测试之前，我们需要考虑 3 个主要事项：

• 为了让测试运行足够长的时间来为每个变体收集足够大的样本量，并且为了让测试收集到足够多的相关转化。
• 让测试运行 1 个甚至 2 个完整的销售周期（以平衡 30-60 天的流量和购物周期。）
• 最后，为了使结果具有统计学意义，即如果我们在野外进行此测试并扩大规模，那么我们可以 95% 确定它将继续以相同的方式执行。

我们建议您在此之前不要停止任何测试。 否则，数据将不足以处理。 但是，如果出现性能问题（例如某个变体的付款方式无法正常工作等），我们可能会停止然后重新开始测试，但理想情况下，我们甚至在它运行时都尽量不偷看。

（如果有明显的赢家，一些机构确实建议尽早停止，甚至在转化率低于 10% 时停止特定的变体，然后让测试继续运行，同时过滤更多的流量给表现更好的人。显然，这可能会影响测试结果很大。）

如何设置和执行多变量测试？

设置多变量测试的过程与 A/B 测试非常相似。

步骤#1：决定你的最终目标

首先，你需要为你的页面、它的目标、它的当前结果以及你认为它可以如何改进形成一个假设。

您可以使用我们的假设生成器来帮助您阐明想要实现的目标，并设定一些具体目标。

第 2 步：弄清楚要测试的内容

然后，决定要测试的元素以及您认为可以改善当前结果的变化。

例如，您可能认为测试首屏的“核心元素”会增加转化率，因此您想测试标题、英雄镜头和 CTA 按钮文本。

第 3 步：计算测试时间范围

在运行测试或创建任何资产之前，我们建议您执行测试前样本大小计算，以便您可以估计运行此测试的时间范围和流量要求。 这将帮助您深入了解您可以通过经常性流量运行多少种变化，并且仍然可以获得快速的结果。 （或者甚至让您知道是否需要测试更少的选项）。

在上面的示例中，您有 3 个元素：标题、英雄镜头和 CTA 按钮文本。

如果您想测试每个变体的单个变体，则将是 2x2x2=8 组合。 知道了这一点，您就可以开始计算出您需要多少流量。

将您当前的每周页面流量和转换率输入计算器（以及任何功率和置信度设置）。

然后，设置要测试的页数。 （本例中为 8 个）

然后，这将为您提供一个时间范围，说明您需要运行多长时间才能检测到最小升力。

第 4 步：构建测试

接下来，转到您的工具并为您的多变量测试设置不同的版本和组合。

首先选择多变量测试选项。

给它一个名字，然后添加你想要测试的页面的 URL（这样工具就可以把它拉进来进行所见即所得的编辑。）

在这个例子中，我们将努力提高我们的主页转化率。

在工具中加载页面后，您需要设置测试元素。

在 Convert 中，我们对要在多变量测试中编辑的部件使用 2 种命名转换：

• 部分，指的是页面上您要测试的元素，例如标题或 CTA，以及
• 变体，这是您对该特定元素的编辑。

我建议您一次选择一个部分来编辑和添加每个变体。

为该部分命名，例如“标题”，然后继续编辑并添加该部分的变体。 （确保在处理每个变体时保存它。）

然后转到您要测试的下一个“部分”或元素。 在此示例中，将设置另一个背景英雄镜头，然后设置 CTA 按钮文本变体。

第 5 步：确保一切正常

设置好每个变体后，对每个新处理进行 QA 测试，以确保它们都能正常工作，并且每个元素都能合理地组合在一起。 （没有竞争的 CTA 或不匹配的信息/图像，或者字体颜色和按钮加倍。）

单击“保存并继续”，将加载一个新页面。 然后，继续并单击“报告”选项卡。

从这里您将看到页面变体和有关它们的信息。 单击每个页面旁边的“眼睛图标”以查看它的预览并测试链接是否有效。

从这里您可以运行 QA 测试并将相同的 URL 用于移动测试。

第 6 步：实时推送

只要每个变体都正常工作，您现在就可以开始测试并让它运行，直到您有足够的数据。

（请注意，有一个选项可以直接从您打开 QA 测试的报告页面推送测试。）

使您的优化程序成熟的最佳多变量测试工具

现在您了解了多变量测试的工作原理，让我们分解市场上提供多变量测试的网站优化平台。 如果他们提供免费试用和其他一些细节，我们将介绍他们的功能及其定价。

在我们这样做之前有一件快速的事情。

请记住，您使用的工具与设置它的人一样好。 如果现金流紧张，那么先投资人在内部提供帮助（或联系外部机构），然后暂时使用更便宜的工具。

拥有一个令人惊叹的 MVT 测试工具固然很好，但如果人们无法正确设置它、不够快或无法理解数据，那将毫无意义！

#teamovertools

1. 转换经验

G2 评分：4.7/5.0（46 条评论）

定价：每月低至 699 美元，之后每 10 万访问者 199 美元。

他们提供免费计划或试用吗？ 是的，无需信用卡即可免费试用 14 天。

每 100,000 名访客的费用：199 美元。

优点

• 完全符合隐私要求：不会存储任何个人数据
• 由于使用了第一方 cookie，因此报告准确
• 快速且无闪烁
• 运行无限测试
• 使用 40 多个过滤器进行条件叠加，以针对细粒度的细分受众群
• 在项目、实验和变体级别灵活插入 JavaScript
• 自定义JS条件目标触发
• 与 100 多个第三方工具（例如 Shopify、WordPress、Mixpanel、Hotjar）集成
• 通过电话、电子邮件和聊天提供 4 倍速度的人工客户支持。

缺点

• Kickstart 计划中的基本帖子细分

多元测试特点：全因子。 在运行这些测试时，我们还提供直接支持和建议

客户端、服务器端还是两者兼而有之？ Convert 作为客户端的所见即所得编辑器工作，但也可以在服务器端设置并运行自定义 JS。

他们为企业服务吗？ 是的。 我们是 Sony、Jabra、Unicef 等公司的首选工具。

他们提供客户支持吗？ 是的，从试用开始。 哪种类型？ 实时聊天、博客和知识库，还有更多内容。

他们关心隐私吗？ 我们完全符合 GDPR。 我们甚至停止使用其他不符合 GDPR 的公司的工具进行内部工作，这对我们来说意义重大。

他们关心世界吗？ 是的。 它在我们的 DNA 中。 我们种树、开展社区计划、从最初的申请开始支持多样性、向慈善机构捐款等等。 哎呀，我们是 15 倍碳负。

信任半径评论：

2. AB 美味

G2 评级： 4.5/5.0（76 条评论）

定价：对于 Essentials 计划的 40 万月度测试访问者，起价为 1900 美元/月。 增长计划的费用为 3800 美元/月，而精英计划的起价为 5700 美元/月。

他们提供免费计划或试用吗？ 不可以。您可以请求演示电话以查看他们的新功能。

每 100,000 名访客的成本：约 475 美元。

优点：

• 优化中内置了 AI 和 ML
• 运行无限的实验
• 干净且易于使用的用户界面
• 易于设置和预览测试
• 动态小部件
• 多重集成
• 广泛的分析报告
• 提供广泛的定位选项以及个性化
• 可靠的客户支持
• 定价是中档

缺点：

• 没有营销自动化可以提供有关受众表现的见解（尤其是对于积极的实验），并且有时需要客户支持才能看到。
• 统计显着性计算器的用户体验有点基础
• Google Analytics 集成很复杂，需要编码
• 没有免费试用

多变量测试特征：全因子

客户端、服务器端还是两者兼而有之？ 两个都

频率论者还是贝叶斯论者？ 贝叶斯。

是否支持全栈？ 是的。

Core Web Vitals 准备好了吗？ 是的。 该工具加载速度快。

有机器学习或人工智能吗？ 是的。

他们为企业服务吗？ 是的。 它们是迪士尼、欧莱雅、Kalviyo 等公司的首选工具。

他们提供客户支持吗？ 是的。 他们有知识库和实时聊天。

他们关心隐私吗？ 是的。 用户 IP 地址用于创建 ID 代码，然后在进入工具之前立即删除。 ID 代码被匿名化，然后在 13 个月后被删除。

他们关心世界吗？ 他们直接向非政府组织捐款，与社会行动团体合作，回收并赞助蜂箱。

信任半径评论：

这个多变量测试工具的实际效果：

3.谷歌优化和优化360

G2 评级： 4.3/5.0（27 条评论）

定价：此工具有 2 个版本。 优化是免费的，但要获得高级功能，您必须选择 Google Optimize 360​​。

Optimize 360​​ 的定价是定制的（尽管据传约为每年 150,000 美元）。 要获得每月价格，您必须填写表格以联系他们的销售团队。

他们提供免费计划吗？ 是的。

每 100,000 名访客的成本：不适用

优点：

• 用户友好——只需要很少的技术知识
• 非常适合初次使用 A/B 测试人员
• 与谷歌分析快速集成
• 拥有超详细的受众细分，得益于谷歌庞大的数据资源

缺点：

• 免费套餐一次只能进行 5 次测试
• 没有拖放编辑器功能
• 不能直接上传图片
• 无法测试应用，只能测试浏览器
• 不适合复杂的测试
• UI/UX 和报告不像市场上大多数其他工具那样具有视觉吸引力
• 闪烁有时会发生。

多变量测试功能：显然 Optimize 使用了一种既不是全因子也不是分数的混合方法。 根据他们的支持基础

“我们的模型允许我们使用混合方法，因此您不必做出这种权衡。 我们提供测试的所有组合，因此您可以了解交互和最佳组合。 但是，我们还模拟了一些变体出现在组合中的事实——因此我们可以了解一个因素中的变体，而不仅仅是组合”

客户端、服务器端还是两者兼而有之？ 两个都。

频率论者还是贝叶斯论者？ Google Optimize 使用贝叶斯方法而不是频率方法，也称为空假设显着性检验 (NHST)。

是否支持全栈？ 是的。

Core Web Vitals 准备好了吗？ 是的。 此工具加载速度很快，尽管它可能会闪烁，这可能会导致 CLS 问题。

有机器学习或人工智能吗？ 不。

他们为企业服务吗？ 可以，但只能通过 Optimize 360​​。

他们提供客户支持吗？ 他们有一个资源中心，其中包含提示、视频教程、帮助社区等。

他们关心隐私吗？ 他们遵守使用其产品的国家/地区适用的数据保护法律。

他们还与第三方和数据保护机构合作，以确保用户数据的安全。

他们关心世界吗？ 谷歌自 2007 年以来一直保持碳中和，并计划到 2030 年实现无碳排放。除此之外，他们还以承诺 10 亿美元的众多慈善姿态而闻名。

信任半径评论：

这个 MVT 测试工具在运行中的样子：

4. Adob​​e 目标

G2 评级： 4.0/5.0（29 条评论）

定价：仅在 11 部分表格、电子邮件和电话后可用。 起步价为每月 10,000 美元。

他们提供免费计划或试用吗？ 不。

每 100,000 名访客的成本：不适用

优点

• 界面易于使用
• 提供准确的实时数据报告
• 与 Adob​​e Analytics 完美集成，设计为追加销售产品
• 适合初学者和专家的网站个性化工具
• 引导您完成设置和测试过程
• 拥有先进的人工智能来不断测试和改进活动和个性化

缺点

• 大规模优化可能很慢
• 需要非常大的流量才能发挥最佳效果
• 基于表单的编辑器需要学习曲线
• 高价位
• 没有试用选项
• 已在使用 Adob​​e Analytics 时效果最佳
• 连接到其他付费 Adob​​e Marketing Cloud 工具时可以获得深刻的见解

多元测试特点：全因子和田口（作为部分因子的一种方法）。

客户端、服务器端还是两者兼而有之？ 两个都。

他们为企业服务吗？ 是的。 几乎完全是由于成本。

他们提供客户支持吗？ 是的，以知识库和视频培训计划的形式。

他们关心隐私吗？ 是的，但具有讽刺意味的是，他们需要您的电子邮件和电话号码才能了解更多信息。 然而，他们在第一方数据方面做了大量工作以进行非侵入式跟踪。

他们关心世界吗？ 非常如此。 他们倡导多样性，致力于 100% 可再生能源建筑，降低排放，开展社区行动计划等等。

信任半径评论：

这个多变量测试工具的实际效果：

5. 喀麦隆

G2 评分： 4.7/5.0（24 条评论）

定价：根据您的要求定制。 您可以通过联系销售团队获得独特的价格。

他们提供免费计划吗？ 是的。

每 100,000 名访客的成本：不适用

优点

• 易于设置点击跟踪
• 与许多其他工具的平滑集成
• 为非开发人员提供易于使用的所见即所得编辑器
• 先进的防闪烁技术
• 知识渊博且乐于助人的支持团队
• 准确和详细的测试计划和执行

缺点

• 所见即所得编辑器加载缓慢
• 报告仪表板可以使用更多的个性化
• 需要开发人员级别的技能来实现一些复杂的场景
• 无法存档测试
• IE7 等旧浏览器被排除在测试之外

多变量测试功能：全因子和部分因子（通过测试设置中的分配）。

客户端、服务器端还是两者兼而有之？ 两个都。 您可以在所见即所得编辑器上进行编辑，也可以使用 Kameleoon 的内置代码编辑器来编辑 CSS 和 JS。

他们为企业服务吗？ 是的。 雷克萨斯、Unity、Providence、丰田和乐天使用 Kameleoon。

他们提供客户支持吗？ 是的。 您甚至可以聘请专门的客户经理来协助您处理复杂的项目。

他们关心隐私吗？ 它们符合 HIPAA、GDPR 和 CCPA。 他们还具有灵活的同意管理功能，可以针对每个 A/B 测试调整您的隐私政策。

他们关心世界吗？ 我找不到他们赞助的任何慈善机构或他们支持的环境事业的证据。 不过，有趣的是，他们在德国和法国的办公室里有两只活的变色龙。

信任半径评论：

这个 MVT 测试工具在运行中的样子：

6.优化

G2 评级： 4.3/5.0（109 条评论）

定价：他们使用自定义定价模型。 但Splitbase 预测它们每年至少要花费 36,000 美元。

他们提供免费计划吗？ 不，他们在 2018 年停止了免费计划。

每 100,000 名访客的成本：不适用

优点：

• 运行无限的实验
• 干净且易于使用的用户界面
• 小部件功能使用起来很有趣
• 提供广泛的高级定位选项
• 可靠的客户支持

缺点：

• 不会自动提供有关受众表现的见解（尤其是对于活跃的实验）
• Google Analytics 集成很复杂，需要编码
• 优化片段通常会增加页面加载时间

多变量测试特征：全因子、部分和田口。

客户端、服务器端还是两者兼而有之？ 两个都。 Optimizely 通过 Javascript 片段提供客户端实验，并通过开发人员 SDK 提供服务器端实验。

频率论者还是贝叶斯论者？ Optimizely 的 Stats Engine 使用顺序实验，而不是您在其他平台上看到的固定范围实验。

是否支持全栈？ 是的。

Core Web Vitals 准备好了吗？ 是的，这个工具加载速度很快。

有机器学习或人工智能吗？ 是的。

他们为企业服务吗？ 由于定价，它主要迎合企业级别。 微软、IBM、惠普、eBay、雅马哈、必胜客和 Atlassian 等品牌都在使用它。

他们提供客户支持吗？ 是的。 他们拥有大量资源来帮助用户摆脱困境，并提供电话号码以 24/7 全天候寻求帮助。

他们关心隐私吗？ 他们考虑到新旧隐私法并将其集成到他们的产品中，这样您（用户）就不必担心合规性。

他们关心世界吗？ 大多数新员工在第二天就被派往社区做志愿者。

信任半径评论：

这个多变量测试工具的实际效果：

7. 现场观察

G2 评级： 4.4/5.0（50 条评论）

定价：您必须联系 SiteSpect 以根据您的需要定制价格。

他们提供免费计划吗？ 是的，他们提供免费试用。

每 100,000 名访客的成本：不适用

优点：

• 支持所有标记语言（HTML、WML、XML 和 JSON）、样式表和脚本语言
• 没有 javascript 标签意味着没有内容刷新或闪烁
• 用途广泛，几乎可以测试任何场景
• 非侵入式测试
• 与分析工具集成
• 无需修改代码的生产版本

缺点：

• 实施测试所需的技术知识
• 添加一个额外的跃点，可能会降低您的网站速度
• 报告界面可能会更好

多变量测试功能：全因子和分数因子（如果测试超过 128 个组合，该工具建议移动到分数）。

客户端、服务器端还是两者兼而有之？ 两个都。

频率论者还是贝叶斯论者？ SiteSpect 在比较变量与对照时使用双尾 t 检验来确定置信区间不重叠并因此指示显着性的点。 SiteSpect 还计算 z 分数并在报告中使用它。

是否支持全栈？ 是的。

Core Web Vitals 准备好了吗？ 是的。 这个工具非常快。

有机器学习或人工智能吗？ 是的。

他们为企业服务吗？ 是的。 Staples、PetSmart、AmericanGirl 和 Urban Outfitters 使用 SiteSpect。

他们提供客户支持吗？ 可以通过电话和电子邮件获得免费和付费版本的客户支持。 他们的知识库中还提供了预先录制的网络研讨会。

他们关心隐私吗？ 他们是这样。 它们通过了 PCI DSS 3.2 认证； 符合 GDPR、CCPA 和隐私盾，并准备好 HIPAA。

他们关心世界吗？ 自 2014 年以来，SiteSpect 就赞助了一些慈善项目。

信任半径评论：

这个多变量测试工具的实际效果：

8. VWO 测试

G2 评分： 4.2/5.0（239 条评论）

定价：起价 99 美元/月。 更多需要根据您的需求定制定价。 您必须联系 VWO 销售团队。

他们提供免费计划吗？ 是的，您可以开始 30 天免费试用。

每 100,000 名访客的成本： ~500 美元

优点：

• 灵活的自定义选项，使您的测试适应许多场景
• 只需很少的编码知识即可轻松计划和执行测试
• 专门的支持团队指导您应对任何挑战
• 有能力追踪长期目标
• 能够将测试组合在一起
• 用于观察用户和故障排除的有用记录

缺点：

• 有一个学习曲线来了解 VWO 的全部功能
• 定价计划经常变化
• 他们只测试客户端

多变量测试功能：全因子（尽管您可以设置每个页面变化的流量百分比）。

客户端、服务器端还是两者兼而有之？ 只有客户端。

他们为企业服务吗？ 是的。 他们的企业客户包括 Ubisoft、AMD、Penn Foster、Optimeria 和 IMB Bank。

他们提供客户支持吗？ 是的，您可以在需要帮助时给他们打电话。 或查阅他们的资源页面。

他们关心隐私吗？ 是的。 他们遵守主要的隐私法律和法规，但他们将一些访问者数据存储在其服务器上。

他们关心世界吗？ 最近，Wingify（VWO 背后的品牌）的董事长 Paras Chopra 在推特上发布了他们对几项 COVID 救济计划的支持，包括在德里建立一个 10 床位的 COVID 护理设施。

信任半径评论：

这个 MVT 测试工具在运行中的样子：

9：网络趋势优化

G2 评分： 4.9/5.0（107 条评论）

定价：起价为每月 212 美元，但根据您的需要可以更低或更高。 他们的定价结构非常灵活，但您必须与销售团队交谈以确认您的价格。

他们提供免费计划吗？ 是的，每月少于 1,500 次。

每 100,000 名访客的成本：不适用

优点：

• 用户友好，适合非技术用户使用所见即所得的编辑器
• 支持团队协作
• 提供数据驱动的见解
• 支持团队对您的成功表现出真正的兴趣
• 与您的网站和现有工具顺利集成
• 清晰明了的报告

缺点：

• 新用户可能难以使用 UI
• 即使是简单的测试也需要时间来设置
• 全套服务的成本偏高

多变量测试功能：全因子和部分因子。

客户端、服务器端还是两者兼而有之？ 两个都。 他们也有用于客户端渲染和服务器端测试功能的无代理可视化编辑器。

他们为企业服务吗？ Microsoft、London North Eastern Railway、Marks and Spencer 和 Virgin Wines 使用 Optimize。

他们提供客户支持吗？ 是的。 您可以获得技术支持、培训和您自己的专属转换优化顾问。

他们关心隐私吗？ 它们完全符合 GDPR。

他们关心世界吗？ 2021 年 4 月，Webtrends Optimize 在 GoFundMe 活动中挑战自己每天做 100 个俯卧撑，为英国癌症研究中心筹集资金。 他们在 2020 年做了类似的事情，称为圣诞慈善捐赠。 所以，他们在乎。

信任半径评论：

尽管有关于此工具的 Trust Radius 评论，但最近一次是 2019 年 12 月，在此之前是 2018 年。因为工具可以改变，服务也可以改变，所以我从 G2 中提取了他们的最新评论。

这个多变量测试工具的实际效果：

结论

所以你有它。

我们列出了 2021 年提供多变量测试的最佳 A/B 测试工具。我们还展示了他们使用的测试方法、功能、定价和评论。

现在，您可以比较这些不同参数的最佳多变量工具，并选择最适合您的测试需求的工具。