多变量测试：如何运行最佳测试以获得最佳结果

A/B 测试是为您的点击后着陆页寻找优化想法的最简单方法之一，但它并不总是最有效的方法。

在您开始一次测试两个、三个或四个页面之前，了解如何测试更多，并发现元素的最佳组合来转换您的访问者。

什么是 A/B 测试？

A/B 测试，也称为拆分测试，可让您比较网页的两个不同版本，以确定哪个版本能更好地转化访问者。

这两个页面可以是：

• 稍微不一样

如果你有一个高转化率的设计并且你想弄清楚如何改进单个元素，你可以测试两个不同的页面，只有一个不同。 如果你想看看是好奇心标题还是以新闻为中心的标题表现更好，你可以测试标题与标题。 如果您想查看视频或 gif 对转化的影响更大，您可以在每个页面上测试一个。

在为每个人带来相同的流量后，产生最多转化的人就是赢家。 一个产生更多转化的原因很明显，因为两个页面之间只有一个区别。

• 截然不同

您还可以测试以多种方式不同的两个页面。 您的原始页面可以具有与变体不同的标题、特色图片和号召性用语按钮。 测试它可能看起来像这样：

在为原始页面（A 或“控制”）和变体页面 (B) 带来相同的流量后，转化率更高的页面成为赢家。 但与每次测试仅更改一个元素不同，当您测试截然不同的页面时，无法确定特定页面获胜的原因。

以上述示例的结果为例，我们只能知道版本“b”优于版本“a”，但不知道它更好的原因，因为它可以归因于多种原因。 转化可能来自导航栏从左到右的调整，或者来自注册表单从上到下的调整。 当你对截然不同的设计进行 A/B 测试时，你所能确定的就是一页比另一页好。

但是，您可以运行一种不同类型的测试来确定多个元素的更改如何相互影响。 这称为多变量测试。

什么是多变量测试？

多变量测试是优化器用来比较两个不同网页的过程。 该方法侧重于比较多个元素之间的细微变化，然后测量这些元素如何相互作用，目标是找到表现最好的元素。

A/B测试和多变量测试的区别

您可能已经阅读了很多 A/B 测试案例研究，这些案例研究通过将一个标题与另一个标题进行比较，或者将特色图片与视频进行比较，或者将一个号召性用语与一个略有不同的号召性用语进行比较，从而找到一个成功的页面。 虽然它们可以用来准确地做到这一点，但根据 Widemile 的优化人员的说法，还有一种使用 A/B 测试的更理想的方法：

他们说，A/B 测试的理想用途是“测试两个或更多完全不同的页面”。 在测试方面，最好进行 A/B 测试以找到所谓的“全局最大值”，然后进行多变量测试以优化“局部最大值”。

全局最大值和局部最大值

尽管这很难做到，但请想象一下，您一生中从未吃过一勺冰淇淋，而您正站在一家冰淇淋店里，试图决定要购买 30 种不同口味中的哪一种.

有 10 种不同的巧克力、10 种不同的香草和 10 种不同的草莓。 在决定要一勺之前，您是否打算尝试所有 30 种口味？

可能不会。 您可能会尝试每种截然不同的口味中的一种——一种巧克力、一种草莓和一种香草——以缩小您最喜欢的品种范围。 如果您发现自己喜欢巧克力胜过香草和草莓，您将开始尝试“巧克力曲奇面团”、“巧克力花生酱”和“巧克力软糖”等口味，以决定您最喜欢哪种巧克力。

在统计术语中，我们将您最喜欢的品种（巧克力、香草或草莓）称为全球最大。 这是三种截然不同的类型中最适合您的口味。 该品种的特定风味（巧克力软糖、巧克力曲奇面团、巧克力花生酱）将是当地的最大风味。 这是您选择的品种的最佳版本。

作为优化器，您希望以类似的方式进行测试。 您想要找到最能转化访问者的页面（全局最大值），然后调整该页面上的特定元素以将其改进为转化率最高的页面（局部最大值）。 您正在寻找的内容将决定您使用哪种测试。

何时使用 A/B 测试以及何时使用多变量测试

A/B 测试最适合测试全局最大值。 他们最擅长发现访问者想要在哪个页面上进行转换。 以 MarketingExperiments 的这个例子为例，该公司使用 A/B 测试帮助 Investopedia 提高其时事通讯 Investopedia Advisor 的转化率。

报价很简单——一份带有股票提示的免费时事通讯——所以原始页面反映了这一点。 它不长，不复杂，也不杂乱无章。 它具有一个单一字段的潜在客户捕获表格、带项目符号的副本和一个信息图：

但是，尽管提供了有价值的免费优惠，但它的转化率仅为 1.33%。 MarketingExperiments 的团队决定彻底修改页面。 他们更改了标题、布局、CTA 按钮，并添加了一些徽章等。 然后他们对新页面与原始页面进行了 A/B 测试，发现新页面的转化率高出 89.4%。 这是它的样子：

重要的是要记住，在这个 A/B 测试中，实验者并没有弄清楚为什么新页面的转化率比旧页面高，但他们确实找到了一个更高的转化率。 换句话说，他们发现了一个新的全局最大值。 届时，如果他们愿意，他们可以通过多变量测试来优化此页面，以确定哪种元素组合可以转化最多的访问者。

例如，这正是来自 Optimizely 的这个假设示例中的测试人员想要做的。 他们想弄清楚标题和图片的哪种组合可以转化最多的访问者。

因此，他们创建了多个包含不同标题和图片组合的页面，以查看效果最佳的页面。

测试中出现的这四个版本中转换率最高的版本就是赢家。 如果带灯泡的两个版本比带齿轮的两个版本表现更好，您可能会得出结论，灯泡图像对转化率的影响最大。 从那里，您会看到哪个附带的标题产生了更多的转化，并使用该页面。

如何进行多变量测试

几年前，当 VWO 创始人帕拉斯·乔普拉 (Paras Chopra) 想要提高他网页上的下载量时，他使用多变量测试来弄清楚如何做。 如果您熟悉执行 A/B 测试的步骤，就会认出此多变量测试示例中的大部分步骤。

1. 确定问题

在开始改进您的网页之前，最好深入研究数据并找出访问者如何与之交互。 他发现人们点击他的“下载”按钮的次数没有他预期的那么多，因此他调查了页面以找出原因。

2. 提出假设

仔细检查后，他发现下载链接很不引人注意。 所以他创建了一个改进页面的假设：

让访问者注意到下载链接的一个明显解决方案是使下载部分成为页面最突出的部分。 在页面设计中，“下载”标题的大小和颜色很好地融入了页面的其余部分，导致人们错过了下载链接。

通过使“下载”链接更加引人注目，他相信他能够提高转化率。 以下是他决定这样做的方式。

3.创造变化

现在是时候为测试创建变体页面了。 根据帕拉斯：

对于多变量测试，我在页面上选择了两个因素来创建变体：侧边栏中的“下载”标题及其下方的“PDFProducer”下载链接。 测试的重点是观察“免费”一词的效果以及突出下载部分的效果。

以下是他决定如何让下载部分更加引人注目和更具吸引力。

对于最初的“下载”链接，他测试了三种不同的变体：

• 红色的“下载”
• 红色的“免费下载”
• 默认颜色的“下载”，但字体更大

对于原始的“PDFProducer”链接，他测试了两种不同的变体：

• 默认颜色的“PDFProducer”，但字体更大
• 红色的“PDFProducer”

这是所有组合的样子：

使用四个版本的下载链接（包括原始版本）和三个版本的“PDFProducer”文本（同样，包括原始版本），形成了 12 个不同的变体以进行全因子测试。 完全析因测试所有组合，而不是仅测试最有影响力的部分析因。

CXL 的 Alex Birkett 声称，虽然有多种多变量分析方法——全析因、部分析因和田口分析——但大多数优化人员建议运行全析因以提高准确性。

4. 确定样本量

在开始为您的页面增加流量之前，您需要确定您的样本大小——在您对测试结果做出结论之前每个页面需要产生的访问者数量。

VWO 的这个计算器将帮助您计算出有多少访问者，以及您需要根据您的网站流量、您有多少变化以及您的统计显着性运行测试多长时间。

要了解有关达到统计显着性的更多信息，以及您需要输入计算器的所有内容，请查看此博客文章。

5. 测试你的工具

在开始运行流量之前测试所有内容。 您的点击后登录页面在每个浏览器中看起来都一样吗？ 您的 CTA 按钮是否有效？ 您广告中的所有链接都正确吗？

在开始投放任何内容之前，务必对广告系列的各个方面进行质量检查，以确保不会影响您的结果。

6.开始增加流量

现在您已经创建了您的变体并且知道您需要为每个变体产生多少流量，开始为它们吸引流量是安全的。 多变量测试的最大缺点是在得出结论之前需要大量的流量，因此您需要耐心等待。

当您进行 A/B 测试时，只有两个页面需要吸引大量流量。 但在多变量测试中，例如 Paras 的测试，有 12 个不同的页面必须收集大量样本，然后才能调用测试。

Leonid Pekelis 说，请留意对您有效性的威胁，并且不要忘记考虑假阳性结果率的增加：

“您实际上是在为每个交互运行单独的 A/B 测试。 如果您有 20 个交互要测量，并且您的测试程序有 5% 的概率为每个交互发现误报，那么您突然期望一个交互被完全偶然地检测到。 有一些方法可以解决这个问题，它们通常被称为多次测试更正，但同样，代价是您往往需要更多的访问者才能看到最终结果。”

7. 分析你的结果

在运行了四个星期的测试后，Paras 发现：

你可以看到，红色标题“免费下载”将下载转化率从 39% 推高至 63%，增幅高达 60%。 使用大字体的“下载”（结合红色的链接颜色）也比默认设置有积极的 (43%) 改进。 在所有结果中，前三项在 95% 或更高的置信水平下具有统计显着性。

Paras 可能已经实现了他的新页面而忘记了这个测试，但相反，他强调了重要的最后一步：

8. 从结果中学习

您的每个测试都应该用于了解您的网页及其访问者的一些信息，您可以使用这些信息为将来的测试提供信息。

他在他的网页上了解到：

• “免费”一词引起了他的网站访问者的共鸣。
• 优惠的免费性质最好在号召性用语上或附近做广告。
• 红色吸引了来访者的注意。
• 更大的号召性用语吸引了更多访客的眼球。

但请记住，这些是他的测试结果。 虽然“免费”一词在任何宣传免费优惠的网页上总是很好用，但 CTA 的最佳位置、大小和颜色在您的网页上可能会有所不同。 唯一确定的方法是测试。

您是否尝试过多变量测试？

您是否因为认为它太复杂而偏离了多变量测试？ 立即注册 Instapage Enterprise 演示。