A/B 测试弹出窗口：如何让您的弹出窗口更有效

已发表: 2022-05-19

弹出窗口无处不在。

亚马逊、Pinterest 和阿迪达斯等一些大品牌都使用弹出窗口。事实上，要摆脱它们是相当困难的。

我们敢打赌，你今天至少看到了半打。不幸的是，弹出窗口并不是唯一流行的东西。制作最佳弹出窗口的“黑客”同样猖獗。

事情是这样的：你绝对可以从对你的竞争对手有用的东西中学习，但盲目的信念会让你的访客拒之门外，并让你付出大笔的金钱。

隐藏

弹出窗口：烦恼还是必要？
不同类型的弹出窗口（带有弹出窗口转换率）
- 条目弹出窗口
- 点击激活的弹出窗口
- 退出意图弹出窗口
- 定时弹出窗口
- 哪种类型的弹出窗口转换效果更好？
A/B 测试弹出窗口：您应该这样做以及如何做？
- 什么是弹出窗口的 A/B 测试和拆分测试？
- 弹出式 A/B 测试：要更改的不同元素
  - 触发时间
  - 位置
  - 复制
  - 提供
  - 号召性用语 (CTA)
  - 游戏化
- 跟踪 A/B 测试弹出窗口时的最佳指标
- A/B 测试弹出窗口时要牢记的准则
在 Convert Experiences 应用程序中对弹出窗口进行 A/B 测试
- 使用可视化编辑器 A/B 测试现有弹出窗口
- 使用转换自定义编辑器为您的变体添加弹出窗口
仅当您不进行 A/B 测试时，弹出窗口才会令人讨厌、具有侵入性且无效

弹出窗口：烦恼还是必要？

我们从 CRO 专家和营销人员那里得到了一些热门观点：

哦，他们糟透了。 它们绝对是最糟糕的——因为人们认为“一劳永逸”是一种策略。
Speero 的 Shiva Manjunath

弹出窗口通常是一种烦恼。 然而，营销人员以某种方式创建它们，因此用户发现它们比烦人的更有价值。
Arek Nowakowski，Spacelift 产品设计师

但这个问题的正确答案是视情况而定。

与其他渠道相比，弹出窗口可能会产生很好的效果，或者对您来说是一个完全糟糕的举动。在您拆分带有和不带有弹出窗口的测试页面之前，您无法确定。

弹出窗口的真正原因是糟糕的用户体验。以下是 SparkToro 营销副总裁 Amanda Natividad 最近的经历：

我正在阅读通过自然搜索找到的博客文章。（真的。）

甚至还不到一半，他们的电子邮件捕获量就增加了 2 倍。所以我没有完成就关闭了标签。

让我想知道公司多久会通过提供这样的糟糕经历而把钱留在桌面上。

——阿曼达·纳蒂维达 (@amandanat) 2022 年 3 月 17 日

糟糕的用户体验会导致用户行为发生变化，如下所示：

人们安装弹出窗口阻止程序以防止他们破坏他们的体验（这就是当您查找弹出窗口时，这些广告阻止程序在 Google 上排名如此之高的原因。）

我们必须承认弹出窗口仍然很烦人。但他们不必让每个人都讨厌。

Speero 的 Shiva 股票：

如果做得好，它们就会成为目标，然后变得有价值。 将其提供给所有人可能具有更高的总体参与率和总体提交量，但质量可能会低很多。 也没有人跟踪这些类型的弹出窗口的“有害”影响。

您必须知道它如何以及是否会对其他次要和护栏指标产生不利影响。

Guardrail 指标是关键指标，旨在提醒实验者违反假设。 Guardrail 指标提供了 Spitzer (2007) 所称的“发起知情行动的能力”。 当治疗效果意外移动护栏指标时，您可能希望降低对结果的信任，或者在可能对用户或组织造成伤害的情况下停止实验。
Ronny Kohavi，A/B 测试顾问

不同类型的弹出窗口（带有弹出窗口转换率）

1990 年代后期，Tripod 上出现了有史以来第一个弹出式广告，他们的发明者 Ethan Zuckerman 为他在互联网上造成的滋扰道歉。在其动荡的历史中，弹出窗口经历了成为营销贱民的阶段。

最初被视为被每个诈骗网站滥用的闪亮新事物，弹出窗口比坐立不安的微调器更快地陷入默默无闻。弹出式视窗（或横幅视窗）意味着用户不会将其视为烦恼——他们对此免疫并立即忽略了它。

多亏了精明的 A/B 测试营销人员，他们成功地将弹出窗口从死里复活，并利用他们的侵入性为众所周知的利益服务。

以下是您将遇到的不同类型的弹出窗口（带有示例和转化率基准）：

侧边栏：根据弹出窗口出现的时间、出现的方式以及提供的内容类型，可以大致将其分为 3 个类别。因此，您会看到一些文章提到超过 50 种不同类型的弹出窗口，但我们坚持基本知识以及与电子商务最相关的内容。

条目弹出窗口

条目弹出窗口几乎在网站访问者登陆页面后立即显示给他们。有些会阻止整个页面的查看（也称为欢迎垫弹出窗口），而有些则出现在屏幕中间（灯箱）。例如，Wishpond 一个接一个地使用这两种类型：

虽然这些可能有效地让用户立即采取行动，但将其设置为第一个弹出窗口也可能导致用户立即反弹。

这里的诀窍是使用微承诺。

微承诺会对您的电子邮件选择参与率产生巨大影响。 让用户只需单击“是”即可获得折扣。 在那个小小的“是”之后，他们下意识地认为他们一定很感兴趣，并且希望在他们继续与弹出窗口互动时保持一致。 这减少了他们填写表格的摩擦，这需要更多的支持和决策脑力。 这是承诺和一致性的原则。
Enavi 首席执行官兼创始人 Anthony Morgan

点击激活的弹出窗口

当用户单击链接时，会显示这些弹出窗口。它们的侵入性要小得多，而且通常很有帮助。

以亚马逊的 Alexa 产品页面为例。当您单击“查看 Alexa 可以做什么”时，会显示一个包含更多信息的弹出窗口。

资源

阅读下一篇：增加流量和转化的 8 个产品页面提示

点击激活的弹出窗口在电子商务商店中非常常见，因为它们允许购物者随意探索并在需要时提供更多信息。

退出意图弹出窗口

当访问者试图离开您的网站时，这些弹出窗口会被触发 - 一个 Hail Mary 让他们在放弃购物车之前进行转换。

在移动设备上，当有人快速向上滚动或按下后退按钮时，这些会被触发。 Elauz 为尝试离开着陆页的首次购物者提供 15% 的折扣。

定时弹出窗口

仅在指定时间段后才会向访问者显示定时弹出窗口。您应该在多长时间后显示该信息？同样，这是你必须进行 A/B 测试的东西。

Sumo 的这个弹出窗口就是一个很好的例子。它会在您花一点时间阅读这篇文章后出现。

哪种类型的弹出窗口转换效果更好？

最新的转换研究结束了！

Sumo 在 2019 年分析了 20 亿个弹出式示例，他们发现如下：

前 10% 表现最佳的弹出式广告平均转化率为 9.28%
100 个品牌中有 3 个的弹出式广告的转化率超过 11%
所有弹窗的转化率平均为 3.09%

注意：流量大的网站的转化率会下降。因此，虽然 3.09% 可能看起来很小，但 100,000 名访问者可以为您带来 3,000 次转化（这一点也不差。）

以下是 TestGuide 创始人兼首席执行官 Dave Evangelisti 的一个真实示例：

在一个网页上，我们能够将“计算转化率”（这是基于将人们引导到某个页面的目标）提高 1.38%。 虽然这听起来可能并不重要，但在成千上万的人中，1.38% 的人确实可以发挥作用。

Sleeknote 在 2020 年审查了超过 10 亿个弹出窗口，他们发现了以下内容：

带有图片的弹出窗口的转化率为 3.80%，而没有图片的弹出窗口的转化率为 2.07%。
设置为在 8 秒延迟后出现的弹出窗口的转化率为 3.62%，并且比之前或之后显示的弹出窗口的转化率更高
具有两个输入字段的弹出窗口的转化率更高，为 3.31%，与具有 1.08% 转化率的三个字段的弹出窗口相比更好

与 Sleeknote 一样，OptiMonk 在 2021 年分析了其用户的弹出窗口以发布其发现：

平均转化率为11.09%
前 10% 的弹窗平均转化率为 42.35%
桌面端的平均转化率为 9.69%，移动端为 11.07%
购物车放弃弹出窗口的转化率为 17.12%

注意：这些基准来自原始研究和经过测试的形成假设，不应用于直接比较。但是这些结果可以让您更好地了解您应该测试哪些元素（我们将在下面深入探讨）。

A/B 测试弹出窗口：您应该这样做以及如何做？

我们要求您抛弃两个假设：

仅仅因为弹出窗口适用于您的行业或竞争对手，并不意味着它们会自动适用于您。
仅仅因为某些东西有效，并不意味着它不能被改进。

要确定，您必须对弹出窗口进行 A/B 测试。

这是 Sumo 的一个例子，展示了它可以带来多大的改变。

您可能会认为版本 B 表现更好，因为它遵循所有“最佳实践”，但实际上，第一个弹出窗口的表现优于 30%。

什么是弹出窗口的 A/B 测试和拆分测试？

A/B 测试可让您测试对一个或多个元素的更改。您可以添加、删除或修改元素并跟踪更改以查看它们如何提高转化率。

当 A/B 测试弹出窗口时，您创建两个几乎相同的版本，并将变体（或挑战者）与原始版本（控制）进行对比。

尽管大多数人将拆分测试和 A/B 测试混为一谈，但这是两种完全不同的转化率优化技术。

在拆分测试或拆分 URL 测试中，您将流量平均分配以将访问者发送到托管在不同 URL 上的两个完全不同的版本。这可以帮助您确定哪个版本执行得最好。

如果您想了解弹出窗口是否是一个好主意，那么拆分测试将是最好的方法。一个页面的弹出窗口与另一个页面堆叠在一起，其中混合了复制和提示等元素，以提供相同的好处和价值。

以 Marks & Spencer 为例。他们没有使用弹出窗口来构建他们的电子邮件列表，而是在页面底部有一个部分供访问者订阅。

阅读下一篇：分析 50 家在线零售商的电子邮件弹出统计数据，我们学到了 4 件事

如果您发现弹出窗口并没有吓跑访问者，请一次进行一项更改，通过一系列实验来隔离 A/B 测试的影响，以了解哪些对您的业务有效。

Breeze 的增长黑客 Faizan Fahim 建议在 A/B 测试弹出窗口时避免一些常见错误：

不要两次显示相同的弹出窗口。 这是对用户的侮辱，因为他们忽略并关闭了一次弹出窗口，但网站仍然向他们显示相同的弹出窗口。
使弹出窗口与访问者所在的页面相关。
- 如果访问者在购物车页面上，请向他们展示折扣。
- 如果访问者在比较页面上，请向他们显示“开始试用”弹出窗口。
- 如果访问者长时间阅读文章，请向他们显示订阅弹出窗口。

Spacelift 的产品设计师 Arek Nowakowski 警告另一个常见错误：

避免在节日和活动期间运行 A/B 测试。 客户的行为在节假日前后发生变化。 在业务正常时运行所有 A/B 弹出测试

弹出式 A/B 测试：要更改的不同元素

只要您不进行转换研究，您就可以测试弹出窗口中的几乎每个元素。

在开始测试计划之前，研究用户行为、挖掘评论、支持票证、观看访问者回放并分析当前指标。这将构成您假设的基础，因此您不会随意做出可能会损害您的业务的更改。

也就是说，A/B 测试的最常见元素是副本、触发器、放置、CTA 文本和不同类型的弹出窗口。

触发时间

Sleeknote 的研究表明，8 秒是您应该瞄准的最佳时机，但同样，除非您对其进行测试，否则您无法确定。

但大多数专家似乎都同意一件事——访问者一登陆页面就显示弹出窗口并不是一个好主意。

基于时间的触发器是一种 A 级方法，可确保您针对正确的用户而不惹恼其他用户。
Shiva Manjunath，斯佩罗

Wise Pop 的一位客户使用此弹出窗口测试了 3 种不同的延迟（10、20 和 40 秒）：

他们的测试表明，展示报价的最佳时间是 10 秒后。

更长的延迟导致看到弹出窗口的人更少，因此虽然订阅率很高，但收集的电子邮件数量却不是。

确保您不会成为误报的牺牲品。阅读我们的指南，帮助您正确解读 A/B 测试结果并加以改进。

位置

您应该将弹出窗口放在页面的开头，使用欢迎垫覆盖整个屏幕还是灯箱？

资源

或者更好的是，尝试页面侧面的弹出窗口或侵入性较小的滚动弹出窗口？

在博客文章上使用滚动触发的弹出窗口是说服用户阅读更多内容的好方法。 这将说服人们加入您的时事通讯，其中将包含有用的提示和指向新鲜博客内容的链接。
BarBend 首席营销官 (CMO) Josh Pelletier

Getsitecontrol 在其页面上有两个侵入性较小的弹出窗口，它们不会阻止该页面的查看。

PS 在考虑弹出窗口的位置时，您还需要考虑移动与桌面体验。密切关注移动端，因为 Sleeknote 发现移动端弹出式窗口比桌面端（3.11%）提高了转化率（5.8%）

手机弹出窗口的设计应考虑可用屏幕区域以及移动用户体验的其他方面。
Veronica Miller，数字营销经理，VPNoverview

复制

正确的副本可以让您的客户采取行动或完全忽略您的尝试。

复制非常重要，可以将指针移动几个百分点。 我们一直在尝试不同的副本。 我们更改了弹出窗口拦截器的标题和文本，并实现了 30% 的改进。 我们从一个更积极的停止弹出窗口否定一个人可能必须注册的预订，到一个突出社会证明和我们的室友查找应用程序可以为您带来的价值的弹出窗口。
Diggz.co 首席执行官兼创始人 Rany Burstein

您可以通过更改副本的标题、改变长度或使用强力词来运行微型实验。

在 Paperbell，Laura Roder（创始人）发现标题是最大的提升所在。

您可以使用热图和点击图来了解访问者如何与副本互动以及吸引他们注意的内容。

您可以研究的另一个示例来自电子商务营销机构 Contrast：

我们围绕微观是假设为 Contrast 的客户运行了一个特定于登录页面的电子邮件弹出窗口。
大多数商店都会弹出类似“如果您给我们您的电子邮件，您可以获得 x% 的折扣”之类的弹出窗口。 我们想运行一个不同的变体来测试这个想法。 我们更改了措辞以利用人类心理学。
我们运行了以下消息：“您想在今天的订单中节省 20% 吗？”。 因为谁会拒绝呢？
为此，我们有 2 个按钮：是/否
– 是的，继续下一步输入电子邮件信息。
– 不，关闭弹出窗口
通过这个 A/B 测试，我们能够将电子邮件选项率从 3.3% 收集到 9.1%。 ”
Elliot Davidson，Contrast 创始人兼总监

提供

比较报价中的不同折扣、铅磁铁和运输信息。

我们测试了在网站入口时通过弹出窗口向回访用户提供免费送货服务，发现该目标受众的电子商务转化率提高了 73%。 将正确的报价与正确的受众配对至关重要，这不仅是为了使弹出窗口产生共鸣，而且对于弹出窗口对底线做出积极贡献。 报价策略并不总是必须基于定价。 我们在 FSA/HSA 页面上提供 6% 的注册率，供客户索取有关如何使用其 FSA 或 HSA 卡购买我们产品的更多信息。
Medcline.com 的 CRO Jonathan Finegold

OptiMonk 的客户 SwissWatchExpo 创建了两个版本的购物车放弃副本，以查看哪种消息传递会产生所需的结果。

版本 A 通过让用户知道他们有最后一个可用项目并看到转化率提高了 17% 来调用 FOMO。

版本 B 提供了折扣和略有不同的消息传递，带来了 30% 以上的转化率。

号召性用语 (CTA)

您可以测试号召性用语按钮的颜色、复制、大小和对齐方式。

检查 CTA 的副本可能特别重要。如果您提供的内容与 CTA 之间存在脱节，用户转化的可能性就会降低。

在下面的弹出窗口中，如果它显示“订阅”而不是“是的，将这些提示发送给我”，您会点击吗？

可能不是。确保 CTA 符合您所做的承诺。你可以借此机会震惊和敬畏。

查看 Klientboost 的时事通讯注册表单：

与通常的“订阅”不同，“我们可能会后悔”更引人注目。

您可能还想添加或测试用户用来关闭弹出窗口的文本。

如果您单击“我拒绝免费扩展”，则 CoSchedule 的退出意图弹出窗口会关闭提示用户尝试免费扩展。

我们在产品页面上测试了退出意图弹出窗口，提供带有唯一优惠券代码的额外折扣，发现注册率为 7%。 在这种情况下，优惠策略产生了很大的影响，10% 折扣优惠券的效果是免费送货优惠券优惠的两倍多（我们还发现优惠电子邮件打开率增加了 18%）。
Medcline.com 的 CRO Jonathan Finegold

阅读下一篇：使用退出意图弹出窗口将您的注册量提高 150%（只需 15 分钟）

游戏化

游戏化弹出窗口激励用户采取行动以换取奖励。

Optimonk 的研究发现，“幸运轮”或幸运轮的转化率为 13.23%。

但你不必停在那里。您还可以尝试“挑选礼物”或“刮刮”卡片弹出窗口。

资源

与传统的“注册我们的时事通讯”优惠相比，Medcline 能够通过抽奖将他们的捕获率提高 12%。

另一个很好的例子来自 Ross Kernez，他在获得这些结果后只为他们的客户使用游戏化弹出窗口：

我们测试了 2 种不同类型的游戏化弹出窗口。 一个是旋转轮子以赢得弹出式奖品，另一个是选择一个框来查看您是否赢得了 10 欧元的代金券。
我们之前的最佳转化率为 8%。 当我们测试任何一个游戏化弹出窗口时，我们的转化率至少跃升至 14% 。
Ross Kernez，在线战略首席顾问 - Ross Kernez Consulting

跟踪 A/B 测试弹出窗口时的最佳指标

在进行 A/B 测试时，您不能从表面上看测试的赢家或输家，因为您必须了解获得这些结果的方式和原因。

这就是您的指标的用武之地。

指标是一种单一的数据类型，可帮助您衡量 A/B 测试对您的业务目标的影响。

但是您如何决定要跟踪哪些？

有些是您必须跟踪的，而另一些则取决于弹出窗口的类型。

根据弹出窗口的类型（电子商务优惠券、电子书等），我尝试尽可能多地使用更多上游指标。 您始终必须跟踪“触发”率（因为这将是您参与度指标的分母）。 但是，跟踪“弹出窗口关闭”和“提交率”等内容非常重要。 将其与触发热图/会话记录相结合，将为您提供更多见解！ 诸如退出率之类的东西的加分点，尽管它们会因噪音而变得棘手（例如退出率可能无法很好地定义，除非您包括那些看到弹出窗口的人）。
Shiva Manjunath，斯佩罗

我们的内部 A/B 测试专家 Karim Naufal 同意通用指标仍然适用。

是的，必须测量弹出按钮本身的转换率，例如关闭 X。但是测量跳出率或丢弃率是好的（它会产生挫败感吗？）。 测量关闭弹出窗口的时间也可能是相关的（它吸引了多少兴趣？）。
添加到购物车等其他点击指标仍然很有见地。 然而，最好的跟踪指标是无可争议的“每位访客收入”指标，该指标衡量收入，该指标本身包含有关转化率和平均订单价值的信息。
衡量用户参与度的另一个非常有用的指标是每个用户的会话数。

但 Medcline.com 的 CRO Jonathan Finegold 不认为您应该跟踪收入，原因如下：

对于我们的博客，收入不是主要的 KPI，注册率是因为我们的目标是最大限度地从自然流量中捕获电子邮件。 同样，即使在电子商务环境中，收入也可能并不总是最好的指标，因为在利润方面，报价可能无利可图，因此正确的 KPI，在这种情况下，可能是利润美元的变化率。

简而言之，这些是您在 A/B 测试或拆分测试弹出窗口时应该查看的指标：

兑换率
点击率
跳出率
下车率
每个用户的会话
添加到购物车
每位访客的收入
弹出窗口关闭
提交率

将您的 Google Analytics 和 Shopify 连接到 Convert 等 A/B 测试平台，以准确衡量所有这些指标。

以下是该过程的示例：

例如，在测试弹出窗口吸引用户之前的时间量时，我们会查看热图和谷歌分析数据以发现人们关闭弹出窗口的速度。
我们发现任何 15 秒或更短的时间都会导致大约 86% 的关闭率，并且还有助于提高跳出率。 如果弹出的时间在用户访问网站后的 15-45 秒之间，我们看到关闭率下降到 61%，跳出率下降了 14%。
当我们将时间设置为 1 分钟时，我们看到关闭率又下降了 5%，跳出率下降了 6%。 此外，当设置时间为 1 分钟时，与 CTA 按钮的交互增加了 40%。 其他两个区间的 CTA 点击率几乎没有变化。
如果我们正在测试 CTA 按钮内的文本，那么我们会查看 CTA 的 CTR%。 当我们使用带有时间修饰符的更直接和具体的语言时（例如：现在、今天），我们看到点击率增加了 14%。
CircleIt Inc. 增长营销主管 Joe Karasin

您可能没有想到的另一个可能对您的业务产生重大影响的指标是页面速度。

跟踪 A/B 测试弹出窗口的最佳指标是页面速度。
如果嵌入 gif 和视频的弹出窗口会减慢页面速度，您应该不会感到惊讶。 弹出窗口从与页面相同的 HTTP 请求加载，影响页面速度。
您可以通过分析瀑布图来计算弹出窗口对页面的影响。 通过 Pingdom 测试运行页面的变体，并比较页面速度。 如果加载速度有显着差异，你的测试已经失败。网站加载速度在弹出窗口之前，因为浏览体验对转化率有很大影响。
Arek Nowakowski，产品设计师 @ Spacelift

注意：我们之前简要提到了护栏指标，但在测试弹出窗口时记住它们很重要。这些是您在测试时不希望降级的核心指标，因为性能下降会对您的业务产生巨大影响。

A/B 测试弹出窗口时要牢记的准则

当您准备好开始 A/B 测试弹出窗口时，请遵循以下建议以提高其功效：

执行预测试计算以确保您拥有正确的样本量。
如果你没有对足够多的人进行测试，你就有犯错误的风险，比如相信误报是真实的。做你的预测试计算，以检查你是否有足够的客流量来完成你想到的调整周期。

提示：使用我们的 A/B 测试计算器执行显着性、p 值、功效、样本量和 MDE 计算。
使用小型 MDE 为高流量站点计划大量细微更改。
如果您的流量很大，您可以使用小的 MDE（最小可检测效应）绘制出完整的微小变化节奏。大多数弹出式实验只产生个位数的提升。因此，这种方法可以帮助您了解微小的变化如何与 KPI 中的相应调整相关联。您的流量越高，您可以检测到的电梯越小，并且可以确定结果。

注意： MDE 只是值得我们观察的最小效应量，在此情况下，实施新变体的成本或努力将不值得。
如果您的弹出窗口效果不佳，请合并更改。
如果您的弹出窗口没有发挥作用，请结合多个更改并使用更大的 MDE 一次推出它们。此外，如果您没有足够的流量，这是一个好主意，因为这将需要更少的流量才能达到重要程度。假设是任何改进的尝试都应该导致可能达到两位数的切实改进。
优化越多，小心误报。
误报或 I 型错误表明对照和变体之间存在差异，而实际上没有差异。真正减少拥有这些机会的一种方法是首先使用上面提到的样本量计算器。

提示：对于任务关键型实验，将置信度设置为 99%，以将出现此类错误的几率降低到 1%。

您的弹出窗口越优化，您就越需要注意忽略误报。