最佳免费和开源 A/B 测试工具

已发表: 2021-01-13
免费的 A-B 测试工具

FREE这个词有一些特别之处。

它让人联想到兴奋、眩晕和欲望。

但它在用于描述 A/B 测试工具时是否具有同样的吸引力?

免费的 A/B 测试工具? (你听到铃声了吗?你看到转换刚刚开始吗?)

在本文中,我们将介绍一些免费和开源的 A/B 测试工具,它们可以帮助您开始实验之旅。

阅读更多以了解:

  • 使用免费工具的力量,
  • 2021 年最受欢迎的免费 A/B 测试工具,
  • 使用免费工具的固有但无形的危险。

在我们解决上述问题之前,让我们看看 A/B 测试的威力……

隐藏
  • A/B 测试和 A/B 测试工具的力量
  • 免费的 A/B 测试工具:它们真的“免费”吗?
    • 免费 A/B 测试工具、免费增值 A/B 测试平台和 A/B 测试工具免费试用之间的区别
      • 免费的 A/B 测试工具
      • 免费增值 A/B 测试平台
      • 免费试用的付费 A/B 测试工具
    • 什么时候可以使用免费的 A/B 测试平台?
    • 什么时候应该放弃免费的 A/B 测试工具?
      • 1. 特性和能力的限制
      • 2. 缺乏强大的客户支持
      • 3.对SEO的潜在负面影响
  • 免费 A/B 测试软件的局限性
  • 如何选择免费的 A/B 测试工具
  • 使用免费的 A/B 测试工具? 充分利用它们的重要提示
  • 最佳免费 A/B 测试工具:2022 年头对头比较
    • 1.谷歌优化
    • 2. 内里奥
    • 3. 虚荣心
    • 3. GTM 测试
    • 奖励:HotJar
  • 包含在其他软件中的免费 A/B 测试工具不等于完整的独立工具
  • 什么是开源 A/B 测试软件?
    • 免费 A/B 测试工具和开源 A/B 测试平台的区别
    • 什么时候应该使用开源 A/B 测试解决方案?
    • 开源 A/B 测试工具的缺点
  • 最佳开源 A/B 测试工具和框架:头对头比较
    • 1.芥末
    • 2. 六包
    • 3.莫吉托
    • 4.拆分
  • 使用免费的 A/B 测试工具和开源 A/B 测试解决方案会损害您的业务吗?
  • 使用免费 A/B 测试软件的专家提示和技巧
  • 主要内容:可用的免费工具很棒,但你得到你所支付的
  • 底线……

A/B 测试和 A/B 测试工具的力量

无论是付费、免费还是开源,A/B 测试软件都允许您通过即时结果和分析来系统化实验。

转化次数的增加意味着您的底线增加。 实验软件可以轻松跟踪和测量变化。 对于依靠网站吸引客户采取行动的数据驱动型企业,A/B 测试是必须的。

有很多公司使用这些测试和工具来找出可靠的方法来吸引更多的网站流量、改善客户体验和用户参与度、优化用户行为、降低跳出率和增加注册量。

这些是转化率优化的一些目标。 CRO 在其他实验方法(如多变量测试)中严重依赖 A/B 测试。

对于许多拥有可靠优化计划的组织来说,产品开发、网页设计、文案编辑(以及写作)、功能推出等,如果没有测试,是不完整的。

他们保持这种做法是因为 A/B 测试和 A/B 测试工具的力量体现在他们获得的提升中。 您可能听说过其中的一些成功案例。

让我们快速告诉你3:

  1. 在收集了相关数据并提出了一些假设后,Mintminds 在屡获殊荣的 CRO 活动中利用 A/B 测试的见解来提高电子商务网站产品页面的转化率。

他们了解到,访问者关注产品规格,并想出了一种将规格数据包含在产品轮播中的方法。 这将添加到购物车的指标提高了 13%。

  1. 一个奢侈的手工玻璃品牌推出了免费送货促销活动,增加了销售额。 但他们不确定这种增加的销售额是否弥补了运输成本,是否真的提高了他们的底线。

勇敢者被请来找出答案。 他们进行了一些测试,结果显示免费送货服务实际上增加了收入并抵消了运输成本。

他们还透露了促销对品牌底线的确切财务影响,完全消除了所有先前的假设。

  1. 一个电子商务品牌提供免费送货,但仍然看到令人不安的购物车放弃率。 他们与 GrowthHit 合作,后者假设如果他们向每台设备上的每个用户强调免费送货服务,那将解决问题。

他们进行了一项测试,他们在网站的一个变体上放置了一个带有“免费送货”的粘性条。 事实证明,这个版本将销售额提高了 8%。 他们了解到,当人们不太了解优惠时,他们会更多地放弃购物车。

所有这些测试都在 Convert Experiences 上运行。

您可以了解从 A/B 测试中收集的数据和见解如何帮助品牌自信地实现更高的转化率和收入。 这就是 A/B 测试在满足业务需求方面的力量。

当然,这只有通过正确的 A/B 测试工具和人才才能实现。

免费的 A/B 测试工具:它们真的“免费”吗?

当您计划购买 A/B 测试工具并查看价格(通常每月从数百到数千美元不等),然后您找到了免费工具时,选择似乎很容易免费的。

如果

  • 你的月流量不大,
  • 您只想每月进行几次测试,
  • 您只对基本的测试功能感兴趣,并且
  • 你是 A/B 测试的新手,只是想看看它是关于什么的。

因为除了工具的成本之外,在您的选择中还有其他因素需要考虑。 特别是如果您想最大化您的测试回报。

提供 A/B 测试对供应商来说不是免费的。 供应商还意识到该工具可以为您的业务带来宝贵的收入驱动洞察力。 这就是为什么当他们免费提供这个时,通常会有一个问题。

大多数情况下,它是一种营销工具,可以让您迷上他们的产品,因此当您需要更多特性或更多功能时,您可以更轻松地为它付费,而不是去找您不熟悉的竞争对手。 您是想尝试学习如何在其他地方使用新的仪表板,还是直接在您所在的地方输入您的信用卡?

这就是为什么您会受到这些免费产品的限制。 例如,Google Optimize 及其高级选项 Optimize 360​​。

其他时候,您可能会牺牲成功且轻松的优化计划所必需的其他服务,例如客户支持和与其他营销软件的集成。

当您想扩展 A/B 测试的功能时,您会发现自己倾向于付费工具。 因为免费的只是不会削减它。

“哦耶? 免费、免费增值和带免费试用的付费 A/B 测试工具之间到底有什么区别?”

让我们向您展示……

免费 A/B 测试工具、免费增值 A/B 测试平台和 A/B 测试工具免费试用之间的区别

免费的 A/B 测试工具

免费的 A/B 测试工具为您提供无需付费即可运行测试所需的基本功能。 与使用其他工具获得的功能以及综合实验计划所需的功能相比,您获得的功能是有限的。

这些免费工具的一个例子是谷歌优化。 我们将深入研究它以及下面的其他内容。

免费增值 A/B 测试平台

这些类型的 A/B 测试工具让您从基本功能开始,当您需要更好的功能和其他重要的专业功能时,您需要付费。 它是免费和付费的。

一个例子是 Nelio。

免费试用的付费 A/B 测试工具

这些工具需要花钱才能使用,但可以免费试用几天或几周。 有了这个,您可以使用产品的全部功能,但在此时间限制之后,您必须付费才能继续使用它。

大多数 A/B 测试工具都属于这一类,包括流行的工具,如 Convert Experiences、VWO 和 AB Tasty。

什么时候可以使用免费的 A/B 测试平台?

免费 A/B 测试平台有时间和地点(和目的)。 除了作为开始实验的绝佳方式外,免费工具在以下情况下也可以使用:

  • 您是实验新手——因此您还没有准备好投资高端工具,只想熟悉 A/B 测试
  • 您只想证明一个新的设计理念适合您的网站,或者正在做一些小改动以了解它如何影响转化率——如果您只想运行一个简单的测试,则无需花费数千美元。
  • 您需要确保您即将采取的行动不会损害您网站当前的性能——同样,只有一个测试可能无法证明投资的合理性
  • 您想说服高管 A/B 测试是值得的——如果您想说服 C-Suite 和其他利益相关者相信 A/B 测试应该是您的增长战略的一部分,并且需要在没有预算的情况下进行证明。
  • 你是一名 A/B 测试学生——当你需要 CRO 和实验的实践经验时,使用免费工具非常有意义。

什么时候应该放弃免费的 A/B 测试工具?

正如我们之前所说,免费的 A/B 测试工具通常附带一个问题。 您在使用它们时会遇到这种情况,并且随着您的优化程序的成熟。

这应该会提示您转向付费选项。 例如:

1. 特性和能力的限制

随着您在转化率优化方面的进步,您将需要运行更复杂的测试、同时运行更多测试、运行更长的时间等。但免费工具的问题是供应商不会允许这种级别的自由,因为这会让他们花钱。 他们提供的自由度越高,他们的产品就会吸引越多的用户,从而使他们花费更多的钱来保持一切在线。

这完全是一个商业决定,真的。 就您而言,这些限制可能会阻碍您的进步。 您的回应应该是投资有偿期权。

2. 缺乏强大的客户支持

要提供技术支持,您必须雇佣、培训和留住支持人员全天候为用户提供帮助。 这并不便宜。 收入为零的 A/B 测试工具无法在运营费用的重压下关闭而无法提供此功能。

您可以找到帮助资源,如文档、帮助社区、视频教程等,但您不会为您的独特挑战找到专门的帮助。 没有实时聊天、电子邮件支持或电话号码寻求帮助。

3.对SEO的潜在负面影响

老实说,免费的 A/B 测试工具提供商没有动力去构建超级强大的产品。 几乎没有人可以与之竞争以赚取 0 美元。

CRO 知道,运行实验会给您网站的 SEO 带来风险。 对于通常不足以防止闪烁的免费工具,这种风险会更大。

闪烁是指页面的原始版本在变体显示之前闪烁。 用户会注意到这一点,这会影响他们在您网站上的体验,从而影响您获得的 A/B 测试结果的真实性。 此外,跳出率上升,降低了您网站的搜索排名。

付费工具构建了可靠的防闪烁功能,因为它们需要通过为您提供卓越的实验体验来保持竞争力。

免费 A/B 测试软件的局限性

大多数免费的 CRO 工具和 A/B 测试平台都有固有的限制。 即使是功能最强大的工具,通常也缺少付费工具标配的许多受欢迎的功能。

免费工具的一个经常被忽视的组成部分是它们缺乏客户支持,这使得它们低于付费工具。 使用 SaaS 工具时,客户支持可能很有价值。 特别是如果您正在开发专门的测试代码或需要特定的集成。 知识渊博的支持团队的帮助可能是使用工具获得平均提升与令人垂涎的提升之间的区别。

这一点是 SaaS 行业不喜欢提出的。 但它是软件开发周期的一部分——错误

即使是最好的软件也会遇到错误问题。 但是对于免费软件,情况可能会更糟。 他们可能没有能够快速解决问题的专门团队。 如果您正在测试并且遇到错误,您不希望在修复之前等待数周。 或者更糟糕的是,如果没有客户支持,您甚至可能无法确认他们知道该错误并正在努力解决。

HelpJuice 的 Josh Brown 概述了免费 A/B 测试软件的一些限制:

与付费工具相比,免费工具的限制通常属于以下之一:

️ 功能有限。 要么您无法访问该工具的所有功能,要么您对某个功能的使用受到限制。

️ 免费直到达到某个阈值(通常是流量)。 例如,一个工具每月的访问量可能低于 5,000 次,一旦超过此值,您就必须转为付费计划。

️ 限时免费。

因此,既然您知道了免费 A/B 工具的局限性,那么让我们深入了解如何选择最好的免费工具。

如何选择免费的 A/B 测试工具

选择免费或开源 A/B 测试工具并不像电子邮件管理系统或生产力工具等其他软件那样具有挑战性,只是没有那么多选择。

以下是选择免费实验工具时要记住的一些建议:

  • 分析您的需求。 你越清楚,就越容易做出好的选择。 您只想运行 A/B 测试或其他类型的实验吗? 您需要对实验进行何种程度的控制? 您对转化率优化的理解程度如何?
  • 知道你的数字。 许多免费工具实际上是免费增值服务,它们对您可以运行的测试数量以及您的网站接收的流量有限制。 提前知道这些数字,您可以确定您是否在参数范围内。
  • 比较免费的 A/B 测试工具。 免费工具的局限性并不完全相同。 一个可能比另一个提供更多您需要的东西。 比较这些工具,看看哪些最能满足您的需求。 准备妥协,因为您可能无法在一个工具中找到所有内容。 因此,确定哪些功能目前对您来说不是最重要的。
  • 明确你的目标。 你想从这个工具中得到什么? 你想要完成什么? 该工具的功能是否能让您实现目标? 当您找到 2-3 个最接近您的目标的工具时,请进一步深入研究并选择 1。

Josh Brown 还就如何选择免费的 A/B 测试工具提供了他的建议。 他说:

在决定使用 CRO 工具之前,请确保使用其中一种工具确实有意义(即使它是免费的)。找出哪些测试最能改变针(因为可以进行多种类型的测试)。乔什·布朗

现在您已经了解了免费的 A/B 测试软件,让我们来探索如何充分利用它们。

使用免费的 A/B 测试工具? 充分利用它们的重要提示

  • 拥抱限制并与他们一起工作

为了充分利用您的免费 A/B 测试工具,请立即认识到您的局限性。 接受这些功能限制并在其中工作。

确保您使用您的工具

  • 一些简单的测试,比如找出在每月访问量为 500 的网站上,哪种颜色的 CTA 按钮能带来最多的转化
  • 更改您网站页面上的一两个元素以查看它们如何影响性能 - 您可以将更改发布到流量的一小部分并轻松撤消
  • 了解 A/B 测试的工作原理或证明测试的投资回报率

任何更多的事情都可能导致挫败感。 建立一个实验需要时间和精力。 您不想启动该工具无法支持的内容并被它卡住。

  • 充分利用该工具的全部功能

确保您已浏览该工具的网站。 阅读文档并检查您可能找到的任何教程。

在您学习该工具时,可视化您所学内容的用例并将其写下来。 你稍后会需要它。

  • 选择一个有帮助社区的人

由于您无法访问专门的实时支持团队,因此请确保至少他们有一个帮助社区。 因此,如果您可能遇到的问题的解决方案无法在线获得,您可以发布这些解决方案以获得其他用户的帮助。

这可能会减慢您的速度,但总比永远被卡住要好。

现在,让我们探索一下您今天可​​以试用的免费 A/B 测试工具。

最佳免费 A/B 测试工具:2022 年头对头比较

在研究市场上的免费 A/B 测试工具时,令人惊讶的是数量之少。 以下是对我们发现的内容的回顾……

1.谷歌优化

免费 A/B 测试工具 - 转换为 Google Optimize 的替代品

Google Optimize(前身为 Google Analytics Content Experiment)在与 Google Analytics 的自然集成方面具有重大优势。 作为一款免费工具,Google Optimize 具有多项功能,包括:

  • A/B 测试
  • 多变量测试 (MVT)
  • 多种定位选项,包括 Javascript 和地理定位。

A/B、A/B/n、MVT、拆分 URL? 是的。

服务器端和/或客户端? 两个都。

所见即所得的编辑器? 是的。

提供哪些类型的客户支持? 包含社区、入门指南、视频教程、提示、灵感等的资源中心。没有实时支持、电子邮件或电话号码。

高级版可用吗? 是的。 Google Optimize 可按自定义定价提供。

符合 GDPR 吗? 是的。

优点:

  • 一体化解决方案,与其他 Google 产品无缝集成
  • 它与谷歌分析一起工作,提供深入的报告
  • 对于初学者来说超级容易使用

SEO.co 的 Nate Nead 吹捧 Google Optimize 的效率:

该产品最多可免费供 5 位用户使用,与您的 Google Analytics 帐户无缝集成,并包含允许用户以多变量格式进行测试的高级建模工具。 虽然没有像 WordPress 这样的主要内容管理系统的插件,但通过一些简单的代码插入,实现起来很简单。 我们使用了付费版本,因为帐户的规模已经超出了最初的五个免费许可证。 但是,付费版本非常物有所值。

尽管这个工具很重,但也有一些限制……

限制:

正如谷歌优化所吹捧的那样,仍然存在一些付费工具中不存在的限制,例如转换体验。

  • 多变量测试 (MVT) 选项有限(Convert 平台上的标准选项)
  • 谷歌优化也不提供“多臂老虎机动态权重调整”
  • 最多 5 个测试、3 个目标和 90 天运行时间
  • 代码编辑器中不超过 16 个变量和 10,240 个字符
  • 无法测试复杂功能
  • 无法将测试添加到正在运行的测试

如果您对功能限制感到沮丧,这些 Google Optimize 替代品可能适合您。

免费试用

检查工具的最佳方法是探索它。 免费获得 15 天的 Convert 完全访问权限。 A/B 测试,查看我们所有的集成,看看为什么这么多优化器选择 Convert Experiences 作为 Optimizely 的替代方案。

Brian O'Sullivan 首先在 Google 开始运行 A/B 测试,然后在 Dropbox 进行优化。 他现在是一名 SaaS 增长顾问,他的客户开始使用 Google Optimize。 但他也清楚 Google Optimize 的局限性:

当他们获得结果并开始购买 A/B 测试时,Google Optimize 可能会开始阻碍他们。 最大的问题是限制。 您只能同时运行 5 个测试,每个测试的目标上限为 3 个,并且您可以在其代码编辑器中插入的代码有限制(10240 个字符)。 最重要的是,在 GA 中运行后分析测试段设置起来很麻烦。

随着客户开始增加他们的 A/B 测试并希望一次运行超过 5 个测试,我鼓励他们转向付费工具。

即使有这些限制,Google Optimize 仍然是免费 A/B 测试工具的粉丝最爱。

免费的 A/B 测试工具

列表中的下一个是一个名为 Nelio 的工具。

2. 内里奥

免费的 A/B 测试工具

Nelio 是一款用于 WordPress 网站的开源 A/B 测试软件。 Nelio 允许您在 A/B 测试环境中更改您的 WordPress 网站。

一个免费增值工具,如果您的网站有少量流量,Nelio 是免费的。

A/B、A/B/n、MVT、拆分 URL? 是的。

服务器端和/或客户端? 仅限客户端。

所见即所得的编辑器? 是的。

提供哪些类型的客户支持? 包含视频教程、入门指南、文档和电子邮件支持的知识库(高级支持适用于更高的付款计划)。

高级版可用吗? 是的。 每月 29 美元起,每月查看 5,000 次。

符合 GDPR 吗? 是的。

优点:

  • 带有热图和滚动图
  • 为非营利组织提供特殊套餐
  • 作为一个 WordPress 插件,设置 Nelio 并不难,并且有可靠的评价。
免费 A/B 测试软件 - 可在 WordPress 上使用的 A/B 测试评论
资源

限制:

仅限于基于 WordPress 构建的网站。 根据 Kinsta 的一篇文章 Wild and Interesting WordPress Statistics and Facts (2020),有超过 200 亿个 WordPress 页面。 哇!

但是,即使有这个惊人的数字,仍然有数百万个网站是建立在其他平台上的。 这意味着他们不能选择使用 Nelio 进行 A/B 测试。

还要记住,这是一个免费增值插件。

3. 虚荣心

免费的 A/B 测试软件

Vanity 是另一个免费的开源优化平台,将自己描述为“Rails 的实验驱动开发框架”。

如果您不熟悉 Rails,它是一个 Ruby(编程语言)Web 应用程序开发框架。

Vanity 允许用户通过 A/B 测试来衡量多个指标。

侧边栏 A/B 测试结果
资源

A/B、A/B/n、MVT、拆分 URL? 只有 A/B 测试和代码测试。

所见即所得的编辑器? 不。

服务器端和/或客户端? 不适用

提供哪些类型的客户支持? 没有任何。 仅 README 中的设置说明。 如果您有任何问题,可以在 StackOverflow 上提问。

高级版可用吗? 不。

符合 GDPR 吗? 不清楚。

优点:

如果您熟悉 Rails,并将其用作您的开发平台,那么访问这个允许您运行小型 A/B 测试的开源工具会很方便。

限制:

但是,该软件的覆盖范围有限。 它不允许您测试完整的网站、运行并发测试或您在完整的 A/B 测试工具中期望的许多其他功能。

3. GTM 测试

免费和开源的 A/B 测试工具

同样,Google 跟踪代码管理器并不是真正的 A/B 测试工具,可让您测试和衡量对整个网站的更改。 但是,您可以在 GTM 中执行一些有用的 A/B 测试。

他们描述了他们的过程如下:

免费的 A/B 测试工具。 GTM 测试如何工作。
资源

A/B、A/B/n、MVT、拆分 URL? 只有 A/B 测试。

服务器端和/或客户端? 仅限客户端。

提供哪些类型的客户支持? 仅限于电子邮件支持。

高级版可用吗? 不。

符合 GDPR 吗? 不。

优点:

  • 与谷歌分析集成
  • 无需技术知识
  • 无限制的 A/B 测试
  • 成本效益

限制:

使用 GTM 的 A/B 测试并不是大多数用户会归类为“简单”的。 如果您是 CRO 的新手或新手,这可能不是一个容易上手的工具。

奖励:HotJar

免费的 A/B 测试工具

如果你在 CRO 和实验中根深蒂固,你现在可能会对我大喊大叫,“Hotjar 不是 A/B 测试工具。” 你是 100% 正确的。 Hotjar 是一种热图工具,可提供有关访问者在您网站上的行为方式的反馈。

那么为什么它会出现在我们的免费 A/B 测试工具列表中呢?

当我们联系 CRO 社区以获取他们对免费和开源 A/B 测试工具的意见时,它不断出现。 所以我们在这里添加它作为“奖金”。

Hotjar 是一个免费增值工具,可让您查看和分析网站访问者的行为。

优点:

Hotjar 为您提供了您无法从基于定性的实验工具中获得的定性数据。 像 Hotjar 这样的工具实际上与适当的 A/B 测试工具一起工作得很好。

限制:

在这种情况下,Hotjar 的主要限制是它不是真正的 A/B 测试工具。

包含在其他软件中的免费 A/B 测试工具不等于完整的独立工具

许多免费的 CRO 工具被错误地归类为 A/B 测试软件,因为它们用于转换优化。

这方面的一个例子是五秒钟测试,它允许您在被问到一系列问题之前向人们展示您的登录页面五秒钟。

其他示例包括:

  1. SES 主题拆分测试
    使用此插件,您可以测试不同的 WordPress 模板和主题。
  2. 尤诺
    想要专门对您的弹出窗口进行 A/B 测试? HelpJuice 的 Josh Brown 推荐了这个工具。
  3. 邮件黑猩猩

什么是开源 A/B 测试软件?

开源软件是一种源代码可免费用于重新分发和修改的软件。 构建了一些 A/B 测试工具,并且它们的源代码可以在线免费获得。 这些是开源 A/B 测试软件。

这使您可以根据需要完全控制使用该工具。 您可以修改为流量提供变体的代码,并根据您的喜好编辑报告的创建方式。

这对于有资源构建内部实验工具的组织来说非常有用,因此他们可以使用开源软件作为跳板。 例如芥末、虚荣、莫吉托和斯普利特。

免费 A/B 测试工具和开源 A/B 测试平台的区别

许多免费的 A/B 测试工具都是开源软件。 这意味着您无需为它们付费,您可以根据自己的独特品味定制它们的原始源代码。

其他非开源软件的免费 A/B 测试工具无法提供这种级别的灵活性。 你可以使用它们,但你不能修改产品背后的代码。

这种灵活性非常适合拥有技术知识的成熟优化团队使用原始代码创建易于使用的可定制 UI。

所以,从这个词的意义上来说,它们并不完全是“免费的”。 你不能拿起一个,插入你的价值观,并准备好立即进行测试。 尽管您不支付其中的大部分费用,但您的承诺以其他资源的形式出现,例如时间和技能。

什么时候应该使用开源 A/B 测试解决方案?

开源 A/B 测试解决方案并非适用于所有情况。 但在这些情况下,最好选择它们:

  • 您需要灵活敏捷的测试

使用开源 A/B 测试平台,整个代码就在您手中。 您可以创建所需的功能,而无需等待供应商提供。

  • 您需要一个时间和成本效益高的定制内部测试解决方案

如果您想在内部进行实验,最好从开源工具开始。 从头开始构建可能会花费太多时间,而这些时间本来可以投入到更有成效的任务中。

  • 你的测试速度太高了

对于每月运行数千次测试的全球巨头品牌,创建一个围绕您的需求构建的自定义平台并能够在整个组织中扩展和支持实验文化是有意义的。

  • 您不想维护许可证

使用开源 A/B 测试解决方案,您可以立即开始。 您所要做的就是按照文档进行部署。 其余的自定义取决于您和您的开发人员。 无需许可证和与销售代表交谈。

开源 A/B 测试工具的缺点

正如我们之前所说,开源 A/B 测试工具并非适用于所有情况。 原因如下:

  • 部署一些 A/B 测试开源软件很棘手
  • 其中一些工具缺乏用户友好的界面,使用起来很麻烦
  • 如果出现问题,通常没有保修和有限的支持
  • 许多团队成员可能对使用该工具并不太兴奋,因为学习曲线非常陡峭,而且
  • 开源软件可能有缺陷,有时会打开您的网站以供利用

除非您有内部技术人才来安装和维护开源 A/B 测试工具,否则最好使用可用的最好的免费 A/B 测试工具之一,或者使用更强大、更安全的工具,例如 Convert Experiences .

最佳开源 A/B 测试工具和框架:头对头比较

1.芥末

Wasabi 是一个开源 API 驱动的 A/B 测试服务

Wasabi 是 Intuit 提供的开源 API 驱动的 A/B 测试服务。 请注意,这不再处于积极开发中,这意味着没有新功能,也没有可用的支持。 因此,如果您选择使用此源代码进行 A/B 测试,那将是一次个人旅程。

特征:

  • 在您的服务器、云端或本地运行
  • 100% API 驱动
  • 平台无关
  • 实验管理界面

A/B、A/B/n、MVT、拆分 URL? A/B 测试。

它有用户界面吗? 是的。

语言? Java、Python、JS

有哪些类型的支持可用? 除了 GitHub README,没有。

谁在资助这个项目? 直觉。

有用户社区吗? Gitter 上有一个相当不活跃的社区。 最后一条信息是在 2021 年 6 月。这是今年唯一的信息。

遗产? Wasabi 是 Intuit 在 2017 年 9 月开源之前的内部实验平台。

发布和升级? 上一次代码活动是在 2019 年 8 月 28 日。从那时起,它不再被开发。

2. 六包

Sixpack A/B 测试框架

Sixpack 使您能够通过 API 使用各种编程语言进行 A/B 测试。 它分为两部分。 一个是处理 Web 请求的 Sixpack-server,另一个是可选部分 Sixpack-web,它应该是您的实验 Web 仪表板。

特征:

  • 语言不可知论者
  • 带有可选的网络仪表板

A/B、A/B/n、MVT、拆分 URL? A/B 测试

它有用户界面吗? 是的。

语言? Python、JS、Java、PHP、Ruby、iOS、Go、Perl、Objective-C。

有哪些类型的支持可用? GitHub 文档和问题报告。

谁在资助这个项目? Seatgeek,售票平台。

有用户社区吗? 我们找不到任何东西。

遗产? Seatgeek 为他们的内部测试需求编写了 Sixpack。 并在成功使用 6 个月后开源。

发布和升级? 它的最新版本是在 2017 年 7 月,最近一次提交是在 2020 年 8 月。

3.莫吉托

Mojito 开源拆分测试框架

Mojito 是一个开源拆分测试框架,可让您通过 Git/CI 构建和运行测试。

特征:

  • 自定义 HTML 报告
  • 自托管和 git 控制
  • 代码缩小和 linting 以加快加载时间

A/B、A/B/n、MVT、拆分 URL? A/B、A/B/n 和拆分 URL 测试。

它有用户界面吗? 不,你通过 VS Code、Vim、Sublime 和 R Studio 运行实验。

语言? YAML 和 JS。

有哪些类型的支持可用? 入门指南和教程视频。 您可以在 GitHub 和 Mint Metric 的网站上报告问题。

谁在资助这个项目? Mint Metrics,转换优化机构。

有用户社区吗? 我们找不到。

遗产? Mint Metrics 透露,他们已经使用这个实验堆栈为超过 500 个客户运行实验。 2019 年 7 月,他们为大家打开了堆栈。

发布和升级? 它的最新升级是在 2019 年 9 月。

4.拆分

拆分 A/B 测试框架

特征:

  • 黑客友好的设计
  • 适用于 Rails、Sinatra 和其他基于机架的应用程序

A/B、A/B/n、MVT、拆分 URL?

它有用户界面吗? 拆分有一个仪表板。

语言? 红宝石,JS。

有哪些类型的支持可用? GitHub 文档和问题以及 Google 群组。

谁在资助这个项目? 得到捐赠和赞助商的支持。

有用户社区吗? 有一个 Google 群组,但自 2017 年以来一直没有活跃。

遗产? 由 Andrew Nesbitt 于 2011 年创立,下载量已超过 420 万次。

发布和升级? Rubygems 上大约有 59 个版本,最近一次是在 2020 年 12 月。在 GitHub 上,最近一次提交是在 2021 年 9 月。

使用免费的 A/B 测试工具和开源 A/B 测试解决方案会损害您的业务吗?

毫无疑问,免费和开源 A/B 测试解决方案有其优势,但它们是否适合您的业务? 即使它们是免费的,从长远来看,使用它们会损害您的营销预算吗?

是的,错误的工具,尽管没有任何成本,但会损害您的业务。 就是这样:

  • Reducing your chances of acquiring new leads from organic traffic

If your A/B testing tool is not equipped with anti-flicker technology and its code impacts your page speed negatively, those are two stabs at your core web vitals. This will drop your web traffic as it hurts your SEO strength.

  • Lowering marketing efficiency

If you don't have the technical expertise to handle open-source A/B testing tools and you set out to figure it out yourself, you're not saving costs. Time is money too. Spending that time that could've gone into handling your core business on a hard-to-use tool lowers the ROI of your experiments.

  • Risking vital data loss

Are you risking a data breach by saving costs on tools? A/B testing tools use your visitors' data to prepare your results and insights. Open-source tools don't have a reputation for being secure since their code is open to the web, which gives everyone an opportunity to figure out an exploit.

Could this be a recipe for disaster? If your free tool isn't GDPR compliant and anonymizes user data, you will be held liable for collecting, storing, and handling this data if there's a breach.

This doesn't have to be the case when you invest in the best A/B testing tools that protect you and your visitors' privacy, are easy to use, and maintain the integrity of your SEO strategy.

The Experts' Tips and Tricks on Using Free A/B Testing Software

We asked a handful of CRO experts to share their favorite free A/B testing platforms and at what point they would move to a paid tool.

Below are some tips they shared:

Raul Mercado, of Camping Helper, shares what pushes him to purchase a full-bodied A/B testing tool:

Free A/B Tesitng Tools. I would consider purchasing a tool for A/B testing if I needed to perform more complicated A/B tests based on user segmentation like device, age, country, sex, and so on. Free options will not usually give you these kinds of specifics...Raul Mercado

Ottomatias Peura, the CMO of Speechly, uses A/B testing as part of their conversion strategy. He shares the following:

Free A/B Testing Tools:  We use paid tools to run most of our A/B tests on our site, which seems to work well for us. The main difference between free tools and paid alternatives is in the extent you can do multivariate testing and goal setting, Ottomatias Peura

Bruce Hogan spent the past 10 years in digital marketing and is the Co-Founder & CEO of SoftwarePundit, an internet business that helps SMBs adopt the best software for their needs. He's used a host of CRO solutions and offered this advice:

Free A/B Testing Tools. There are a few downsides of free tools compared to for-purchase solutions. For example, paid tools give technical teams can launch A/B tests via code (vs. visual editor). It also has more advanced targeting capabilities to run experiments at specific user segments. Bruce Hogan

Faizan Fahim, a digital marketer at ServerGuy who oversees all the digital content of the site, shares his thoughts:

Free A/B Testing Tools. Free tools are amazing. But Functionality is limited. Features are limited. But sometimes we need more data to understand our visitors. In those cases, we prefer paid tools that can offer us insights into the forever changing pattern of customer visiting habits.法赞法欣

Trevor Ford, currently Head of Growth at Yotta Savings, explains the limits of free A/B testing and when migrating to paid ones makes sense:

Free A/B Testing Tools. Paid tools tend to have more native connections to external and third-party platforms. I.e. sending test data into a payment processing platform or into a CRM.特雷弗·福特

Main Takeaway: Great Free Tools Available But You Get What You Pay For

Holly Winters of BrandCave encapsulated it best:

免费的 A/B 测试工具。当谈到产品 A/B 测试工具时,您几乎总能得到您所支付的费用。付费工具提供比免费工具更具体的功能范围。冬青冬青

这甚至不考虑软件包中包含的附加服务水平,这些服务有时会被忽视,例如客户支持、您可以利用的品牌 CRO 社区、由付费拆分测试工具托管的学习门户,以帮助您成为更好的测试人员和 CRO 从业者。

最后,像 Convert Experiences 这样的付费 A/B 测试平台可以提高您的转化率和利润。 Convert Experiences 等实验工具可为您的计划投资提供明确的投资回报率。 当充分发挥其潜力时,该工具可以收回成本。

免费试用

检查工具的最佳方法是探索它。 免费获得 15 天的 Convert 完全访问权限。 A/B 测试,查看我们所有的集成,看看为什么这么多优化器选择 Convert Experiences 作为 Optimizely 的替代方案。

有人能说,“付费等于免费吗?”

中等规模和企业公司投资付费工具是有原因的。 他们知道这是一项可以给他们带来回报的战略投资。

底线……

霍莉温特斯说得最好,“你得到你付出的代价。” 虽然免费、免费增值和开源工具都有自己的位置,但它们不能 100% 达到付费工具的强大功能。

因此,如果您是实验领域的新手,并且访问您的网站的访问者数量很少,那么免费的 A/B 测试工具就可以了。 但是随着您的成长,您应该考虑使用像 Convert Experiences 这样的工具,它为您提供了一个无缝的实验平台,可以支持您的优化工作并推动增长。

您使用免费 A/B 测试工具与付费的体验如何?

获取交互式表格
获取交互式表格