与 A/B 测试工具供应商合作以运行更多（更好）实验的指南

你可能听说过这个神话：我们使用了 10% 的大脑。

当大多数人认为这是真的时，我们幻想着使用更多的可能性。 甚至有一整部电影都是由斯嘉丽约翰逊主演的——露西。

通过 GIPHY

但是使用 A/B 测试工具，许多优化团队的使用率肯定低于 100%。 是的，您不时运行测试并部署获胜者，但您与您的 A/B 测试工具供应商有密切的联系吗？

除了入职和提供支持之外，您的工具供应商还可以成为您的实验合作伙伴。 您可以受益于他们与跨行业和垂直领域的客户合作的专业知识和经验，以运行更强大的实验。

鉴于削减预算是常态，优化项目负责人必须优化他们的实验资金，这一点现在尤其重要。

在本指南中，我们将向您展示如何更有效地与供应商合作，以便您从测试投资中获得最大回报。

我们走吧！

经济放缓对您的优化计划意味着什么？ （以及为什么您的供应商是未充分利用的资源）

“这是又一次科技泡沫破灭了吗？”

自五月以来，这一直是头条新闻。 但事实是，投资者不再有信心从科技行业赚到的钱和他们投入的钱一样多。

现金投资不会像过去那样出现，因此初创公司现在必须适应新的估值并相应地规划预算。

这不仅影响初创公司； 它是全行业的。 甚至谷歌也在调整。

谷歌首席执行官桑达尔·皮查伊在向员工发表讲话时说：“我们需要更有创业精神，比我们在阳光明媚的日子里表现出的更加紧迫、更加专注和更加渴望工作”。

各部门将修改他们的增长计划，以适应削减的预算——“更加紧迫”和“更加专注”。 预算削减可能会影响您的优化计划，但这对您的下一步意味着什么？

在实验上花更少的钱？ 当然。 但是，您如何做到这一点并仍能获得最大的投资回报率？

测试更多。 提高您的测试速度，以更好地了解不断变化的消费者行为。 现在是停止进行随机更改并利用测试作为使体验与潜在买家想要的一致的有效方法的时候了。

现在，您比以往任何时候都更需要更清楚地了解什么是有效的——这样您就可以更快、更频繁地发布利润驱动的变更。

稀缺孕育清晰。

谷歌首席执行官桑达尔·皮查伊

运行更多测试只是一方面。 以较低的成本运行这些测试是另一回事。 除了获得更实惠的 A/B 测试工具之外，它还有更多意义。

让我用 A/B 测试飞轮来说明：

您可以通过改进第 1 步和第 5 步来加速飞轮并降低 A/B 测试的成本。也就是说，运行更多的 A/B 测试以支持更多的决策并降低 A/B 测试的人力成本。

一个真正的数据驱动型组织使用测试来支持决策，对于初学者来说，这是启动飞轮的第一个测试。 每次返回第 1 步时，您都在积累上一轮已经学到的知识。 我们一圈又一圈地走。

当您通过投资改进您的实验基础设施（第 4 步）来简化测试过程时，第 5 步是可能的。 测试应该易于设置，需要更少的人工干预，并且成本更低。 结果对于非统计学家来说应该易于理解和实用。

这样一来，使用 A/B 测试来支持决策的兴趣自然会增长，更多的人使用 A/B 测试工具来发现您的组织中的改进。 现在，您正在测试更多，并从各个部门的实验中获得更高的投资回报率。 不仅仅是营销。

你看，第 4 步的影响——投资于 A/B 测试工具——使这是双赢的。 本指南是关于这种类型的投资：与您的 A/B 测试工具供应商建立合作关系，以便您在优化之旅中拥有合作伙伴。

您的优化合作伙伴对您负责，与您的内部团队或机构合作，提供出色的工具特定培训，并通过与其他成功用户分享工作成果来提高您的流程效率。 这意味着您可以缩短测试的交付时间，并进一步降低测试的人力成本。

飞轮以这种方式运行，就不需要复制测试了。 这甚至都不是一回事。 相反，您可以根据之前的 A/B 测试知识进行迭代，并通过与您的 A/B 测试工具供应商的无缝协作，利用其他人的知识来推进您的实验计划。

你甚至可能对元分析嗤之以鼻，但你不能否认这样一个事实，即在实验团队管理和结构方面，站在比你先行者的肩膀上是有道理的。 无需重新发明轮子； 我们从 Positive John 的 Positive Experiments 通讯中借来的一个想法。

5 种改善供应商团队协作以实现更多测试和更多胜利的方法

现在是多汁的部分。

这里有 5 种方法可以让您不仅仅是另一个 A/B 测试工具用户，并与您的供应商建立关系，从而将您的优化计划提升到一个新的水平：

1. 将您的工具（和供应商）视为一项投资

与其将您的 A/B 测试工具视为成本中心，不如考虑它将为您的程序增加的价值。 仅仅获得一个没有错误的、功能强大的工具是不够的。 您需要知道如何充分利用它。

这并不意味着深入研究您永远不需要的大量功能。 取而代之的是，您的工具是否可以提高您提取的、您可能不知道的促进增长的见解的质量？

如果你寻找这个值，你会找到它——这可能意味着从你的 A/B 测试工具中获得任何回报与产生让你的 A/B 测试飞轮旋转得更快的影响之间的区别。

此外，这也将有助于进一步消除幻想的低谷（更多内容见下文），并帮助您在听取供应商的反馈和建议时保持开放的心态。

必须对供应商的反馈持开放态度。 他们的见解和观察对于帮助您微调优化工作非常有价值。

此外，在与供应商合作时保持开放的心态至关重要。 他们的做事方式可能与您习惯的不同，但如果您对他们的建议持开放态度，您可能会对结果感到惊讶。

Neutypechic 首席执行官 David Scott

找出联系支持团队的方式：电子邮件、聊天和电话支持。 哪些适用于您当前的计划。

当然，请确保您选择的供应商团队真正关心您的成功，而不仅仅是做出营销承诺。 他们应该拥有一流的支持、协作和合作。

像这样：

和这个：

无论您是拥有内部团队还是与 A/B 测试机构合作，与可靠、知识渊博的供应商支持团队的这种关系都会在关键时刻出现——尤其是在经济放缓期间。

如果您是实验项目经理或领导者，那么这其中的大部分工作确实是您的工作。 但这并不意味着您不能依靠工具供应商的专业知识来获得一些支持。 通常，他们会拥有出色的客户成功团队，不仅可以帮助培训您的团队，还可以在他们的特定平台上培训您的团队，还可以培训他们最成功的客户用来获得成果的最佳实践。 为什么要重新发明轮子？ 使用他们的经验和模式匹配来告知您的程序。

这不仅仅是为了奉承 Convert，而且他们帮助教育团队并帮助集成、测试想法和流程改进的能力是我不断选择该平台而不是各个公司的其他竞争对手的一个重要原因。

Omniscient Digital 联合创始人 Alex Birkett

2. 在你的沟通中保持战略性

并非所有的沟通都是有效的。 只有当沟通与特定目标一致、允许思想的双向顺畅流动并通过正确的渠道完成时，您才会从任何协作中看到价值。

因此，在您使用 A/B 测试工具之前，请制定明确的行动计划。 您的战略沟通应遵循以下提示：

分享胜利

您是否体验过使用 A/B 测试工具获得“价值”的第一刻？ 是的？ 那太棒了。 分享它并寻求反馈。 有什么更好的方法，下一步有哪些有价值的想法？

让人们知道担忧

如果您还没有获得第一次胜利，请与您的供应商交谈。 表达您的关注并与他们合作，将您和您的团队带到第一个价值时刻。 或者，如果您已经过时了，它们如何帮助您找到一致的价值？

另一种选择是放弃并找到一个新的 A/B 测试工具，你认为这会让你更快地获得胜利。

但是切换工具是一个昂贵且繁琐的过程。 避免使用它，直到您别无选择，因为您已经用尽了所有选择，并且该工具没有涵盖您最常见和最重要的用例。 或者，如果工具供应商不关心您的业务并将您视为仪表板上的收入数字。

将其分解为 6 ​​周的 Sprint

将您的大 A/B 测试目标分解成小块，在一个半月内完成。

专注于让每个人都与这些目标保持一致——您的团队和您的工具供应商的客户成功团队。 确保每个人都了解您的组织如何衡量成功。

安排你的会议

有一个坚持基本要素的议程。 准备好充分利用有限的时间。

通过录制记录来跟踪您的会议（如果您在 Zoom 上，请使用像 Fathom 这样的自动记笔记应用程序）。

将您的实验记录在学习存储库中，这样您就可以有一个结构化的演示文稿，让您的供应商快速了解您的团队正在做的事情。

Andra Baragan 谈到了 Ontrack Digital 内部会议的类似结构：

确保团队中的每个人都非常熟悉这种结构。 您将花费更少的时间来弄清楚发生了什么，而将更多的时间从与工具供应商的合作中获取价值。

此外，请确保您在团队中激发热情。 您的 A/B 测试计划中的某个人应该出席所有会议——根据需要进行调查、提问和回答。

设置会议节奏

当我们说您的 A/B 测试工具供应商了解您通过他们的应用程序体验持续价值的重要性时，请相信我们。 因为如果你不这样做，你可能会认为你有一个糟糕的工具。

这很可能在他们减少客户流失的议程上。 那么，你为什么不利用这个呢？

所以，伸出援手。 安排一个例行会议（因为一次会议并没有减少它）。 这应该是一种持续的关系，您可以克服挑战并带着新的挑战回来。

建立例行会议。 为参与优化过程的所有人员安排时间来定期开会并讨论接下来需要发生的事情至关重要。 这将使您能够跟踪您的统计数据，并让每个人都了解您的团队的工作进展情况。

WCAG Pros 联合创始人 Matthew Post

您应该多久与您的 A/B 测试工具供应商举行一次这些会议？ 双周刊？ 每月？

与您的供应商建立定期的沟通节奏。 这可以是每周一次、每两周一次或每月一次，但请确保定期与基地联系，以便您能够及时了解新特性和功能，并提供有关该工具如何为您执行的反馈。

StreamSEO 首席执行官 Mushfiq Sarker

找到一个与您的实验计划保持同步的例程。

与您的供应商建立单点联系

此人负责处理您的请求并代表您的供应商团队处理与您有关的所有事项。

这比手把手地传递要好，感觉更个性化，从长远来看实际上更有效率。

考虑与供应商协商或确保单点联系。 这可确保随着您使用 A/B 测试的时间延长或您的优先级发生变化，您将有一个彻底了解您的需求的人。 与单点联系的稳固工作关系使优化节省和避免成本变得更加容易。

DoorLoop 首席营销官 David Bitton

3. 定义职责范围

定义您和供应商的责任。 从一开始就概述期望可以为成功建立关系并加快您的优化进度。

虽然看起来很明显，但我们使用的影响最大的策略是从一开始就建立责任领域，并在整个参与过程中始终如一地传达这种期望。 这使各方清楚地了解了预期的结果以及实现这些结果所需的资源。

查明资源和预期结果可确保适当分配预算。 我们还定期评估协作流程以发现任何问题并加以解决。

大卫比顿

现在，仅仅说谁在什么时候做什么是不够的。 将此编入您的法律协议中。 这就是为什么一些用户更喜欢年度合同的原因。 参考协议并确定谁丢球更容易。

但是，即使您没有具有法律约束力的协议，在您的入职培训电话中提出这一点也会让前进的道路变得轻松。

因此，请保留协议记录。 我们是人类； 我们忘了。 如果其他人加入（在您的团队或您的供应商的团队中），则此协议会让每个人都步调一致。

在您的内部团队中，您可以使用 RACI 矩阵跟踪您的实验计划中的职责。

RACI 矩阵是一个图表，它为参与的每个人绘制出项目中的关键目标、里程碑、任务和职责。

RACI 意味着负责、负责、咨询和知情：

• 责任人：谁负责完成决策、执行测试、记录测试等任务？
• 负责：谁委派任务并确保按时完成？
• 已咨询：在任务中需要咨询谁的意见？ 谁参与提供反馈以完成项目？
• 知情：谁需要了解最新进展？

我们已经讨论了如何为您的实验项目构建和使用 RACI 图表。 这是它的外观：

与您的供应商共享您的实验程序的 RACI 矩阵。 他们会欣赏这种透明度，并将更好地处理您团队的请求。

您可以通过设置您使用测试工具的体验的实时跟踪器并与您的供应商共享来增加额外的透明度。

当您一起使用此工具时，建立一个过程来监控进度并相互沟通什么有效和无效也很重要。 如果有多个人同时使用此工具（例如，如果您的营销团队使用它，而您的工程团队也使用它），这一点尤其重要。

The Blueprint Training 执行合伙人 Ryan Stewart

这可以是 Notion、Confluence 或 Google Doc 上的文档，包括您的体验的屏幕截图或短视频记录。 您的 A/B 测试工具供应商会喜欢它！ 而且，如果您在进行实验项目时遇到障碍，您会更快地畅通无阻。

在这方面，我们真诚地希望您与您的供应商保持沟通。 他们为您提供了一个定向会议！

欢迎您参加培训会，让您熟悉供应商的团队，设定对旅程的期望，并继续您的入职培训。 介于 6 到 12 个月之间。

请记住，来自支持团队的脚本响应并不构成您的介绍会。

4. 为幻灭的低谷做准备

你要么在里面，要么朝着它前进。

如果你还没有幻想破灭的低谷，它是 Gartner 炒作周期第三阶段的一个花哨的名称； 对一个想法或产品的期望和炒作之后的失望已经达到了顶峰。

这就像对现实的严厉呼唤，伴随着谦逊和对工具的信心不足。 但从好的方面来说，它使您的团队对新想法和调整更加开放。

如果你不是唯一一个处于幻灭低谷的人，你就必须向其他利益相关者保证，你可以从目前所花的钱中赚钱。

如果您在组织中启动了 A/B 测试，但其他所有人都没有得到正确的定位，而是抱有不切实际的期望，那么您可能会发现自己处于压力之下。 因为 A/B 测试只会增加想法和决策的确定性。

如果你已经走出幻灭的低谷，那么本节不适用。

对于那些在其中的人，这是一个出局：

首先从工具中绘制出您的需求。

• 你为什么投资这个技术/品牌？
• 您的优化计划在哪个阶段促使您需要 A/B 测试工具？
• 你试图满足什么需求？
• 对您和您的团队印象深刻的营销信息是什么？

这些是你的期望，而你正处于低谷，因为它们与你目前的现实不符。 我很快就会告诉你该怎么做。

在我看来，测试领导者最重要的职责之一是确保组织的期望得到适当的管理。 对于该计划，审查程度将与技术预算的规模成正比。 支出的大小对低谷的深度有很大的影响。

在对技术进行重大投资之前开发价值证明是管理期望的最有效策略。 在你出去买一辆法拉利之前，你应该使用一种便宜或免费的解决方案来启动你的计划，这样可以创造一些早期价值。

Gerrid Smith，电子商务总监，Fortis Medical Billing

幻灭的低谷是为什么大量的工具预算对于实验计划来说不是好兆头，除非价格标签可以明确证明是合理的。 例如，

• 边缘或高级用例不是获得企业 A/B 测试应用程序的正确理由。
• 边缘或高级用例不会带来可观的回报，因为解决的问题可以改善极少数用户或测试的情况。
• 但预算越大，审查和期望就越大。 你无法逃避这一点。

TL;DR：不要不必要地增加压力。

如果您无法度过幻灭的低谷，您将不会与您的供应商建立相互尊重的合作关系。 您的团队成员会将其视为徒劳的练习。

低谷已经损害了你的士气吗？ 不算太晚。 与您的供应商通电话，列出您在上面概述的期望，表达您的担忧，并决定接下来的步骤。

当某些事情不像你想象的那样有效时，不要害怕提出问题！ 您的供应商随时为您提供帮助，他们想要您的业务，因此他们会尽其所能确保您对他们出售给您的产品感到满意和满意！

瑞恩斯图尔特

当您与您的工具供应商通电话讨论这些问题时，这里有一些谈话要点：

• 幻灭的根源是什么？
• 明确定义使果汁值得挤压的“价值”或“输出”（即证明价格标签的合理性）
• 有没有可能用工具来实现这个价值？
• 如果是，这个时间线会是什么样子？
• 谁将负责什么？
• 你会多久联系一次基地讨论进展？
• 你的团队有什么不满？ 让您的供应商解决这些问题。

如果您有一个优秀的供应商，这将是一次富有成果的对话，为您带来全新的视角，并为您指明成功的优化计划。

我们的用户喜欢让 Dennis（我们的 CEO）和 Claudiu（我们的 CTO）随叫随到的事实。 因此，如果出现这种情况，只需打个电话就可以与我们的高管进行对话。

5. 利用教育和赋能

成功的 A/B 测试需要一些技术知识。 这就是为什么对于不精通统计的人来说，像统计显着性这样的术语乍一看似乎很陌生。

要充分利用 A/B 测试，您需要清楚地了解

• 随机在线实验（如拆分测试和 A/B 测试）的工作原理
• 如何使用您的工具来计划、设置和执行测试； 和
• 如何解释测试结果、提取见解并实施它们以巩固您的胜利。

教育绝对至关重要。

获取其中一些知识完全取决于您和您的团队。 但是，如果您有一个 A/B 测试供应商很乐意在这方面为您提供帮助，该怎么办？ 甚至更好！

在选择 A/B 测试工具时，它应该是一个标准。

在选择 A/B 测试工具供应商时，您应该将其视为一种集成且互补的合作伙伴关系。 虽然这听起来很平庸，但大多数买家只是想检查几个框。 它是否支持个性化？ 它是否与谷歌分析集成？ 它要多少钱？

这些事情很重要，但它们是赌注。 我参与过几个 A/B 测试程序，我可以告诉你，限制程序的很少是技术方面。 相反，限制功能往往是文化方面：教育、支持、流程优化和可访问性。

因此，在与供应商合作时，我喜欢审核我当前的程序，看看最大的限制维度是什么。 在大多数情况下，这是教育和赋能。 简而言之，团队中没有足够多的人在实验平台上接受过良好的培训，也没有足够的人在构思、运行和分析实验的过程中接受过良好的培训。

亚历克斯·伯克特

要概述您的供应商在教育和支持资源方面的需求，请确定您已经拥有的（经验和才能）并与他们分享您的优化目标，以便他们推荐资源来填补空白。

实验供应商应该为您提供

1. 入职

获得针对您的特定用例定制的入职培训（这样您就不会花时间学习不需要的内容），并让他们将您指向相关的支持文档以帮助您入门。

通常，入职成本会计入第一年的成本或单独收费。

2. 工具培训

这很简单，但有时会被忽视。 在开始使用该工具之前，请确保您接受过有关如何使用该工具的培训。

3. 访问专家网络

这是扩展支持的另一个想法：利用供应商的网络来寻找 CRO 机构/专家进行扩展。 即使只是在 LinkedIn 上关注他们，也会让您进入一个可以将您带回家进行优化计划的见解世界。

4. 暴露

您还希望在他们的案例研究和营销活动中脱颖而出——毕竟这是免费宣传。 您对 CRO 计划为您的品牌所做的事情所激发的热情越多，您获得的买入货币就越多。

5. 学习资源

探索免费资源，如支持文章、网络研讨会录音、教育博客文章等。

利用供应商提供的所有资源。 除了实际的 A/B 测试工具外，大多数供应商还提供咨询、培训和支持等服务。 利用这些资源可以帮助您充分利用您的投资并优化您的测试计划以获得最大的影响。

穆什菲克·萨克

然后，还有更好的方法：了解他们是否提供特殊的外部培训访问权限。

Convert 以较低的成本提供 CXL 的 CRO 迷你学位（免费）和 GoodUI 访问。

关键要点

您的优化程序的真正亮点可能在于与您的 A/B 测试工具供应商建立有利可图的关系。

当您利用他们与来自不同行业的其他团队合作的专业知识来发展您的计划时，这是一个成功的驱动力。 但这种合作关系必须结构化。

你必须

• 了解您的 A/B 测试工具是一项投资的心态
• 使用有效的沟通来促进思想的交叉传播
• 定义责任范围
• 为幻灭的低谷做好准备，以及
• 利用“教育和支持”资源来提升您的游戏水平。

优化计划负责人不仅可以通过这种方式优化他们的实验预算，而且还可以创建有价值的见解，从而避免当前经济中发生的预算削减。

仍然不确定适合贵公司的 A/B 测试软件是什么？

查看我们对顶级 A/B 测试工具的公正比较——适合各种需求。

下载免费比较