如何与 A/B 测试机构合作（并实现您的所有增长目标）

硬道理：外包 A/B 测试并不能保证增长。

我们希望它是那么简单。 即使是世界级的专家，错误的期望和错误的方向往往会导致合作毫无结果。

另一方面，有一种更智能、更高效的方式与您的 A/B 测试机构合作。 这是成功故事背后的秘诀，吸引您与 CRO 专家合作。

在本文中，我们将向您展示秘诀——与最佳 CRO 或 A/B 测试机构合作和合作的清晰分步蓝图。 到最后，您将知道如何与 CRO 机构合作以实现您的所有增长目标。

让我们深入研究……

加入 A/B 测试机构的四大理由

当您深入了解这四个原因时，您会发现合作的星级。 我们称之为协作指数。

为此，我们制定了成功入职 CRO 机构所必需的协作水平，它们与这四个原因（或好处）中的每一个相关联。

为了获得这些好处，您将不得不在您的合作伙伴关系中承诺一定程度的协作。 这就是这些星星所代表的。

例如，如果您只是在寻求 A/B 测试构建方面的帮助，那么协作不一定要详尽无遗，但仍然必须存在。 这就是它获得两颗星的原因。

现在已经解决了，让我们继续吧。

1. 协助 A/B 测试构建

合作：

如果您的优化程序已经成熟到一定程度，那么您绝对不是从头到尾运行整个操作的孤狼。 您需要工程师和开发人员。

但是这里的问题是大多数优化部门没有专门的工程师和开发人员。

当你遇到一个你对测试有信心的假设时，如果你不得不乞求并从开发团队借用资源来实施它们，这会损害你的效率。

此外，尽管“编码”的基本方面保持不变，但开发产品和构建测试是两个非常不同的环境，需要转变思维方式。

因此，除了成功设置测试来扩展您的程序之外，不要依赖于优先考虑其他事情的内部代理。 有一个更好的策略也可以为您的实验计划注入敏捷性……

外包。

在这种情况下，这不仅是可取的，而且是合乎逻辑的。 代理商不仅拥有专门的开发团队，而且还专注于构建——包括转换合作伙伴 BrillMark 和 EchoLogyx，有效地将您的内部工作提高 10 倍。

想要将测试计划增加多倍的客户应该寻求让外部机构参与进来。 根据我的经验，他们可以在内部团队中增加多少测试计划是有限度的。 例如，如果内部团队设法根据可用于支持 A/B 测试开发和 QA 的资源每月开发两个测试，并且他们希望将其增加到每月 10 个测试，那么他们最好使用代理谁可以提供专门的支持。

Tasin Reza，Echologyx

2. 遥测协助

合作：

我们已经谈了很多关于建立正确的数据收集渠道和处理定性和定量数据以消除偏见的重要性。

A/B 测试机构了解为什么不同的平台会为同一事件或操作报告不同的数字。 他们可以评估这种差异的有害程度，并帮助内部团队将其转化为对最终测试结果的影响。

如果没有这种宝贵的洞察力，当数据源经常在关键指标上存在分歧时，您如何相信您的结果？

正如 Chad Sanderson 所提到的，相信不同的数据输入会在结果输出中相互协调是很幼稚的。 A/B 测试机构将这种急需的数据素养融入其中。

这也是 Alex Birkett（以下引述）与代理机构合作的部分原因——为 A/B 测试结果添加所需的完整性。 正如您可以想象的那样，它需要更多的协作输入，而不仅仅是获得测试构建的帮助。

在我与 A/B 测试机构合作的绝大多数情况下，我聘请他们专门帮助进行实验开发和质量保证。 这是由于大多数组织的有限资源是工程师这一共同事实。 使用外包的 A/B 测试开发机构使我能够提高质量体验的吞吐量，并且我可以相信实验设计得很好，因为它们习惯于在我使用的平台上工作。

最近，我考虑找一家提供全方位服务的公司来帮助 A/B 测试开发以及另外两个瓶颈：遥测和客户研究。 建立正确的数据管道是棘手的，让您的 A/B 测试公司这样做可以很好地调整激励措施（他们显然希望适当地归因于他们的价值，因此他们希望建立正确的分析）。 并且总是缺乏客户研究，即使我自己做了很多。 越多越好，而且专家有时拥有难以访问的工具。

Omniscient Digital 的联合创始人 Alex Birkett

下一个原因需要与外包遥测援助一样多的合作才能取得成功。

3. 协助客户研究

合作：

毫无疑问，客户研究是构思可信假设最昂贵、最耗时和最乏味的方面。 但是，正如证据层次所表明的那样，它是受控在线实验（A/B 测试）的基础。

这里有一些可能出错的地方：

• 内部团队不具备构建适当客户研究问题的专业知识。
  
  它们可能具有误导性、偏见，并最终寻求验证现有观点，而不是探究定量数据揭示的问题。
  
  外部研究人员将为挖掘这个金矿带来更中立的视角。

• 内部团队没有足够的能力让自己沉浸在只有真正的专家才能拥有的令人难以置信的一系列观点中。
  
  有哪些值得探索的角度？ 在不从丰富多样的经验中汲取经验的情况下，如何以这种视角提出更好的假设？

4. 协助宣传实验

合作：

是的，实验支持应该来自最高管理层。

Manuel Da Costa 所说的“职权范围”在这里至关重要。 嵌入到企业 DNA 中的实验是

• 部分热情围绕着“更多”获胜测试带来的承诺。
• 对 CRO 计划早期这些不同的成功如何从优化指标到成为公司决策支持的部分理解。
• 来自领导层的“实验是不可协商的”部分任务，主动选择科学可行性而不是直觉。

以下是代理机构如何为每个部分做出贡献：

• 这些测试受益于他们在流程和质量保证方面的丰富经验。 Convert 的内部数据表明，代理商进行了更重要的测试。
• 他们负责部署测试的技术方面，让 Changemakers 有信心对公司范围内的实验的影响发表意见。 他们协助组织范围内的教育并没有什么坏处。
• 他们可以在高管支持的初始阶段帮助实验领导者，因为他们在证明跨行业和垂直领域的实验能力方面拥有良好的记录。 最终可能需要的游说受益于他们成熟的 POV。

我们已经介绍了加入 A/B 测试机构的重要原因。 现在，我们将向您展示将 A/B 测试外包的错误原因。

外包的三个非常糟糕的理由

1. 你想看到你的实验赢得所有时间。

你得到你应得的实验结果。

这篇文章及其评论就是证明：

如果你带一个机构来寻找获胜者，他们会寻找获胜者。 并且有一百种微妙和不那么微妙的方式来影响从数据查询到结果解释的所有内容，以便拥有一系列不会推动学习或底线影响的获胜测试。

结果：您可能会声明与代理机构进行 A/B 测试不是您的事。 但是你会得到你正在寻找的东西——获胜的测试。

机构应该是合作伙伴。 他们应该有自由调查实际上阻碍收入和业绩的问题。 特别是如果您与他们签订合同，不仅要建造，还要研究和设计实验。

2. 你想利用机构的“直觉”在严谨性测试中偷工减料

实验遵循科学过程。 因此，没有准确的方法可以利用科学家（阅读：您的 A/B 测试机构）的经验来找到最快的获胜途径。

入职代理机构时，您向他们提出了独特的挑战； 不是他们可以说，“你知道，我们以前见过这种情况。 这通常是有效的。 让我们这样做吧。”

当潜在客户向我们询问与他们合作进行 CRO/实验时，他们通常会询问我们过去在该领域或领域的经验。 例如，您在与奢侈旅游品牌/高价家具/金融服务/等合作方面有哪些经验？

这非常严重地误解了实验是什么。

如果您聘请品牌或创意机构，他们将利用他们的直觉和创造力来设计您可能不会测试的东西。 因此，您需要知道您购买的是哪种直觉和创造力，以及它们是否“吸引”了您的听众。 您信任某人与您的客户进行未经测试的沟通。

相反，实验的全部目的——最终是在商业中复制科学方法——是通过以下方式消除意见、偏见和直觉：

a) 使用研究和数据来制定想法

b) 与您的真实客户一起测试这些想法，并且

c）建立在学习的基础上，这样你所做的更大的事情在你做之前就已经被证明是有效的

您购买的流程和方法需要大量专业知识才能正确执行，而不是过去的“经验​​”。

我们以数据为指导，而不是任何人对您所在行业或客户的意见。

Jonny Longden （通过测试一切通讯）

如果您计划利用 A/B 测试机构的直觉，并且在尝试诊断问题或为 CRO 成功提供更综合的路线图时不会感到完全一头雾水，那么您需要通过清晰的沟通和一个流动系统。

3.您无意点燃内部测试的热情，并希望代理机构成为永远的拐杖

您不认为将代理机构加入公司是一个跳板进入内部更大领域的机会。 您可能会在一些成功的测试中得分——它们可能会或可能不会转化为真正的商业利益——但有一件事是肯定的：一致的实验永远不会成功。

实验不能成为一种策略。 像 PPC 一样，它可能会与其他部门分离并（仍然）生存。

运行测试的真正力量在于重新定义每个团队成员如何在工作中做出关键决策。 这是要意识到我们无论如何都要进行实验并将其归档为“冒险”。 在这些风险和赌博背后拥有健全的科学结构是推动公司走向远见、更清楚地了解正在运作的东西以及最重要的是持续成功的动力。

确保您和您的 CRO 机构在短期和长期内都能很好地适应，这是建立成功满足指标和超出预期的协同关系的关键。

与 A/B 测试机构合作的简单蓝图

1. 搞清楚

您想知道为什么要让该机构加入。 选择您将努力改进的 KPI（包括项目和业务）。

应该始终有宏观层面的业务目标和微观层面的目标来实现那些更高的目标。 测试团队需要通过研究和创新来关注那些总体目标，而这些目标反过来可以被测试出来。

这里的关键是与业务利益相关者进行沟通——实验将如何帮助企业做出正确的决策——以实现预期的 KPI。 应基于此创建实验路线图； 但是，与此同时，路线图应该足够灵活，以支持紧急的业务需求。 最后，需要有一个专门的人在专门团队的支持下推动这项工作。

塔辛礼萨

这里要小心。 仅与程序相关的 KPI 将导致更多的测试（更高的测试速度），可能更少的带有错误的测试，以及更短的部署时间。 这些都是健康计划的重要标志。

但是除非明确实验机器应该解决什么问题——也就是它应该解决的问题——你会在优化方面茁壮成长，但你不会推动你的公司向前发展。

如果不明确，产品/站点策略（推动影响业务的 KPI）和实验策略（推动促进充满活力的 CRO 计划的 KPI）之间就会存在差距。

为了弥合这一差距，请继续专注于学习和改善用户体验。 当您密切关注收入指标时，请确保您不会产生狭隘的眼光并忽视实验的真正意义。

对于依赖于预算的计划，您还必须根据投资回报率进行报告。

Microsoft Store 的实验项目经理 Tim Mehta 在接受 Speero 的采访中表示，如果领导力以创新为重点，这会有所帮助，因为这样您就可以从实验中获得的洞察力来展示投资回报率，同时说出潜在收入和潜在的收入损失避免了指标。

然后，不要只分享“胜利”和“失败”。 这些术语在 CRO 领域之外并不意味着同样的事情。 如果以建议的形式呈现，它将被更好地解释并转化为有价值的业务决策。

2. 确定利益相关者

如果完全清楚实验计划的运行方式，则更容易引入代理机构。 您不必等待开始并在错误发生时纠正错误。 这是无效且昂贵的。

相反，使用 RACI 分配矩阵从一开始就简化流程。 此图表可帮助您为所涉及的每个利益相关者绘制项目中的关键目标、里程碑、任务和职责。

这也是您确定谁是您的主要利益相关者（即，那些需要随时了解情况的人）的方式。

RACI 是一个首字母缩写词，说明了您如何构建项目：

• 负责——谁负责完成任务或做出决定？ 这通常是一群人。

• 负责——谁将签署任务并确保完成里程碑？ 谁将分配任务给负责完成任务的人？ 这通常是项目负责人，并且是一个单一的角色，因此他们可以做出最终决定。

• 咨询——项目任务需要咨询谁？ 谁需要对一项任务提供意见以帮助其完成？

• 知情——谁需要了解项目的状态？ 谁需要进度更新但不需要日常输入？

我们已经讨论了如何为您的实验项目构建和使用 RACI 图表。 这是一个如何使用它来组织通信的示例：

关注利益相关者，他们必须了解机构正在做什么，以及他们的工作将直接受到影响。 因为入职代理机构不必中断常规业务运营。

当您聘请经验丰富的 CRO 机构时，请务必使用 RACI 矩阵来发现具有专业知识的人员，以交付成果并为未来的任何问题提供各种解决方案。

3. 船上井

考虑入职代理机构，就像入职新团队成员一样。 您知道您必须为他们准备必要的资源才能轻松开始。

如果你们以前没有合作过，他们不会知道很多事情。 例如：您网站的内部运作和各种用例、您的优先级矩阵等。那么，您如何传递这些知识？

他们（机构）必须知道如何在我们计划的参数范围内工作，包括我们的优先级矩阵、我们的冲刺计划、我们用于发布的 QA 清单以及我们的设计团队。 幸运的是，其中大部分在很大程度上是自动化的，并布置在任何人都可以访问的 Airtable 上。

亚历克斯·伯克特

我注意到客户忘记了外界对他们需要优化的内部网站或应用程序的了解。 内部团队与网站本身非常接近。 他们了解网站呈现的所有不同场景、用例和异常情况的来龙去脉。 他们有时会忘记，来自外部机构的人不一定对他们的网站有同样的了解。 这可能会给该机构在初始阶段带来一些挑战。 在开始时分享帮助企业实施 CRO 计划所需的内部知识非常重要。 这样，当他们提出测试想法或开发和 QA 测试时，这些机构将知道会发生什么以及需要考虑什么。

塔辛礼萨

如果您从头开始，请给您的代理机构了解您的业务所需的时间并创建以下内容：

• 客户研究手册
  
  这是一个内部文档/数据库，可为代理机构提供有关客户身份的宝贵见解。 它将包含从焦点小组、访谈、电子邮件调查、分析分析以及数据支持的理想客户资料和人口统计信息中收集的数据。

• 优先矩阵
  
  你不能测试一切。 根据 David Mannheim 在他的文章中的说法，大多数程序都受到以下限制：
  
  • 在组织中进行测试的目的
  • 流量的可用性
  • 期望的改变
  • 可用时间

在测试想法的海洋中，您需要一个系统来决定要实施什么测试以及以后要留下什么。 如果你已经弄清楚了，你的代理机构也需要知道。

• 问答清单
  
  测试完成后，如何验证结果的准确性？ 执行测试需要很多步骤，这意味着可能出现问题的多个接触点。
  
  您需要分享您采取的步骤，以反映为验证结果所做的工作。 我们有一个您可以使用的问答清单，因此您不必从头开始。

• 基本学习资料库
  
  这是您保存过去测试的数据和文档的地方。 此处的信息可以将您未来测试的有效性和质量提高到出色的水平。
  
  如果您没有学习资料库，那么您将失去可以促进实验计划成功的见解。

那么，为什么您需要给您的代理机构时间来了解您的业务并从这些资源中吸收信息？ 因为过程是实验成熟度的支柱。 创建一些基本规则是严格入职的一个关键方面。 不要错过。

4. 建立信任

给他们自由报告平坦和失败的测试。 了解您运行的大多数测试都会失败。 这很棒，为什么？ 因为您正在积极消除可能不起作用的东西，并朝着更有可能产生重大积极影响的变化、特性和决策迈进。

如果您只听说胜利，那么您将失去 90% 的洞察力。 因为 10 次测试中有 9 次通常是失败的。

此外，如果您的代理机构必须在每次看到平面测试时解释自己，他们会觉得他们的服务在其他地方会更有价值——至少，了解实验及其潜力的代理机构会这样做。

你不想要那个。 相反，您希望将您的沟通带到 A-game 并建立信任。 就是这样：

• 与您的机构开诚布公地沟通

说和听。 谈论您组织的目标以及您对与代理机构的关系的期望。 然后倾听他们对您和您的团队的期望。

确保您承认这些要求和意见。 即使在随后的会议期间，随着项目的进展，也要让他们知道他们的反馈和想法对您的团队很有价值。

如果您有疑虑，请诚实地表达出来。 通常情况下，您的 CRO 机构熟悉这些问题，并且知道如何以健康的方式解决这些问题。 它们还可以帮助您为实现目标制定一条安全的路径。

当事情变得模糊并知道您走在正确的道路上时，您总是可以回顾这一点。

• 设定互利的沟通目标

每当您与代理机构合作时，您都必须设定明确的沟通期望。 这将包括沟通媒介、会议时间和频率、谈话要点等。

从长远来看，预先定义这些事情不仅可以使工作过程顺利进行，而且这种确定性可以促进信任。 双方都知道会发生什么，因此您可以放松并履行其他义务。

但还有一件事：你不只是设置它并坚持到最后。 您必须不时检查以确保它按预期工作。 例如，询问您的代理机构是否按时获得关键信息。

PS：如果您要更改任何内容，请让其他利益相关者知道。

• 像冠军一样处理冲突

我们喜欢一帆风顺，但事实是，冲突会发生。 如果您进行微观管理，那么您就是在为冲突增加赔率。 请不要微操。

但是，如果您与您的 CRO 机构在某些事情上存在分歧，您会怎么做？

引导您的内部人力资源经理并像专业人士一样处理那些艰难的对话。 要明白，这些时刻并不是一场让你获胜的“你对代理”的竞赛。 相反，那是您的合作伙伴，您有一个共同的目标——通过优化（或其他方式）实现增长。

向他们保证目标，一起重新审视它，然后从那里开始。

你需要改变什么吗？ 这种变化是否使您更接近项目的原始目标？ 你有什么误解吗？ 或者有什么可以更好地解释的吗？

在这样的时刻出现更多问题可以节省解决问题的时间。

最后，你给予信任以获得信任。 相信您的代理机构会尽力做好工作并取得成果，他们更有可能将这种信任延伸回给您。

如果您以这种方式与您的 CRO 合作伙伴建立联系，您将培养一种优质的关系，让他们为您的组织超越和超越感到兴奋。

5.提取学习

建立您的学习资料库。 您不能放弃以前测试的见解，并拒绝让您的 QA 团队有机会更快地诊断任何损坏的广告系列。

它还将帮助您顺利向老板报告过程和结果的过程，并提高您的测试速度（因为您的想法遍布您的实验历史）。

但这只有在可访问且结构合理的情况下才有价值。 一个富有成效的学习回购始于您以这种方式记录每一次学习：

1. 记录测试中的所有元数据

突出显示测试类型、您运行测试的页面、接触点、受众和增长表面区域。 将此信息以及假设、指标和结果压缩到元数据记分卡中。

将其保存在实验存储库工具中。 开始时，您可以使用 Google 幻灯片、Notion 或 Airtable 来保存和共享此信息。

2. 记录不同的学习方式

不是每个人都会喜欢您喜欢保存信息的方式。 有些人喜欢文字，有些人喜欢图像和视频等视觉效果。 在记录您从以前的测试中学到的东西时，尽可能添加屏幕截图和屏幕录像。

3. 标记你的测试

通过存储库的任何人都应该能够立即识别测试的目的。 它是迭代还是破坏？ 还是为了优化或创新？ 开发适合您的实验程序的标签并使用它们对测试进行排序。

这个学习资料库对您和您的 CRO 机构来说将是无价之宝。 他们可以在不问太多问题的情况下探索您的实验计划的历史。

他们可以快速诊断问题，或者更好的是，设计一个不会在您已经完成的测试上浪费时间的计划。

此外，不要将您的实验计划视为与您组织中的其他流程分开的实体。 其他团队成员需要加入您的代理机构正在做的事情。 那时你组织一对一，这样他们就可以模仿和吸收机构专家如何思考和处理测试。

虽然这些 1:1 是促进实验文化不可或缺的一部分，但您还应该将其与对汇总数据和报告的访问相匹配。

这是利用 CRO 代理专家经验的一种方式。 另一种方法是询问他们关于构建优化团队（集中式或分散式 CoE）的意见。 由于专家有远见和先例，他们可以根据您的实验路线图将您推向正确的方向。

结论

既然您知道如何与 CRO 机构合作以获得最大的生产力，您就可以开始以尽可能少的摩擦实现您的增长目标。 在某些情况下，您可能会怀疑自己的进步，但只要您提供足够的合作并有正确的期望，您的合作伙伴关系就会富有成效。