您应该将大部分测试预算投资在哪里？

因此，您刚刚获得了 A/B 测试计划的预算，并且不确定首先要投资什么。

是工具吗？ 一个机构？ 或者可能是整个测试团队？

我们建议您首先投资于您的团队以获得长期利益。 因为如果没有才华横溢的司机，任何工具都不会产生有利可图的结果。 代理机构只会花费更多。

但是，如果您想探索所有选项，则必须权衡您的策略和目标，看看哪一个最适合它们。

让我们探索……

您应该聘请代理机构还是在内部运行 CRO？

老实说，这取决于。

代理商很棒，因为他们有经验，您几乎可以将整个测试过程交给他们。

如果您每月有大约 10,000 多名访问者，并且只想尽快开始看到当前广告系列的提升，那么如果您有足够的预算，与代理商合作是最佳选择。

对 A/B 测试团队投资多少？

您可能会在 Fiverr 上找到声称拥有 CRO 知识的人，但我会避开。

平均成本从自由职业者每月 2ka 美元到小型机构每月 8k 美元，或者对于拥有专门团队的顶级机构每月高达 25k 美元不等。

我们实际上在这里有推荐机构的完整列表。

当然，代理商并不便宜，但请记住：CRO 是一个高需求、高技能的角色，随着时间的推移几乎可以保证投资回报率。

事实上，我们的数据显示，与内部团队相比，代理机构在运行相同数量的活动时，平均倾向于获得更多的成功测试。 这是因为他们遵循“最大赢家优先”的流程，并且对于他们可以在哪些方面对您产生最大影响有更多的经验。

这种经验加起来可以帮助您快速获得结果。

相比之下，初学者测试人员可能会因为专注于小动作和改进而苦苦挣扎。

这并不是说代理总是最好的选择。 一旦团队“成熟”，内部结果就可以真正领先。 然后，您更有可能从内部测试中看到更高的投资回报率，这仅仅是因为您正在处理更多数据并成为一家了解其受众和产品的数据驱动型公司。

你只需要看看像 Booking.com 这样在整个业务范围内都专注于 CRO 的公司，看看它会对你的增长产生多大的影响。

哈佛商业评论写了一篇关于Booking.com如何成为世界上最大的旅游住宿平台的案例研究，所有这些都来自测试。

如果你没有 2k-25k 来聘请代理怎么办？ 如果您不希望只是提升今天，还希望成为“数据驱动”，一家根据受众信息采取所有行动的公司怎么办？

然后，您将要开始在内部运行 CRO。

在以下情况下，内部测试是一个很好的起点：

• 您希望以比代理机构更低的成本获得更多的当前测试提升。
• 是可能不符合机构标准的中小型企业。 （交通/预算等）
• 如果您希望能够随着时间的推移扩展和发展并建立公司范围的测试文化。

如果您刚刚开始，可能会有些困惑，因此在本指南中，我将引导您了解应该将 A/B 测试预算用于何处。

如果您想经营自己的 CRO 怎么办？ 您应该在哪里投资您的 A/B 测试预算？

请记住，这都是主观的，但如果我有 A/B 测试预算并想为一家公司启动 CRO，然后使用从中获得的投资回报率和洞察力进行进一步投资，这就是我将遵循的确切过程。

我根据以下几个标准制定了这份清单：

• 执行测试的主要需求或优先级是什么？
• 在进行下一步之前，您需要准备什么？
• 基于最“成熟”的公司，你应该投资哪些习惯、工具和程序来成熟你的测试团队？ （那些领先游戏并每年运行 5 亿美元的人，主要是由于数据驱动的）。

如果您不知道成熟度在 CRO 方面意味着什么，我们谈论的是您的公司对 CRO 的复杂程度或投入程度。 从开始并运行基本测试的人到根据结果做出每一个选择的公司。

我将引导您完成每个部分，为什么它很重要以及何时投资它。

所以让我们把它分解……

1. 首先获取您的 A/B 测试工具

您可以投资的最重要的事情就是您的员工。 但是，您不能在没有工具的情况下运行测试，对吧？

理想情况下，您正在查看 3 种类型的工具：

• 在您的网站上进行分析以跟踪您当前的数据。 这可以是谷歌分析或任何其他。 （注意：您还应该跟踪当前的转化率，并能够在开始测试之前查看销售来源。）
• 一种可以测量人们正在采取的确切行动的定量测试工具，例如我们的 Convert 应用程序。 它将为您提供有关谁采取了哪些行动的数字，以及它是如何改进或减少的，或者根本没有改变。 没有这个，你就无法测试任何东西。 有了它，您就可以开始做出明智的选择。
• 一个定性工具，因此您可以尝试理解该数据，例如 Hotjar 或其他。 它将允许您调查您的受众，查看他们将鼠标移动到哪里，查看他们是否有点击问题等。最好的情况是获得一个 QA 工具，将其信息直接与您的量化工具集成。

CRO 就是衡量结果，找出问题，然后尝试修复和改进它们。 如果您无法跟踪和测量数据，您就无法做到这一点。

现在，您仍然需要为工具付费，而且它们的成本和附加功能范围都不同。 我们在这里分解如何购买 A/B 测试工具，以及 A/B 测试工具的成本。

（我们甚至会向您展示如何分析您是否为当前工具支付了太多费用，以及如何在合同中期切换到新的供应商。）

所以，首先是工具，但请记住，任何工具都取决于使用它的人......

2.聘请并投资专门的测试人员

您运行的大多数测试都会失败。

这不是一件坏事，因为您正在证明什么有效，什么无效，并在避免损失的同时获得增量胜利。

有一个专门的员工来运行你的测试，让你有机会跑得更多、学得更多、成长得更快。 哎呀，您甚至可以使用这些知识来帮助改进产品和体验。

但问题是，许多刚刚进入测试的公司试图将其添加到当前员工的角色中。 不要让你的营销人员离开项目，把他们变成 1% 的测试人员。

这就是为什么大多数人认为 CRO 对他们不起作用的原因。 他们进行了一些测试并专注于错误的事情，甚至错误地读取了数据。

不要在这里吝啬。 如果您可以在内部获得一名测试仪，这将是您可以做出的最佳长期投资之一，如果没有他们，您将无法走得更远。

3. 然后训练他们！

#teamovertools

有了测试人员后，请花时间培训他们！ 您可以运行的测试和您可以获得的洞察力都取决于测试人员的经验。

没有它，他们可能会：

• 设置不正确，
• 努力寻找测试思路，
• 提出一个无法检验的假设，
• 测试的时间不够长，
• 读错数据，错过中奖，
• 读错并实施失败者，
• 测试错误的东西，或者更糟，
• 不测试他们应该是的东西……

并非一切都像我们认为的那样有效。 网站设计的最佳实践可以奏效，但并非总是如此……

初学者测试人员可能没有测试过这个，或者甚至没有想过已经测试过它。 他们可能只是在特定页面上运行广告系列而不检查这些数据。 这就是为什么训练他们学习测试的所有细节如此重要的原因。

那么在哪里可以训练他们呢？

CXL Institute 有一个很棒的项目，完全专注于 CRO 和 A/B 测试。

旁注：当您成为 Convert 客户时，我们会为您提供 CXL 培训。

它非常深入，由一些最聪明的测试人员制作。 我强烈推荐它。

它不仅可以让您的测试人员了解测试的所有要素，还可以帮助他们优先处理那些影响较大的领域，以及将产生影响的测试类型。

一旦您的测试人员了解了所有这些，它将帮助他们建立可靠的 A/B 测试策略。

4. 创建学习库和测试文化

如果您想扩大规模、变得有条理、获得经理的认可、快速解决错误并在公司内部建立测试文化，这一点很重要。

我们在另一篇文章中谈到了这一点，但请允许我在这里快速回顾一下。 学习资料库是您过去所有测试的数据库。

表明：

• 你曾经运行过的每一个测试，
• 您正在测试的页面，
• 你的假设是什么，
• 测试和您更改的内容（包括控制和变化）
• 由此产生的升力、下降或保持不变的变化，
• 平均订单价值的变化。 （无论是积极的获得，如果是消极的，显示通过不推动它节省的钱。）
• 你对这些结果的看法。 （它是否导致了新的见解等）

您的网站有问题吗？

拥有一个包含过去问题的存储库将帮助您的团队更快地发现和修复问题。

想培训新人？

将所有知识集中在一个地方可以让您的测试人员从过去的测试中学习。

获得更好的买入！

提供这样的信息可以很容易地将您的测试带给您的老板并证明 CRO 的价值。

建立测试文化

说到认可，你甚至可以使用这些测试来建立公司的测试文化。 与您的团队分享并排的镜头和假设，看看他们是否能猜出哪一个表现最好。 之后分享结果。

这让人们对 CRO 感到兴奋。 尤其是如果大多数人认为测试失败了，那么他们只会看到它赢了。 这有助于他们看到并非一切都与意见有关。

您还可以帮助他们改进他们可能从未想过的领域！ （想象一下，如果您发现某些词语和角度可以更好地与您的受众建立联系，然后您的客户支持、文案和广告团队都发现了这一点，以及它可能产生的影响。）

但兴奋并不足以完全消除偏见并在您的公司中建立持久的测试文化。

它不如让 C 级主管——最终的决策者——参与推广实验文化那样有效。

您会看到，去孤岛测试效果不佳，因为它需要一套截然不同的技能。 但是，如果您与管理层密切合作，找出可靠的测试理由，他们会逐渐采用持续测试和数据驱动的决策实践。

您如何展示这些测试并赢得管理层的支持？

有一个很棒的网站可以建模，叫做 GuessTheTest。

它旨在帮助测试人员获得想法，同时也帮助他们提高假设技能。 该网站通过显示多个 A/B 测试来工作，读者可以猜测哪个变体获胜。

它们定期提供不同的 A/B 测试，您可以单击然后查看有多少人猜对或错的结果，以及测试背后的数据、运行的内容以及它如何与获胜者进行转换。

它对测试人员非常有帮助，因为它还可以帮助我们挑战自己的观点。

这与您在自己的公司中建立测试文化可以做的事情相同，而且不会花费您任何费用。 你不需要像 GuessTheTest 那样建立一个网站。 相反，您可以简单地共享您已经对放入存储库的图像和信息所做的事情。

向公司发送一封包含控件和变体的电子邮件，并要求人们投票决定他们认为获胜的人。 然后发送一封包含测试结果、假设和任何见解的后续电子邮件。

确保您的管理团队参与此练习。 或者至少告诉他们故事，从开始到结果。 让他们看看有多么错误的意见。 你会惊讶于它如何开始帮助建立这种测试文化，以及它对完全不同领域的团队有多大帮助。

那么如何构建存储库呢？

它可以像您计算机上的文件夹一样简单，或者您可以查看诸如 GrowthHackers 的“实验”之类的平台。 它是一个学习存储库和项目管理工具。

5.简化您的流程

您可以做的最有价值的事情之一是：

• 改进你的测试，
• 增加他们的频率和数量，
• 删除错误，
• 并降低每次测试的成本……

… 是建立系统和流程以简化整个测试系统。

从您想要测试的假设和组织，到预测试设置，如何将其推送到现场，测试期间要做什么，以及之后要做什么。

如果您为重复的每个元素建立系统和 SOP（标准操作程序），那么您的整个测试程序不仅会改进，而且会增加成功的机会。

为什么？

每个测试都将运行得更顺畅，人为错误的机会更少，同时实施速度也更快。 这是一个双赢的局面。

当然，问题是几乎没有任何公司这样做。 事实上，它在 CXL 的行业状况报告中一次又一次地出现。

但是整天运行它们的机构呢？

还是扩展测试文化的内部团队？

这些人总是专注于尽快构建系统……

制作这些也很容易。

为每个测试制定计划，然后为每个新测试创建要遵循的文档。 您只需勾选方框以确保一切都已完成。

例如，这是一个简单的实验测试过程（基于 Ben Labay 的 Phase-Gate 测试框架），您可以从……

阶段 1：收集初步见解（以发现问题或机会）

从了解您的客户和您在市场中的地位开始。 要收集这些见解，请通过进行调查和民意调查、利益相关者访谈、用户测试等来研究您的客户和市场。

您希望得到答案的主要问题是：

• 我们是否满足客户/用户的需求？
• 我们的目标受众如何看待我们？
• 我们的品牌在市场上的地位如何？
• 我们已经收集了哪些关于这些问题/机会的数据？
• 我们需要在产品、营销或服务方面做出哪些改变？

这些将引导你提出一个简明的问题陈述。 您将清楚要衡量哪些指标以及如何实现这些指标。 此外，您将能够评估所讨论的问题或机会是否值得追求或可以推迟到以后。

您从该初步评估中获得的见解将帮助您准备一份包含您提出的假设的研究摘要。

使用它来获得执行利益相关者的支持，因为他们必须参与测试与业务目标的一致性。

这将我们带到了下一个阶段……

第 2 阶段：准备测试计划并证明可行性

在这个阶段，你要证明测试的可行性，以获得高管的支持。

他们会想看看潜在结果的价值如何证明实现它所需的资源是合理的。

这些是您在此阶段要回答的问题：

• 运行测试需要哪些资源？
• 需要做出哪些关键改变？
• 这对其他项目/测试有影响吗？
• 什么是 KPI，它们如何表明成功？
• 可能的结果是什么？

在描述测试的基本范围的文档中总结这些问题的答案。 确保它易于理解，可能在电子表格上，以便您可以使用它来获得管理层的批准。

获得批准后，您可以继续进行计划……

第 3 阶段：准备更详细的项目计划

在这里，您可以让每个人都参与该项目。 执行人员应同意成本影响和预期结果之间的平衡。 跨职能的利益相关者应该准备好参与其中。

为此，请为回答以下问题的项目准备一个更详细的计划：

• 我们需要什么数据/信息来完成测试？
• 我们在哪里以及如何进行测试？
• 哪些指标表明成功，我们如何衡量它们？
• 我们是否准备了一个概述可能结果的决策树？

将这些都结合在一个计划中，以使参与该项目的每个人都完全一致。 这也将是您学习库的宝贵补充。

当所有利益相关者都参与整个计划时，您可以启动测试。

第 4 阶段：启动并运行测试

您将在此阶段启动测试，同时执行检查以确保一切正常。 执行单个或多个 QA 和 QC 检查以及每周绩效检查。

你在这个阶段想要的清晰应该回答：

• 测试是否按照之前阶段的计划构建和运行？
• 我们是否按照预期的方式收集数据和报告？
• 我们是否在测试项目时间表上步入正轨？
• 我们是否解决了此测试可能对其他项目/测试产生的影响？
• 是否每个人都参与其中？

如果有任何问题突出或需要进行任何必要的更改，请将它们记录在事件日志中。

向执行利益相关者报告，让他们知道测试是如何运行的。 事情是否按计划进行？ 您是否准确地收集数据并准备报告？

这将迎来下一阶段……

第 5 阶段：准备测试报告

在最后阶段，您需要准备完整的测试文档，详细说明测试结果的分析、结果、见解和决策。 这将成为您的测试存档和学习存储库的一部分。

您希望在此测试报告中包含以下内容：

• 测试是否达到目标
• 由于您获得的见解，立即进行了哪些修复
• 如果您发现测试范围之外的任何新内容，并且
• 受测试结果启发的关键决策

除了测试的详细文档之外，创建一个可以一目了然地提供重要信息的测试记分卡将是有益的。

现在，您所要做的就是为下一次测试重复 5 个阶段。

6. 提高您的数据质量

一旦您开始获得更多流量和结果，最好切换您的分析平台以获得更详细的报告。

一旦每月访问量达到 1000 万，您就可以升级到 Google Analytics 360（我知道，对吧？......哇）

或者您可以开始查看实时的跨渠道工具，例如 Adob​​e Analytics 和 Heap。 （两者都直接与 Convert 应用程序集成。）

这些工具可以为您提供更准确的数据，帮助您了解用户行为，还可以测试和跟踪标准 GA 无法做到的事情。

不仅如此，它们还可以插入您的 CRM 和其他工具。

7. 为测试团队增加额外的支持

到目前为止，您可能只是在使用作为测试工具一部分的 WYSIWYG 编辑器。

但是，如果您想使用更快、更简洁的代码开始运行更复杂的测试，那么值得聘请 Javascript 开发人员。

这样，您可以让开发人员使用他们自己喜欢的工具和工作流程进行测试，然后将代码直接上传到您的测试工具中，而无需任何额外的代码膨胀。

还有奖金？

因为测试仍然是通过工具实现的，这将允许您使用所有的分段和测量功能，甚至可以在找到获胜者后自动关闭。

（我们看到使用开发人员的一个症结是他们绕过工具或构建自己的测试平台。这可以工作，但是如果您需要开发人员来设计测试，完成后将其关闭并实施获胜者，它可以成为一个问题。）

探索可以从 A/B 测试中收集到的知识。

尝试转换体验。 开始 15 天免费试用

8. 开始在其他团队中进行测试

现在您正在运行更多测试、跟踪数据和体验，现在是开始尝试跨不同团队实施测试的好时机。

不再只是销售，而是产品或流量等。任何可以改进的团队。

记住：这并不总是关于巨大的胜利，而是小胜利的聚合。 100 个领域的 1% 提升可能会导致您公司的运营方式发生巨大差异。

您可以开始在每个团队中培训某人，也可以将人员带入并进行培训以管理这些领域的测试。 通常最好慢慢开始，并以核心测试团队为榜样，以帮助激励新团队并为新团队提供支持。

只是不要试图一次建立每个团队：

关键是帮助建立更多的团队并使他们成功，然后进入下一个。 如果您想建立一种测试文化，您希望每个团队都能够独立运行并提高效率！

9.添加客户体验测量工具

Speero（CXL 的代理机构）最近根据 210 家不同公司的反馈撰写了一份关于 CRO 成熟度的报告，这些公司都在 2020-2021 年运行 CRO。

他们的目标是更详细地了解不同的实验计划，以及计划的成熟度如何影响结果。

有几件事对我来说真的很突出：

• 最成功的公司都是数据驱动的。 他们根据测试数据而不是意见做出所有选择。
• 他们在公司范围内分享他们的结果，以帮助建立测试文化。
• 他们只是实施客户体验测量的少数公司。

并非每个人都衡量客户体验是有原因的。 当您谈论 CRO 时，这不是您会想到的，因为我们并没有提高转化率。 但是，我们正在跟踪、衡量和改进所有相关的方面，这些方面会增加更高的销售额、重复销售和保留率，使用与我们可能用于 QA 和 Quant 类型测试相同的方法，只是更详细。 （所有可能对转化率有直接影响的事情）。

客户体验测量通常需要更具体的跟踪，但是当您这样做时，您可以开始将货币价值等同于客户体验的改进。

不仅如此，您还可以随着时间的推移跟踪保留率。 （向现有客户进行更多销售比引入新客户更有利可图。）

那么你能用什么来做这个呢？

这个过程实际上相当大，这是它并不总是被采用的另一个原因。

理想情况下，您在整个客户旅程中创建交互和反馈系统，即使在他们离开您的站点并收到他们的产品之后也是如此。 这需要人为因素和一些额外的工具来调查等。

一些机构专门研究 CX，因此您可以通过使用它们（或坚持使用它们）开始。

或者，您可以开始研究 Qualtrics 等工具，并在内部构建您的程序。

CX 是一个具有学习曲线的新主题，但好处可能是巨大的，尤其是当您将其反馈到您的 CRO 测试中时。

10.避免将实验与收入挂钩的陷阱

很容易说“因为我们进行了这个测试并利用洞察力做出了这个决定，所以我们将赚到 X 数量的钱。” 这个结论无视现实。

世界并不像我们想的那么简单。 如此多的因素会影响事情的结果，以至于认为某个结果在推出时会不断重复自己是不现实的。

那么为什么一些 A/B 测试工具、代理机构和 CRO 从业者仍然将 A/B 测试与收入预测联系起来？

答案很简单：这很令人兴奋，而且经常会吸引人们的支持。

但这是一种让人们失望并让他们对 A/B 测试失去信心的简单方法。 这就是为什么人们错误地被吸引到向报告收入的工具注入资金的原因。

这就是为什么每年在此类工具上花费 100,000 美元是一个巨大的错误：

现实世界中有很多不确定性。

测试结果不能完全重复的原因有很多，您不应该忽略它们。 市场变化、客户行为变化、竞争变化、预算和价格波动。 未来不一定与您进行测试的时间相同。

当您推断结果以预测明年左右的收入增长时，您将过度简化 ROI 计算并做出错误预测的可能性很大。

测试的真正目的应该是为前进做出决定。

测试更多地与目标和洞察力有关，而不是收入。 告知更好的决策应该是 A/B 测试的重点。 这使决策者走上了一条更自信的增长和利润之路，而不是拥有吸引人的收入数字并冒着被辜负的风险。

但是，如果一个切实的收入目标不是在你的实验彩虹的尽头，通常很难让人们感兴趣。

该怎么做？

将围绕实验的对话从预计收入转向不进行实验的成本。 如果不采取行动会有什么损失？

此外，将测试项目的成功定义为您在针对特定目标做出某些决定时所获得的信心水平。 这不仅会将重点从预期的收入收益转移，而且有助于让利益相关者与优化计划的正确重点保持一致。

如果您仍然需要数字，请给出一个范围。 由于实验仅显示获得结果的百分比确定性，因此这是安抚那些要求数字的人的明智方法。 例如，如果结果显示提升了 4.55%，请告诉利益相关者预期提升 3.2% 到 5.9%。

结论

所以你有它。 刚开始时我将花费和投资 A/B 测试预算的确切方式，以及随着时间的推移我将如何扩展和进一步投资。

您可以使用本指南来帮助您确定您在测试成熟度之旅中的位置，并实施任何缺失的步骤来帮助您进一步发展，或者只是将其用作今天开始的指南。

如何通过 A/B 测试提高投资回报率？

使用 Convert 预订演示以找出答案。

请求您的演示