如何为您的 A/B 测试团队创建沟通系统

我们可以运行世界上最好的测试并拥有最准确的数据，但除非它采取行动，否则它变得毫无用处。

可能会改变公司面貌的重要测试结果可能会被忽视并迷失在噪音中或更糟：即使证据就在您面前，也会针对意见进行辩论。

这可能令人难以置信地令人沮丧，也是许多 A/B 测试团队的祸根。 不过有一点很清楚。 如果我们想克服这个问题，那么我们需要学会更好地沟通：

• 为了简化与利益相关者的沟通，
• 要从结果中获取操作，
• 从整个团队收集新的测试想法，
• 以及更多。

幸运的是，这正是我们将在今天的指南中介绍的内容。 为什么沟通对于 A/B 测试很重要，如何改进它，以及如何根据您在公司中与谁交谈来构建该信息的交付。 （注意：本指南适用于在内部进行测试的公司。如果您与代理机构合作，您可能会从阅读本综合指南中受益。）

所以让我们潜入...

什么是实验文化？为什么它依赖于沟通？

随着 A/B 测试程序“成熟”，它不再是简单地测试改进，而是开始发展。 理想的最终目标是成为一家数据驱动的公司。 一种基于数据和信息做出决策且远离舆论的企业。

这可以帮助公司根据受众和市场的需求发展并提供报价，这是许多市场领导者的关键方法。

这种演变的很大一部分正在从简单地测试更多转换甚至考虑在一个部门进行实验，而是转向实验文化。 这是整个公司拥抱实验的心态和实践的地方。 （测试民主化并在每个团队和部门中使用。）

这不仅有助于获得认可（因为每个人都在应用测试原则），而且当您采用这些新的思维方式时，您会惊讶于您可以在整个公司中发现多少改进。 提升销售页面的效果很棒，但想象一下，如果您的退货部门发现了一种降低客户流失率的新方法，只需通过 A/B 测试他们的沟通流程？

现实虽然是艰难的。 想要这种文化并建立它并不像每个人都同意这个想法那么简单。

导致公司未能建立实验文化的常见错误

当通信失败时，测试程序会遇到困难。 事实上，当沟通中断时，所有项目都可能失败。

在项目管理研究所的一项研究中，他们发现 56% 的失败项目源于沟通不畅。

在 Pumble 的一项研究中，86% 的高管和员工表示，他们认为沟通不畅是造成重大失败的原因。 有趣的是，在同一项研究中，他们发现沟通良好的团队效率提高了 25%。 （他们还发现，80% 的已完成项目通常都有沟通计划）。

正如你所看到的，学习更好地沟通是至关重要的。 但是当我们查看 CRO 程序中的沟通问题时，我们通常会发现以下主要问题……

问题 #1：信息被困在孤岛中，无法在所有可以用来帮助其部门的团队之间共享

在 Speero 的一项研究中，已经进行了较长时间的试验的公司在部门和层级之间分享他们的发现 (67%)，而新来者不经常这样做，或者在某些情况下根本不这样做 (94%)。

问题#2：让一个人负责推动思维方式转变为实验文化的创可贴

不要让一个人承担改变。 让他们负责沟通，但不要指望他们为项目采购资源或成为项目成功的关键驱动力。 这只能是组织范围内意识的结果。

话虽如此，合适的单身人士可以产生巨大的影响，但通常不是测试人员，而是执行官……

问题 3：执行利益相关者只承诺提高预算，而不是创建自上而下的示例供其他人效仿，导致整个公司缺乏变革和采用

如果你想建立一种文化，那么它需要自上而下。

问题 4：只报告收入，而不是洞察力

数据驱动意味着了解您业务的所有领域及其影响。 转变为实验文化从你如何呈现数据开始。 它不能总是只关注投资回报率。 借此机会从第一天开始设定承担风险和学习的故事。

问题#5：沟通不畅

或者它可以像努力获取和传递所需信息一样简单。 要么很难访问，要么人们不使用它。

事实是这样的：除非您能够建立清晰的沟通渠道，否则您将难以扩展您的测试计划并建立您想要的测试文化。

因此，让我们向您展示如何改进。

如何在实验程序中构建沟通？

为了更好地理解这一点，我们将推荐 RACI 分配矩阵。 这是一个责任分配图，可帮助您为所涉及的每个人或“利益相关者”规划项目中的每个关键目标、里程碑、任务和责任。

确定实验计划中的利益相关者

RACI 矩阵的目标是帮助您创建沟通流程，同时确保任务的完成。

您可以使用它的首字母缩写词来帮助您计划谁是您的利益相关者以及每个人都适合您的项目：

• 负责。 谁负责完成任务或做出决定？ 这通常是一群人。
• 负责。 谁将签署任务并确保完成里程碑？ 谁将分配任务给负责完成任务的人？ 这通常是项目负责人，并且是一个单一的角色，因此他们可以做出最终决定。
• 咨询过。 项目任务需要咨询谁？ 谁需要对一项任务提供意见以帮助其完成？
• 知情。 谁需要了解项目的状态？ 谁需要进度更新但不需要日常输入？

有时这些人可以担任多个角色，并且可能需要参加不同的会议或沟通渠道，但最好清楚谁在做什么以及在哪里包括他们。 通过这种方式，您可以决定如何在这些职位之间交流和传输信息。

当涉及到 A/B 测试计划时，通常的利益相关者列表包括：

• 最高管理层概述（知情）
• 团队负责人/项目经理（负责）
• 测试人员（咨询，负责）
• 开发人员（负责）
• 设计师（负责）
• QA 研究人员（咨询，负责）

现在显然，并非每个测试团队都是相同的，所以这是识别利益相关者并创建自己的 RACI 矩阵的最佳方法。

• 首先列出完成此项目所需的每项任务。 为简化起见，您可以首先添加主要里程碑。 将这些作为左侧的降序列。
• 然后，继续并确定该项目中的每个利益相关者。 让它们在矩阵顶部排成一行。
• 然后，开始用责任人、问责人、咨询人或知情人填写每个单元格。 您还不需要填写他们的确切任务，这只是目前的指导方针。
• 确保每项任务都有至少一个被定义为负责的利益相关者！
• 同时，确保只有一个利益相关者负责每项任务。 这样您就不会发生冲突或错过任务的完成。
• 一旦有了这个粗略的大纲，您就可以使用它与您的利益相关者聊天并填写每个里程碑的具体任务，并确认每个人都同意这个评估。

笔记：

并非每个单元格都需要填写。 关键是要确保有人负责，有人负责，只有那些需要咨询的人才是，而且人们不会被告知他们不需要的一切。

提前决定你的实验程序沟通工具

两个主要决定是决定使用哪些工具以及您的团队将如何运作。 您的交流是面对面的、同步的还是异步的？

随着远程工作和国际团队的兴起，尽早形成异步习惯甚至可以使现场团队受益。 （我们将在进行过程中介绍其中的一些内容，但 Zapier 有一些很棒的异步团队管理指南。）

然后你需要决定你的工具以及你将如何使用它们。

确保你们都提前使用相同的工具并计划如何集成它们将有助于防止错过消息或沟通不畅的问题。

事实上，不清楚这一点是沟通计划失败的主要原因。 在 Citrix 和经济时报的一项研究中，他们发现，在没有清晰的通信或信息基础设施到位的情况下，员工将近 25% 的时间用于搜索信息以完成工作。

话虽如此，这里列出了我为测试团队提供的 5 大工具：

• 日常沟通的松弛
• 用于项目管理的体式
• Zoom、Skype 或 Meet 通话
• 用于在日历会议中预订、发送消息以及与可能不属于您的 Slack 或 Asana 项目的其他团队进行交互的电子邮件。
• 一个测试数据库/学习存储库，用于跟踪您迄今为止尝试过的内容、A/B 测试结果、有效的和无效的、学习和见解。 它不仅会为您的所有工作创建备份，而且可以帮助新测试人员入职，并且是保存测试并将其用于向 C 套件、团队甚至公司范围内报告的绝佳方式（更多内容见下文） .

这些利益相关者的 4 种不同的沟通类型

因此，既然您已经确定了您的利益相关者是谁以及他们在您的 RACI 图表中的位置，是时候决定您将如何与他们沟通、您需要涵盖的内容以及频率。

根据我的建议，我在下面汇总了一个快速 RACI 图表，但您可以根据自己的需要进行更改。

有 4 个主要的沟通目标，它们都符合 RACI 模型：

• 愿景与使命（知情）
• 路线图（负责）
• 过程（咨询，负责）
• 结果，学习和胜利（知情）

1. 愿景与使命

这种类型的沟通旨在让每个人都参与到最终目标中来。 通常只在项目开始时完成一次，但随时回顾每个季度并重新调整努力和行动。

从理论上讲，这可能仅限于执行团队、项目负责人和测试团队，但我认为，如果你想建立一种实验文化，你应该为这个项目设定愿景并获得全公司的支持通过将它们包含在您的实验项目愿景中。

在 TradePress 的一项研究中，他们发现 85% 的员工声称在更新公司信息时最有动力，但 74% 的员工觉得他们错过了这些信息。

因此，与整个组织分享您对实验的愿景。 这不仅有助于创建这种文化并使人们保持一致，而且您还可以找到其他可以帮助您实现您可能没有想到的目标的团队。

例子

我最近从 AA 购买了基本级别的汽车保险。

我并没有想太多的封面，我只是想尽快得到一辆新车。 24 小时后，我决定升级到他们最全面的套餐，每月增加近 55%，因此投资回报率差异很大。

问题是开始付给他们更多的钱是相当困难的。 让我们看看摩擦点以及测试之外的团队成员在哪些方面可以帮助我们（特别是如果他们有实验思维）。

摩擦点#1 。 没有一键升级（虽然我可以得到第二个报价）。

摩擦点#2。 网上聊天告诉我，升级的唯一方法就是直接打电话。

摩擦点#3。 通话期间没有这个选项。 我被送到通用候补名单 25 分钟。

如果 AA 的目标是让更多成员参与他们的综合计划，那么网站管理员可以轻松发现一键式问题。 （我不得不想象这种情况经常发生，因为没有关于每个级别涵盖的明确数据，所以我希望很多人可能会尽快获得基本计划，以便他们可以在稍后查看更详细信息之前立即驾驶车辆。）

一个很酷的想法可能是，如果有人为已经在不同级别掩护下的车辆填写另一个报价，那么这也可能成为直接联系他们的触发器？

呼叫中心似乎正在处理所有呼叫，包括取消、索赔和升级。 这意味着他们是受过广泛培训的操作员，但没有快速升级和花钱的捷径！ （没有按 X 选项聊天升级。）

测试人员可能不会考虑看这个，因为你最后一次在电话线上进行 QA 和实时聊天是什么时候，对吧？ 但是担任该特定角色的人可以处理常见问题、语言和投诉，并将其反馈给测试团队——这就是为什么公司范围内的文化如此重要以及为什么我认为您应该将它们纳入您的愿景和使命的原因。

2. 路线图沟通

这是你的进攻计划。 它应该设定最终目标、该路径上的主要里程碑，以及与这些里程碑相关的任务。

执行团队希望了解重大里程碑事件以及每月和每季度的进展情况。

团队领导需要同样的，但也需要每周报告。 通过这种方式，他们可以确保他们有针对性地完成任务并与团队成员进行相应的沟通。

优化团队需要了解主要的里程碑和他们的 OKR 来实现它们。 他们应该提供每周报告，然后与团队负责人举行每月和每季度的聚会，以确保一切正常。

3. A/B 测试过程沟通

这里的目的是确保一切都按计划实现路线图里程碑。

在这里，您可以分解正在运行的实验以及它们如何结合、请求资源和分配预算等。如果路线图是配方列表，那么这就是如何制作蛋糕的“方法”。

跟踪这一点可确保项目按时完成，有助于集中精力，消除重复任务或错过的任务问题，并在以后提出时保持 C 级的支持。 同样，这可以在每月和每季度的电话中涵盖。

4. A/B 测试结果、学习和胜利

在这里，您可以看到并分享您正在产生的影响。 根据利益相关者的不同，他们都应该在某种程度上看到这一点。 项目负责人和测试团队将这些信息整合在一起，然后与 C-Suite 和全公司共享。

您可以在 3 个主要领域分享这一点：

• 一份时事通讯，
• 您的学习资料库，
• 如果你真的想建立一种实验文化，一个学习 Slack 频道。

因此，让我们看看如何使用这些。

你的胜利和假设通讯

这份内部通讯的目标是获得认可并建立一种实验文化。

它应该包含当前的测试及其结果，以及见解和学习。 这有助于让每个人都参与进来，并看到实验在行动中的力量。 不仅如此，具体的测试结果也可能有助于增加影响多个角色的进一步洞察力。

您还可以通过宣布下个月即将进行的测试并运行“猜测测试”测验来获得进一步的支持。

这种方法可以帮助您游戏化并建立一种测试文化，人们可以在其中尝试猜测哪个版本会获胜以及为什么会获胜。 它可以帮助所有利益相关者参与进来，但也可以在他们看到结果背后的数据时消除对测试的意见，从而有助于培养一种数据优先的方法，而不是“一直以这种方式进行”。

这是一个简单的想法，但效果很好。

您的学习资料库

您的存储库更像是一个数据库，其中包含所有成功和失败的测试、您对每个测试的见解、您尝试过的内容以及每个测试的图像。

实际上，它的主要目的是帮助避免意外地重新运行测试想法，而且还有助于培养新的实验者。

话虽如此，在公司范围内拥有这种可访问性也有助于让更多的公司感兴趣并参与其中，特别是如果您从时事通讯链接到存储库中保存的测试结果！

更进一步，为您呈现这些信息的方式增添一些乐趣和天赋：

您不需要花哨的缩略图，但您可以简单地提示上个月的测试结果，猜测时事通讯中的测试，然后将它们发送到存储库以获取所有信息。

想知道答案的人可以找到结果，沉迷于实验的人可以进一步看看你一直在测试什么！

社交并激励您的实验

最后，您可以通过在全员 Slack 频道中分享您的胜利来获得更多参与，该频道致力于胜利和学习。

这正是 Specsavers 所做的：

Specsavers 不仅有每周和每月的聚会，而且他们有一个“学习”频道，供任何参与优化的人分享他们发现的东西。 这有助于在快速跟踪新想法的同时创建对话。

还想更进一步吗？

使用相同的渠道来激励您的沟通和测试。 当您的团队可以从改进新的测试想法中获得直接的个人利益时，您会对所产生的创新和想法感到惊讶！

这通常会导致更多的想法和见解分享，并对其他团队和成员产生连锁反应。

您应该多久与利益相关者沟通一次？

根据经验，沟通频率取决于利益相关者及其在不同沟通方法中的角色/目标，以及您试图实现的沟通目标。

不是每个人都需要一直沟通，所以让我们将每个利益相关者群体从沟通最频繁的顺序分解到最少以及您应该涵盖的内容。

如何正确进行每种类型的利益相关者沟通？

关键是通过他们的 RACI 指定的镜头来看待每个利益相关者。

实验团队+领导（负责，负责，咨询）

• 初步愿景和路线图会议和流程计划。
• 如有需要，可提供每日通讯。 （Slack 非常适合这个。）
• 他们一直在做的事情的每周进展。 不是微观管理，而是要了解什么是有效的以及实现路线图目标的过程。 体式对此非常有效。 还可以检查该周结束的测试和项目以及任何里程碑。
• 每月对要讨论的测试和学习进行分析，以及新的测试计划/迭代测试。 每月一次的路线图会议，以确保所有团队都步入正轨。
• 季度规划和路线图分析。 使用它来决定坚持当前的流程或编辑和调整。

产品团队（咨询）

• 最初的愿景和路线图会议和流程计划（尤其是在尝试建立全公司范围的实验文化时）。
• 如果一起处理项目，则每周报告进度。
• 否则，每月和每季度的分析和学习报告将在团队之间共享，以便他们也可以对调查结果采取行动。

C-Suite（知情）

• 初步愿景和路线图会议和流程计划。
• 每月和每季度的路线图和流程进度报告，以及测试和学习。 确保根据他们的目标提供信息（稍后会详细介绍。）

公司其他人（知情）

• 最初的愿景和路线图会议和目标。 他们不需要所有细节，但最终目标和主要里程碑将帮助他们理解计划。 “我们的目标是通过改进我们的销售流程并减少第二季度的客户流失来提高投资回报率，然后再考虑第三季度的重复销售等。”
• 每月时事通讯报告测试、学习和胜利，以帮助他们保持参与并建立文化。 涵盖测试运行、发现和见解，哪些有效，哪些失败。 作为奖励，您可以讨论即将推出的新测试，并在全公司范围内就他们认为最擅长的测试进行测验。

要了解的一个关键事项是，您应该在开始项目之前提前确定并确定这些沟通节奏和频率，以便每个利益相关者都知道他们的责任以及何时期望或交付信息。

如何将 A/B 测试结果传达给 C-Suite？

因为与 C-suite 沟通是测试程序的一个常见问题，并且因为获得他们的支持和支持是保持测试程序顺利运行的重要部分，所以我想在这里回顾一下最佳实践。

我们在这里的另一个指南中详细介绍了它，但这里有一个快速概述：

• 请注意您已同意的节奏和频率。
• 确保将沟通重点放在特定目标上。 是路线图会议、流程签到还是学习更新？
• 从第一天开始，让他们了解项目的实际情况。
• 尝试通过分享您的学习和“猜测测试”活动让他们参与进来。 请记住，自上而下的采用最适合实验文化。
• 尽可能简单地介绍信息。 你事先学到了什么以及你是如何产生测试想法的。 你测试了什么。 显示控制、变化和获胜者。 它是如何在微观和宏观层面上发挥作用的。 包括结果。
• 让它们看起来不错。 不要只专注于分享收入，而是首先要展示他们关心的结果。 然后分享进一步的见解，并将其与如何帮助他们实现目标联系起来。
• 不要把责任归咎于意见。 如果测试失败，找出原因以及它如何帮助您和他们。 也许您通过不实时推出设计更改节省了一笔小钱？ 关键是你不希望他们感到受到威胁或指责。 实验是关于从失败中学习以找到有效的方法。
• 如果测试获胜，请给出 ROI 和 MRR 效果，以及实际的重点指标。 可能是您的测试不在直接影响收入的页面上，而是尝试深入了解特定提升的模型以及它如何影响整个业务。 （更多的潜在客户，更低的流失率，更多的页面停留时间，这会带来更高的投资回报率。）
• 你可能会在结果上遇到阻力，尤其是那些自我或角色与测试直接相关的人。 （也许他们是 X 方面的专家，但对于您的听众来说，他们的建议表现不佳）。 承认结果可能是错误的，但将其框定为“是的，它可能是错误的，但如果它是正确的怎么办？ 这对我们有什么影响？”。 这样，您就可以将重要性从他们身上转移到情况上。

结论

所以你有它。 我们在 A/B 测试团队中改善沟通的深入指南，以便您建立实验文化。

你会遇到一些学习曲线，但要坚持下去。 你沟通得越多，你越有机会通过它并看到好处！