如何举办一场将改变你的公司的实验会议（以及我在 Workato 的做法）

在大多数情况下，我讨厌开会。

我在文章、推文和我的同事中说过很多次。

主要是，我不喜欢人们使用会议作为拐杖来避免完成工作，或者人们开会很糟糕并浪费每个人的时间。

但作为领导者，我认识到一些会议的重要性。 特别是，就我而言，每周一次的实验会议。

没错——Workato 实验计划的基石只是一次会议。 我们不做每日站立（我们在 Slack 上异步做这些）； 取而代之的是在一周开始时举行一次会议，并加入一些其他的人工制品和仪式来保持机器的运转。

这将是我的第一篇也是唯一一篇深入探讨我如何举办这次会议的详细信息，我为什么要这样举办，以及我如何与其他实验程序工具（如电子邮件、知识共享数据库和读数）保持平衡。

在向您介绍会议记录之前，我想先问一个高层次的问题——为什么首先要召开这次会议？

实验小组会议的目的是什么？

每次会议都需要一个目的。 如果没有目的，就不应该发生。

我的每周实验会议的三个实用程序如下：

• 学习和见解分享
• 举措的优先次序
• 识别和消除流程瓶颈

这意味着我们从会议中消除了大多数其他无法兑现的谈话要点。

通过学习加速实验

当你开始建立一个实验程序时，你必须努力打好基础。

• 获得合适的测试工具。
• 确保它与您的分析工具集成，并且您正在适当地跟踪数据。
• 与高管沟通，为实验设定适当的期望。

然而，一旦你开始扩展实验，你在每个实验中学到的东西将成为你程序其余部分的增效剂。

当你每个月通过 5-10 次实验时，你从胜利者、失败者和不确定性中学到的东西将影响你运行下一批实验的成功率。 所有这些都应该是影响您如何确定路线图优先级的核心。

这似乎是在浪费时间，但事实并非如此。 Reforge 的创始人 Brian Balfour 也强调了学习在召开成长会议中的重要性：

因此，我们在会议的大部分时间里都在学习和分享见解。

如果您的会议是跨职能会议或有来自其他团队的成员参加电话会议，这将特别有用，因为您经常会获得通常不会获得的观点。

例如，我们经常会在我们的实验会议上邀请产品营销人员加入并分享客户研究的最新发现或分享即将到来的战略叙事变化。

事情会改变的; 优先级是敏捷的

在我的会议上，我想明确我们的目标，我们正在采取哪些步骤来实现目标，以及谁对什么负责。

这是会议的下一部分。

从我们所学到的知识中产生了一个问题，“我们接下来要做什么？”

我们的主页实验失败了——那么我们学到了什么，接下来我们要做什么？

许多优先级实际上是按季度异步完成的——至少是我们项目中最大的实验和最广泛的主题桶。

但是我们确实为基于战略变化和我们从过去实验中学到的东西的路线图的小变化和迭代留出了很大的回旋余地，我们利用会议的一部分来移动事情以反映这一点。

识别和消除流程瓶颈

最后，发现流程瓶颈很重要，尤其是当您处于实验程序的扩展阶段时。

这需要系统思考，是团队领导或项目经理的核心工作。 实际上，您需要识别和衡量从构思一直到生产的实验过程的每个步骤。

哪些步骤花费的时间最长，或者更确切地说，比预期的时间更长？ 您如何利用这个每周例会来识别这些延迟和时间滞后，从而确保流程的其余部分不会受到过度影响？

这是每周会议的关键部分，一般来说，这是为了让您的实验训练保持在轨道上。

在实验会议上要避免什么

你可以随心所欲地召开会议，但对于每周一次的团队实验会议，有两件事往往会浪费大量时间。

• 提取临时数据或要求任何人这样做
• 非结构化头脑风暴和构思

当您提取临时数据或要求某人这样做时，请记下这一点。 如果您反复询问一些数据，请将其添加到您的流程清单中。 它不应该是每次会议都会出现的东西（它会浪费大量时间和精力）。 这就是仪表板和报告有用的地方。

在非结构化的头脑风暴中，我实际上并不讨厌它。

但是有一个时间和地点，通常是一种疯狂的方法。

当您在每周会议期间花费大量时间来落实想法时，您可以减少识别流程瓶颈并确保您进行正确实验的时间。

如果有一个随机的好主意出现，那很好。 如果它演变成一个结构松散的头脑风暴会议，你必须放下你的脚并让它离线。

我如何召开每周的实验团队会议

好的，那么我该如何召开每周一次的实验团队会议呢？

当然，我将不得不混淆我们运行的实际实验和结果的一些细节，但我会尽可能详细地介绍每个部分。

人民

首先，每周参加的人员是核心战略实验职能的一部分。 这是一个包括分析师、绩效营销人员、网络开发人员和产品经理的小组。 我的经理也经常出席，但不是每次电话都出席。

我与我们的设计团队单独开会，因为他们是我们公司的卓越中心。

这些人定期参加，然后我不时邀请相邻团队的“客人”，如设计、品牌营销或产品营销。 此外，对于这些来宾电话，我们通常只设置一个单独的会议，因为其目的通常是介绍新想法、更好的团队沟通或集思广益。

为了使这一点更通用，在大多数情况下，您的实验会议应该包括制定战略决策的人员和执行该战略的人员。 通常，这是：

• 领导/项目经理
• 产品经理
• 开发者
• 设计师
• 分析师

日程安排

我每周一在中部时间下午 3 点召开这个会议。 周一早上非常适合准备和完成深入的工作，或者整理前一周的未完成任务。 到下午，团队已经做好了讨论下一周的准备。 这也让我们都知道我们应该在一周内工作和优先考虑的事情。

然后，在整个一周内，我们将进行异步检查和 1:1 会议，讨论我们决定在周一的团队会议上开展的工作的细节。

我们目前不使用幻灯片，但我们可能会合并它。 如果是这种情况，我会将各个部分与上面列出的时间限制联系起来，然后将在前一周的星期五发出甲板（目标是在星期一早上不超过 20 分钟将每个人的部分放在一起） . 目前，我们主要浏览我们用于项目管理的 Airtable 数据库。

议程

这是我的确切议程：

会议时长：45 分钟

• 非正式追赶：5-10 分钟
• 从已完成的实验/研究中学习：<10 分钟
• 优先处理/整理积压：<10 分钟
• 识别瓶颈/阻碍：其余时间（10-15 分钟）

我们已经介绍了上述每个部分及其目的。

我会给你一些工具和框架，这些工具和框架也可能对上述每一个都有帮助。

从已完成的实验/研究中学习。

您在这里需要的主要是一个良好的文档系统。

在运行实验之前，我需要在实验文档中填写以下部分：

• 背景
• 学习目标
• 假设
• 预测（不同于假设）。
• 实验设计（量化和创意）
• 跟进（结论后会发生什么）

然后在运行实验后，又填写了两个部分：

• 结果
• 学习

在我们的会议中，我们简要介绍了结果并更深入地介绍了学习部分。 谁是实验“所有者”，谁是展示学习成果的人，然后就我们如何应用它们进行了简短的讨论。 有时这意味着在更广泛的范围内进行测试，或者只是将学习扩展到类似的经验。 有时这意味着以一种有意义的方式进行迭代。

您在此步骤中选择的两个工具应该是：

• 实验文档（点击这里盗取我的模板）
• 实验知识共享系统/Wiki

优先处理/整理积压：<10 分钟

关于这部分的实用性存在争议，但我喜欢将其保留为小组讨论，因为与简单的网络生产或产品管理不同，实验受到许多外部压力、阻碍和突发奇想的影响。

例如，我们可能没有为我们计划的一个特别大的实验买单，或者我们可能有一个设计障碍。 但是我们仍然希望保持我们的测试节奏，所以在这种情况下，我们可以保持敏捷，并从积压工作中提升一个较低工作量的想法。

在某些组织中，此决策完全由实验团队负责人决定。 我喜欢向小组开放讨论。

为什么？

首先，我不想在我的优先级分数的重压下压垮团队。 实验的部分价值在于学习你没想到会学到的东西，并且通过允许团队中其他人自主确定优先级，我们得到了我不会放在桌面上的想法。 这也有助于改善整体团队沟通和融洽关系。

其次，人们更愿意从事他们选择从事的工作。 如果我开始分配所有想法，我就会限制人们对单个实验的热情（这在许多方面限制了实验获胜的潜力）。

所以在本节中，我们基本上使用两个工具：

• 项目管理看板（我们使用 Airtable——这是一个很棒的模板）。
• 优先级矩阵（我们使用 PXL）。

识别瓶颈/阻碍：其余时间

最后，识别瓶颈。

这很难。 一开始，它做了两件事：

• 在延迟交付中寻找模式
• 询问团队的定性和开放式问题

在我的 Airtable 中（很抱歉我不能分享），每张卡片中有四列：

• 设计到期
• 设计交付
• 开发到期
• 开发交付

这是我们遵循的看板步骤的补充：

• 主意
• 实验文件进行中
• 审查中的实验文件
• 开发中
• 质量保证
• 质量检查并准备发布
• 跑步
• 总结
• 已投入生产

这使我能够看到事情落后于计划的地方。 例如，如果我们运行了 10 个测试，但没有一个测试被实施，那么我们就有了生产问题。 或者，也许我们的实验在质量保证方面停滞不前，并且我们有大量待发布的实验等待启动。

在开发阶段，我们还想看看我们是否在等待设计或开发人员来创造体验。 如果我们一再落后，这意味着我们需要重构这些团队的优先级或可能增加员工人数。

定性问题听起来像这样：

• 这周有人需要我的支持吗？
• 本周实现我们的目标是否有任何潜在的障碍？

这些问题的答案既可以让您在短期内解决这些瓶颈，也可以在它们重复出现以长期解决时识别模式。

填补空白：其他有用的实验程序工具

实验团队会议并不是经理工具包中应该包含的唯一工具。

事实上，我看到实验经理犯的最大错误是试图在一次会议上完成所有工作。

相反，您希望分散您的仪式和人工制品，以便为您想要完成的每项工作使用最好的工具。

实验组会议完成了三件事：

• 学习和见解
• 优先级和工作分配
• 拦截器识别和修复。

您可能关心的其他实验计划目标如下：

• 从其他团队获得想法
• 让高管和利益相关者了解投资回报率和结果
• 与其他团队分享结果，在实验之外传播知识

根据您的组织，您可能还有更多工作要做，例如保留实验记分牌或与数据科学家合作实施 DataOps 流程以自动化部分分析或您的平台。

但出于上述目的，我发现这些工具省力且高效：

• 实验审查电子邮件
• 跨职能实验宣读会
• 实验存档/知识共享工具

实验审查电子邮件

在大多数情况下，你的实验团队会议不应该花在讨论结果上。 这应该在仪表板和您（项目经理）发送给团队其他成员和任何相关方的每周电子邮件中有效地完成。

它应该包括：

• 过去的实验已经结束+结果
• 目前正在运行的实验
• 未来的实验

任何自助式分析和仪表板也可以包含在此处。 我喜欢为小组中的书呆子创建视觉上吸引人的结果图表并链接到更多细节。 但总的来说，您的 VP 不会太在意每个单独测试的详细统计数据。 因此，这封电子邮件旨在让您了解您的努力并分享高水平的成果和经验。

跨职能实验宣读会

实验团队永远不应充当领土孤岛。 你限制了你的团队获得的知识的传播，你也限制了破坏性想法的流入。

所以每个季度，我都喜欢运行一个跨职能的实验读数，我们会在其中遍历我们进行的所有实验和高水平的学习，然后我们打开麦克风让其他团队发表评论和提出想法。

这让其他团队——对我来说，通常是产品营销、品牌、产品和需求生成——看看我们学到了什么。 也许他们可以用它来影响他们的工作、消息传递和设计。

它还允许他们将我们可能不知道的事情放在我们的雷达上——即将到来的活动、在入职流程上运行的实验等。

实验存档/知识共享工具

最后，实验程序中最被低估的工具是存储所有结果和学习的地方。 优选地，这是一个具有良好搜索和标记功能的工具。

这使得高度感兴趣和参与的各方可以简单地查看已经运行的内容。

就个人而言，我使用 Airtable 和 Google Docs 的组合。 但是你可以使用 Notion、Confluence 或像 Effective Experiments 这样的专用 A/B 测试存档工具。

结论

实验团队会议是一个重要的仪式，它可以决定或破坏您团队的效率（实验速度和质量）和有效性（您的团队在组织中的知名度和尊重程度）。

尊重会议和与会人员，不忘初心。 避免分心和范围蔓延——还有其他用于头脑风暴和报告的工具。 很快你就会发现，你不再害怕再次开会，而是期待这次会议，因为它非常高效。 无论如何，这就是我们降落的地方。