让您的实验团队加快速度：来自 3 位实验专家的提示

你有没有想过为什么像 Netflix、谷歌、亚马逊和 Booking.com 这样的公司在实验中大获全胜，但当你在公司尝试时，它却像铁砧一样落入水中？

或者也许结果并没有那么糟糕。 相反，您经常会发现自己在问：“两位数的提升在哪里？”尤其是当您为测试工具支付了 6 位数的费用时。 嘘！

一个大工具应该意味着大结果，对吧？ 并不真地。 实验更多的是关于你的团队，而不是 A/B 测试工具。

#teamovertools

该工具只能与使用它的大脑一样好。 不是说你的人不好，相反，你可以给他们更多，以充分利用你在实验上的投资。

因此，以下是您如何始终如一地为您的团队提供他们所需的推动力，以彻底改变您的实验计划 - 来自言行一致的专家的提示。

Team Over Tools——新实验时代的时代精神

曾几何时，公司会在一个实验平台上投资 100,000 美元，然后将其交给营销实习生。

你认为这种做法的结果是什么？

那种情绪

1. A/B 测试就是摆弄网站元素——比如按钮和表单，以（以某种方式）将更多人推下一个极其自私的“漏斗”。
2. 商品化CRO就是它！ 实验谁？
3. 优化过于严格，无法做到正确，我们都应该使用经过淡化的直觉驱动决策——现在是可信的——并在上面打上“统计意义”的印记。

简而言之，类似于每月 250 美元的保留 SEO，没有人看到结果，并且搜索引擎优化的好名声被众所周知的“XYZ 已死”和“流行语”泥泞拖着。

不过值得庆幸的是，品牌开始意识到获得工具并不是旅程的终点​​。 这仅仅是个开始。

一位从业者无法正确理解：

哎呀，即使是几个自食其力的从业者也可能会挣扎。 特别是如果他们不具备我们在后面部分中提到的品质和技能。

事实上，一个实验团队的理想结构是一个有层次的、有负载的主题。 曼努埃尔·达·科斯塔（Manuel Da Costa）对此进行了详细的描述：

他在帖子的第二部分更进一步：

总结聪明人的优秀作品：

• 优化/实验——无论你怎么称呼这个部门，支持和推动数据驱动战略的部门都需要高管层的支持。 它需要得到高层人士的狂热支持。
• 实验的“工作”不仅仅是测试。 它涉及协调、沟通、打破孤岛和传播测试。
• 当然，你不必带着 10 人的实验团队来参加聚会。 但是您必须了解，决定 A/B 测试成功的是您的团队。 不是工具。

如果您刚刚开始，Alex Birkett 建议使用一种平滑的方式滑入凹槽：

当您开始您的实验计划时，请与代理机构或顾问合作。 我知道您认为您可以在内部完成，而且您可能可以。 但有些技术、文化和流程问题通常最好由外部专家解决。

我建议让像您的增长主管这样的人，或者兼具技术知识和战略知识的人来管理该机构。

随着您的扩展，您最终会希望建立一个“卓越中心”来教授、支持和支持组织的其他成员运行他们自己的实验。 否则，实验专家会通过他们自己的团队运行一切，成为瓶颈。 这个卓越中心通常会建立或管理实验技术堆栈，提供资源和时间来帮助团队启动和运行，主持办公时间和培训课程，并回答问题和排除故障。

Alex Birkett，全知数字

无论项目或业务的规模如何，跨职能小队都很难被击败。 权衡或危险信号是，如果团队有责任但没有权力，那么无论如何都会有繁文缛节并且不起作用。 但是一组专注于旅程或增长杠杆（而不是渠道）的“联合”小队是我最喜欢的设置。 例如，一支球队专注于围绕收购的目标树，而一支球队专注于货币化。

本·拉贝，斯佩罗

总而言之，每个 CRO 项目都面临着一些关键挑战：

而且这些问题都不会通过专注于您购买的工具来解决。

如何训练你的实验团队？

培训您的实验团队从招聘开始。 虽然你不能培训不是员工的人，但你必须确保你找到了态度正确的人。

但这只是一步。 这个过程延伸到入职阶段及以后，在您的组织中应该是一种重视持续改进的文化。 让我们更深入地了解实验团队的培训。

聘请合适的从业者，首先

很像你训练龙的方式。

从正确的气质开始！

以下是 Jeremy Epperson 对高功能从业者的 6 个特征的看法：

一条龙可以烧死你。 顽固的 CRO 从业者也可以。

他们可能不遵循既定的流程，从而使沟通脱轨。

他们可能不勤于记录（新）过程、实验结果和学习。 洞察力是游戏的名称。 如果你不学习，你为什么还要测试？ 一些最有价值的假设是值得迭代的假设。

他们可能不会为数据分析带来批判性思维。 他们可能不知道该怎么做。 或者他们可能只是更喜欢让他们的大脑根据先入为主的观念来想出模式和联系，因为违背主观讲故事的原则是很困难的！

我们询问了 21 位专家，这是他们看重其他从业者的技能（和心态）的细分：

• 以实验和统计基础为基础：了解并理解如何进行实验，并在解释结果和从每次测试中提取见解时应用基本统计数据。
• 领导能力和沟通技巧：擅长与利益相关者合作； 相信实验，传播它，并设定正确的期望； 对测试和结果保持冷静； 并能讲述数字背后的故事。
• 研究技能：可以像冠军一样处理定量和定性研究，提出正确的问题，并为正确的问题使用正确的研究方法。
• 数据驱动：有直觉和创意，但总能用数据验证它们。
• 善解人意：努力了解客户和用户，并经常站在他们的立场上。 还可以将这项工作引导给利益相关者，例如，以最有效、影响业务的方式传达数据。
• 弹性：如果测试失败，不会对实验失去信心。 这本身并不是失败。 通过正确进行测试，他们可以验证某些东西不起作用。
• 面向流程：系统、流程、工作流——一个好的从业者必须着迷于它们。 为了取得长期成功，您需要可靠的系统。
• 好奇：保持开放的心态，渴望发现新事物和学习。 不断地提问是检验想法和假设的基础。
• 可以产生假设和想法：除了提出问题之外，他们能否定义目标受众、陈述问题、提出解决方案、陈述结果并定义实验目标？
• 注重细节：你会在几乎每一份简历上发现这一点，但在 CRO 中非常特别，如果他们不注意并失去优化的机会，很多东西可能会漏掉。
• 开发人员技能：他们不需要具备专业水平的技能。 一些基本知识很重要，因此他们可以进行比可视化编辑器允许的更深入的测试。 并且不会有太多的问题等待开发团队提供帮助。
• Creative & Entrepreneurial : 有这么多最佳实践和“久经考验”的方法，您需要一个喜欢做新事物并以合理判断尝试完全不同的想法的人。
• 对实验感兴趣：如果他们对实验不感兴趣（或者至少不关心它），那么没有什么能让他们坚持很长时间。 你需要长期参与其中。
• 批判性思考者/分析者：批判性地思考数据…… “数据说明了这一点。 为什么？ 让我们来看看” “它是这样工作的，但是为什么呢？ 让我们来了解一下” 。 那是一个天生的测试者。

雇用勾选这些复选框的人。

（注意：所有这些可能不在一个人身上，但它们应该在你的团队中。）

然后授权您的 CRO 团队挑战您。 因为实验的 DNA 就是挑战假设和驯服猖獗的 HiPPos。

对合适的人的这种影响有助于在您的组织中传播实验文化。

慈善和以数据为导向的稳健思维都始于家庭。 Jeremy Epperson 明白这一点——从不质疑现状会导致停滞不前。

采取投资他们的心态

当你在做的时候，投资于有助于所说的人更多的流程：

• 专注
• 富有成效的
• 在您定义明确的实验框架的范围内自由地沉思、思考和制造混乱。

这对实验非常重要，以至于四分之三的实验成熟度与人员和流程有关：

• 流程和问责制
• 文化
• 专业知识

Sina Fak 将人员和流程分解为对成功的实验计划最有帮助的 10 个特征。 去看一下：

这 10 个特征可以很好地作为运行实验程序的指南，该程序可以生成 Netflix、Google、Microsoft 和其他公司所看到的结果（当然，除了使用正确的工具和技术堆栈之外）。

密切注意 1 到 5，您会在上面的饼图中看到相同的品质。

当您拥有这一点以及帮助他们成长的心态时，唯一的出路就是向上。 毕竟，用 How to SaaS 的 Shiv Narayan 的话来说，一个优秀团队的基石可以归结为

1. 寻找、说服和雇用有才华的人加入团队
2. 围绕鼓舞人心的愿景调整团队以进行协作
3. 为团队提供成功所需的所有支持和资源
4. 帮助提升团队成员的技能、心态和能力
5. 指导团队成员度过挑战和成长停滞期
6. 建立正确的环境和文化以帮助团队成员茁壮成长
7. 移除那些让 1-6 处于危险中并且无法被指导的人

入职不仅仅是一份清单

你如何在船上留下持久的印象。 事实上，大多数团队成员的流失都是从入职开始的。

虽然有不同风格的入职——SOP 与更实际的学习方法——但我们采访的三位专家都强调了前 90 天的重要性。 在这里细化……这是您应该关注的特定存储桶

• 总结关键上下文
• 授予对资源（SoP、视频、培训）的访问权限
• 从团队成员那里汲取新的想法
• 授权探索（知道团队的其他成员有他们的支持）

以下是 Alex Birkett 关于利用新团队成员的新观点的建议：

每个公司的实验都是不同的，所以让他们感到舒服的主要事情是以最容易理解的形式给他们所有必要的背景。 有哪些关键的战略举措？ 遇到了哪些挑战，以及希望此人帮助克服这些挑战的方式是什么？ 这个人应该认识和了解哪些关键团队成员？ 您必须在哪些严格的护栏内操作？ 这个人的 30-60-90 天计划和期望是什么？ 应该透明和预先完成。

然后，当然，让他们访问他们需要的一切——测试工具、定性研究工具、分析、Slack 频道、内部电子邮件通讯、会议等。一开始总是会从消防水管中喝水，但更好的是得到他们尽早参与，以促进组织理解。

最后，我被低估的提示：尽可能多地从这个新员工那里获得新的想法。 他们以全新的眼光进来，因此他们可以比您更好地诊断您的流程和程序的问题。 尽快得到这个反馈！ 他们最终会喝掉你公司的饮料。 引入实验想法，以及如何更好地运营和扩展的想法。

亚历克斯·伯克特

Ben Labay 的建议是立即让新的团队成员参与进来：

SOP 很无聊。 最好的办法是让他们开始自己的英雄之旅。 让他们上飞轮的意义：给他们一项研究任务或一组现有研究，以帮助提出有关客户问题和机会的问题。 这有助于揭示旅程的第一部分，即问题/激动。

好的，现在我们有一个很好的质量问题，所以让他们想出并列出解决方案。

繁荣，现在说明它。 使用您可能拥有的所有有趣的测试文档/SOP 讲述干预的故事。

然后是测试和学习部分，他们看到它在运行，分析结果等。然后是它的决策和沟通，让他们也拥有最后的阶段。

所以最后，作为入职培训的一部分，他们“拥有”自己的飞轮。 边做边学。

本·拉贝

代理机构 ConversionAdvocates 的典型 90 天入职培训怎么样？

最好的人选是 Jeremy Epperson。 他花费了 70 个小时的个人时间来创建、改进和标准化团队培训。 为什么？

因为人是关键！

我们有一个高度结构化的 90 天入职培训。 以下是它的流动方式：

1. 第一天按小时列出：
    
   1. 所有的会议都列出来了
   2. 培训材料每周都被解析出来
2. 每周 1 小时专门用于直属经理和新入职的团队成员之间的富有成效的会议。 这通常涵盖以下问题：
   
   
   1. 你被困在哪里了？
   2. 你有什么需要帮助的？
   3. 您需要哪些培训方面的帮助？
3. 每周我们都会针对 CRO 的各个方面进行培训——深入了解技术杂草。 例如，如果测试假设在实施过程中被证明是一个挑战，那么开发人员如何将这一挑战传达给他们的直接经理，以便为客户设定正确的期望？
4. SoP 在那里指导、通知和授权新入职的团队成员。

杰里米·埃普森

将培训扩展到入职之外。 呸！

在经过严格的入职流程后，将新员工派往他们的第一个项目是一种常见的做法。 你甚至可能会很好，将他们引入你的学习与发展。

但是对于您表现最好的实验团队，您可以在做最少的事情（“嘿！我们让您获得您可能会或可能不会使用的 CXL 迷你学位” ）和为团队培训设定黄金标准之间做出选择。 这看起来像这样：

是的，Jeremy 的入职流程和提供持续的支持和培训非常棒。 对于您的公司（在这种情况下是大多数公司）而言，持续的教育将处于中间位置。

你的中间可能包括：

• 入职后 6 个月的一对一会议
• 根据他们的独特需求、技能和熟练程度定制的个人发展计划
• 用于实验任务的 SOP
• 直接访问 CRO 团队中可以提供指导和解锁的任何人，以及
• 报销可以帮助他们改进的工具、书籍和培训

我们采访了 3 位（其他）专家——除了 Alex、Ben 和 Jeremy——并汇总了他们对团队教育的看法。 他们的见解构成了您可以采取的 6 个步骤的基础，以将您的实验团队培训扩展到通常的入职流程之外。

1. 为组织价值观添加“持续学习”

听起来像是“很高兴拥有”。

但是 Ben 和 Jeremy 在他们的回答中都提到了这个核心原则。 巡航文化不能与卓越文化共存。

当一个团队只做需要做的事情时，因为它总是以零好奇心和改进的方式完成，他们不会产生任何出色的东西。 它通常反映了组织中做事的方式。 文化比你想象的更重要！

在 Speero，我们有类似的机制

• 读书俱乐部——专注于 CRO 行业或与之相关的精彩阅读
• 'Learning Fridays' 每月一次的研讨会，我们都在其中观看 CXL 课程并在 miro 板上做互动笔记
• 每周由不同的人进行“展示和讲述”课程，旨在向团队教授测试、SOP、新框架等方面的知识。
• 关于“提升和教育”的特定值，我们通过为每个值设置专用的松弛通道来加强这一点，并且每当有人在每个值的松弛中看到任何证据时，都会添加一个值表情符号，自动将消息发送到相应的值渠道。
• 这让团队通过有机地认识到我们何时践行我们的价值观来强化价值。我们还有一个“每天践行我们的价值观（LOVE）”奖，我们每月提名一名队友，他们可以选择我们给予的慈善机构名义上的$ 50捐赠给。 这是一个象征性的姿态，但这部分机制“系统”有助于推动我们的价值观，“教育”就是其中之一。

本·拉贝

对于 Jeremy 来说并没有太大的不同：

• 我们的团队成员可以访问 ClickUp 上的实验学习存储库。
• 每周，我们会留出 2 小时用于个人学习和发展。 这是建立在我们从业者的合同中的。
• 此外，我们还记录了业务的各个方面，并将其转化为 SoP — 以清单格式提供视频和书面文档。
• 对于不同的主题，我们有不同的渠道，人们可以提出问题并获得答案。 然后，这些频道中的消息被抓取并放入 ClickUp 上的存储库中。
• 我们邀请业务教练审核我们的流程和文化是否存在差距。
• 我们的核心公司价值观和 12 条团队启发式方法嵌入到我们的日常运营中。
• “看东西，说东西”——无论是 QA 问题还是客户的挫败感——如果团队中的任何人感觉到有什么不对劲，他们就必须进行沟通。

Jeremy Epperson，ConversionAdvocates 首席增长官

这里的模式是共同成长，不断分享，并经常强化卓越文化。

2. 展示与讲述

请记住，我们之前列出的有价值的 CRO 的品质之一是“对实验感兴趣”。 有时，这是在团队中点燃和培养的。

你如何让人们对实验感兴趣，以便他们拥有自己的内在动力来为他们的训练提供动力？ 像亚历克斯一样展示和讲述：

如果人们对它不感兴趣，你不能真正强迫他们学习，所以我的第一项工作是让人们对实验感兴趣。 最简单的方法是让他们参与实验。 如果您有时间和空闲时间，从字面上帮助某人进行自己的实验是做到这一点的最佳方式。 还记得你第一次进行测试时得到的多巴胺吗？ 当你第一次获得胜利者？ 给某人同样的感觉，他们很快就会自己参加 CXL 学院的课程。

如果您无法帮助某人运行他们自己的测试，请发布征集实验想法的电话。 手动询问 Slack 中的人员他们有什么想法。 然后把这些放在路线图中，把所有的功劳都归功于提出这个想法的人。

当人们感兴趣后，您可以将他们连接到您的教育系统中，其中可能包括：每周新闻通讯和每周实验会议读数、办公时间课程、课程和培训材料、会议和活动以及文档。

亚历克斯·伯克特

然后，你还可以推广下一个……

3. 教与学

还记得持续教育的“展示和讲述”方面吗？

好吧，对于那些“展示”的人，应该有激励措施。 轻推。 Rishi Rawat 称之为“教与学”：

我们有一个相当简单的程序。 这叫学与教。 随着工作的进行，我们不断地学习新事物。 其中一些见解需要与团队分享。 我们每两周召开一次团队会议，每位成员都会分享他们从自己的工作生活中学到的重要知识。

Rishi Rawat，无摩擦商业（取自测试思维导图系列）

回到学校，这是巩固考试前所学内容的技巧。 如果你能向同事解释一个概念，让他们理解，你会更好地理解它，并且很难忘记。

4. 将第 3 方学习的选项放在桌面上

虽然迄今为止的大多数建议都依赖于组织流程和学习存储库来加深知识，但对于可能不拥有详尽的内部资源的公司（尚未），让从业者能够访问像 Reforge 这样的东西是他们欣赏的安全网和动力.

我们的实验章节是由 10 名具有成长意识的人组成的小组，他们是喜欢被数据证明是错误的终身学生。

七十年的优化经验相结合，都来自多个背景。

除了您对分会仪式和同行评审的期望之外，我们的团队还拥有 Reforge。

我们要求所有人都参加实验深度潜水和成长系列。

对于高绩效团队来说，拥有共同语言是一种被低估的超能力。

John Ostrowski，首席增长实验， iTech Media

5. 积极管理学习之旅

所以被低估了。

这就是为什么我们庆祝 Manuel Da Costa 在他的实验团队结构中加入了“协调者”。 我们知道，Orchestrator 不应该“管理”个人的成长轨迹，但它确实承认这样一个事实，即从业者在追逐下一个大创意时需要组织起来并跟踪平凡的事物。

工具帮助！

我们有围绕基本测试领域的 SOP。 最终，随着岁月的流逝，我们可能会拥有某种我们自己的“测试圣经”。 我目前使用 Roam Research 和 Obsidian 等工具将我在空间中阅读的文章的想法联系在一起，然后在我围绕某个主题形成自己的想法和论点后与团队分享。

我们为所有客户使用 Airtable，但也在内部构建不同的滑动文件类型。

对我和我的小团队来说，学习一直是最重要的事情之一。 自然地，我希望团队成员具备正确的性格品质，比如对知识的渴望和变得更好。 这也是一个人对测试应该有的态度——一种“持续改进”的心态。

Ryan Levander, Rednavel 咨询公司

6. 寻求专家帮助

最后但并非最不重要的一点是，CRO 机构与实验息息相关。 利用他们的专业知识。

这可以是他们快速启动然后润滑您的飞轮的合作，帮助您构建和维护世界级的实验计划。 或者这是一个更具体的案例，他们专注于需要改进的领域和必须提高技能的团队成员。 尽快。

我自己是代理创始人，我经常告诉客户的一件事是，他们应该使用我们的工具、模板和训练轮。 我们是一本打开的书。 询问我们如何优先考虑关键字，我们如何决定一段内容的角度，在您遇到性能问题之前需要多少次 301 重定向，为什么选择此 CTA 用于这篇博文……等等。

代理商日复一日地做这些事情，他们应该对这些事情有惊人的答案。 如果他们不这样做，请加倍努力或找一个不同的机构。 许多机构，比如我的，主动做这件事。 但即使是这样，你在品牌方面也应该推动更多的知识和框架。 这就是从代理机构中获得最大价值的方法：尝试窃取他们所有的秘密。

亚历克斯·伯克特

来自 Speero 的 Ben 也加入了进来。

我们训练了大量的团队。 我们举办研讨会，我们有 CXL，我们做咨询等。我们将我们自己学到的东西应用到客户的组织中。 这是一个反馈系统。

本·拉贝

我们编写了一份指南，介绍如何在内部计划中充分利用 CRO 和 A/B 测试机构。

结论

实验工具的输出受限于您提供的输入。 谁负责输入？ 你的人。 与项目的任何其他方面相比，投资于培训和教育您的团队对您的实验计划和旅程的作用更大。

他们将处于更有利的位置，可以使用您的工具完成伟大的事情，而不是从岩石中汲水（选择正确的 A/B 测试工具仍然很重要）。

您可以通过转向卓越和不断改进的文化来启动增长。 请遵循我们在本文中为您整理的专家提示。