测试思维导图系列：如何像 CRO 专业人士一样思考（第 11 部分）

采访鲁本·德波尔

您是希望从实验中获得更多收益的人吗？

我们今天的客人多年来一直这样做，可以帮助您开始自己的实验之旅。 此外，他对如何确保您的实验为您提供正确的投资回报率提出了一些很好的建议。

一旦你弄清楚了所有这些，你就会想要跟踪所有的学习，这样你就可以在你的公司中应用它们。 我们的专家有很多关于如何做到这一点的建议。

让我们潜入水中。

鲁本，介绍一下你自己。 是什么启发了您进入测试和优化领域？

2009 年，我帮助了一家公司，该公司通过提高社交技能来教会人们变得更快乐、更自信。 那时，我真的意识到通过自己喜欢做的​​事情来支持和激励他人的重要性。 我也对这个问题着迷：

如果我们可以在线下改变人们的行为，我们如何在线上做到这一点？

我就是这样开始研究人类行为和心理学的。 数据一直是我的事。 我喜欢在数据中寻找模式和解决方案（在学校，我在数据主题上的表现比其他任何主题都要好）。

我喜欢优化和获得结果。 不仅在我的工作中，而且在我的个人生活中。

这种兴趣和激情的结合自然促使我从事测试和优化工作。

你优化了多少年了？ 您向有抱负的测试人员和优化人员推荐的一种资源是什么？

2009 年，我开始优化网站并分析业务和在线数据。 直到 2011 年，我才进行了第一次 A/B 测试。 当然，从转化率优化开始，我犯了所有可能犯的错误。

我的第一资源是会见该领域的其他专家。 分享想法和经验，互相学习。 在活动中，不仅要从演讲者那里获得想法，还要从观众中获得想法。 通过互相帮助和共同学习，我们可以将自己和我们的工作提升到一个新的水平。

用 5 个字或更少的词回答：对你来说优化的学科是什么？

持续改进的心态、学习和实验。

人们在开始优化之前必须了解的三件事是什么？

首先，正确掌握基础知识。 专家通常会根据常见做法进行实验。 然而，这些做法已经在不同的网站上进行了测试（如果完全测试的话），可能根本不适用于您的网站或（数字）产品。

从您的数据、用户和科学研究中获取您的测试想法。 当你完成一个实验时，想想你学到了什么，以及基于这些学习你能想出什么新的测试想法。 这些资源将帮助您制定可靠的测试想法，并更有可能找到成功的变化。

我看到许多专家出错的另一个基本程序是统计数据。 对于每个实验，做你的预测试分析。 计算最小样本量和测试持续时间，只有在达到这些值后才停止测试。

如果您在预测试计算中发现 A/B 测试的流量不足，请寻找其他方法来验证您的测试想法，例如通过可用性测试。

其次，过程是关键。 如果没有适当的流程，您将不会成功。 要优化您的流程，您必须了解实验的投资回报 (ROI)：

ROI =（数量 * 质量）/成本

数量是您运行的实验数。 质量是每个获胜者的获胜率和价值。 成本是时间和金钱，所以你的效率。

有了正确的流程（包括跟踪您的流程、进度和洞察力的工具！），您可以优化您的投资回报率和实验成功率。

第三，要明白你的工作不仅仅是运行 A/B 测试。 你的大部分工作应该专门用于变更管理。 要蓬勃发展并朝着实验文化努力，A/B 测试是不够的。 您需要改变整个组织的文化、思维方式和工作方式。 首先让人们参与进来，尤其是高层管理人员。

您如何处理定性和定量数据，以便它可以告诉您一个公正的故事？

简而言之：

第一步是使用各种资源进行深入研究，如网络数据、客户服务、调查、民意调查和科学文章。

该过程的第二步是将您的研究见解转化为可靠的总体假设。 以五到十个假设为目标，这些假设说明了您的（潜在）客户的一些情况，与单个元素或网页无关。

例如：

• 客户觉得我们的产品太贵
• 人们在注册之前需要更多关于我们服务的信息
• 人们成为我们的客户，因为他们需要归属感

然后，您可以根据您的研究，通过几个相关实验来验证这些假设。 这称为荟萃分析。

为什么？ 单个 A/B 测试容易出错。 您的实验可能会导致误报，或者实验获胜的原因可能与您的假设中所述的不同。 通过荟萃分析，我们最接近真相。 因此，我们的见解更可靠，我们创建了更好的后续实验。

基于证据的层次结构，荟萃分析是您可以获得的最高质量的证据。

该过程的最后一步涉及跟踪哪个总体假设有效以及客户旅程中的哪个位置（在哪个页面上），并基于此确定您的测试想法的优先级，以最大限度地提高您的赢率和学习。

您为优化团队设置了什么样的学习计划？ 你为什么采取这种特定的方法？

上面列出的过程将帮助您收集可靠的见解，您和您的组织可以从中真正学到东西。

当你很好地记录这些元分析时（在像 Airtable 这样的工具中），你会更容易看出你的成功之处。 通过使用总体假设和心理方向标记每个实验，您可以获得关于潜在客户需求（和问题）的大量知识，同时还知道客户旅程中的哪些地方可以解决这些问题，以及通过什么类型的实验。

一旦你做了很多实验并开始获得清晰的画面，你就可以分享这些见解，整个组织都可以学习并从中受益。

您希望消失的最烦人的优化神话是什么？

我会提到两个

令人难以置信的提升实验可以完成（通过单个 A/B 测试）。 这主要是一些供应商的责任，因为在他们的案例和登陆页面上，他们以巨大的提升做广告，导致错误的期望。

使用实验来做出更好决策的组织通常是蓬勃发展的组织。 不是那些只关注金钱的人。

第二，一般的名称转换率优化。 它给人的印象是错误的，并且对于实验专家可以完成的事情来说太狭窄了。

希望我们对 Ruben 的采访将有助于指导您的实验策略朝着正确的方向发展！ 什么建议最能引起你的共鸣？

请务必继续关注我们与 CRO 专家的下一次采访，他将带领我们了解更高级的策略！ 如果您还没有，请查看我们对Gursimran Gujral 、 Haley Carpenter 、 Rishi Rawat 、 Sina Fak 、 Eden Bidani 、 Jakub Linowski 、 Shiva Manjunath 、 Andra Baragan的采访，以及我们对Rich Page的最新采访。