测试思维导图系列：如何像 CRO 专业人士一样思考（第 22 部分）

采访尼尔斯·科佩尔曼

Nils Koppelmann 热衷于倡导实验和数据驱动决策的好处。 他明白，成功的 A/B 测试不仅仅是找出某件事是否有效，而是找出它为什么有效——他来这里是为了消除关于这种做法的两个常见误解。

A/B 测试会带来风险，小公司无法进行有效测试。 相反，Nils 认为 A/B 测试可以帮助降低风险，因为它可以帮助您了解哪些有效，哪些无效。 虽然小公司的流量可能比大公司少，但他们实际上可以更大胆地进行测试，因为风险较小。

因此，下次当您认为 A/B 测试听起来风险太大或太昂贵时，请阅读 Nils 的采访，了解如何在您的网站上进行有效测试而不引入任何不必要的风险。

尼尔斯，介绍一下你自己。 是什么启发了您进入测试和优化领域？

在过去 8 年多的时间里，我一直在建立网站和在线商店，以帮助大大小小的客户“优化”他们的在线形象。

前段时间，我的想法转向如何确保我们的设计真正产生预期的影响。

大约 3 1/2 年前，当我第一次遇到转化率优化这个术语时，我想知道为什么它不是我们已经关注的东西。 从那时起，我将重点从提供设计和技术转移到提供见解和结果。

优化的世界蕴藏着巨大的潜力，大多数在线公司在很大程度上仍未探索。 我们应该利用大量可用数据并从中学习，以便不断改进。

对我来说最引人注目的事情之一就是再次学习是多么有趣。 我从来没有想过我会自愿打开一本关于统计的书（向 Georgi Georgiev 和他的伟大著作《在线 A/B 测试的统计方法》致敬）并真正阅读它。 这和许多其他方面不断激励我通过测试来学习。

你优化了多少年了？

优化的愿望源于对现状的不满足，对更多的好奇，以及任何事情都可以改进的确定性。

在专业环境中，我已经优化了大约 8 年。 最初，构建和优化辅助项目并帮助公司改进网站和在线商店。 现在，我们正在帮助新成立的公司创建实验文化，并利用实验的力量促进他们的成长。

回想起来，我不记得曾经没有优化过。 小时候，我总是质疑做事的方式。 我记得我父亲说我问了“太多”的问题，回想起来我真的很高兴我做了并且仍然这样做。

即使在我的个人生活中，我也知道我会跟踪和优化我生活的大部分方面。

您向有抱负的测试人员和优化人员推荐的一种资源是什么？

我会向刚开始的人推荐很多资源，但让我们让它更实用一些。

首先，这里有一些建议：

1. 更加好奇，并开始质疑为什么某事会以这种方式完成。 仅此一项，就会开启一个全新的世界观。
2. 花更多的时间思考问题而不是寻找解决方案。 您首先需要真正了解问题，然后解决方案会更容易。
   
   正如阿尔伯特·爱因斯坦所说， “如果我有一个小时来解决一个问题，我会花 55 分钟思考这个问题，然后花 5 分钟思考解决方案。”
   
   也就是说，跳出框框思考很重要，这意味着不仅要在问题的参数范围内思考，还要考虑外部角度和可能性。
   
   关键是要在两者之间找到平衡。
3. 学会提出更好的问题。 这是任何优化器都可以在其武器库中拥有的最有用的工具之一，因为它可以激发并激发好奇心。

此外，我在我的每周实验通讯中分享有趣的文章、资源和工具，该通讯面向实验初学者和老手。

用 5 个字或更少的词回答：对你来说优化的学科是什么？

测试学习。 连续的提高。 实验。 建筑系统。

人们在开始优化之前必须了解的三件事是什么？

先研究，再测试。 在开始优化之前，请确保使用定性和定量数据支持您的假设。 然后基于此创建强有力的假设。

不要只针对短期提升进行优化——虽然对于项目来说，获得积极的投资回报率至关重要，但它不应该只关注这一点，还应该考虑到实验带来的巨大学习机会和风险上限。

优化工作不应该旨在证明您是对还是错，而是要确定原因——无论哪种情况。 如果您不了解如何到达那里以及如何复制到达那里，那么优化任何东西都是没有意义的。 为了在 A/B 测试中取得长期成功，拥有良好的系统至关重要。

您如何处理定性和定量数据，以便它讲述一个公正的故事？

没有无偏见的数据，但为了尽量减少对任何类型数据的偏见，了解数据的收集方式、解释方式以及从中得出的结论非常重要。

要对您所谈论的数据的可靠性进行分类，您应该查看证据层次结构。

我们使用定量数据进行预过滤，然后使用定性数据和科学资源进行更深入的研究，然后再次使用定量数据来证明或反驳最初的假设和假设。

我们最重要的工作是所谓的元分析，它使我们能够在以前的实验中寻找模式，并协调进一步的研究和实验工作。

消除偏见的另一个好方法是在创建实验的人和评估结果的人之间建立脱节。 这最大限度地减少了对实验成功的偏见。

您希望消失的最烦人的优化神话是什么？

我想消除两个神话：

1. 该测试引入了风险，而实际上它在正确完成时会降低风险
2. 小公司无法进行测试，而实际上流量很少的小公司可以更大胆地进行测试，因为相关的风险较小/风险较小。

希望我们对 Nils 的采访将有助于指导您的实验策略朝着正确的方向发展！

什么建议最能引起你的共鸣？

如果您还没有，请查看我们过去对 CRO 传奇人物Gursimran Gujral 、 Haley Carpenter 、 Rishi Rawat 、 Sina Fak 、 Eden Bidani 、 Jakub Linowski 、 Shiva Manjunath 、 Deborah O'Malley 、 Andra Baragan 、 Rich Page 、 Ruben de的采访Boer 、 Abi Hough 、 Alex Birkett 、 John Ostrowski 、 Ryan Levander 、 Ryan Thomas 、 Bhavik Patel 、 Siobhan Solberg 、 Tim Mehta 、 Rommil Santiago ，以及我们最新的Steph Le Prevost 。