如何提高测试速度？ 为什么需要高速程序？
已发表: 2019-05-22
通常，如果您每月运行 4 次 CRO 测试（即每周一次测试），并且如果 10% 的测试获胜，那么您正在运行一个很好的优化程序。 这是一个不错的测试能力和不错的胜率。
更好的是，如果您为获胜的测试提供了良好的提升，并且您的程序的性能会随着时间的推移而不断提高。
但是大多数优化程序运行得并不好。
事实上，只有 22% 的公司对他们的 CRO 工作感到满意。
这意味着，高达 78% 的公司可以优化他们的优化程序。
但是怎么...
是什么扼杀了大多数转换优化程序
大多数优化程序的问题在于它们不是为长期成功而设计的。 相反，它们在逐个测试的基础上茁壮成长。
此类程序大多仅与它们运行的最后一次测试一样有效（或不有效）。
运行它们的公司将实验的实施视为胜利。 他们短视的观点使他们无法开发基础设施来支持一致的质量测试计划。
虽然对于任何实验来说，好的执行都是必须的，但即使是糟糕的实验也可以很好地执行。
但是当这种情况发生时，没有人会赢。
只关注执行，而没有在构思、假设和记录/学习等步骤上花费足够的时间和精力——这些实际上决定了实验的质量——通常只会导致短期的成功，如果有的话。
那么让我们看看如何提高测试速度并运行一个好的优化程序。 如果您已经在运行一个，您可以使用这些提示来进一步提高您的赢率和整体程序性能。
开始。
如何产生更多的想法来测试
要每月运行（至少）4 次测试，您需要一个充满测试想法的管道。 没有“创意库”，您就无法支持良好且一致的测试速度。
尽管如此，在大多数 CRO 项目中，当团队中的某个人有某种 CRO 测试顿悟时，就会计划进行测试。
理想情况下，您应该不断地将质量测试想法引入您的实验计划。 这些测试思路可以来自：
- 深入挖掘您的 CRO 工具生成的海量数据。 发现测试想法的最佳方法是深入挖掘您的数据。 您的分析解决方案（例如 Google Analytics、Kissmetrics、Mixpanel 等）是查找您流失人数最多或参与率低的页面的绝佳来源。 Hotjar、Clicktale 和 Decibel 等工具会向您展示您的用户在您的网站上所做的事情，并可以帮助您确定真正的转化热点。 然后是 UserTesting、UsabilityHub 和 Usabilla 等解决方案，可以让您收集大量定性反馈，这些反馈可以转化为一些关键的测试机会。 虽然审查如此多的数据孤岛具有挑战性，但这些都是真正成功的测试想法的来源。
- 运行手动 CRO 审计。 为 CRO 审核您的网站会发现一些最有价值的测试优化差距。 运行 CRO 审计会迫使您系统地查看您网站（及其他）的各个方面，并查看您可能在哪里亏损。
- 使用诸如 Stuck Score 之类的评估来发现您网站上的“转换障碍”。 您还可以使用诸如 Stuck Score 之类的评估来发现您网站上的转换问题并提供出色的测试想法。 这些工具很智能，可以准确地发现整个网站的测试机会。
一旦你开始利用这些资源，你应该能够产生一致的想法流。
但是产生质量测试的想法只是这个问题的一个方面。 另一个是在考虑的想法上缺乏沟通和协作。 这可能看起来微不足道（因为毕竟，您只需要数据，对吗？），但这些问题会深深地影响您的员工，并且可能会扭曲您的实验文化。
例如，以 Google 尝试的著名的 41 种蓝色实验为例。 谷歌的实验——尽管它是基于数据的——仍然因采用工程师主导的方法而受到批评。 以下是曾担任 Google 内部设计师的 Douglas Bowman 对 Google 如何处理其实验的感受：“是的，Google 的一个团队确实无法在两种蓝色之间做出决定，因此他们正在测试每种蓝色之间的 41 种色调看看哪个表现更好。 我最近就边框应该是 3、4 还是 5 像素宽进行了辩论，并被要求证明我的情况。 我不能在这样的环境中工作。 我已经厌倦了辩论这种微不足道的设计决策。”
如果不分享您正在考虑的想法并让您的团队参与进来，您就无法建立一个每个人都想参与的包罗万象的实验文化。
使用 Compass 之类的 CRO 工具（来自我们的 Convert Suite），您可以毫不费力地促进这种数据支持的协作构思。 Compass 可让您通过汇集不同的数据源来提出数据支持的测试想法，还可以根据 Stuck Score 的见解提出测试想法。 Compass 甚至可以让您邀请您的团队成员并让他们参与反馈等选项。
形成数据支持的假设和以激光为中心的优先级
一旦你有了你的测试想法，你会发现其中一些是显而易见的。 例如，如果您收到一些用户反馈说您的内容不可读（并且您的目标人群是 40 岁以上的人），那么也许您可以实施增加字体大小或更改其颜色的想法离开。 毕竟，只需更改一点 CSS 代码，只需一分钟即可修复。
您的一些想法看起来很有希望并且似乎完全值得测试，但您仍然需要寻找“足够”的数据点来支持它们[稍后会详细介绍……]。
有些想法你必须放弃，因为它们很模糊，你无法验证它们。 例如，如果您的 CRO 审核显示您的 NPS 分数较低，并且您发现这是转化率低的原因，那么您不可能使用简单的实验来解决它。
其中，实际上可以转化为强有力假设的想法是您真正的测试机会。
但是您需要大量数据来支持您所做的每个假设。 因此，例如，如果您假设优化您的移动着陆页体验会带来更高的转化率，那么您需要大量数据点来支持它。 在这种情况下，以下是您可以使用的一些数据：
- 移动转化率低——通过您的网络分析解决方案（如 Google Analytics）获取数据。
- 移动流量异常高的下降——再次，通过您的网络分析解决方案（如谷歌分析）获得的数据。
- 客户反馈不佳——通过您的用户测试解决方案获得的数据。
正如你所看到的，形成这个假设的数据是相当平衡的，因为你有来自多个数据源的输入。 此外，您拥有定量和定性数据。 理想情况下，你应该找到这样平衡的数据来支持你所有的“值得测试”的想法。
但你还没有完成。
因为在你准备好所有好的假设之后，你需要一种对它们进行评分或优先排序的方法。 这样做会告诉你首先尝试哪个假设——或者根本不尝试。 提示： “让我们测试一个新的网站设计！！！ 这将推动我们的销售。” 通常是一个非常糟糕的假设。
许多因素决定了检验假设的实用性。 此处需要考虑其实施时间和难度以及它可能对转换产生的潜在影响。
但大多数公司缺乏这方面的优先排序模型。 这通常会导致启动一项雄心勃勃的测试，例如，使用整个月的 CRO 带宽的重大设计大修。 这意味着您不能再计划或运行测试，至少在一个月内是这样。 最糟糕的是，即使如此雄心勃勃的测试也不能保证任何显着的结果。
为避免这种情况，您可以使用 CXL 的 PXL 优先级框架。 该框架迫使您在非常细化的层面进行思考，例如更好地理解提议的变更、评估它如何解决研究期间发现的问题、其潜在影响以及实施工作。
您还可以查看 PIE 和 ICE 评分框架来确定您的假设的优先级。
确定假设优先级的更明智的方法是使用 CRO 工具，该工具可以告诉您实验的资源和时间密集程度。 例如，Compass 为您的所有假设提供了良好的估计。
从 A/B 测试中学习
测试可能是不确定的。
对于大多数转化率优化程序，只有 20% 的测试达到统计显着性。
所以所有的学习都需要回到测试组合中，并被用来提出更好、更精致的想法和假设。
不仅如此，当挑战者版本获胜但收入下降时，获胜的实验实际上也可能是失败者。
此外，如果一个假设是一个非常强大且有数据支持的假设，通常会为其创建大约 3-4 个后续实验（即使最初的实验赢了！）。
这意味着，仅仅解释和记录你的实验结果是不够的。 要计划有意义的迭代测试，您需要在每次运行时记录整个实验过程。
通过记录其观察和学习，LinkedIn 能够跟进一个失败的实验，该实验实际上是正在测试的关键功能的赢家。 这是完整的独家新闻：
2013 年，LinkedIn Search 启动了一项重大实验，发布了升级后的统一搜索功能。 基本上，LinkedIn 搜索“足够聪明”，可以自动找出查询意图，而无需使用“人员”、“工作”或“公司”等限定词。 搜索登陆页面在此版本中进行了彻底改造——从导航栏到按钮和片段的所有内容都重做了，因此用户看到了很多很多的变化。
但实验失败了，LinkedIn 惊讶地看到它的关键指标坦克。
团队现在决定通过一次回溯一个更改来回滚到原始设计，以便它可以识别出没有很好地被用户接受的那个。 在这个耗时的回滚过程中，LinkedIn 发现人们不喜欢的不是统一搜索，而是一组几个小的变化导致点击量和收入下降。 一旦 LinkedIn 解决了这些问题，统一搜索就显示出积极的用户体验，并面向所有人发布。
因此，无论是简单的 A/B 测试还是复杂的多变量测试，您启动的任何实验都应详细记录。 它的学习成果也需要记录在案。 通过这样做，您可以确保您未来（或后续）的实验实际上比您之前的实验更好。
使用 Convert Compass 之类的 CRO 工具，您可以建立关于您的想法、观察、假设和学习的知识库，以便您的整个团队可以一起学习和成长。 不仅如此，Compass 甚至可以使用您的学习来提出您可以尝试的假设。
把它包起来……
通过优化 CRO 计划的构思、假设和学习部分，您可以显着提高实验质量。 通过在这些方面与您的所有员工合作和互动，您可以建立和促进一种包罗万象的实验文化。
您可能会发现在构思时很难将所有数据汇集在一起，或者在假设（和优先级排序）时遇到数据不堪重负，甚至在为后续实验记录或使用学习成果时遇到困难，但这些将帮助您增加测试速度并为您的长期 CRO 成功奠定基础。
如果您更愿意使用为您完成所有这些繁重工作的 CRO 工具，请在下方注册。
Compass 帮助您进行数据支持的构想（通过将来自不同数据孤岛的所有数据汇集在一起，并结合来自 Stuck Score 的输入建议首先尝试的想法）、有意义的优先级划分（通过告诉您实验的难度、容易程度或影响力） )，以及你的学习记录（通过将你所有的想法、数据研究、观察、结果、学习等集中在一个地方！）。
