如何处理定性数据和定量数据以赢得 A/B 测试？

如果我们将其分解为核心概念，CRO 不是关于转化，而是更多地了解您的受众以及他们如何与您的网站互动。

您越了解他们、他们想要什么以及他们在您的网站上的行为方式，您就可以提供更好的客户体验和优惠。

这意味着我们作为测试人员的主要目标是找出尽可能多的信息。 我们拥有的数据越多，我们就可以更好地计划测试并尝试看到结果的提升。

问题？

我们并不总是擅长收集或理解这些数据。 也许我们不知道要使用的工具、查找信息的过程，或者我们没有分析和获得准确的见解，要么是缺乏经验，要么更糟糕的是，增加了我们自己的偏见，从而破坏了结果。

这就是我们将在今天的指南中介绍的内容：如何收集有关您的受众的信息、理解并使用它。 我们甚至会深入研究其他测试人员及其流程，以便您为新测试收集更多想法和见解。

继续阅读以了解更多信息，或单击此处了解“如何使用数据来推动成功的 A/B 测试”。

在测试和查找您的网站或应用程序的信息时，我们要查看两种类型的数据。

定量数据分析的例子可以是：

• 测量页面流量
• 该流量的跳出率
• 点击率
• 订户率
• 销售率
• 平均销售价值。

大多数测试程序都将从技术分析开始，以获取有关网站上运行或损坏的数据的数据，然后进行定量分析以获取网站当前性能的基线，然后再进行定性分析。

定性数据的例子是

• 用户研究
• 滚动地图
• 点击跟踪
• 热图
• 调查。

目标是更好地了解受众及其互动方式，以便我们发现网站使用的潜在问题，或了解可能影响他们在网站上的行为的任何外部问题。

例如，虽然我们知道 CTA 没有获得很多点击，但只有通过客户访谈，我们才发现语言不清晰或无法引起观众的共鸣。

在 A/B 测试中使用数据的正确方法是什么？

虽然看起来我们只是在跟踪特定的转化事件或监控用户行为，但我们的目标是结合定量和定性数据。 也许是为了发现技术故障或常见问题，但理想情况下，我们将它们结合起来，以便我们可以自我教育并更全面地了解我们的受众。

我们也不只是想要即时信息。 我们想找出事情发生的原因，然后更进一步找到根本原因。

假设我们进行定量研究，我们发现页面上的转化率很低。 报价或产品是否只是不想要的？ 还是我们需要改进流程？

然后，我们在登录页面上运行热图，发现大多数观众没有点击特定的 CTA，因此我们可以假设原因。 可能语言不清楚？

但是在更深入的检查中，我们发现对于某些设备，它只是在屏幕外，而在其他设备上，它甚至不够突出，甚至无法清楚地表明它是一个需要按下的按钮。

• 如果我们只看定性数据，那么我们只会认为这是一个低点击率。
• 如果我们只看定性数据，那么我们可能会假设人们只是没有点击。

但是通过将它们结合起来，我们可以看得更深。 （这就是我们在 A/B 测试中真正理解数据的方式。）

古老的成语是正确的，即“得到衡量的东西得到管理”。 当然，关键是确保我们不会根据有限或有缺陷的数据集做出决策，因此始终查看多个数据源。

学会放慢脚步，问为什么，让数据沉入其中，这将帮助你成为一个更好的测试者和问题解决者。

与其试图立即找到答案，不如问问自己是否有足够的信息：

• 您的用户是否有易于修复的问题（按钮损坏或 CTA 较弱），或者是否还有更多可以改进的地方？
• 您是否有影响您最初想法的固有偏见或以前的经验？
• 你能先了解更多关于你的观众的信息吗？

如果通过深入研究这个 CTA 和布局问题，您会发现您的大多数受众使用具有不同屏幕分辨率和加载速度的过时移动设备？ 可能是他们缺少您的大部分内容和互动，而不仅仅是您的 CTA 和销售页面。 甚至您的社交媒体和博客内容也可能受到影响！

再深入一点。 为什么他们有这些设备？ 他们买不起更昂贵的设备吗？ 对他们来说不重要吗？ 如果不是，那是什么？

不要只是试图根据你目前所拥有的做出所有决定。 花点时间，思考并深入研究你得到的任何结果。 找出原因。

收集和分析数据时要避免的大错误

现在，如果您是那种试图从他们的初始研究中立即获得洞察力的测试人员，请不要担心，因为您并不孤单。

这只是大多数人在尝试收集或理解他们的数据时反复出现的几个问题之一……

问题 #1：收集数据以证明观点

您是否正在使用数据来寻找新的见解？ 还是您正在使用数据来验证当前的想法？

可以使用数据来验证一个想法。 这就是假设的目标。 我们知道出了什么问题以及如何解决它，因此我们尝试通过测试及其结果来证明这一点。

但不要忘记科学方法！ 我们不能执着于我们的想法和意见。 我们需要相信数据并找到真正的原因。 这就是我们所关心的。 假设“错误”是可以的。 从失败的测试中找出不同的见解只会让您更多地了解您的受众！

小心数据告诉你一件事，但你歪曲它试图证明别的东西。

问题 #2：在没有明确阐明问题的情况下支持分析

测试（甚至大多数企业）中的一个常见问题是分析数据的人并不总是分析师。

相反，分析师被用作将信息提取到报告中的媒介，以供试图解决问题的第三方使用。 （它们几乎变成了美化的仪表板。）

这是一个例子：

• 你的老板有一个目标和一个问题。
• 他们对解决方案和原因有一个粗略的了解，因此向分析师询问有关 XYZ 的数据，但没有上下文。 他们试图弄清楚这个问题和解决方案是否可行。
• 通常，来回请求更多数据。 这个请求要么错误地支持了这个想法，要么没有发生进一步的理解。
• 因此提出了新的测试或想法，但问题仍未解决。

不太好，对吧？

但是想象一下，如果老板带着特定问题的背景来找分析师，他们一起努力阐明问题并找到根本原因？

这既可以快速跟踪理解，也可以通过新的测试来解决它。

问题#3：依赖单一数据源而不让自己沉浸在不同的观点中

我们之前暗示过这一点，但不要只坚持单一的数据源非常重要，因为您严重限制了您的理解和潜在的测试解决方案和想法。

你拥有的资源越多，你就越能描绘出正在发生的事情和原因。

是的，这需要时间，但转化率优化就是要了解受众。 尽可能多地完成工作并学习。

你知道的越多越好！

通过 GIPHY

问题#4：不优先考虑批判性思维作为一种技能

我们的大脑很奇怪。 我们在一个由基本冲动、情绪驱动和以前的经验组成的系统上运作。 目标是在不浪费太多精力的情况下让我们保持活力、生育和做出决定。

知道这一点后，测试人员（以及任何企业主）了解批判性思维和认知偏差的过程以及它们如何影响我们的理解和决策总是很明智的……

什么是批判性思维？

批判性思维是分析事实和数据以形成不带偏见的判断的能力。

我们的决策涉及数百种不同的事情，其中​​之一是基于以前的生活经历或情况的决策偏见。 我们称这些认知偏差。

那些练习批判性思维的人明白这一点，因此他们使用特定的过程来帮助他们做出公正的判断：

• 鉴定。 找出问题所在。
• 收集数据。 确保使用多个来源。 确保不要在来源选择中添加偏见。
• 分析。 你能相信这些来源吗？ 他们可靠吗？ 数据集是否足够大以至于真实？
• 解释+推理。 您可以从这些数据中看到哪些模式？ 到目前为止它告诉你什么？ 最重要的是什么？ 你看到因果关系还是相关性？
• 解释。 你认为为什么会这样？
• 自我调节。 您是否有任何认知偏差影响这种分析和检验假设？ 你在做不正确的假设吗？ 通过他们确定。
• 思想开放，解决问题。 以您目前的理解，您如何解决这个问题？ 您需要先了解更多信息吗？

如您所见，有一个分析这些信息的过程非常重要。 即便如此，您也应该关注任何可能影响您如何做出决策和分析这些数据的潜意识偏见。

什么是认知偏差？

认知偏差是我们大脑通过使用模式识别来节省决策能量的作弊代码。 当然，问题是我们的偏见并不总是正确的，它们会积极或消极地影响我们的决定和行动。 Ik 这在测试时尤其明显。

这里有些例子：

• 行动偏差：即使数据表明无法改进，也愿意采取行动的倾向？
• 锚定偏差：根据先前获得的信息做出决策的倾向。
• 权威偏见：倾向于高度重视权威职位的意见。

你能看到这些如何影响你的数据分析和测试想法吗？

这些内容太多了，我无法在这里介绍（有些人估计总共大约 150 个）。 我强烈建议您制作自己的清单。 然后，您可以尝试建立一个批判性思维过程来分析我们之前描述的数据，并“检查”任何可能影响您分析的潜在偏见。

问题#5：以相关为因果

这几乎与认知偏差有关，因为我们看到数据中可能存在的模式，但可能不是结果的原因。

它们只是作为副产品或简单的巧合经常一起出现。

例如，大多数冲浪者不会在上午工作，而是会冲浪。 （这是您拥有最适合海浪的海上风的时候）。

对于在海滩上观看的人来说，你会假设这些人可能没有工作或请病假。 然而，在海洋中进行了多次对话之后，很明显，几乎每个冲浪的人都是为自己工作的，因此可以选择他们的时间。

现在他们中的一些人开始冲浪，因为他们有这种灵活性和空闲时间（相关性），但其他人选择了他们可以拥有这种灵活性的职业，以便他们可以去冲浪（因果关系）。

很酷，对吧？

但事实是，即使在最初的研究和“访谈”之后，很容易得到对数据集的不准确视图。 请务必以开放的心态查看您的数据，并深入研究以找到真正的原因。

收集定性和定量数据的不同方法

我们可以用什么来收集这些数据？

对于定量数据收集，我们通常关注两种类型的工具：

• 用于获取当前结果的分析工具，例如 Google Analytics 或第三方提供商。
• A/B 测试工具，例如 Convert Experiences，因此您可以测量变体和控件之间的性能数值变化。

这两个都会给我们原始的数字数据。

（在此处查看我们对 A/B 测试工具的比较指南，以便了解哪种最适合您。）

对于定性研究，我们正在寻找更广泛的选择，因为我们正在测试多种不同的元素：

• 热图
• 点击跟踪
• 眼动追踪
• 用户录音
• 现场调查，以及
• 直接客户调查。

由于其硬件要求，眼动追踪往往是成本最高的工具。 有一些软件可供内部安装和使用，而另一种选择是聘请外部公司设置眼动追踪眼镜或摄像头来检查眼球运动和感兴趣的位置。

对于热图、点击跟踪、基本用户记录和调查，您可以使用结合所有这些功能的低成本工具，如 Hotjar。 它可以帮助您发现常见问题并获得几乎立即的洞察力，而无需获得第 3 方的帮助，并且*几乎*执行与眼动追踪类似的功能。

最后，您还可以将用户记录更进一步，聘请代理机构来引入独立用户使用您的网页，让他们执行设定的任务，然后记录他们的交互并将信息传递给您。

边注：

虽然我们没有在定量工具部分列出这些，但有时定性工具可用于定量数据采集的重叠。

您可以使用调查工具并测量 X 名参与者的回复，以获得他们对销售文案的想法以及他们认为自己会如何回应的数值。

但是……这仍然是主观的，因为人们所说的并不总是他们所做的。

衡量他们对某项行动的反馈（他们所说的话）然后衡量实际行动响应（他们采取的行动）总是一个好主意。 有时，这可以让您更深入地了解要提供什么以及如何构建它。

实验专家如何处理定性和定量数据？

想知道专业人士如何收集和使用数据？ 作为“像 CRO 专业人士一样思考”系列的一部分，我们最近采访了 7 位 CRO 专业人士。

我不会破坏他们的采访，因为我强烈建议您阅读它们，但是，我已经提取了一些有趣的花絮，关于他们如何看待下面的数据，以及我对他们方法的看法……

Gursimran Gurjal – OptiPhoenix

定量数据通常有助于发现基本的转化漏洞，以了解用户在哪里下降、不同渠道的表现如何、来自不同设备的 CR、用户在哪里退出网站等，而定性数据有助于我们发现用户下降或采取某种行动的原因的细节.

将“Where+Why”与实验相结合，描绘了用户行为的完整图景。

研究定性数据（如热图、会话记录、调查结果或进行可用性测试）需要更多时间来制作具有统计意义的模式，而定量数据更容易分析。当您想要收集更详细和更有意义的见解时，这很重要不仅仅依靠 GA 或 Hotjar 来收集数据，而是推送您自己的自定义事件以使数据更有意义，例如为在结帐过程中出现错误的所有用户标记记录，将事件发送到 GA 用于哪个过滤器或排序选项使用最多，等等，因此您可以充分利用可用的数据。

添加自定义标签以获取数据直通线是一个绝妙的主意。 这样，您不仅可以看到问题及其导致的位置，还可以看到它的起源和流量来源。

Haley Carpenter，高级 CRO 战略专家

不断提醒自己，我们都有偏见。 知道尽可能如实和准确地报告是您的工作。 诚信是高举的关键价值。

此外，如果您不确定某事，请仔细检查您的工作或让其他人对其进行审核。 有时，第二双眼睛会非常有益，尤其是当您盯着某物看几个小时、几天或几周时。

我曾经参加过人类学课程，我们必须转录录音。 教授强调，最重要的是要让说话者真实地转录。 我们甚至连删减一个两个字母的单词或纠正一个小的语法错误都不会做。

直到今天，我一直在学习这一课，并将其应用于数据分析……尤其是用户测试记录。 尽可能让您的分析与原始数据保持一致，这一点很重要

多方关注研究和结果是不错过任何问题、消除潜在偏见并获得不同观点的好方法。 这通常会导致单个测试人员错过的洞察力。

Rishi Rawat – 无摩擦商业

我对定量数据的看法：

数据就是数据。 不要眯着眼睛去理解它。 不要在情感上与之挂钩。 在数据收集开始之前陈述你的假设。 如果数据反驳了你的直觉，重新设计一个新的测试并启动它。 数据就是数据。 尊重它。

我对定性数据的看法：

我们对这个话题有争议。 我们不相信最终用户研究，也就是说，我不与购买产品的人交谈。 并不是说我认为这类研究不重要，而是； 只是很贵。 我更喜欢从我正在开发的产品的创始人或发明者那里获得我所有的定性数据。

最终购买者的用户体验只是在那一刻进行的一次购买的快照，发明者对整个旅程都有背景。 我想从创始人那里得到我的量化“感觉”。创始人/发明者拥有如此多的机构知识，会让你头晕目眩。 只是他们已经在“中间”太久了，他们不知道从哪里开始。 这就是优化器的提问技巧发挥作用的地方。 优化器帮助创建者获得外部视图。 我非常看重这种类型的定性数据

现在，这是一个有趣的想法……

在 CRO 中，我们倾向于关注用户以了解客户旅程。 问题是客户有时不知道哪里出了问题或如何表达。

然而，同样地，企业主可以从里到外了解产品，但不善于沟通。 对他们来说，这很明显，因为他们拥有所有的经验，但对客户来说，这个信息可能会遗漏一些东西。 在理想的世界中，如果您正在为另一家公司进行测试，您希望同时与观众和所有者交谈。

如果您在时间或资源上遇到困难，请与企业主交谈。 就像 Rishi 说的那样，他们通常拥有所有可以提取的洞察力。 作为测试人员，我们的工作就是找出缺失的地方以及它如何与客户建立联系。

Sina Fak – 转换倡导者

现实情况是，所有数据都内置了偏见。

从数据的收集方式，到用于分析的样本数据，再到审查数据和运行分析的人员——都存在我们无法完全控制的偏见因素。

单独的数据不会给你完整的故事。 它只会为您提供了解部分故事并得出见解的起点。 以讲述公正故事的方式处理数据的唯一方法是对其进行测试并对其进行实验

这与我们之前所说的有关。

每个测试和研究都有偏见。 我们可以尝试通过批判性思维和分析过程来否定其中的一些，但它仍然可以潜入。

测试这个想法，找出并测试更多。 不要忘记科学的方法。 我们也可以“向前失败”并找到我们正在寻找的答案。

雅库布·林诺夫斯基 – GoodUI

一般来说，我们拥有的一致措施越多，我们的实验就越可靠和值得信赖。

在比较 A/B 测试结果时，我们可以采用以下几种方法：

● 比较同一实验中的多个指标（例如，添加到购物车、销售、收入、退货购买等方面的效果一致性）

● 比较不同实验的历史数据（例如，在 2 个不同网站上运行的两个独立实验之间的效果一致性

不要忘记 Quant 和 Qual 数据分析在 POST TEST 中与在我们最初的计划中一样重要。

有一个流程来检查潜在问题和“aha moment”的位置可以比最初的一瞥产生更好的结果。

（有时数据就在那里，我们错过了它。）

Eden Bidani - 绿灯副本

我尝试尽可能多地在我面前并排处理两种类型的数据。 对我来说，这有助于平衡整体情况。

质量数据为量化提供了深度和意义，量化数据提供了关于质量数据的哪些元素应该被赋予更多的总体方向。

将两个数据集放在一起以便您可以比较和对比是分析和了解正在发生的事情的最佳方式。

这与我们之前所说的使用单一数据集来查找问题和解决方案有关。 如果我们只有一个，那么我们会得出不同的结论。 使用两者来尝试找到这种相关性。

Shiva Manjunath – Speero

我尝试进行 Quant + Qual 分析的方式就像警察审讯一样。 有一个动机或假设，但你不能假设你带去审问的人是无辜的还是有罪的。 被带入的人（实验数据）被假定为无罪，您的工作是证明他们有罪，排除合理怀疑（统计意义）。

因此，您可以自己查看数据，采访其他人（定性数据），还可以查看银行对账单或查看某人何时上班/下班的日志，以查看他们的不在场证明是否检查出来（定量数据）。

也许不是最好的例子，但你必须始终客观地对待它。 并证实数据源（例如带有定量数据的网站上带有民意调查的热图）以提出一个故事，看看它是否支持或不支持该假设。 严格统计，显然是y！

我喜欢这个类比，它让我想起了福尔摩斯，并直接与测试联系在一起。

我还没有数据。 （或不够）。 在没有数据之前进行理论化是一个大错误。 不知不觉中，人们开始扭曲事实以适应理论，而不是扭曲理论以适应事实。

作为实验者，我们需要消除所有偏见。 要么经验丰富，要么仅仅因为我们提出了这个假设。 相反，我们需要公平对待结果并找出真相。

我们的目标不是正确的。 这是为了找到有效的方法，以便我们可以在此基础上进行构建！

使用数据设计获胜测试的最佳方式是什么？

如果您已经进行了一段时间的测试，那么您就会知道大多数测试不会创造出赢家。 事实上，只有大约 3/10 会获胜，而其他人则被视为失败。

赢或失败的术语虽然不是很好。 是的，测试没有提供提升，但它确实为我们提供了数据，我们可以使用这些数据来改进并找出原因。

记住：

我们不专注于单一测试。 即使它赢了，我们仍然使用迭代的学习和改进过程。 我们再次测试、学习、假设和测试。

这有助于我们创建新数据的反馈循环，以支持或反驳想法。

• 我们测试和失败，但我们学习。
• 我们接受这些学习并对其进行测试，直到我们获胜并取得进步。
• 然后我们继续测试，直到达到局部最大值并且无法进一步改进。

不要专注于试图立即获得胜利。 这是声称 CRO 不适合您的捷径。 相反，将数据转化为洞察力并每次都了解更多。

您可能接近赢家，但它只需要更好的执行。

或者你可能接近一个可以从根本上改变你的整个消息传递的时刻。 坚持下去，并在每次测试中不断学习！

将该反馈循环构建到您的数据处理和测试过程中。

但最重要的是？ 确保您可以访问和理解您正在收集的数据，您正在正确使用该数据并且您可以信任它！...

如何提高组织中的数据可访问性

有数据可以处理一切都很好，但如果你不能访问它来学习它是没有用的！

一些公司通常只能通过他们的数据科学家访问他们的数据，从而在他们的数据流中遇到瓶颈。 如果您需要这些信息，那么您要么需要访问权限，要么直接与他们合作，从而导致问题。

克服这个问题的一个好方法是使数据访问民主化：

• 允许需要它的团队访问传统单一角色工具（GA 等）的数据，
• 考虑使用具有数据报告功能的自助服务工具，供整个团队使用，
• 构建数据结果的集中学习存储库。 这允许整个组织获得数据洞察力，而不仅仅是直接测试团队。

为什么要关心数据访问？

因为对数据的访问增加了可以做出的可能影响您的业务投资回报率的决策的数量。

诀窍当然是确保一旦您有权访问，您就可以找到您想要的……

如何通过收集可信数据来提高数据可用性

数据可用性是指使用数据回答问题的难易程度。

如果我们从概述中看，您的数据目标应该是：

• 寻找影响业务投资回报率的洞察力。 没有它，它只是没有目标的信息数据。
• 快速找到它们，而不必费力地获取信息。
• 并利用这些洞察力做出快速且值得信赖的决策。 要么是因为数据是可信的，要么是因为您了解并且没有操纵结果或被误报。

您可以猜到，这里可能存在一些问题，具体取决于您现有的系统和流程。

我们已经讨论了能够访问该信息的重要性以及拥有具有自助服务功能的工具或流程在公司范围内打开数据报告的好处。

但是现在我们可以访问这些数据，我们需要确保我们既能找到我们想要的信息，又能信任它。

理想情况下，您需要主动运行流程来组织数据集：

• 使最重要的指标易于查找。
• 使用参考模型和目标来查找传统工具可能无法跟踪的特定数据集。
• 确保数据源之间的同步，以便更新和编辑以及新信息不会丢失。
• 并允许您的数据科学团队处理您的大数据，以便您可以轻松找到所有这些信息并信任它！

一旦你为你的数据记住了这个最终目标，就可以更容易地为新的数据集提前建立准备过程。（当你知道你想成为的时候，记住提前标记特定的动作会容易得多以后可以找到它们）。

如何进行无偏见的数据分析以生成为假设提供信息的见解

那么我们如何使用这些数据来获得洞察力和想法呢？

好吧，剧透警报，到目前为止，我们实际上一直在通过本指南介绍这一点。

• 旨在使用多个数据源来获得更广阔的视野。
• 尝试使用公正的流程来收集这些数据。 如果可能，不要限制特定的人口统计数据或设备。
• 使用批判性思维来评估信息。
• 查看认知偏差以及它们如何影响您的分析。
• 请务必调查组合的每个数据源。 （技术、定量和定性结合在一起）。

允许从测试中学习以激发更多测试

您应该将您的测试视为进一步改进的反馈循环。 这可以在您当前的测试中不断改进并获得更多提升，或者您甚至可以将其应用于旧测试，您的新见解可以进一步提供帮助。

无论哪种方式，目标都应该是测试、学习、改进和重复，直到你无法再获得提升。

但是……我们实际上如何从这些测试结果中学习？

好消息是，我们编写了一个从 A/B 测试结果中学习的 7 步指南，您可以在此处查看。

如果您现在没有时间，那么这里有一个快速回顾：

• 首先确保您可以信任您的结果。 它们准确吗？ 它们很重要吗？ 你对他们有信心吗？ 测试运行的时间是否足够长？ 是否有任何外部因素影响他们？
• 去微观和宏观。 仅仅因为测试获胜或失败，您就需要了解它如何影响您的护栏指标。 具有讽刺意味的是，如果它吸引了错误的受众，点击率的提升可能意味着销售额的下降。 同样，点击率下降可能会提高销售额，因为它现在可能只吸引最好的受众。 因此，请检查您的指标，而不仅仅是您的测试结果。
• 更深入地细分您的结果。 并非每个受众、流量渠道和设备都会执行相同的操作。 某些频道可能已损坏。 然后，由于您没有详细的图片，因此这可能会使结果看起来好或坏。 （这还可以让您深入了解最适合某些渠道的变体，帮助您细分投放以获得更高的提升）。
• 检查性能和用户行为。 仅仅因为我们之前进行了定性和定量数据分析，并不意味着您应该在测试后跳过它。 事实上，这是了解发生的事情以及如何获得这些结果的最佳方式。
• 从失败中吸取教训。 什么地方出了错？ 你怎么能解决这个问题？
• 向获奖者学习并进一步改进。 你有一个新的啊哈时刻吗？ Do you have more ideas of how to improve the page again after the QA and Qual analysis? Keep pushing for more lift!
• Don't forget what you did! Get in the habit of creating and using a learning repository. This way you can see past tests, learn from them, train new staff and even go back and apply new insights to old ideas.

结论

所以你有它。 Our entire guide to using technical, quantitative, and qualitative data to create winning tests.

It doesn't matter if it's A/B, split URL, or multivariate testing. You can use this same methodology to learn more from every test you run, so go ahead. Run those tests, learn from those mistakes, analyze that data and then let us know how much lift you got!