复杂的 A/B 测试假设生成:完成显而易见的分步指南

已发表: 2018-12-11
复杂 A/B 测试假设生成

由于涉及大量猜测,人们会认为转化率优化的学科是追逐野鹅!

作为生活和呼吸测试的专业人士,我们确实收到了大量关于在各种网站上“增加点击率、增加收入和增加参与度”的请求。 在大多数情况下,这些请求并没有很多上下文。 '

因为客户通常倾向于认为我们的优化人员有某种神奇的公式可以准确无误地将他们带到大的转换提升。

免责声明:没有神奇的公式。

但是一个久经考验的经验过程,可以将“假设”转化为更多的行动、更多的资金、更多的利润,而且对营销人员和企业来说也只是更多。

这个过程从一个假设开始。

增益寻求者满足假设

剑桥英语词典将假设定义为“基于已知事实但尚未被证明的事物的想法或解释”。

在科学中,假设是一种想法或解释,然后您可以通过研究和实验对其进行检验。 在科学之外,假设也可以是猜测或理论。

侦探可能有关于犯罪的假设,母亲可能有关于谁将果汁洒在地毯上的假设。 任何使用假设这个词的人都在猜测。

然而,有根据的猜测的力量是让 CRO 专业人员经常超出客户期望的原因,而不是那些通过随机测试成功的人,只是在随后的迭代中失败。

与 CRO 中的所有内容一样,假设也有其层次。

从优化开始的企业可能已经非常清楚他们的访问者阻碍了什么。 这个假设被切掉了。 测试的收益是切实可见的。

但是,当您用完所有明显的选项时会发生什么? 您是否放弃优化并依靠增加数千美元的营销支出来实现收入的成比例增长?

没有。 更好没有限制,测试也没有限制。 因此,您深入挖掘并在字里行间阅读。 让我们告诉你如何。

完成显而易见的事情后,如何生成 A/B 测试假设:

1. 获取并吸收客户的商业目标清单——包括短期和长期的

重要的是要记住,并非所有客户都有相同的问题和相同的目标。 最终目标是为他们中的大多数人赚更多的钱,但你不能简单地假设这一点。 停下来,协作和倾听。

您的客户或您自己的业务目标背后的伟大之处在于,在您定义它们之后,您就完成了测量计划的一半。 只要您知道要跟踪的内容,您也将知道如何跟踪它。

我们遇到了一个做得非常好、全面的测量模板,它需要一些时间来填充,但结果值得付出努力。

您可以从 Fresh Egg 复制此文档,并通过添加您的数字和目标来制作您自己的文档。

获取并吸收客户拥有的业务目标列表
资源

2.检查你的数据,然后分析它

通过检查数据是否准确无误开始分析数字。 如果你测量错误的东西,你就无法真正改善一些东西。 使用 Google Analytics 爬虫和检查器确保所有页面上都安装了跟踪代码,删除任何重复数据,添加正确的过滤器并根据每个业务的目标和特殊性使用专用视图。 我们将在以后的文章中更详细地解释这一点,因为它本身就是一个主题。

我们正在使用的一些工具?

http://www.gachecker.com/ - 非常适合发现任何没有跟踪代码的 URL - 适用于 Universal Analytics 和 GTM。

Chrome 的 Tag Assistant – 带上一粒盐,因为那里会有一些非标准配置,您不希望成为一个向您的客户或老板哭泣的人,即实际上没有安装 Analytics。

WASP Inspector – 这绝对为我们节省了事件跟踪和跨域跟踪验证。

我们在分析审计中寻找什么? 基本上是用户行为的模式和异常值。 我们强烈建议您对 Google Analytics(分析)进行彻底的教育,以便您充分利用这一宝贵资源。

提高这些分析技能的两个好地方:

谷歌自己的课程,非常适合初学者。

ConversionXL 的谷歌分析课程——初级、中级和高级。

在初始审核中,您将希望查看每个元素对网站的影响、用户在做什么、他们在哪里下车、网站与某些浏览器、设备、分辨率之间的任何不兼容性,以及任何值得修复的错误。 将所有这些信息放在一起后,您就会知道哪里出了问题,但您还需要找出出现问题的原因,因此请继续进行审计的定性研究部分。

3. 建立定性研究

启动站点民意调查和客户调查。 当您完成完整的分析研究和洞察力生成时,您还将拥有足够量的定性信息来分析您的审计。

您在哪里发起这些网站民意调查? 进行快速漏斗分析并确定下车点。 如果您的 70% 的用户离开产品页面,则可能存在无法说服他们的内容。 有什么比问他们更好的方法呢? 我们典型的网站民意调查如下所示:

建立定性研究

理想情况下,客户调查会在最近的客户收到产品后发送给他们。 尝试将其发送给不超过 30-45 天的客户,因为您希望他们记住他们在网站、购物过程以及实际产品方面的体验。 如果您过早发送调查,您将无法获得有关产品质量或交付的相关信息。 我们问的问题几乎总是:

  • 您能告诉我们关于您自己的哪些信息 -> 很高兴了解他们的年龄、性别、位置等。这将有助于提供更多背景信息并验证您在 Analytics 的人口统计报告中获得的见解。
  • 是什么让您购买我们的产品/成为我们的订阅者/注册? -> 这有助于确定说服用户购买的要点,这样您就可以在与潜在客户的进一步沟通中强调它们。
  • 在购买/订阅/注册之前,您有哪些疑惑和犹豫?
  • 如果您不能再使用我们的产品/服务,您会错过什么?
  • 我们缺少的一件大事是什么?
客户调查

这些问题很好,因为您可以更多地了解您的客户——通过这些调查,我们发现我们客户的大多数用户年龄超过 65 岁,整个沟通和感觉都是围绕着酷、年轻和成功建立的专业人士。

此外,围绕他们喜欢产品的问题将让您了解客户如何看待和使用产品,并提供很好的销售文案指导,因为您现在将拥有自己的文字和表达方式,使您的产品销售文案更多与您的目标受众更相关。

关于他们不喜欢您的产品或购物体验的哪些问题将帮助您解决这些问题并改善用户在您网站上的体验。

询问用户向朋友推荐您的产品/品牌的可能性有多大,这在两个方面提供了价值:您可以量化客户的实际幸福感,如果您的 NPS 分数接近 10(NPS score – 净推荐值,它基本上意味着您的用户推荐您的产品的可能性)。

4. 进行启发式分析

蜜蜂擅长启发式方法。 事实上,当数学家被旅行商问题难住时,蜜蜂提出了一种启发式方法的解决方案。

当我们提到 CRO 领域的启发式研究时,我们指的是网站演练,真的。 启发式研究是基于经验的评估,这意味着您只需将您的经验和理解应用于网站,并定义用户转换或不转换的一些原因。 分析向您显示数字,而启发式分析将向您显示这些数字为何如此。

通过启发式分析发现的任何内容都不应被视为绝对真理,但概述一些需要关注的领域并为测试假设设定方向是非常有用的。

现在,正如您之前可能已经阅读过的那样,在进行启发式分析时需要牢记某些元素。 我们不会过多地坚持它们,但觉得有必要至少在这里列出它们。

  • 关联

进行启发式分析时要记住的第一件事是,您应该从 SERP 或横幅或电子邮件或您用来将用户带到您的网站的任何其他流量媒介开始。 为什么这很重要? 因为相关性与用户对他们将在您的网站上找到的内容的期望有很大关系。 当他们点击链接或横幅时,他们期待某些东西,而您的网站负责提供它。

例如,假设您销售有机棉 T 恤,用户通过 Google 搜索有机地(双关语)找到您。

关联

你可以看到有一些关键词非常突出,比如有机、可持续、舒适、护理。 这些可以突出用户在搜索有机棉 T 恤时正在寻找的一些元素,所以让我们看看我们在第一个结果中发现了什么:

真正脱颖而出的关键词

在 Thought 登陆页面上,我们可以找到更多关于有机棉和可持续服装的参考资料。

您可以根据您认为该着陆页与用户期望和搜索字词的相关程度,在 1 到 5 的范围内对该着陆页进行评分。 我们肯定会给它一个高于平均水平的分数。

  • 明晰

清晰度只是指报价是否足够清晰,用户可以轻松理解它以及如何购买它。 我们在这个主题上看到的最丰富的示例行业必须是 SaaS 世界。 那里的许多企业都以模糊的、“炒作”的术语来展示他们的工具,这些术语并没有真正将信息传达给不是很有耐心的用户。

一个例子是 Solteq 将 Google Ads 流量发送到一个目标网页,该网页的标题是“我们希望简化数字世界以创造更美好的明天” ,但实际上并没有说明什么,也缺乏明确的行动号召。 它们出现在我们对“采购管理软件”的搜索中,所以你会明白为什么两者没有真正见面。

明晰

另一方面,我们有采购控制,他们保持简单和重点。 他们的软件可以帮助您控制业务支出,这就是他们在标题和广告中所说的。

有一个清晰的 CTA 可为您提供免费演示,因此您可以真正了解该报价以及您应该在该页面上做什么。

清除 CTA,让您获得免费演示
  • 价值

一般来说,产品的感知价值会让用户留下或前进。 如果您的产品没有清楚地传达与您的用户相关的价值,那么他们只会转移到下一个提供您所拥有的品牌。

这并不复杂,它实际上是关于传达您必须提供的内容以及该提供如何使您的用户受益。 您的品牌知名度越低,您的价值主张就应该越强。 我们为什么这么说? 例如,想想 Netflix,他们现在真的不需要做太多的工作来解释他们的工作方式以及您将从订阅中得到什么。

Netflix 价值

这就是他们主页上的全部内容,这就足够了。 另一方面,您有 zyxel.com,他们提供了个人云解决方案,但他们让您费了一番力气才能找到答案。

标题令人困惑,也可能是您登陆了个人博客或旅行应用程序,尚不清楚。 此外,正文可能非常令人生畏,尤其是对于首次访问者而言。 我们认为,如果他们将这些信息放在明确的项目符号中,他们会更有效地传达这些信息。

Zyxel标题令人困惑
  • 摩擦

在用户动机方面,将摩擦视为客户旅程中的减速带。 任何在用户心中引起焦虑、怀疑、恐惧的因素都会减慢他们的购买速度,甚至完全阻止他们购买。

在用户体验和设计方面,任何阻碍用户采取您希望他们采取的行动的元素都代表了摩擦。 我们遇到的最常见的例子是实时聊天小部件与添加到购物车按钮或站点民意调查重叠结帐表单等重叠。

在启动您的网站之前,请确保您在设计方面消除了任何摩擦元素,您的网站必须易于使用和直观,这一点至关重要。

为了消除用户动机方面的摩擦,只需充分利用客户调查和现场民意调查并确定需要改变的地方。

  • 分心

分心是由将用户的注意力从主要动作上转移到不太重要的事情上的元素引起的。

一个非常简单的示例是,您从购物车和结帐页面中删除导航和博客文章以及任何其他小部件,因为您不希望用户离开这些步骤来阅读您最近的新闻报道。

尝试让您的用户专注于一个号召性用语,并将分心减少到最低限度。 确保您提供足够的信息,但不要将人们拉离您付费让他们看到的目标网页。

您可以从 Confused.com 看到此示例,我们仅突出显示了登录页面上可用的部分链接和号召性用语。

分心

5. 鼠标跟踪和会话回放分析

在用于开发一组获胜测试假设的资源中,我们必须列出鼠标跟踪和会话回放。 您可以为此使用您喜欢的软件,我们几乎总是使用 Hotjar,并且自从它们处于测试阶段以来一直在使用它,因此我们可能会有偏见,请确保您出去尝试自己的软件,看看哪个最适合您的需求。

我们为所有客户使用的功能? 点击地图、滚动地图和会话回放。

点击图非常适合识别感兴趣的区域,看起来可点击但不可点击的元素应该是可点击的,但不如硬币的反面,号召性用语被忽略。

滚动图向您展示用户滚动到页面下方的位置——这将帮助您识别和视觉化页面上的停止标志(视觉元素给人的印象是页面到此结束)。

您还可以识别被用户忽略的元素,因为它们中很少有人能达到这一点。 我们已经看到了许多推荐或常见问题解答的示例,这些示例由于靠近页脚而被完全忽略,但用户在看到它们后实际上转换了更多。 果然,我们将其中一些元素向上移动,并看到转化率有所提高。

查看哪些元素有助于您的转化率并被忽略,并牢记这一点来测试新布局。

鼠标跟踪和会话回放分析

既然您已经掌握了所有这些信息,并且已经为您的客户、老板或您自己将所有这些信息放在了一个精彩的幻灯片中,请确保您有一个成功的假设公式。

我们喜欢 Craig Sullivan @optimiseordie 的这个,绝对推荐你使用类似的东西:

  1. 因为我们看到了(定性和定量数据
  2. 我们预计(人口)的(变化)将导致(影响
  3. 我们希望在 ( x 个商业周期) 的时期内看到 (数据指标发生变化)

现在我们必须看到这个Advanced Kit的实际应用。

假设我们正在根据来自 Google Analytics 的信息和销售有机棉 T 恤的网站的滚动地图编写一个假设。 该声明将大致如下:

因为我们观察到移动用户下降了 70%,并且带有滚动地图的会话重播表明用户没有到达“有机起源”部分,我们相信通过在产品页面上更早地向所有访问者显示该部分,我们会看到增加在“添加到购物车”价格中。 我们将通过 2 个业务周期内的添加到购物车目标转化率来衡量这一点。

这就是你想要的——a/b 测试假设生成,它超越了显而易见的范围,并发现了你可能无法利用的改进机会。

如果你勤奋,你可以完成我们制定的流程。

如果您想节省时间,您会对 Convert Compass 感兴趣——这是一款面向智能测试人员的下一代假设生成和迭代学习工具。

罗盘
罗盘