A/B 测试聊天机器人：如何开始（以及为什么必须）

已发表: 2019-04-13

“嘿

我是一个Bottybot！

我怎么帮你？”

我不知道您今天要访问哪些网站……但您最终会访问至少一个您会听到 *Pop* 声音并且机器人会开始与您“交谈”的网站。

… 为您提供售前支持。

或协助您解决售后问题。

或者只是提供支持。

每天聊天机器人与用户进行数百万次这样的对话；带来真实、切实的业务成果，例如更多潜在客户、更多销售额和更高的客户忠诚度。它们非常主流，预计到 2020 年将有高达 80% 的企业使用它们。

因为聊天机器人推动了收入，它们可以——就像任何其他收入渠道一样——被优化以获得更好的结果。

通过 A/B 测试（和其他实验）优化聊天机器人

根据您在营销、销售和支持策略中使用聊天机器人的方式，对它们进行实验可以带来很多好处。

例如，聊天机器人实验可以帮助您识别：

产生更多更好潜在客户的售前序列
将更多潜在客户转化为客户的试用消息传递
转换更好的入职体验
导致更高客户满意度（和忠诚度）的客户成功序列
…… 并支持导致更少票证的序列

简而言之：如果您是使用聊天机器人的企业，您可以通过 A/B 测试从渠道提高投资回报率。

相当多的聊天机器人解决方案甚至带有原生 A/B 测试功能，允许企业进行实验以找到性能最佳的消息传递、序列、触发器等。

但为了对聊天机器人进行有意义的 CRO 实验，您必须使用正确的优化过程。

A/B 测试聊天机器人：过程

在开始创建聊天机器人实验之前，首先选择要改进的指标。

例如，如果您使用聊天机器人进行营销，您的指标可能是在成功的聊天机器人互动后选择加入的潜在客户数量。

或者，如果您使用聊天机器人来促进销售，那么您的指标可能是由于与聊天机器人交互而参与度得分提高的试用线索数量。

最后，如果您使用聊天机器人提供支持，您的指标可能是入站工单数量减少的百分比。

不管是什么，一旦您确定了要优化的指标（或多个指标），您就可以开始进行聊天机器人实验了。

以下是设置和运行获胜聊天机器人 A/B 测试的三个简单步骤：

步骤#1：假设制作

就像常规的网站或应用程序实验一样，聊天机器人实验也是从一个明确的假设开始的。

例如，当在线考试准备公司 Magoosh 决定进行入职实验时，它从一个明确的假设开始：

如果我们在试用客户首次登录 Magoosh 产品时向他们发送欢迎入职信息，他们将来更有可能购买高级帐户。

虽然 Magoosh 并未完全测试聊天机器人，但它确实测试了发送自动欢迎客户入职聊天消息是否有助于提高转化率。

在您的聊天机器人测试策略中，您的假设可能变为“为新的试用注册提供自动聊天机器人帮助将导致…… ”

你明白了，对吧？

有用的资源：

为您的实验编写假设的工具：这五个非常酷的 CRO 工具将帮助您为 A/B 测试您的聊天机器人编写一个成功的假设。

如何创建成功的 A/B 测试假设：该网络研讨会将编写成功假设的过程分解为五个简单的步骤。如果您只是从实验开始，则必须观看。

复杂的 A/B 测试假设生成：这是另一个关于为您的实验编写假设的优秀教程。这些假设策略无缝地应用于聊天机器人实验。

步骤#2：设计实验

就像您在常规 A/B 测试或 CRO 实验中所做的那样，在您的第二步中，您需要“创建”您的聊天机器人实验。

在这一步中，你需要将你的假设转化为一个“变化”（或一组变化）来进行测试。

例如，如果您假设“更具品牌化”的聊天机器人将为您的营销团队带来更好的结果，那么在此步骤中，您将必须了解您的聊天框的哪些元素可以更好地进行品牌化。它可能是您的聊天机器人的声音或语气，或者只是视觉界面。

当您处于这一步时，请查看来自 Alma 的优秀人员的本指南。这对设计你的实验非常有帮助。例如，在此品牌实验中，只需访问此聊天机器人测试指南的个性部分，您就会看到一些问题，这些问题将向您展示您可以实际试验的品牌项目。请参阅下面的屏幕截图以获取灵感：

一旦你知道你将测试哪些元素/元素（基于你的假设），确定你的聊天机器人实验的长度和样本量。

有用的资源：

计算实验持续时间和样本量的工具：以下是一些最佳 CRO 工具，用于计算聊天机器人实验的理想样本量和持续时间。

Convert 的 A/B 测试持续时间计算器：只需将您的数据输入此计算器，您就会知道您的聊天机器人测试或实验应该运行多长时间。 Convert 的 A/B 测试持续时间计算器：只需将您的数据输入此计算器，您就会知道您的聊天机器人测试或实验应该运行多长时间。

步骤#3：从实验中学习

一旦您的实验结束并获得数据，就该分析您的发现了。

通常，任何优化实验只有三个结果，包括您将为聊天机器人运行的结果。这些是：

失控。 在这里，您的假设得到验证，您的更改对数字产生了积极影响。这种结果的一个例子是通过将聊天机器人的个人资料图像从卡通更改为吉祥物来获得 1000 个选择加入，而不是 890 个。
控制获胜。 在这里，您的假设需要被拒绝，因为您的更改会对数字产生负面影响。例如，新的吉祥物头像比普通卡通图片的注册人数要低得多。
测试没有定论。 这些通常是最常见且通常最令人沮丧的结果，因为您没有获得明显的赢家的统计意义。

所以一旦你得到了你的测试结果，你需要回到你实验的第 1 步：假设步骤。

要么你可以开始一个新的实验来测试一个新的假设，要么进行迭代测试，这意味着回到一个没有得到验证的假设（因为失败或不确定的测试），改进它，然后重新 -运行测试。

在进行迭代测试时，请确保您花时间了解为什么您的测试一开始就失败了。

思考：

是否选择了错误的测试段？

一直以来都是一个糟糕的假设吗？

你的测试物流不好吗？ 这里的想法是从你的赢、输，甚至是你不确定的聊天机器人实验中学习所有你能学到的东西，因为这就是你优化的方式——通过持续学习。

把它包起来……

如果您更精通技术，则可以通过测试您提供给聊天机器人（或其“知识库”）的内容，将您的聊天机器人实验提升到一个全新的水平。

或者，您也可以尝试不同的学习算法。

聊天机器人将继续存在，随着机器学习的成熟，它们将成为前沿和中心，充当与您的大部分潜在客户的第一个接触点。

加入 A/B 测试他们的性能是很有意义的。