A/B 測試聊天機器人：如何開始（以及為什麼必須）

“嘿

我是一個Bottybot！

我怎麼幫你？”

我不知道您今天要訪問哪些網站……但您最終會訪問至少一個您會聽到 *Pop* 聲音並且機器人會開始與您“交談”的網站。

… 為您提供售前支持。

或協助您解決售後問題。

或者只是提供支持。

每天聊天機器人與用戶進行數百萬次這樣的對話； 帶來真實、切實的業務成果，例如更多潛在客戶、更多銷售額和更高的客戶忠誠度。 它們非常主流，預計到 2020 年將有高達 80% 的企業使用它們。

因為聊天機器人推動了收入，它們可以——就像任何其他收入渠道一樣——被優化以獲得更好的結果。

通過 A/B 測試（和其他實驗）優化聊天機器人

根據您在營銷、銷售和支持策略中使用聊天機器人的方式，對它們進行實驗可以帶來很多好處。

例如，聊天機器人實驗可以幫助您識別：

• 產生更多更好潛在客戶的售前序列
• 將更多潛在客戶轉化為客戶的試用消息傳遞
• 轉換更好的入職體驗
• 導致更高客戶滿意度（和忠誠度）的客戶成功序列
• …… 並支持導致更少票證的序列

簡而言之：如果您是使用聊天機器人的企業，您可以通過 A/B 測試從渠道提高投資回報率。

相當多的聊天機器人解決方案甚至帶有原生 A/B 測試功能，允許企業進行實驗以找到性能最佳的消息傳遞、序列、觸發器等。

但為了對聊天機器人進行有意義的 CRO 實驗，您必須使用正確的優化過程。

A/B 測試聊天機器人：過程

在開始創建聊天機器人實驗之前，首先選擇要改進的指標。

例如，如果您使用聊天機器人進行營銷，您的指標可能是在成功的聊天機器人互動後選擇加入的潛在客戶數量。

或者，如果您使用聊天機器人來促進銷售，那麼您的指標可能是由於與聊天機器人交互而參與度得分提高的試用線索數量。

最後，如果您使用聊天機器人提供支持，您的指標可能是入站工單數量減少的百分比。

不管是什麼，一旦您確定了要優化的指標（或多個指標），您就可以開始進行聊天機器人實驗了。

以下是設置和運行獲勝聊天機器人 A/B 測試的三個簡單步驟：

步驟#1：假設製作

就像常規的網站或應用程序實驗一樣，聊天機器人實驗也是從一個明確的假設開始的。

例如，當在線考試準備公司 Magoosh 決定進行入職實驗時，它從一個明確的假設開始：

如果我們在試用客戶首次登錄 Magoosh 產品時向他們發送歡迎入職信息，他們將來更有可能購買高級帳戶。

雖然 Magoosh 並未完全測試聊天機器人，但它確實測試了發送自動歡迎客戶入職聊天消息是否有助於提高轉化率。

在您的聊天機器人測試策略中，您的假設可能變為“為新的試用註冊提供自動聊天機器人幫助將導致…… ”

你明白了，對吧？

有用的資源：

為您的實驗編寫假設的工具：這五個非常酷的 CRO 工具將幫助您為 A/B 測試您的聊天機器人編寫一個成功的假設。

如何創建成功的 A/B 測試假設：該網絡研討會將編寫成功假設的過程分解為五個簡單的步驟。 如果您只是從實驗開始，則必須觀看。

複雜的 A/B 測試假設生成：這是另一個關於為您的實驗編寫假設的優秀教程。 這些假設策略無縫地應用於聊天機器人實驗。

步驟#2：設計實驗

就像您在常規 A/B 測試或 CRO 實驗中所做的那樣，在您的第二步中，您需要“創建”您的聊天機器人實驗。

在這一步中，你需要將你的假設轉化為一個“變化”（或一組變化）來進行測試。

例如，如果您假設“更具品牌化”的聊天機器人將為您的營銷團隊帶來更好的結果，那麼在此步驟中，您將必須了解您的聊天框的哪些元素可以更好地進行品牌化。 它可能是您的聊天機器人的聲音或語氣，或者只是視覺界面。

當您處於這一步時，請查看來自 Alma 的優秀人員的本指南。 這對設計你的實驗非常有幫助。 例如，在此品牌實驗中，只需訪問此聊天機器人測試指南的個性部分，您就會看到一些問題，這些問題將向您展示您可以實際試驗的品牌項目。 請參閱下面的屏幕截圖以獲取靈感：

一旦你知道你將測試哪些元素/元素（基於你的假設），確定你的聊天機器人實驗的長度和样本量。

有用的資源：

計算實驗持續時間和样本量的工具：以下是一些最佳 CRO 工具，用於計算聊天機器人實驗的理想樣本量和持續時間。

Convert 的 A/B 測試持續時間計算器：只需將您的數據輸入此計算器，您就會知道您的聊天機器人測試或實驗應該運行多長時間。 Convert 的 A/B 測試持續時間計算器：只需將您的數據輸入此計算器，您就會知道您的聊天機器人測試或實驗應該運行多長時間。

步驟#3：從實驗中學習

一旦您的實驗結束並獲得數據，就該分析您的發現了。

通常，任何優化實驗只有三個結果，包括您將為聊天機器人運行的結果。 這些是：

• 失控。 在這裡，您的假設得到驗證，您的更改對數字產生了積極影響。 這種結果的一個例子是通過將聊天機器人的個人資料圖像從卡通更改為吉祥物來獲得 1000 個選擇加入，而不是 890 個。
• 控制獲勝。 在這裡，您的假設需要被拒絕，因為您的更改會對數字產生負面影響。 例如，新的吉祥物頭像比普通卡通圖片的註冊人數要低得多。
• 測試沒有定論。 這些通常是最常見且通常最令人沮喪的結果，因為您沒有獲得明顯的贏家的統計意義。

所以一旦你得到了你的測試結果，你需要回到你實驗的第 1 步：假設步驟。

要么你可以開始一個新的實驗來測試一個新的假設，要么進行迭代測試，這意味著回到一個沒有得到驗證的假設（因為失敗或不確定的測試），改進它，然後重新 -運行測試。

在進行迭代測試時，請確保您花時間了解為什麼您的測試一開始就失敗了。

思考：

是否選擇了錯誤的測試段？

一直以來都是一個糟糕的假設嗎？

你的測試物流不好嗎？ 這裡的想法是從你的贏、輸，甚至是你不確定的聊天機器人實驗中學習所有你能學到的東西，因為這就是你優化的方式——通過持續學習。

把它包起來……

如果您更精通技術，則可以通過測試您提供給聊天機器人（或其“知識庫”）的內容，將您的聊天機器人實驗提升到一個全新的水平。

或者，您也可以嘗試不同的學習算法。

聊天機器人將繼續存在，隨著機器學習的成熟，它們將成為前沿和中心，充當與您的大部分潛在客戶的第一個接觸點。

加入 A/B 測試他們的性能是很有意義的。