釋放生產力:根據斯坦福大學和麻省理工學院的研究人員,了解人工智能如何將客戶服務團隊的生產力提高 14%

已發表: 2023-05-12

當生成式 AI 遇上職場會發生什麼? 在本期特輯中,我們深入研究了一項開創性的研究,因為人工智能輔助人類重新定義了生產力的界限。

生成式人工智能可能已經引起了公眾的廣泛關注,但截至目前,其對現實世界經濟的影響在很大程度上仍未得到探索。 儘管在測試場景中出現了有希望的信號,但從商業角度來看,任何直接的好處似乎都遙不可及,直到現在。

斯坦福大學和麻省理工學院的研究人員進行了為期一年的研究,以衡量生成人工智能對一家財富 500 強軟件公司的 5000 多名客戶服務代理的現實影響,結果已經公佈。客戶服務人員的工作效率提高了 14%平均水平,在最新或表現最差的員工中跳升了驚人的 35%。

人工智能係統將 OpenAI 的 GPT 語言學習模型與機器學習算法相結合,分析了高績效者之間的對話,並將其與低績效者的對話進行了比較。 然後生成有關如何響應客戶的實時建議,最終減少了聊天處理時間、提高了聊天解決率並提高了客戶滿意度。 事實上,在 AI 的幫助下,新聘用的客戶服務代理可以像沒有 AI 的情況下有六個月工作經驗的代理一樣表現出色。

在今天的節目中,我們有機會與麻省理工學院博士進行了交談。 候選人 Lindsey Raymond,這項開創性研究背後的研究人員之一,講述了他們的工作以及 AI 在工作場所的變革性影響。

時間緊嗎? 以下是一些要點:

  • 生成式 AI 依靠豐富的數據而蓬勃發展,這使得客戶支持及其豐富的文本數據成為 AI 工具開發的主要部門。
  • 表現最好和表現最差的支持代理之間的生產力差距,以及對聯絡中心的日益依賴,是客戶服務行業改進的主要驅動力。
  • 低技能工人從人工智能工具中受益最多,因為它幫助他們採用了他們自己還沒有想出的最佳實踐。
  • 人工智能帶來的顯著生產力提升,例如改進的問題解決能力和客戶滿意度,甚至可以支持每週工作四天的興起。

如果您喜歡討論,請查看我們播客的更多劇集。 您可以關注 Apple 播客、Spotify、YouTube 或在您選擇的播放器中獲取 RSS 提要。 以下是該劇集經過輕微編輯的文字記錄。


在客戶支持方面掀起波瀾

Liam Geraghty:您好,歡迎來到 Inside Intercom。 我是利亞姆·格拉格蒂。 認為 Open AI 的 ChatGPT 幾個月前才推出有點瘋狂。 人工智能成為我們生活一部分的速度是任何人都無法預料的。 它已經開始改變客戶服務和支持空間。

“人加機器優於機器,而機器又優於人類。 我認為這就是我在這個支持世界中看到的”

Intercom 聯合創始人 Des Traynor 在我們播客的最近一集中談到了他如何相信 CS 的未來是自動化和人類、機器人和大腦一起工作。

Des Traynor:人加機器比機器好,而機器又比人好。 我認為這就是我在這個支持世界中看到的。 我認為你會讓人類最終控制人工智能工作的智能。

Liam Geraghty:許多客戶支持負責人已經投身於 AI 並在它的生成水域中游來游去。 但其他人雖然很興奮,但只是試探一下,感到有點畏縮。

好吧,對於你們中的任何一個腳趾勺,您可能有興趣聽聽斯坦福大學和麻省理工學院的研究人員進行的一項新研究,所有這些都是關於工作中的生成人工智能,以及一些非常有趣的發現。 該研究由 Eric Brynjolfsson、Danielle Li 和 Lindsey Raymond 進行。

工作場所中生成人工智能的見解

林賽·雷蒙德:我是林賽·雷蒙德。 我是麻省理工學院的研究生。

Liam Geraghty: Lindsey 和她的同事研究了生成式 AI 工具對一家財富 500 強公司生產力的影響。 這是第一次在實驗室環境之外測量這些工具對工作的影響。

Lindsey Raymond:生成式 AI 本身的想法很新。 就人們所研究的內容而言,已經有一些關於這些工具如何在律師考試等方面發揮作用的工作。

Liam Geraghty: AI 擊敗了律師考試。

Lindsey Raymond:或者編碼考試,非常基於實驗室的能力考試。 我們是第一個說明當您研究這些工具在真實工作場所和長期過程中可以做什麼時會發生什麼的,因為我們的研究是在一年中進行的。

Liam Geraghty:那麼這項研究到底是關於什麼的?

Lindsey Raymond:我們研究了一種基於 AI 的生成工具,該工具旨在幫助技術支持人員解決人們的技術支持問題。

Liam Geraghty:聽起來很熟悉!

Lindey Raymond:告訴他們該說什麼,如何解決特定的技術支持問題,以及如何與客戶溝通的指導。

“生成式人工智能需要大量數據才能真正發揮作用。 如果你看一個相對於其他地方滲透率高的經濟部門,客戶支持就是那個領域”

我們進行了差異分析——隨著時間的推移,這個工具在人們中的推廣非常緩慢,這樣我們就可以嘗試了解該工具的因果效應。 我們正在尋找為一家財富 500 強公司提供技術支持的員工,該公司主要為美國的小型企業提供小型企業和會計軟件。

Liam Geraghty:他們研究了很多不同的結果,比如人們解決電話的速度有多快、他們能夠解決多少問題、客戶滿意度,以及一些更像是組織變革的事情。

Lindsey Raymond:這對員工流動率有何影響? 這對他們彼此或與經理交談的頻率有何影響?

Liam Geraghty:你可能想知道為什麼在生成人工智能的所有潛在領域中,Lindsey 和她的同事選擇了客戶支持作為重點。

“表現最好的客戶服務代理和表現最差的客戶服務代理之間存在相當大的生產力差異”

Lindsey Raymond:生成式 AI 需要大量數據才能真正發揮作用。 如果你看一個經濟部門,那裡的滲透率相對於其他任何地方都很高,那麼客戶支持就是那個領域。 這些工具的實際推出和開發活動數量驚人。 那是因為該區域中的數據非常多,尤其是文本數據。

其中很多只是自動與結果相關聯——該員工解決該問題的速度有多快? 而且還有很大的改進空間。 眾所周知,表現最好的客戶服務代理和表現最差的客戶服務代理之間存在巨大的生產力差異。 在過去的幾年裡,這也是一個巨大的轉變,通過聯絡中心做更多的事情。 因此,這是一個大企業需要在這方面做得更好的領域。

從零到英雄

Liam Geraghty:因此,在一年的時間裡,他們使用來自 5,179 名客戶支持代理的數據研究了所有這些。 他們的發現很有趣。

Lindsey Raymond:標題數字是,平均而言,使用 AI 將生產力提高了 14%,但這隱藏了很多異質性。 對於經驗最少和技能最低的工人,它實際上提高了 35%。 最有經驗和生產力的工人幾乎看不到任何效果。

Liam Geraghty:因此,收益不成比例地累積給了經驗不足和技能較低的工人。 為什麼會這樣?

Lindsey Raymond:我認為這可能是這項研究中最有趣的部分。 任何基於機器學習的工具都使用訓練數據集並在數據中尋找模式。 所以你,作為一個程序員,不要說,“好吧,我知道這句話很管用,所以這樣做,我知道這是這個問題的通用解決方案,這是那個問題的通用解決方案,”並且你把這些信息放在你的程序中。 ML 不是這樣工作的。

“真正從這些建議中受益的是新員工或生產力排名墊底的員工,因為這些是他們還沒有弄清楚如何去做的事情”

具體來說,在我們的設置中,該工具會查看高績效者的對話,並將其與低績效者的對話進行比較。 它尋找高績效者和低績效者所做的與成功結果相關的差異。 他們問候顧客的方式是什麼? 他們提出的解決方案是什麼? 他們如何開始提出診斷性問題? 然後,它將所有這些東西轉化為它為每個人生成的建議。 高技能工人正在為 AI 提供內容——這些大部分是他們已經在做的事情,因為 AI 一直在從那裡學習。 當你有一個工具建議你做你已經在做的事情時,你可能不會因為使用該工具而看到巨大的生產力影響。 真正從這些建議中受益的是新員工或生產力排名墊底的員工,因為這些是他們還沒有弄清楚如何去做的事情。 是低技能工人發生了很大變化,開始更接近於像高技能工人一樣進行交流。

我們認為正在發生的是 AI 支持的最佳實踐的傳播。 這就是為什麼我們看到低技能和缺乏經驗的工人的生產率真正大幅提高,而高技能工人卻沒有那麼多。 我們認為,這只是機器學習工作方式的一個功能。

“在任何一項研究中,如果你看到生產力提高了 35%,這都非常令人震驚。 你可以想像在這些影響下每週工作四天”

Liam Geraghty:你對結果感到驚訝嗎?

林賽雷蒙德:這是一個很好的問題。 在您看到 35% 的生產力提高的任何研究中,這都非常令人震驚。 你可以想像在這些影響下每週工作四天。 我認為這非常令人驚訝。 事實上,我們不僅在工作人員處理電話的速度上看到了效果,而且還提高了他們解決的問題的份額,這更多是基於知識的結果,使他們能夠解決他們沒有解決的問題之前能夠解決。 然後,我們看到客戶滿意度有了相當大的提高。 我認為,這些都令人驚訝。

Liam Geraghty:你認為 AI 能夠介入並進行這些類型的研究嗎?

Lindsey Raymond:可能是的。 我敢肯定,有生成式 AI 可以寫出比我寫得更好的經濟論文。

Liam Geraghty: Lindsey,非常感謝你今天接受我的採訪。

林賽雷蒙德:是的,當然。 很高興。

鰭等候名單