生産性の解放: スタンフォード大学とマサチューセッツ工科大学の研究者によると、AI が顧客サービス チームの生産性を 14% 向上させる方法を学びましょう

生成 AI が職場に導入されると何が起こるでしょうか? この特別エピソードでは、AI 支援を受けた人間が生産性の限界を再定義するという画期的な研究について詳しく説明します。

生成 AI は世間からかなりの注目を集めているかもしれませんが、現時点では、その現実世界の経済への影響はほとんど解明されていません。 テストシナリオで有望なシグナルが得られたにもかかわらず、ビジネスの観点からの即時の利益はこれまで手の届かないものであるように思われていました。

スタンフォード大学とマサチューセッツ工科大学の研究者らは、フォーチュン 500 企業のソフトウェア会社の 5,000 人以上のカスタマー サービス エージェントを対象に、生成 AI が現実世界に与える影響を測定するために 1 年間にわたる調査を実施し、その結果が発表されました。平均では、最も新しい従業員や最もパフォーマンスの低い従業員の間では 35% という驚異的な上昇がみられます。

OpenAI の GPT 言語学習モデルと機械学習アルゴリズムを組み合わせた AI システムは、成績の高い人の会話を分析し、成績の悪い人の会話と比較しました。 その後、顧客への対応方法についてリアルタイムの提案が生成され、最終的にチャットの処理時間が短縮され、チャットの解決率が向上し、顧客満足度が向上しました。 実際、新しく採用されたカスタマー サービス エージェントは、AI の助けを借りて、AI なしで 6 か月の経験を持つエージェントと同等のパフォーマンスを発揮できます。

今日のエピソードでは、MIT 博士と話す機会がありました。 この画期的な研究を推進した研究者の一人であるリンジー・レイモンド候補者が、自分たちの仕事と職場における AI の変革的影響について語ります。

時間が足りませんか？ 以下に重要なポイントをいくつか示します。

• 生成 AI は豊富なデータを利用して機能するため、豊富なテキスト データを備えたカスタマー サポートが AI ツール開発の主要分野となっています。
• 最高のパフォーマンスを誇るサポート エージェントと最低のパフォーマンスを誇るサポート エージェント間の生産性のギャップ、およびコンタクト センターへの依存度の増大が、カスタマー サービス業界の改善を促す主な原動力となっています。
• AI ツールの恩恵を最も受けたのは、スキルの低い労働者であり、自分たちではまだ理解していなかったベスト プラクティスを導入するのに役立ちました。
• 問題解決能力や顧客満足度の向上など、AI によって実現される生産性の大幅な向上は、週 4 日勤務の増加を後押しする可能性さえあります。

ディスカッションを気に入っていただけましたら、ポッドキャストの他のエピソードもチェックしてください。 Apple Podcasts、Spotify、YouTube をフォローしたり、選択したプレーヤーで RSS フィードを取得したりできます。 以下は、エピソードを軽く編集した書き起こしです。

カスタマーサポートに波を起こす

リアム・ジェラティ:こんにちは、Inside Intercom へようこそ。 私はリアム・ジェラティです。 Open AI の ChatGPT がほんの数か月前にリリースされたと考えると、ちょっとクレイジーです。 AI が私たちの生活の一部となったスピードは、誰も予測できなかったものです。 顧客サービスとサポートの分野はすでに変革を始めています。

「人間と機械は機械よりも優れており、機械は人間よりも優れています。 それがこのサポートの世界で私が見ているものだと思います。」

Intercom の共同創設者である Des Traynor 氏は、ポッドキャストの最近のエピソードで、CS の未来は自動化と人間、ボット、脳が連携することであるとどのように信じているかについて語りました。

Des Traynor:人間と機械は機械よりも優れており、機械は人間よりも優れています。 それがこのサポートの世界でも見られることだと思います。 AIが機能する知性を最終的には人間が制御することになると思います。

リアム・ジェラティ:多くのカスタマー サポート リーダーが AI に飛び込み、その生成水域を泳ぎ回っています。 しかし、興奮しながらも、少し気が遠くなっているだけの人もいます。

さて、足ひしゃくのみなさんは、スタンフォード大学とマサチューセッツ工科大学の研究者らによる、生成 AI に関する新しい研究について聞きたいと思われるかもしれません。非常に興味深い発見がいくつかあります。 この研究は、エリック・ブリニョルフソン、ダニエル・リー、リンジー・レイモンドによって実施されました。

職場における生成 AI からの洞察

リンジー・レイモンド:私はリンジー・レイモンドです。 私はMITの大学院生です。

リアム・ジェラティ:リンジーと彼女の同僚は、フォーチュン 500 企業の生産性に対する生成 AI ツールの影響を研究しています。 これらのツールが仕事に与える影響が実験室以外で測定されたのはこれが初めてだ。

リンジー・レイモンド:生成 AI のアイデア自体は非常に新しいものです。 人々が何を勉強してきたかという点では、司法試験などでこれらのツールがどのように機能するかについて、いくつかの研究が行われてきました。

リアム・ジェラティ: AI は司法試験を打ち砕いた。

リンジー・レイモンド:コーディング試験、非常に実験室ベースの能力試験です。 そして、私たちの研究は、これらのツールが実際の職場で、そして長期にわたって何ができるかを研究するとどうなるかを初めて示しています。なぜなら、私たちの研究は年間を通じて行われるからです。

リアム・ジェラティ:それで、その研究は正確には何についてのものでしたか？

Lindsey Raymond:私たちは、人々のテクニカル サポートの問題を解決する際に、テクニカル サポート ワーカーを支援するように設計された AI ベースの生成ツールに注目しています。

リアム・ジェラティ：懐かしいですね！

Lindey Raymond:何を言うべきか、特定の技術サポートの問題を解決する方法、そしてそれを顧客にどのように伝えるべきかについてのガイダンスの両方を伝えます。

「生成 AI がうまく機能するには、大量のデータが必要です。 他のどこよりも普及率が高い経済分野に注目すると、カスタマー サポートがその分野です。」

そして、私たちは差分分析を行います。これは、このツールを時間をかけて非常にゆっくりと人々に展開し、ツールの因果関係を明らかにすることを試みます。 私たちは、主に米国を拠点とする中小企業向けに中小企業および会計ソフトウェアを提供するフォーチュン 500 企業に技術サポートを提供する従業員を探しています。

リアム・ジェラティ:彼らは、人々が電話をどれだけ早く解決したか、解決できた問題の数、顧客満足度、さらには組織的な変化など、さまざまな結果を検討しました。

リンジー・レイモンド:これは従業員の離職率にどのような影響を与えますか? これは、彼らがお互いに、またはマネージャーと話す頻度にどのような影響を及ぼしますか?

リアム・ジェラティ:生成 AI の可能性のあるすべての分野の中から、なぜリンジーと彼女の同僚がカスタマー サポートに重点を置くことを選んだのか疑問に思われるかもしれません。

「最高のパフォーマンスを発揮するカスタマー サービス エージェントと、最低のパフォーマンスを発揮するカスタマー サービス エージェントの間には、かなり大きな生産性の違いがあります。」

Lindsey Raymond:生成 AI がうまく機能するには、大量のデータが必要です。 他のどこよりも普及率が高い経済分野に注目すると、カスタマー サポートがその分野です。 これらのツールの実際の展開と開発には、驚くほど多くの活動が行われています。 それは、その領域には非常に多くのデータ、特にテキスト データが存在するためです。

その多くは結果に自動的に関連付けられているだけです。その従業員はどれくらい早くその問題を解決しましたか? そして、改善の余地もたくさんあります。 最高のパフォーマンスを発揮するカスタマー サービス エージェントと、最低のパフォーマンスを発揮するカスタマー サービス エージェントの間には、生産性にかなり大きな差があることは周知の事実です。 ここ数年、コンタクト センターの活用を拡大するという大きな変化が見られる分野でもあります。 したがって、これはビジネスにおいてこれを改善する必要がある分野です。

ゼロからヒーローへ

リアム・ジェラティ:それで、彼らは 1 年かけて、5,179 人のカスタマー サポート エージェントからのデータを使用して、これらすべてを研究しました。 そして彼らが発見したものは興味深いものでした。

リンジー・レイモンド:見出しの数字は、AI へのアクセスにより生産性が平均 14% 向上したというものですが、その中には多くの異質性が隠されています。 最も経験が浅くスキルも低い労働者の場合、実際には 35% 改善されました。 最も経験豊富で生産性の高い労働者には、ほとんど影響がありません。

リアム・ジェラティ:つまり、経験が浅くスキルの低い労働者に不釣り合いな利益がもたらされるということですね。 なぜそのようなことが起こるのでしょうか?

リンジー・レイモンド:おそらくそれがこの研究の最も興味深い部分だと思います。 機械学習ベースのツールはどれもトレーニング データ セットを使用し、データ内のパターンを探します。 したがって、プログラマであるあなたは、「このフレーズがうまく機能することはわかっているので、これを実行してください。そして、これがこの問題の一般的な解決策であることはわかっていますし、これがあの問題の一般的な解決策であることも知っています」とは言わないでください。その情報をプログラムに入力します。 それは ML の仕組みではありません。

「こうした提案から本当に恩恵を受けるのは、非常に新人か生産性ランキングの最下位にある労働者です。なぜなら、彼らはまだやり方を理解していないことだからです。」

私たちの設定では、具体的には、ツールはパフォーマンスの高い人の会話を調べ、それをパフォーマンスの低い人の会話と比較します。 成功した結果に関連する、成績の高い人と低い人が行っていることの違いを探します。 彼らは顧客をどのように迎えますか？ 彼らが提案する解決策とは何でしょうか？ 彼らはどのように診断用の質問を始めますか? 次に、それらすべてを取得して、全員向けに生成する提案に変換します。 高度なスキルを持った労働者が AI にコンテンツを提供しています。これらのほとんどはすでに彼らが行っていることです。なぜなら、AI はそこから学習しているからです。 すでに行っていることを行うよう提案するツールがある場合、そのツールにアクセスしても大きな生産性の効果は見られないでしょう。 これらの提案から実際に恩恵を受けるのは、非常に新しい従業員や生産性ランキングの最下位にある従業員です。なぜなら、これらの従業員はまだやり方を理解していないからです。 低スキルの労働者が大きく変化し、高スキルの労働者のようなコミュニケーションに近づき始めます。

私たちが起こっているのは、AI によって可能になるベスト プラクティスの普及であると考えられます。 だからこそ、低スキルや経験の浅い労働者では生産性が大幅に向上し、高スキルの労働者ではそれほど生産性が向上しないのです。 そしてそれは単に機械学習の仕組みによるものだと私たちは考えています。

「どの調査でも生産性が 35% 向上したということは、かなり衝撃的です。 そうした影響を受けて、週4日勤務になることは想像できるでしょう。」

リアム・ジェラティ：その結果には驚きましたか？

リンジー・レイモンド:素晴らしい質問ですね。 どの調査でも生産性が 35% 向上したという結果はかなり衝撃的です。 こうした影響を受けて、週 4 日労働に移行することは想像できるでしょう。 それは最初からかなり意外だったと思います。 従業員の電話対応が少し早くなっただけでなく、従業員が解決する問題の割合が向上したという効果が見られたという事実は、どちらかというと知識ベースの成果であり、従業員は解決できなかった問題を解決できるようになりました。事前に解決できること。 そして、顧客満足度が大幅に向上していることがわかります。 それらはすべて驚くべきことであったと思います。

リアム・ジェラティ: AI がこのような研究に参入できるようになると思いますか?

リンジー・レイモンド:そうですね。 私よりも優れた経済論文を書ける生成 AI が存在すると確信しています。

リアム・ジェラティ：リンジー、今日は話してくれて本当にありがとう。

リンジー・レイモンド:ええ、もちろんです。 それは喜びだった。