생산성 향상: Stanford 및 MIT 연구원에 따르면 AI가 어떻게 고객 서비스 팀 생산성을 14% 향상하는지 알아보십시오.

생성 AI가 직장을 만나면 어떻게 될까요? 이 특별 에피소드에서는 AI 지원 인간이 생산성의 경계를 재정의하는 획기적인 연구에 대해 알아봅니다.

제너레이티브 AI는 대중의 상당한 관심을 끌었을지 모르지만, 현재로서는 실제 경제에 미치는 영향은 대부분 연구되지 않은 상태로 남아 있습니다. 테스트 시나리오의 유망한 신호에도 불구하고 비즈니스 관점에서 즉각적인 이점은 지금까지 도달할 수 없는 것처럼 보였습니다.

Stanford University와 MIT의 연구원들은 Fortune지 선정 500대 소프트웨어 회사의 5000명 이상의 고객 서비스 상담원을 대상으로 제너레이티브 AI의 실제 영향을 측정하기 위해 1년 동안 연구를 수행했으며 그 결과가 나왔습니다. 평균, 신입 직원 또는 성과가 가장 낮은 근로자 사이에서 35%나 뛰어올랐습니다.

OpenAI의 GPT 언어 학습 모델과 기계 학습 알고리즘을 결합한 AI 시스템은 성과가 높은 사람들 간의 대화를 분석하고 성과가 낮은 사람들과 비교했습니다. 그런 다음 고객에게 응답하는 방법에 대한 실시간 제안을 생성하여 채팅 처리 시간을 줄이고 채팅 해결률을 높이며 고객 만족도를 높였습니다. 실제로 새로 고용된 고객 서비스 에이전트는 AI의 도움으로 AI 없이 일한 6개월의 경험을 가진 에이전트만큼 업무를 수행할 수 있습니다.

오늘 방송에서는 MIT Ph.D와 대화할 기회가 있었습니다. 획기적인 연구의 배후에 있는 연구원 중 한 명인 후보 Lindsey Raymond가 자신의 작업과 작업장에서 AI의 혁신적인 영향에 대해 설명합니다.

시간이 부족하십니까? 다음은 몇 가지 주요 내용입니다.

• 제너레이티브 AI는 풍부한 데이터를 기반으로 번성하며, 이는 풍부한 텍스트 데이터를 통해 고객 지원을 AI 도구 개발의 주요 부문으로 만드는 것입니다.
• 성과가 우수한 지원 에이전트와 성과가 낮은 지원 에이전트 간의 생산성 격차와 컨택 센터에 대한 의존도 증가는 고객 서비스 산업 개선의 주요 동인입니다.
• 저숙련 근로자는 아직 스스로 파악하지 못한 모범 사례를 채택하는 데 도움이 되었기 때문에 AI 도구로부터 가장 많은 혜택을 받았습니다.
• 문제 해결 및 고객 만족도 향상과 같은 AI로 가능해진 상당한 생산성 향상은 주 4일 근무의 증가를 뒷받침할 수도 있습니다.

토론이 마음에 든다면 팟캐스트의 더 많은 에피소드를 확인하세요. Apple Podcasts, Spotify, YouTube를 팔로우하거나 선택한 플레이어에서 RSS 피드를 가져올 수 있습니다. 다음은 에피소드의 약간 편집된 대본입니다.

고객 지원에 파문을 일으키다

Liam Geraghty: 안녕하세요. Inside Intercom에 오신 것을 환영합니다. 저는 Liam Geraghty입니다. Open AI의 ChatGPT가 불과 몇 달 전에 출시되었다고 생각하는 것은 미친 짓입니다. AI가 우리 삶의 일부가 되는 속도는 그 누구도 예상하지 못했던 것입니다. 이미 고객 서비스 및 지원 공간을 변화시키기 시작했습니다.

“인간과 기계가 기계보다 낫고 기계가 인간보다 낫습니다. 이것이 제가 이 지원의 세계에서 본 것이라고 생각합니다.”

Intercom 공동 창립자 Des Traynor는 최근 팟캐스트 에피소드에서 CS의 미래가 자동화와 인간, 봇, 두뇌가 함께 일하는 것이라고 믿는 방식에 대해 이야기했습니다.

데스 트레이너: 인간과 기계가 기계보다 낫고 기계가 인간보다 낫습니다. 나는 그것이 내가 이 지원의 세계에서 보는 것이라고 생각합니다. AI가 작동하는 지능을 궁극적으로 인간이 제어하게 될 것이라고 생각합니다.

Liam Geraghty: 많은 고객 지원 리더가 AI에 바로 뛰어들었고 생성 물에서 헤엄치고 있습니다. 그러나 다른 사람들은 흥분하면서 약간 위축된 느낌으로 발을 담그고 있습니다.

자, 여러분 중 누구라도 Stanford University와 Massachusetts Institute of Technology의 연구원들이 작업 중인 생성 AI에 관한 새로운 연구에 관심이 있을 것입니다. 몇 가지 정말 흥미로운 발견이 있습니다. 이 연구는 Eric Brynjolfsson, Danielle Li 및 Lindsey Raymond가 수행했습니다.

직장 내 생성 AI의 인사이트

린지 레이몬드: 린지 레이몬드입니다. 저는 MIT 대학원생입니다.

Liam Geraghty: Lindsey와 그녀의 동료들은 Fortune 500대 기업에서 생성 AI 도구가 생산성에 미치는 영향을 연구합니다. 실험실 환경 밖에서 이러한 도구가 작업에 미치는 영향이 측정된 것은 이번이 처음입니다.

Lindsey Raymond: 생성 AI 자체에 대한 아이디어는 꽤 새롭습니다. 사람들이 연구한 내용과 관련하여 이러한 도구가 사법 시험과 같은 일에서 어떻게 수행되는지에 대한 작업이 있었습니다.

Liam Geraghty: AI가 사법시험을 압도했습니다.

Lindsey Raymond: 또는 코딩 시험, 매우 실험실 기반의 능력 시험. 그리고 우리의 연구는 일년 내내 진행되기 때문에 이러한 도구가 실제 작업장에서 장기간에 걸쳐 수행할 수 있는 작업을 연구할 때 어떤 일이 발생하는지에 대해 처음으로 설명합니다.

Liam Geraghty: 그렇다면 연구는 정확히 무엇에 관한 것이었습니까?

Lindsey Raymond: 우리는 사람들의 기술 지원 문제를 해결할 때 기술 지원 작업자를 돕기 위해 설계된 생성 AI 기반 도구를 살펴봅니다.

Liam Geraghty: 익숙한 것 같군요!

Lindey Raymond: 말할 내용, 특정 기술 지원 문제를 해결하는 방법 및 고객에게 전달해야 하는 방법에 대한 지침을 알려줍니다.

“Generative AI가 제대로 작동하려면 많은 데이터가 필요합니다. 다른 모든 분야에 비해 보급률이 높은 경제 부문을 살펴보면 고객 지원이 그 영역입니다.”

그리고 우리는 차이 내 차이 분석을 수행합니다. 시간이 지남에 따라 사람들에게 이 도구를 매우 느리게 배포하여 도구의 인과 관계를 파악하려고 시도할 수 있습니다. 우리는 주로 미국에 기반을 둔 중소기업을 위한 중소기업 및 회계 소프트웨어를 수행하는 Fortune 500대 기업에 기술 지원을 제공하는 근로자를 찾고 있습니다.

Liam Geraghty: 그들은 사람들이 전화를 얼마나 빨리 해결했는지, 얼마나 많은 문제를 해결할 수 있는지, 고객 만족도, 조직적 변화와 같은 몇 가지 사항과 같은 다양한 결과를 살펴봤습니다.

Lindsey Raymond: 이것이 직원 이직률에 어떤 영향을 미칩니까? 이것이 서로 또는 관리자와 대화하는 빈도에 어떤 영향을 줍니까?

Liam Geraghty: 생성 AI의 모든 잠재적 영역 중에서 Lindsey와 그녀의 동료가 집중할 고객 지원을 선택한 이유가 궁금할 수 있습니다.

"최고의 성과를 내는 고객 서비스 상담원과 가장 낮은 성과를 내는 상담원 사이에는 상당한 생산성 차이가 있습니다."

Lindsey Raymond: Generative AI가 제대로 작동하려면 많은 데이터가 필요합니다. 다른 모든 지역에 비해 보급률이 높은 경제 부문을 살펴보면 고객 지원이 그 영역입니다. 이러한 도구의 실제 롤아웃 및 개발을 위해 놀라운 양의 활동이 있었습니다. 그 영역에 너무 많은 데이터, 특히 텍스트 데이터가 있기 때문입니다.

그 중 많은 부분이 결과와 자동으로 연결됩니다. 작업자가 해당 문제를 얼마나 빨리 해결했습니까? 그리고 개선의 여지도 많습니다. 최고 성과를 내는 고객 서비스 상담원과 최저 성과를 내는 상담원 사이에 상당한 생산성 차이가 있다는 것은 잘 알려진 사실입니다. 또한 지난 몇 년 동안 컨택 센터로 더 많은 일을 하도록 엄청난 변화가 있었던 영역이기도 합니다. 따라서 대기업이 이를 더 잘해야 하는 영역입니다.

0에서 영웅

Liam Geraghty: 그래서 그들은 1년 동안 5,179명의 고객 지원 상담원의 데이터를 사용하여 이 모든 것을 연구했습니다. 그리고 그들이 발견한 것은 흥미롭습니다.

Lindsey Raymond: 헤드라인 번호는 평균적으로 AI에 대한 액세스가 생산성을 14% 향상시켰지만 많은 이질성을 숨기고 있다는 것입니다. 경험이 가장 적고 숙련도가 가장 낮은 작업자의 경우 실제로 35% 향상되었습니다. 가장 경험이 풍부하고 생산적인 근로자는 거의 효과를 보지 못합니다.

Liam Geraghty: 따라서 경험이 적고 숙련도가 낮은 근로자에게 불균형적으로 이익이 발생합니다. 왜 그런 일이 발생합니까?

Lindsey Raymond: 제 생각에는 그것이 아마도 연구에서 가장 흥미로운 부분일 것입니다. 모든 기계 학습 기반 도구는 훈련 데이터 세트를 사용하고 데이터에서 패턴을 찾습니다. 따라서 당신은 프로그래머로서 "글쎄, 나는 이 문구가 잘 작동한다는 것을 알고 있으므로 이렇게 하십시오. 이것이 이 문제에 대한 일반적인 해결책이라는 것을 압니다. 그리고 이것이 그 문제에 대한 일반적인 해결책입니다. "라고 말하지 마십시오. 당신은 당신의 프로그램에 그 정보를 넣습니다. 그것은 ML이 작동하는 방식이 아닙니다.

"아직 어떻게 해야할지 몰랐기 때문에 이러한 제안으로부터 실제로 혜택을 보는 것은 매우 신입 직원이거나 생산성 순위가 가장 낮은 근로자입니다."

특히 우리 설정에서 도구는 성과가 높은 사람들의 대화를 살펴보고 성과가 낮은 사람들의 대화와 비교합니다. 성공적인 결과와 관련된 고성과자와 저성과자 사이의 차이점을 찾습니다. 그들이 고객을 맞이하는 방식은 무엇입니까? 그들이 제안하는 솔루션은 무엇입니까? 진단 질문을 시작하는 방법은 무엇입니까? 그런 다음 그 모든 것을 취하여 모든 사람을 위해 생성하는 제안으로 바꿉니다. 고숙련 작업자는 AI를 위한 콘텐츠를 제공하고 있습니다. 이러한 콘텐츠는 대부분 이미 수행하고 있는 작업입니다. 이미 하고 있는 작업을 수행하도록 제안하는 도구가 있는 경우 해당 도구에 대한 액세스로 인해 큰 생산성 효과를 보지 못할 것입니다. 이러한 제안이 아직 수행 방법을 파악하지 못한 일이기 때문에 이러한 제안으로부터 실제로 혜택을 받는 것은 매우 신입 직원이거나 생산성 순위에서 맨 아래에 있는 직원입니다. 저숙련 노동자들이 많이 바뀌고 고숙련 노동자들처럼 의사소통에 가까워지기 시작합니다.

우리가 생각하는 것은 AI가 가능하게 하는 모범 사례의 확산입니다. 그렇기 때문에 저숙련 근로자와 미숙련 근로자의 생산성이 크게 향상되고 고숙련 근로자에게는 그렇지 않은 것입니다. 그리고 그것은 기계 학습이 작동하는 방식의 기능일 뿐이라고 생각합니다.

“생산성이 35% 증가하는 연구를 보면 상당히 충격적입니다. 이러한 효과로 주 4일 근무로 줄어드는 것을 상상할 수 있습니다.”

Liam Geraghty: 결과에 놀랐습니까?

Lindsey Raymond: 좋은 질문입니다. 생산성이 35% 증가한다는 연구 결과는 상당히 충격적입니다. 이러한 효과로 주 4일 근무로 줄어드는 것을 상상할 수 있습니다. 나는 그것이 방망이에서 꽤 놀랐다고 생각합니다. 직원이 통화를 조금 더 빠르게 처리할 뿐만 아니라 해결하는 문제의 비율을 개선하는 효과를 보았다는 사실, 즉 지식 기반 결과에 더 가까워서 해결하지 못했던 문제를 해결할 수 있게 되었습니다. 전에 해결할 수 있습니다. 그런 다음 고객 만족도가 상당히 크게 증가합니다. 내 생각에 그것들은 모두 놀랍습니다.

Liam Geraghty: AI가 이러한 유형의 연구에 뛰어들 수 있을 것이라고 생각하십니까?

Lindsey Raymond: 아마도, 네. 경제 논문을 내가 쓰는 것보다 더 잘 쓸 수 있는 생성 AI가 있다고 확신합니다.

Liam Geraghty: Lindsey, 오늘 저와 대화해 주셔서 감사합니다.

Lindsey Raymond: 네, 물론입니다. 그것은 기쁨이었다.