Melepaskan produktivitas: Pelajari bagaimana AI meningkatkan produktivitas tim layanan pelanggan sebesar 14%, menurut peneliti Stanford dan MIT

Apa yang terjadi ketika AI generatif bertemu dengan tempat kerja? Dalam episode khusus ini, kami menyelami studi terobosan saat manusia yang dibantu AI mendefinisikan ulang batasan produktivitas.

AI generatif mungkin telah menarik banyak perhatian dari publik, namun, sampai sekarang, implikasi ekonominya di dunia nyata sebagian besar masih belum dijelajahi. Terlepas dari sinyal yang menjanjikan dalam skenario pengujian, manfaat langsung apa pun dari sudut pandang bisnis tampaknya masih di luar jangkauan, hingga saat ini.

Para peneliti dari Universitas Stanford dan MIT melakukan studi selama setahun untuk mengukur dampak AI generatif di dunia nyata di antara lebih dari 5.000 agen layanan pelanggan di perusahaan perangkat lunak Fortune 500, dan hasilnya masuk. Produktivitas pekerja layanan pelanggan meningkat sebesar 14% pada rata-rata, dengan lompatan 35% yang mengejutkan di antara pekerja terbaru atau berkinerja paling rendah.

Sistem AI, yang menggabungkan model pembelajaran bahasa GPT OpenAI dengan algoritme pembelajaran mesin, menganalisis percakapan antara yang berkinerja tinggi dan membandingkannya dengan yang berkinerja rendah. Ini kemudian menghasilkan saran waktu nyata tentang cara merespons pelanggan, yang pada akhirnya mengurangi waktu penanganan obrolan, meningkatkan tingkat resolusi obrolan, dan meningkatkan kepuasan pelanggan. Faktanya, agen layanan pelanggan yang baru direkrut dapat, dengan bantuan AI, bekerja sebaik agen dengan pengalaman enam bulan bekerja tanpa AI.

Pada episode hari ini, kami berkesempatan berbincang dengan MIT Ph.D. kandidat Lindsey Raymond, salah satu peneliti di balik studi terobosan ini, tentang pekerjaan mereka dan dampak transformatif AI di tempat kerja.

Singkat waktu? Berikut adalah beberapa takeaways utama:

• AI generatif berkembang dengan data yang melimpah, yang membuat dukungan pelanggan, dengan kekayaan data teksnya, menjadi sektor utama untuk pengembangan alat AI.
• Kesenjangan produktivitas antara agen pendukung berkinerja terbaik dan berkinerja terbawah, serta meningkatnya ketergantungan pada pusat kontak, merupakan pendorong utama peningkatan dalam industri layanan pelanggan.
• Pekerja berketerampilan rendah paling diuntungkan dari alat AI, karena membantu mereka mengadopsi praktik terbaik yang belum mereka temukan sendiri.
• Peningkatan produktivitas signifikan yang dimungkinkan oleh AI, seperti peningkatan pemecahan masalah dan kepuasan pelanggan, bahkan dapat mendukung peningkatan jam kerja empat hari dalam seminggu.

Jika Anda menikmati diskusinya, lihat lebih banyak episode podcast kami. Anda dapat mengikuti Apple Podcasts, Spotify, YouTube, atau mengambil umpan RSS di pemutar pilihan Anda. Berikut ini adalah transkrip episode yang diedit ringan.

Membuat gelombang dalam dukungan pelanggan

Liam Geraghty: Halo dan selamat datang di Inside Intercom. Saya Liam Geraghty. Agak gila untuk berpikir bahwa ChatGPT Open AI baru diluncurkan beberapa bulan yang lalu. Kecepatan AI menjadi bagian dari hidup kita adalah sesuatu yang tidak dapat diprediksi oleh siapa pun. Itu sudah mulai mengubah layanan pelanggan dan ruang dukungan.

“Manusia plus mesin lebih baik daripada mesin, yang pada gilirannya lebih baik daripada manusia. Saya pikir itulah yang saya lihat di dunia dukungan ini ”

Salah satu pendiri Intercom, Des Traynor berbicara tentang bagaimana dia yakin masa depan CS adalah otomatisasi dan manusia, bot, dan otak bekerja sama, dalam episode podcast kami baru-baru ini.

Des Traynor: Manusia plus mesin lebih baik daripada mesin, yang pada gilirannya lebih baik daripada manusia. Saya pikir itulah yang saya lihat di dunia dukungan ini. Saya pikir Anda akan membuat manusia pada akhirnya mengendalikan kecerdasan yang digunakan AI.

Liam Geraghty: Banyak pemimpin dukungan pelanggan terjun langsung ke AI dan berenang di perairan generatifnya. Tetapi yang lain, meski bersemangat, hanya mencelupkan jari kaki mereka, merasa sedikit gentar.

Nah, untuk Anda yang suka gayung, Anda mungkin tertarik untuk mendengar tentang studi baru oleh para peneliti di Universitas Stanford dan Institut Teknologi Massachusetts, semua tentang AI generatif di tempat kerja, dengan beberapa temuan yang sangat menarik. Penelitian dilakukan oleh Eric Brynjolfsson, Danielle Li, dan Lindsey Raymond.

Wawasan dari AI generatif di tempat kerja

Lindsey Raymond: Saya Lindsey Raymond. Saya seorang mahasiswa pascasarjana di MIT.

Liam Geraghty: Lindsey dan rekannya mempelajari dampak alat AI generatif terhadap produktivitas di perusahaan Fortune 500. Ini adalah pertama kalinya dampak alat ini pada pekerjaan diukur di luar pengaturan lab.

Lindsey Raymond: Gagasan AI generatif itu sendiri cukup baru. Dalam hal apa yang telah dipelajari orang, ada beberapa pekerjaan tentang bagaimana alat ini bekerja pada hal-hal seperti ujian pengacara.

Liam Geraghty: AI menghancurkan ujian pengacara.

Lindsey Raymond: Atau ujian coding, ujian kemampuan yang sangat berbasis laboratorium. Dan kami adalah yang pertama yang mengatakan apa yang terjadi ketika Anda mempelajari apa yang dapat dilakukan alat ini di tempat kerja nyata dan dalam jangka waktu yang lama karena penelitian kami dilakukan sepanjang tahun.

Liam Geraghty: Jadi apa sebenarnya penelitian itu?

Lindsey Raymond: Kami melihat alat berbasis AI generatif yang dirancang untuk membantu pekerja dukungan teknis saat mereka memecahkan masalah dukungan teknis orang.

Liam Geraghty: Kedengarannya akrab!

Lindey Raymond: Memberi tahu mereka apa yang harus dikatakan, cara mengatasi masalah dukungan teknis tertentu, dan juga panduan tentang cara mereka harus mengomunikasikannya kepada pelanggan.

“AI generatif membutuhkan banyak data untuk bekerja dengan sangat baik. Jika Anda melihat sektor ekonomi di mana terdapat penetrasi yang tinggi relatif terhadap tempat lain, dukungan pelanggan adalah area tersebut”

Dan kami melakukan analisis perbedaan-dalam-perbedaan – peluncuran yang sangat lambat dari alat ini kepada orang-orang dari waktu ke waktu sehingga kami dapat mencoba mendapatkan efek kausal dari alat tersebut. Kami sedang mencari pekerja yang memberikan dukungan teknis untuk perusahaan Fortune 500 yang melakukan bisnis kecil dan perangkat lunak akuntansi sebagian besar untuk bisnis kecil yang berbasis di AS.

Liam Geraghty: Mereka melihat banyak hasil yang berbeda, seperti seberapa cepat orang menyelesaikan panggilan, berapa banyak masalah yang dapat mereka selesaikan, kepuasan pelanggan, serta beberapa hal yang lebih bersifat perubahan organisasi.

Lindsey Raymond: Bagaimana dampak pergantian karyawan? Bagaimana pengaruhnya terhadap seberapa sering mereka berbicara satu sama lain atau dengan manajer mereka?

Liam Geraghty: Anda mungkin bertanya-tanya mengapa, dari semua area potensial AI generatif, Lindsey dan rekannya memilih fokus pada dukungan pelanggan.

“Ada perbedaan produktivitas yang cukup besar antara agen layanan pelanggan Anda yang berkinerja terbaik dan yang berkinerja paling rendah”

Lindsey Raymond: AI generatif membutuhkan banyak data untuk bekerja dengan sangat baik. Jika Anda melihat sektor ekonomi di mana ada penetrasi yang tinggi relatif terhadap tempat lain, dukungan pelanggan adalah area tersebut. Ada sejumlah aktivitas yang mengejutkan untuk peluncuran dan pengembangan sebenarnya dari alat ini. Dan itu karena ada begitu banyak data di area tersebut, terutama data teks.

Banyak dari itu secara otomatis dikaitkan dengan hasil – seberapa cepat pekerja itu menyelesaikan masalah itu? Dan ada juga banyak ruang untuk perbaikan. Sudah menjadi fakta umum bahwa ada perbedaan produktivitas yang cukup besar antara agen layanan pelanggan Anda yang berkinerja terbaik dan agen layanan pelanggan Anda yang berkinerja paling rendah. Ini juga merupakan area di mana ada perubahan besar untuk melakukan lebih banyak hal dengan pusat kontak selama beberapa tahun terakhir. Jadi, ini adalah area di mana ada kebutuhan bisnis besar untuk menjadi lebih baik dalam hal ini.

Dari nol menjadi pahlawan

Liam Geraghty: Jadi, selama setahun, mereka mempelajari semua ini menggunakan data dari 5.179 agen dukungan pelanggan. Dan apa yang mereka temukan sangat menarik.

Lindsey Raymond: Angka utamanya adalah, rata-rata, akses ke AI meningkatkan produktivitas sebesar 14%, tetapi itu menyembunyikan banyak heterogenitas. Untuk pekerja dengan keterampilan paling rendah dan paling tidak berpengalaman, itu benar-benar meningkat sebesar 35%. Pekerja yang paling berpengalaman dan produktif hampir tidak melihat efek apa pun.

Liam Geraghty: Jadi, keuntungan bertambah secara tidak proporsional untuk pekerja yang kurang berpengalaman dan berketerampilan rendah. Mengapa itu terjadi?

Lindsey Raymond: Saya pikir itu mungkin bagian yang paling menarik dari penelitian ini. Setiap alat berbasis pembelajaran mesin menggunakan kumpulan data pelatihan dan mencari pola dalam data. Jadi Anda, sebagai programmer, jangan berkata, "Ya, saya tahu kalimat ini berfungsi dengan baik, jadi lakukan ini, dan saya tahu ini adalah solusi umum untuk masalah ini, dan ini adalah solusi umum untuk masalah itu," dan Anda memasukkan informasi itu ke dalam program Anda. Itu bukan cara kerja ML.

“Pekerja yang sangat baru atau berada di bawah peringkat produktivitaslah yang benar-benar mendapat manfaat dari saran tersebut karena itu adalah hal-hal yang belum mereka ketahui cara melakukannya”

Dalam pengaturan kami, khususnya, alat melihat percakapan dari orang-orang yang berkinerja tinggi dan membandingkannya dengan percakapan dari orang-orang yang berkinerja rendah. Ini mencari perbedaan antara apa yang dilakukan oleh orang berkinerja tinggi dan rendah yang terkait dengan hasil yang sukses. Bagaimana cara mereka menyapa pelanggan? Apa solusi yang mereka usulkan? Bagaimana mereka mulai mengajukan pertanyaan diagnostik? Kemudian, dibutuhkan semua hal itu dan mengubahnya menjadi saran yang dihasilkannya untuk semua orang. Pekerja berketerampilan tinggi menyediakan konten untuk AI – sebagian besar adalah hal-hal yang sudah mereka lakukan karena dari situlah AI mempelajarinya. Saat Anda memiliki alat yang menyarankan Anda melakukan hal-hal yang sudah Anda lakukan, Anda mungkin tidak akan melihat efek produktivitas yang besar dari akses ke alat tersebut. Para pekerja yang sangat baru atau berada di bawah peringkat produktivitaslah yang benar-benar diuntungkan dari saran-saran tersebut karena itu adalah hal-hal yang belum mereka ketahui cara melakukannya. Pekerja berketerampilan rendahlah yang banyak berubah dan mulai bergerak lebih dekat untuk berkomunikasi seperti pekerja berketerampilan tinggi.

Apa yang menurut kami sedang terjadi adalah difusi praktik terbaik yang dimungkinkan oleh AI. Dan itulah mengapa kami melihat peningkatan produktivitas yang sangat besar untuk pekerja berketerampilan rendah dan tidak berpengalaman dan tidak begitu banyak untuk pekerja berketerampilan tinggi. Dan itu, menurut kami, hanyalah fungsi dari cara kerja pembelajaran mesin.

“Dalam studi mana pun di mana Anda melihat peningkatan produktivitas 35%, itu cukup mengejutkan. Anda bisa membayangkan pergi ke minggu kerja empat hari dengan efek itu ”

Liam Geraghty: Apakah Anda terkejut dengan hasilnya?

Lindsey Raymond: Itu pertanyaan yang bagus. Dalam studi mana pun di mana Anda melihat peningkatan produktivitas 35%, itu cukup mengejutkan. Anda bisa membayangkan turun ke minggu kerja empat hari dengan efek itu. Saya pikir itu cukup mengejutkan. Fakta bahwa kami melihat efek tidak hanya pada pekerja yang menangani panggilan sedikit lebih cepat, tetapi juga meningkatkan bagian masalah yang mereka pecahkan, yang lebih merupakan hasil berbasis pengetahuan, memungkinkan mereka memecahkan masalah yang tidak mereka miliki. mampu memecahkan sebelumnya. Dan kemudian, kami melihat peningkatan yang cukup besar dalam kepuasan pelanggan. Itu, menurut saya, semuanya mengejutkan.

Liam Geraghty: Apakah menurut Anda AI akan dapat terjun dan melakukan studi semacam ini?

Lindsey Raymond: Mungkin, ya. Saya yakin ada AI generatif yang dapat menulis makalah ekonomi lebih baik daripada yang dapat saya tulis.

Liam Geraghty: Lindsey, terima kasih banyak telah berbicara dengan saya hari ini.

Lindsey Raymond: Ya, tentu saja. Itu adalah kenikmatan.