Pembuka percakapan: Obrolan tentang AI chatbot baru kami yang inovatif

Dunia AI bergerak cepat, dan di sini di Intercom, kami membantu mengatur kecepatan itu. Hari ini, kami dengan senang hati memperkenalkan Fin, chatbot baru kami yang didukung oleh GPT-4 OpenAI dan teknologi pembelajaran mesin milik Intercom.

Beberapa minggu yang lalu, kami mengumumkan fitur bertenaga GPT pertama kami di Interkom – serangkaian alat berguna untuk perwakilan layanan pelanggan – dan pelanggan kami benar-benar menikmati efisiensi ekstra yang diberikan oleh fitur ini.

Namun, tujuan utamanya adalah membuat chatbot bertenaga GPT yang dapat menjawab pertanyaan pelanggan secara langsung. Untuk melakukan ini, diperlukan kemampuan untuk memanfaatkan kekuatan model bahasa besar tetapi tanpa kelemahan yang ditimbulkan oleh "halusinasi". Awalnya, kami tidak yakin berapa lama waktu yang dibutuhkan untuk memecahkan masalah ini, tetapi sekarang, dengan dirilisnya GPT-4 oleh OpenAI, kami dapat mengungkapkan bahwa kami telah membuat chatbot yang dapat menjawab pertanyaan pelanggan dengan standar yang tinggi. . Kami menyebutnya Fin.

Dalam episode podcast Inside Intercom hari ini, saya duduk bersama Director of Machine Learning kami, Fergal Reid, untuk membahas chatbot AI baru kami, bagaimana kami membangunnya, apa fungsinya, dan seperti apa langkah selanjutnya untuk terobosan luar biasa ini.

Berikut adalah beberapa takeaways utama:

• Chatbot AI baru kami dapat berkomunikasi secara alami menggunakan teknologi GPT terbaru.
• Fin menyerap informasi dari pusat bantuan Anda yang ada dan hanya menggunakan pengetahuan itu, memberi Anda kontrol atas cara menjawab pertanyaan tentang bisnis Anda.
• Di Intercom, kami percaya bahwa masa depan dukungan adalah perpaduan antara bot dan manusia. Fin tidak akan dapat menjawab semua pertanyaan pelanggan, dan dalam situasi tersebut, Fin dapat memberikan pertanyaan yang lebih sulit kepada tim dukungan manusia dengan lancar.
• Kami telah mengurangi halusinasi sekitar 10x, membangun batasan yang membatasi Fin untuk pertanyaan yang berkaitan dengan bisnis Anda, berdasarkan basis pengetahuan yang Anda percayai.

Jika Anda menikmati diskusi kami, lihat lebih banyak episode podcast kami. Anda dapat mengikuti Apple Podcasts, Spotify, YouTube, atau mengambil umpan RSS di pemutar pilihan Anda. Berikut ini adalah transkrip episode yang diedit ringan.

Bot dengan nama lain

Des Traynor: Selamat datang di episode podcast Interkom yang menarik. Saya sekali lagi bergabung dengan Fergal Reid, Direktur Pembelajaran Mesin kami, dan dia akan memberi tahu kami tentang peluncuran sesuatu yang telah diminta cukup banyak setiap hari sejak ChatGPT diluncurkan.

“Ini sebenarnya akan menjadi bot yang dapat Anda gunakan untuk bisnis Anda yang memiliki kemampuan pemrosesan bahasa alami dari ChatGPT tetapi akan menjawab pertanyaan khusus tentang bisnis Anda”

Fergal Reid: Ya, terima kasih Des. Sejak ChatGPT diluncurkan, orang-orang berkata, 'Hai, bisakah saya menggunakannya untuk menjawab pertanyaan dukungan untuk bisnis saya?' Dan kami selalu seperti, 'Oh, kami tidak tahu. Kami tidak yakin tentang halusinasinya.' Tapi hari ini saya pikir kami sangat bersemangat untuk mengumumkan bahwa kami sangat bersemangat dengan produk ini karena kami pikir kami telah melakukannya. Kami rasa kami telah membuat sesuatu – ini sebenarnya adalah bot yang dapat Anda gunakan untuk bisnis Anda yang memiliki kemampuan pemrosesan bahasa alami dari ChatGPT tetapi akan menjawab pertanyaan khusus tentang bisnis Anda dan kami telah membuatnya menggunakan pusat bantuan Anda jadi itu tidak akan menjawab pertanyaan secara acak dari seluruh internet atau apapun. Anda dapat mengontrol apa yang dikatakannya. Tingkat akurasinya naik jauh. Kami telah berhasil meningkatkan tingkat akurasi dengan menggunakan model GPT-4 baru OpenAI dan yang dapat Anda akses dalam versi beta. Jadi saya sangat bersemangat tentang ini.

Des: Jadi idenya adalah apa yang telah dialami dan membuat orang jatuh cinta di ChatGPT, yang secara efektif adalah bot ini yang dapat Anda tanyakan apa saja dan memberikan jawaban yang bagus. Anda dapat melakukannya untuk bisnis Anda?

Ferga: Ya. Semacam. Jadi kami sengaja membuatnya agar Anda tidak bisa bertanya apa-apa. Idenya adalah untuk membangun sesuatu yang memiliki pemahaman percakapan yang sama seperti yang telah kita lihat dengan ChatGPT, tetapi secara khusus hanya menjawab pertanyaan tentang bisnis Anda. Anda dapat menanyakan sesuatu yang liar seperti, siapa presiden Amerika ke-22? Dan itu akan seperti, 'Hai, saya di sini hanya untuk menjawab pertanyaan dukungan pelanggan tentang bisnis khusus ini.'

Des: Keren. Jadi ia benar-benar tahu apa yang harus dan tidak boleh dicoba?

Fergal: Ya, persis. Itulah idenya.

Terobosan bot

Des: Saya merasa seperti tujuh atau delapan minggu yang lalu Anda mengatakan kami tidak akan melakukan ini karena itu tidak mungkin atau tidak akan mudah atau semacamnya?

“Setiap pelanggan bertanya kepada kami tentang hal itu”

Fergal: Jadi, enam atau tujuh minggu yang lalu, saat kami mulai melihat teknologi ini, awalnya saat pertama kali melihatnya, kami seperti, 'Wow, bisakah kita membuat ini? Bisakah kami membuat ChatGPT untuk bisnis Anda?' Itu adalah pikiran semua orang. Setiap pelanggan bertanya kepada kami tentang hal itu. Kami sedang melihatnya dan kami pergi, astaga, ini banyak berhalusinasi, ini akan memberi Anda hasil yang tidak akurat. Hasil yang sangat tidak akurat, benar-benar dibuat-buat, kami seperti 'Ini adalah teknologi yang sangat menarik, tetapi kami tidak yakin apakah kami benar-benar dapat membatasi dan menghentikannya dengan cukup berhalusinasi. Dan kami menghabiskan banyak waktu bermain dengan GPT, ChatGPT, GPT-3.5.

“Saat kami mulai memainkannya, kami berpikir, wow, ini sepertinya jauh lebih baik. Kadang-kadang masih bisa berhalusinasi, tapi berhalusinasi jauh lebih sedikit, mungkin 10 kali lebih sedikit ”

Kita tidak akan pernah bisa mengetahuinya ketika ia tidak mengetahui sesuatu. Namun baru-baru ini kami mendapat akses ke beta baru dari OpenAI model GPT-4 baru mereka. Dan salah satu hal yang mereka katakan kepada kami adalah, 'Hei, ini dirancang untuk lebih sedikit berhalusinasi daripada beberapa model lain yang pernah kami lihat sebelumnya.' Jadi, Anda tahu, kami seperti, 'Wow, kedengarannya sangat menarik. Kedengarannya sangat menarik, GPT-4, apa yang akan dilakukannya?' Dan kami berusaha keras untuk melihat ini dan memasukkannya ke beberapa test bed kami untuk memeriksa dan memeriksa apakah ada halusinasi. Dan saat kami mulai memainkannya, kami berpikir, wow, ini sepertinya jauh lebih baik. Kadang-kadang masih bisa berhalusinasi, tapi berhalusinasi jauh lebih sedikit, mungkin 10 kali lebih sedikit, kira-kira seperti itu. Jadi kami sangat bersemangat. Kami seperti, 'Wow, oke, ini tiba-tiba terasa seperti ini. Ini cukup bagus untuk membuat bot, ini adalah generasi yang lebih maju dari GPT-3.5 yang kami gunakan. Ini jauh lebih jauh, dalam hal seberapa dapat dipercaya itu.

Des: Menyenangkan. Apa yang dilakukan tes tersebut – apakah ada tes penyiksaan yang kami lakukan pada bot ini untuk melihat dengan tepat apakah mereka pada dasarnya tahu bahwa mereka omong kosong?

Fergal: Jadi kita tidak sejauh itu. Untuk model generasi kami sebelumnya, misalnya untuk bot resolusi, kami memiliki serangkaian tolok ukur pengujian yang telah diuji coba dan dikembangkan dengan sangat baik, yang telah kami buat selama bertahun-tahun. Semua teknologi baru ini berumur beberapa bulan, jadi kami tidak berprinsip seperti itu. Tapi kami telah mengidentifikasi banyak kasus ekstrem, hanya hal-hal spesifik. Kami memiliki spreadsheet tempat kami melacak jenis mode kegagalan tertentu yang kami lihat dengan model baru ini. Jadi ketika GPT-4 datang, Anda seperti, oke, ayo, mari kita coba ini. Mari kita lihat apa yang terjadi ketika Anda mengajukan pertanyaan yang sama sekali tidak terkandung dalam artikel atau basis pengetahuan. Atau Anda mengajukan pertanyaan yang serupa, tetapi tidak sepenuhnya sama dengan apa yang sebenarnya ada.

Dan tahukah Anda, dengan GPT-3.5 dan dengan ChatGPT, jika ia tidak mengetahui sesuatu, ia hampir seperti ingin menyenangkan Anda, memberikan apa yang Anda inginkan. Jadi itu hanya membuat sesuatu. Dan dengan GPT-4, mereka jelas telah melakukan banyak upaya untuk menguranginya. Dan itu sangat jelas bagi kami. Jadi ketika kami mengujinya, itu mungkin untuk membuatnya mengatakan, 'Saya tidak tahu', atau untuk mengungkapkan lebih banyak ketidakpastian. Itu adalah pengubah permainan nyata bagi kami.

“Di Intercom, kami percaya bahwa masa depan dukungan adalah gabungan antara bot dan manusia”

Des: Dan jika bot tidak tahu, apakah bisa diserahkan ke manusia?

Fergal: Tentu saja. Di interkom, kami percaya bahwa masa depan dukungan adalah gabungan antara bot dan manusia. Kami memiliki banyak pengalaman dengan bot resolusi dalam melakukan penyerahan yang bagus dari bot ke perwakilan dukungan manusia, semoga mendapatkan perwakilan dukungan tersebut sebelum percakapan dan kami pikir kami masih perlu melakukannya dengan bot ini. Akan selalu ada masalah ketika, katakanlah, seseorang meminta pengembalian dana. Mungkin Anda ingin manusia menyetujuinya. Jadi harus selalu ada jalur persetujuan manusia. Di Intercom kami memiliki platform yang sangat bagus seputar alur kerja dan Anda akan dapat menggunakannya untuk mengontrol kapan bot diserahkan dan bagaimana penyerahannya. Kami akan memastikan bahwa bot baru ini terintegrasi dengan platform kami yang sudah ada dengan cara yang sama seperti bot kami yang sudah ada.

Des: Dan saya kira bot akan memperjelas atau mengkualifikasi kueri dengan cara tertentu, mungkin meringkasnya, bahkan saat menyerahkannya?

Fergal: Saat ini kami tidak memiliki fitur peringkasan apa pun di sana, tetapi bot akan berusaha untuk memperjelas dan menarik respons pelanggan. Bot resolusi kami yang ada melakukan sedikit itu. Bot baru ini, karena jauh lebih baik dalam pemrosesan bahasa alami, dapat melakukannya dengan lebih efektif. Jadi itu mungkin berarti waktu penanganan untuk perwakilan Anda berkurang, untuk pertanyaan yang telah disentuh bot. Jadi ya, cukup bersemangat tentang itu juga.

Seni percakapan

Des: Pendengar podcast Intercom On Product kami akan tahu bahwa saya sering mengatakan bahwa memiliki kemampuan, bahkan kemampuan baru yang berguna, tidak cukup untuk memiliki produk hebat. Bagaimana Anda membungkus produk – apa tujuan Anda? Apa tujuan desain untuk membangun produk aktual di sekitar kemampuan GPT-4 ini?

Fergal: Jadi kami menyadari sejak awal bahwa memang ada serangkaian tujuan desain yang ingin kami tuju. Pertama dan terpenting, kami ingin menangkap pemahaman bahasa alami yang dilihat orang dan sangat terkesan, dengan ChatGPT. Kami ingin mendapatkan generasi di atas apa yang ada, apa yang ada sebelumnya. Jadi jika Anda mengajukan pertanyaan yang cukup rumit atau Anda mengajukan satu pertanyaan, lalu Anda mengajukan pertanyaan lanjutan, yang memahami bahwa pertanyaan kedua harus ditafsirkan berdasarkan pertanyaan sebelumnya. Bot kami sebelumnya tidak melakukan itu. Dan sebagian besar bot di luar sana, mereka tidak melakukannya. Itu terlalu sulit. Anda tahu, percakapan adalah lingkungan yang sangat rumit untuk algoritme pembelajaran mesin. Ada banyak kehalusan dan interaksi dan semacam percakapan dukungan, tetapi teknologi baru ini tampaknya sangat bagus dalam hal itu. Jadi tujuan pertama kami adalah menangkapnya.

“Ada banyak kehalusan dan interaksi dan semacam percakapan dukungan, tetapi teknologi baru ini tampaknya berhasil dalam hal itu”

Des: Sebagai contoh, Anda dapat mengajukan pertanyaan dan mengatakan 'Apakah Anda memiliki aplikasi Android? Bagaimana dengan iPhone?' Ingin bertanya, 'Bagaimana dengan iPhone?' tidak masuk akal kecuali sebelumnya Anda telah menguraikannya dengan, 'Apakah Anda memiliki aplikasi Android?', sebagai contoh. Jadi ini tentang menyatukan berbagai hal untuk memahami kesinambungan dan konteks percakapan.

Fergal: Tepat sekali. Dan dengan itu, itu mengalir lebih alami. Kami secara khusus memperhatikan ini dengan bot baru ketika Anda mengajukan pertanyaan dan Anda mendapatkan jawaban dan itu tidak persis seperti yang Anda tanyakan, Anda bisa seperti, 'Oh, tapi tidak, saya benar-benar bermaksud meminta harga.' Dan itu memahami itu dan itu akan memberi Anda jawaban yang lebih relevan. Kami merasa seolah-olah itu adalah terobosan teknologi yang nyata.

Des: Bisakah itu menekan Anda dan berkata, 'Katakan lebih banyak?' Bisakah itu menanyakan pertanyaan lanjutan untuk memenuhi syarat pertanyaan Anda? Jadi jika Anda menemukan sesuatu yang tidak jelas, seperti, 'Hei, apakah ini berhasil?' Apakah itu akan mencoba menyelesaikannya? Atau apakah itu akan menjawab dengan, 'Saya butuh lebih dari itu.'

“Untuk benar-benar membangun pengalaman produk yang baik, sepertinya kami memiliki banyak fleksibilitas dan banyak daya, tetapi sekarang yang kami butuhkan adalah kemampuan untuk membatasi dan mengendalikannya”

Fergal: Jadi, secara alami, algoritme akan melakukan sejumlah itu, tetapi dengan teknologi semacam ini, kami mendapatkan kemampuan yang sangat canggih ini dan sebenarnya yang kami coba lakukan adalah kami mencoba untuk membatasinya. Kami mencoba untuk benar-benar mengatakan, 'Oke, Anda dapat melakukan semua ini di luar kebiasaan, tetapi kami membutuhkan lebih banyak kontrol.' Untuk sebenarnya – seperti yang Anda singgung sebelumnya – untuk membangun pengalaman produk yang baik, hampir seperti kami memiliki banyak fleksibilitas dan banyak kekuatan, tetapi sekarang yang kami butuhkan adalah kemampuan untuk membatasi dan mengontrolnya. Jadi kami telah membangun pengalaman seperti itu. Kami telah membangun pengalaman disambiguasi di mana, jika Anda mengajukan pertanyaan dan tidak ada cukup informasi, kami akan mencoba mengklarifikasinya, tetapi kami mengontrolnya.

Kami telah merekayasa petunjuk di mana Anda memiliki aplikasi tujuan khusus dengan teknologi untuk melakukan setiap tugas dalam percakapan. Jadi kami punya satu prompt untuk membuat Anda mengajukan pertanyaan; satu lagi untuk memperjelas pertanyaan; satu lagi untuk memeriksa untuk melihat apakah pertanyaan telah dijawab sepenuhnya untuk Anda. Jadi kami memulai dengan model bahasa yang sangat canggih ini, tetapi kami benar-benar hanya ingin menggunakannya sebagai blok penyusun. Kami ingin mengendalikannya. Kami mencapai kontrol itu dengan memecahnya menjadi modul tujuan khusus yang melakukan setiap hal secara terpisah.

Dengan produk hebat datanglah tanggung jawab yang besar

Des: Jadi pada tingkat dasar, kami katakan itu bisa berkomunikasi secara alami. Keuntungan terbesar dari itu, menurut saya, sebagai sebuah produk adalah Anda akan merasa nyaman menempatkannya sebagai solusi lini pertama di depan pelanggan Anda. Tadinya mau bilang pertahanan, tapi ini bukan operasi militer. Tapi Anda akan merasa nyaman meletakkannya di sana seolah mengatakan, 'Hei, sebagian besar percakapan mengarah ke sini.' Dan fakta bahwa ia dapat bolak-balik, ia dapat mempertahankan konteks, ia dapat memperjelas artinya ia dilengkapi dengan baik untuk melakukan itu. Apa lagi yang Anda tambahkan? Bukan hanya duduk di sana untuk mengobrol – jadi apa lagi fungsinya?

Fergal: Hal pertama yang ingin saya katakan adalah, bisnis yang berbeda mungkin akan memiliki tingkat kenyamanan yang berbeda dalam hal cara mereka menerapkannya. Beberapa orang mungkin akan berkata, 'Saya memiliki pusat bantuan yang sangat hebat', dan bot yang kami buat ini, mengambil semua informasinya dari pusat bantuan Anda. Saya akan kembali ke sana. Tetapi beberapa orang mungkin berkata, 'Saya memiliki pusat bantuan yang sangat bagus. Ini dikuratori dengan sangat baik. Saya telah memasukkan banyak artikel ke sana dari waktu ke waktu, dan saya ingin memiliki dialog bot dan menjawab semua pertanyaan itu.' Akan ada pelanggan lain yang menginginkan bot datang lebih oportunistik dan mundur [sendiri], dan kami sedang berupaya membangun pengaturan untuk memungkinkan orang mengontrol tingkat kenyamanan mereka dengan itu.

Des: Semacam ambang batas kapan bot harus masuk.

“Kami mengintegrasikan bot dengan semua alur kerja kami yang ada untuk membantu Anda mendapatkan kendali tentang kapan Anda menginginkannya masuk dan, yang lebih penting, kapan Anda ingin bot itu pergi sehingga Anda dapat menyerahkannya ke tim dukungan yang ada saat tercapai. akhirnya”

Fergal: Tepat sekali. Dan saat ini kami memiliki kemampuan alur kerja yang cukup besar yang dapat Anda gunakan. Dan kami mengintegrasikan bot dengan semua alur kerja kami yang ada untuk membantu Anda mendapatkan kontrol tentang kapan Anda ingin bot masuk dan, yang lebih penting, kapan Anda ingin bot keluar sehingga Anda dapat menyerahkannya ke tim dukungan yang ada saat tercapai akhirnya.

Des: Jadi kalau tidak ada support agent online, atau kalau user free, langsung kirim ke bot saja. Jika pelanggan VIP dan agen sedang menganggur, kirim langsung ke agen.

Fergal: Tepat sekali. Jadi yang kami coba lakukan di sini adalah mengambil teknologi baru ini dan kemudian mengintegrasikannya dengan platform kami yang ada, yang memiliki semua fitur yang dibutuhkan orang untuk membangun apa yang dianggap sebagai penerapan bot standar industri.

“Tujuan desain utama berikutnya yang kami miliki adalah untuk menghindari halusinasi”

Jadi tujuan desain utama berikutnya yang kami miliki adalah menghindari halusinasi. Kami telah berbicara tentang mengurangi halusinasi dan bagaimana itu adalah tujuan desain kami untuk membuat bot berkomunikasi secara alami. Tapi kami benar-benar ingin memberi pelanggan kami kendali atas jenis pertanyaan yang bisa dijawabnya. Sekarang bot ini, teknologi AI baru ini, Anda mendapatkan akses ke model bahasa besar dan telah dilatih di seluruh teks internet. Jadi semua ilmu itu ada di sana. Dan salah satu cara – jenis cara yang paling sederhana – untuk menyebarkan ini adalah seperti, 'Hei, saya hanya akan meminta bot untuk menjawab pertanyaan menggunakan semua informasinya tentang internet.' Tetapi masalahnya adalah jika ia tidak mengetahui sesuatu, ia dapat mengada-ada. Atau jika ia mengetahui sesuatu, mungkin Anda tidak ingin ia berbicara kepada pelanggan Anda tentang topik yang berpotensi sensitif yang Anda tahu memiliki informasi tentangnya. Anda mungkin berpikir, 'Saya tidak yakin bagaimana perasaan bisnis atau merek saya tentang, Anda tahu, informasi apa pun, itu didapat dari beberapa situs web yang aneh. Saya tidak ingin itu melakukan percakapan dengan pelanggan saya.'

“Kami telah melakukan banyak pekerjaan untuk menggunakan model bahasa besar untuk percakapan; menggunakannya untuk memahami artikel pusat bantuan yang Anda miliki; tetapi untuk membatasinya agar hanya memberikan informasi yang ada di artikel pusat bantuan aktual yang Anda kontrol dan yang dapat Anda perbarui dan Anda dapat ubah dan Anda dapat mengedit”

Jadi kami telah melakukan banyak pekerjaan untuk menggunakan model bahasa yang besar menjadi percakapan; menggunakannya untuk memahami artikel pusat bantuan yang Anda miliki; tetapi untuk membatasinya agar hanya memberikan informasi yang ada di artikel pusat bantuan aktual yang Anda kontrol dan yang dapat Anda perbarui dan Anda dapat ubah dan Anda dapat mengedit. Dan itu adalah tujuan desain utama bagi kami, untuk mencoba dan membuat bot ini dapat dipercaya, untuk mengambil model bahasa yang besar, tetapi untuk membuat bot yang dibatasi penggunaannya hanya untuk menjawab pertanyaan tentang bisnis Anda dan tentang pusat bantuan bisnis Anda.

Itu banyak pekerjaan, dan kami sangat bangga akan hal itu. Kami pikir kami memiliki sesuatu yang sangat bagus karena Anda mendapatkan bagian percakapan itu. Anda mendapatkan kecerdasan model AI untuk mendapatkan jawaban aktual dari artikel pusat bantuan, tetapi terbatas. Jadi itu tidak akan pergi dan mulai melakukan percakapan acak dengan pengguna akhir.

Bot-bot ini, model-model ini, selalu memungkinkan – jika Anda melakukan jailbreak pada mereka – untuk mengelabui mereka agar mengatakan sesuatu yang tidak bermerek atau yang tidak Anda inginkan. Dan itu mungkin masih mungkin, tapi kami benar-benar merasa kami sampai pada titik di mana hal itu membutuhkan upaya peretasan yang gigih untuk benar-benar membuatnya berhasil. Ini tidak hanya akan menjadi off-script secara radikal dalam percakapan normal.
Saya pikir satu hal yang sangat penting untuk diklarifikasi adalah bahwa model bahasa besar ini bersifat probabilistik. Halusinasi telah banyak berkurang dan kami pikir hal itu sekarang dapat diterima oleh banyak bisnis, tetapi bukan nol. Mereka kadang-kadang akan memberikan informasi yang tidak relevan. Mereka terkadang memberikan informasi yang salah ketika mereka membaca artikel pusat bantuan Anda, mereka tidak sepenuhnya mengerti, sehingga mereka salah menjawab pertanyaan. Mungkin agen pendukung juga akan membuat kesalahan…

Des: Manusia telah diketahui…

Fergal: Manusia kadang-kadang diketahui melakukan kesalahan juga. Jadi, bot ini, Anda tahu, ini era baru teknologi. Ada trade-off yang berbeda dari yang kita miliki sebelumnya. Mungkin beberapa pelanggan kami akan berkata, 'Saya ingin menunggu. Saya belum ingin menerapkan ini dulu.' Namun menurut kami, bagi banyak sekali pelanggan, ini akan melewati ambang batas, di mana manfaat dari [mampu mengatakan] 'Saya tidak perlu melakukan kurasi, saya tidak perlu melakukan penyiapan yang saya' yang pernah saya lakukan di masa lalu dengan bot resolusi, saya dapat mengaktifkannya, pada hari pertama, dan tiba-tiba semua pengetahuan yang ada di pusat bantuan saya, bot memilikinya, bot dapat mencoba dan menjawab pertanyaan dengannya.' Itu tidak akan sempurna, tetapi akan cepat. Kami pikir itu akan menjadi trade-off yang bermanfaat bagi banyak bisnis.

Des: Dalam hal penyiapan, jika Anda adalah pelanggan dengan basis pengetahuan yang baik, berapa lama waktu yang Anda perlukan untuk beralih dari itu ke bot yang bagus? Berapa banyak pelatihan yang terlibat? Berapa banyak konfigurasi?

Fergal: Sangat sedikit waktu sama sekali. Pada dasarnya tidak ada pelatihan. Anda dapat mengambil sistem baru yang telah kami buat dan mengarahkannya ke pusat bantuan yang ada. Ini sedikit waktu pemrosesan di mana kami harus menariknya dan mengikisnya dan menyiapkan artikel untuk ditayangkan.

Des: Menit? Detik?

Fergal: Kami masih mengusahakannya. Kami sedang dalam hitungan menit sekarang, tapi kami pikir - mungkin pada saat ini mengudara - itu akan turun jauh lebih rendah dari itu. Tidak ada hambatan rekayasa keras untuk membuatnya sangat, sangat rendah. Jadi kami sangat bersemangat tentang itu.

Ringkasan produk

Des: Singkatnya, beri kami poin-poin penting dari produk ini. Apa yang harus kita beri tahu pasar tentang hal itu?

“Itu akan berbicara dengan Anda secara alami, seperti yang Anda lihat dengan ChatGPT. Hal kedua adalah Anda, sebagai bisnis, dapat mengontrol apa yang dikatakannya”

Fergal: Hal pertama yang ingin saya katakan adalah ia akan berbicara dengan Anda secara alami, seperti yang Anda lihat dengan ChatGPT. Hal kedua adalah Anda, sebagai bisnis, dapat mengontrol apa yang dikatakannya. Anda dapat membatasi hal-hal yang akan dibicarakannya dengan konten basis pengetahuan Anda. Hal ketiga yang akan saya katakan adalah bahwa halusinasi jauh dari tempatnya semula. Dan hal keempat yang akan saya katakan adalah bahwa ini sangat mudah diatur. Anda hanya mengambil ini, Anda mengarahkannya ke kumpulan pengetahuan Anda yang ada dan Anda tidak perlu melakukan banyak kurasi.

Des: Karena kami adalah Interkom, kami tidak mungkin mengobrol dan terlibat dalam banyak hype tanpa setidaknya beberapa kualifikasi. Area apa yang masih kami upayakan untuk ditingkatkan?

Fergal: Saya kira hal pertama yang akan saya katakan adalah bahwa bagian akurasinya tidak sempurna. Ini adalah jenis teknologi baru. Ini adalah trade-off rekayasa perangkat lunak jenis baru. Jadi, dengan bot resolusi, bot resolusi kadang-kadang datang dan memberikan jawaban yang tidak relevan, tetapi Anda selalu dapat mengetahui apa yang dibicarakan, Anda dapat mengatakan, 'Itu tidak terlalu relevan.' Ini sedikit berbeda. Ini terkadang akan memberikan jawaban yang tidak relevan, tetapi terkadang juga memberikan jawaban yang salah. Itu mungkin hanya salah memahami informasi di basis pengetahuan Anda. Contoh spesifik dari hal ini kadang-kadang, katakanlah, jika Anda memiliki daftar waktu sesuatu dapat terjadi dan pengguna bertanya [bot], daftar tersebut mungkin dianggap lengkap. Ini mungkin berasumsi bahwa daftar itu selalu ada dan kemudian akan menduga, 'Oh tidak, itu tidak ada dalam daftar di artikel. Jadi saya akan mengatakan jawabannya adalah tidak, itu tidak mungkin terjadi. Hal ini tidak dapat terjadi kali ini.'

Des: Jadi, Anda mungkin memiliki artikel berbasis pengetahuan yang mengutip contoh kapan kami tidak akan mengembalikan pembayaran Anda, dengan daftar dua atau tiga contoh. Dan model bahasa akan membacanya dan menyimpulkan bahwa ada tiga kondisi yang menyebabkan hal ini terjadi. Dan itu membuat kesalahan, karena tidak melihat bahwa ini hanyalah contoh-contoh demonstratif, bukan daftar yang lengkap. Apakah itu yang Anda maksud?

Fergal: Tepat sekali. Pengetahuan umum dan pemahaman umumnya masih sedikit terbatas di sini. Sehingga dapat melihat daftar hal-hal dan membuat asumsi yang kira-kira baik-baik saja, tetapi kurang tepat. Ya. Jadi, sering kali, saat kita melihatnya membuat kesalahan, kesalahan tersebut tampaknya cukup masuk akal, tetapi tetap saja salah. Tapi Anda harus baik-baik saja dengan itu. Itu batasan. Anda harus baik-baik saja dengan gagasan bahwa terkadang itu mungkin memberikan jawaban yang sedikit salah.

“Kami membangun pengalaman ini di mana Anda dapat menggunakan pusat bantuan yang ada dan dengan sangat cepat mendapatkan akses ke demo bot, melakukan pra-pembelian, untuk memainkannya sendiri dan memahami seberapa baik ini bekerja untuk pusat bantuan khusus Anda”

Des: Apakah bisa diukur? Dugaan saya bukan karena itu akan berbeda per pertanyaan, per basis pengetahuan, per pelanggan, per penerimaan… Jadi, ketika seseorang berkata, 'Hei, seberapa bagus botnya?', bagaimana cara terbaik Anda menjawabnya?

Fergal: Hal terbaik untuk dilakukan adalah pergi dan bermain dengan demonya di pusat bantuan Anda sendiri. Kami membangun pengalaman ini di mana Anda dapat menggunakan pusat bantuan yang ada dan dengan sangat cepat mendapatkan akses ke demo bot, melakukan pra-pembelian, untuk memainkannya sendiri dan memahami seberapa baik ini bekerja untuk pusat bantuan khusus Anda.

Des: Dan Anda menyarankan, katakanlah, untuk memutar ulang 20 percakapan terakhir yang Anda lakukan, atau pertanyaan dukungan yang paling umum? Bagaimana setiap individu membuat keputusan berdasarkan informasi? Karena saya yakin itu akan melakukan semuanya, 'Halo? Apakah Anda seorang bot?' 'Ya, saya' hal.

Fergal: Menurut kami, hanya dengan berinteraksi dengannya, Anda dapat dengan cepat mengetahui tingkat akurasinya. Jika Anda mengajukan 20 pertanyaan teratas Anda, jenis pertanyaan yang diajukan orang kepada Anda setiap hari… Anda menyelidikinya, Anda meminta klarifikasi. Anda mendapatkan pemahaman yang cukup baik tentang di mana ini bagus dan di mana titik puncaknya. Bagi kami, ini adalah produk baru yang luar biasa dan kami sangat bersemangat – tetapi ini masih generasi pertama. Kami sekarang akan meningkatkan semua bagian pembelajaran mesin. Kami juga akan meningkatkan semua bagian pengukuran tersebut dari waktu ke waktu.

Des: Dengan bot resolusi satu, bot kami sebelumnya, Anda akan melatihnya – jadi Anda akan berkata, 'Hei, itu jawaban yang salah. Inilah yang saya ingin Anda katakan ', dan sebagainya. Anda tidak melakukan itu kali ini. Jadi jika Anda mendeteksinya memberikan jawaban yang tidak tepat, atau berpikir itu bisa lebih baik, apa hal terbaik yang harus dilakukan? Apakah Anda menulis artikel yang lebih baik? Apakah Anda melihat sumbernya?

Fergal: Ini masih awal di sini dan kami mungkin akan membangun fitur untuk memungkinkan Anda memiliki kontrol yang lebih baik terhadapnya. Namun saat ini, jawaban atas pertanyaan itu adalah, 'Hei, bisakah Anda membuat artikel basis pengetahuan Anda lebih jelas?' Sebenarnya, mengembangkan bot ini, kami telah melihat bahwa ada banyak artikel berbasis pengetahuan yang ambigu di dunia, di mana sedikit bagiannya bisa lebih jelas.

Evolusi

Des: Bidang apa lagi yang menurut Anda akan berkembang dalam beberapa bulan mendatang?

Fergal: Ada banyak pekerjaan yang harus dilakukan di pihak kami. Kami punya versi satu saat ini. Untuk memperbaikinya, kami ingin menayangkannya langsung kepada pelanggan, kami ingin mendapatkan umpan balik aktual, berdasarkan penggunaan. Produk pembelajaran mesin apa pun yang pernah saya kerjakan, selalu ada banyak iterasi dan banyak peningkatan yang harus dilakukan seiring waktu. Kami juga ingin meningkatkan tingkat integrasi dengan bot resolusi yang ada. Bot resolusi kami yang ada membutuhkan kurasi itu, tetapi jika Anda melakukan kurasi itu, itu luar biasa. Itu dapat melakukan hal-hal seperti mengambil tindakan. Anda dapat menyambungkannya ke API Anda sehingga menyadari seseorang bertanya tentang menjual kembali kata sandi dan benar-benar akan pergi dan memicu pengaturan ulang kata sandi itu.

“Bagian terakhir yang membuat saya sangat bersemangat adalah ide bahwa kita dapat menggunakan teknologi AI baru ini dan menggunakannya untuk menghasilkan lebih banyak konten dukungan secara dramatis daripada yang dapat kita lakukan di masa lalu. Sangat cepat, bot baru ini, jika kontennya ada di pusat bantuan Anda, ia akan dapat menjawab menggunakan konten Anda”

Sangat penting bagi kami bahwa bot generasi berikutnya ini mampu melakukan semua hal itu juga. Jadi awalnya akan seperti, 'Hai, jawab pertanyaan informasional dari basis pengetahuan Anda.' Tanpa penyiapan hari pertama – tayangkan langsung, bagus. Namun pada akhirnya – dan kami telah melihat ini di setiap penelitian yang kami lakukan – Anda ingin naik ke tingkat berikutnya. Setelah itu, orang akan menginginkan kemampuan untuk menggunakan teknologi tersebut dan kemampuan yang sudah kami miliki untuk mengambil tindakan untuk menyelesaikan pertanyaan. Dan kami senang bahwa kami dapat melihat lebih banyak lagi yang dibangun di atas platform berbasis bahasa generasi berikutnya ini.

Kemudian, bagian terakhir yang membuat saya sangat bersemangat adalah ide bahwa kita dapat menggunakan teknologi AI baru ini dan menggunakannya untuk menghasilkan lebih banyak konten dukungan secara dramatis daripada yang dapat kita lakukan di masa lalu. Dengan sangat cepat, bot baru ini, jika kontennya ada di pusat bantuan Anda, ia akan dapat menjawab menggunakan konten Anda. Dan kami pikir itu hebat. Ada banyak orang yang mampu menulis artikel pusat bantuan yang akan terjebak saat mencoba membuat bot atau maksud di masa lalu. Jadi kami sangat bersemangat tentang itu. Namun menurut kami ada fitur baru yang dapat dibuat di sini, untuk membuatnya jauh lebih mudah dalam menulis konten artikel pusat bantuan tersebut. Misalnya, mengambil percakapan dukungan Anda dan menggunakan AI generasi berikutnya untuk mem-bootstrap proses itu.

Des: Jadi satu visi yang kita bicarakan mungkin baru dua bulan yang lalu adalah gagasan bahwa tim pendukung akan menjawab pertanyaan yang… Saya pikir, saat itu, saya katakan, untuk menjawab pertanyaan Anda untuk pertama kali dan terakhir kali . Jadi, jika sebuah pertanyaan muncul, itu karena kita belum pernah melihatnya sebelumnya. Dan begitu kita melihatnya, kita tidak melihatnya lagi. Apakah itu yang Anda lihat terjadi?

“Kami pikir kami dapat melihat jalan ke sana di mana kami dapat memiliki pengalaman kurasi yang cukup sederhana sehingga perwakilan dukungan di kotak masuk dapat menyelesaikan menjawab percakapan dan berkata, 'Ya, saya menyetujui jawaban ini untuk masuk ke bot. '”

Fergal: Saya pikir, untuk pertama kalinya, saya bisa melihat jalan ke sana. Saat kami beralih ke bot resolusi 1.0, permintaan fitur yang selalu kami terima adalah, 'Hei, bisakah perwakilan dukungan saya ada di kotak masuk? Bisakah saya meminta mereka menjawab pertanyaan dan kemudian memasukkan pertanyaan itu ke dalam bot?' Dan setiap kali kami mencoba melakukan itu, itu tidak berhasil karena mengajukan pertanyaan dan menyusun pertanyaan agar cukup baik untuk merancang maksud hanyalah pekerjaan yang berat. Di seluruh industri, ada banyak bot pendukung yang berbeda. Saya belum pernah melihat orang yang berhasil melakukan ini dan membuatnya benar-benar berfungsi. Namun sekarang dengan model bahasa besar yang canggih, kami pikir kami dapat melihat jalan ke sana di mana kami dapat memiliki pengalaman kurasi yang cukup sederhana sehingga perwakilan dukungan di kotak masuk dapat menyelesaikan menjawab percakapan dan berkata, 'Ya, saya menyetujui jawaban ini untuk masuk ke bot.'

Harus ada persetujuan manusia karena tidak mungkin Fergal bertanya kepada bot, 'Hei, berapa nomor kartu kredit Des'? Bot akan seperti, 'Ya, saya tahu jawabannya karena ada di percakapan lain yang melibatkan Des.' Itu tidak bisa diterima. Harus ada beberapa langkah persetujuan antara percakapan pribadi dan pengetahuan dukungan yang tahan lama. Namun kami pikir kami melihat jalan menuju proses persetujuan yang jauh lebih baik di sana daripada yang pernah kami alami sebelumnya. Dan berpotensi menjadi dunia di mana mungkin tidak semua masalah, tetapi untuk banyak masalah, hanya dapat dijawab sekali. Kami pikir ada sesuatu yang keren datang ke sana.

Des: Luar biasa. Ini adalah rilis yang menarik – apakah tersedia untuk semua orang?

Fergal: Ini baru menuju beta pribadi saat ini, dengan rilis baru GPT-4 dari OpenAI.

Des: Menyenangkan. Yah, saya akan memeriksa dalam beberapa minggu dan melihat bagaimana hasilnya.

Ferga: Iya. Saat-saat yang menyenangkan.