Fajar baru Pembelajaran Mesin

Kami pernah ke sini sebelumnya. Antara desas-desus media, klaim yang dilebih-lebihkan, dan pekerjaan di lapangan, terkadang sulit membedakan fantasi dari kenyataan ketika berhadapan dengan Machine Learning. Saat jaringan saraf matang dan menonjol, dapatkah teknologinya memenuhi hype?

Dalam lima tahun terakhir, kami telah melihat teknologi jaringan saraf benar-benar berkembang dengan sendirinya. GPT-3 dapat membuat teks seperti manusia sesuai permintaan, dan DALL-E, model pembelajaran mesin yang menghasilkan gambar dari perintah teks, telah meledak popularitasnya di media sosial, menjawab pertanyaan paling mendesak di dunia seperti, “apa yang akan Darth Vader terlihat seperti memancing di es?” atau "seperti apa Walter White jika dia berada di Animal Crossing?"

Kami ingin tahu ada apa dengan lonjakan ini, jadi kami telah bertanya kepada Direktur Pembelajaran Mesin kami, Fergal Reid, apakah kami dapat memilih otaknya untuk episode hari ini. Meskipun pekerjaan masih merupakan tindakan penyeimbang antara apa yang mungkin dan apa yang layak, hal-hal, tampaknya, baru mulai berkembang. Lanskap teknologi berubah, aplikasi bisnis (berpotensi) mengubah permainan, dan, peringatan spoiler, Fergal sangat percaya pada hype.

Dalam episode Intercom on Product hari ini, Paul Adams, Chief Product Officer kami, dan saya duduk bersama Fergal Reid untuk berbicara tentang buzz baru-baru ini seputar jaringan saraf, bagaimana pembelajaran mesin mendukung bisnis, dan apa yang dapat kita harapkan dari teknologi di beberapa tahun mendatang.

Berikut adalah beberapa takeaways favorit kami dari percakapan:

• Jaringan saraf telah membuat kemajuan yang signifikan dalam lima tahun terakhir, dan mereka sekarang menjadi cara terbaik untuk menangani data tidak terstruktur seperti teks, gambar, atau suara dalam skala besar.
• Di CX, jaringan saraf kemungkinan akan digunakan dengan metode pembelajaran mesin yang lebih tradisional untuk memilih tindakan yang memberikan interaksi terbaik dengan pelanggan.
• Membangun produk ML membutuhkan keseimbangan – tidak ada gunanya memulai dengan masalah jika solusinya tidak dapat dicapai, tetapi Anda tidak boleh memulai dengan teknologi jika tidak dapat memenuhi kebutuhan pelanggan yang sebenarnya.
• AI telah cukup dilebih-lebihkan di masa lalu. Meskipun kemungkinan klaim yang lebih realistis menutup lebih sedikit akun, itu terbayar dalam retensi pelanggan.
• Tim ML cenderung menginvestasikan sumber daya yang adil dalam penelitian yang tidak pernah dikirimkan. Cocokkan sebanyak mungkin dengan proyek yang memiliki dampak nyata pada pengalaman pelanggan.
• Jika Anda ingin berinvestasi di ML, pekerjakan seseorang dengan pengalaman di sisi teknologi dan operasional sehingga mereka dapat mulai bekerja dengan tim produk sejak hari pertama.

Jika Anda menikmati diskusi kami, lihat lebih banyak episode podcast kami. Anda dapat mengikuti di iTunes, Spotify, YouTube atau mengambil umpan RSS di pemutar pilihan Anda. Berikut ini adalah transkrip episode yang diedit dengan ringan.

Hype menyerang balik

Des Traynor: Selamat datang di Intercom On Product, episode 18. Hari ini, kita memiliki topik yang menarik untuk dibahas. Ini semua tentang kecerdasan buatan dan pembelajaran mesin. Saya bergabung, seperti biasa, oleh Chief Product Officer Intercom, Mr. Paul Adams. Paulus, bagaimana kabarmu?

Paul Adams: Saya baik-baik saja, Des. Terima kasih.

Des Traynor: Dan hari ini, kami kedatangan tamu istimewa, Tuan Fergal Reid, yang adalah Direktur Pembelajaran Mesin kami. Fergal, apa kabar?

Fergal Reid: Bagus, Des. Saya sangat senang berada di podcast hari ini. Menantikan untuk masuk ke dalamnya.

Des Traynor: Luar biasa. Saya pikir Anda adalah tamu pertama atau kedua kami, jadi Anda harus merasa sangat, sangat berterima kasih.

Fergal Reid: Saya merasa sangat istimewa, memang.

“Kami telah melihat kemajuan berkelanjutan dari sesuatu yang baru dan menarik – teknologi berbasis jaringan saraf – benar-benar mulai muncul dengan sendirinya dan bermanfaat”

Des Traynor: Baiklah, mari kita mulai dari akhir, dalam arti tertentu. Rasanya seperti mesin hype AI sekali lagi dalam overdrive. Ini terjadi setiap beberapa tahun dari sudut pandang saya, tetapi apa yang benar-benar dapat saya lihat terjadi adalah orang-orang menciptakan banyak karya seni. Generasi DALL-E telah dimulai, dan beberapa citra yang dibuat sangat menakjubkan. Suatu hari, saya melihat ada pasar untuk permintaan DALL-E di mana Anda benar-benar dapat membeli permintaan yang membuat gambar untuk Anda, yang sama metanya dengan yang didapat. Dalam arti yang lebih praktis, kopilot GitHub sekarang dapat menambah kode Anda saat Anda sedang menulis, yang cukup luar biasa; Saya telah bermain dengan GPT-3 dari OpenAI, dan mengajukan pertanyaan dan membiarkannya membuat paragraf dan cerita kecil untuk saya, dan itu cukup mengesankan. Jika kita memperbesar kembali sedikit, apa yang sebenarnya terjadi? Apakah ada sesuatu yang terjadi belakangan ini? Apakah ini ada hubungannya dengan rantai peristiwa tertentu? Ada apa?

Fergal Reid: Ini adalah hal yang rumit untuk dibongkar – ada banyak hal yang terjadi. Ada begitu banyak investasi di bidang AI dan pembelajaran mesin ini di seluruh perusahaan, jadi sulit untuk mengungkap apa yang sebenarnya terjadi. Jika Anda melihat arxiv, tempat orang meletakkan makalah pembelajaran mesin mereka, ada banyak hal baru setiap hari. Jadi, sulit untuk menapaki sebuah narasi melalui itu. Menurut pendapat saya, selama lima tahun terakhir, kita telah melihat kemajuan berkelanjutan dari sesuatu yang baru dan menarik – teknologi berbasis jaringan saraf – benar-benar mulai muncul dengan sendirinya dan bermanfaat. Anda menyebutkan GPT-3, OpenAI, dan itulah yang kami sebut model bahasa besar, yang merupakan jaringan saraf besar yang mencoba memprediksi kata berikutnya dan urutan kata yang terlihat. Dan mereka hanya meningkatkan itu. Mereka baru saja menambahkan lebih banyak dan lebih banyak komputasi ke dalamnya, dan itu mulai melakukan hal-hal yang menakjubkan.

Des Traynor: Jadi, mungkin hanya beberapa definisi kamus. Jadi, menambahkan lebih banyak komputasi, apakah itu lebih banyak daya CPU?

Fergal Reid: Ya, persis. Untuk kembali jauh, CPU di komputer kita, otak komputer kita, sangat, sangat cepat dalam melakukan hal-hal tujuan umum. Dan mungkin di pertengahan hingga akhir tahun sembilan puluhan, terutama didorong oleh video game dan sejenisnya, kami memiliki pasar massal adopsi GPU ini, atau unit pemrosesan grafis.

Des Traynor: Suka kartu video dan sejenisnya?

Fergal Reid: Dalam kartu video dan kartu 3dfx Anda dan semuanya. Dan mereka sangat pandai membuat grafik untuk permainan komputer. Kemudian, di awal tahun 2000-an, orang-orang seperti, "Oh, jenis operasi yang kami lakukan untuk video game sangat bagus untuk matriks dan perkalian." Dan ternyata hal semacam itu juga sangat berguna untuk operasi yang perlu Anda lakukan saat melatih jaringan saraf. Jadi, setelah waktu yang lama, nilai stok video melambung tinggi karena ada AI dan revolusi penambangan kripto.

Munculnya jaringan saraf

Des Traynor: Anda mereferensikan serapan baru dalam pekerjaan di jaringan saraf. Saya merasa seperti saya mendengar tentang mereka ketika saya masih kuliah, pada hari itu. Apakah ada lebih banyak pekerjaan yang dimasukkan ke dalamnya? Apakah mereka muncul sebagai cara utama untuk melakukan pembelajaran mesin? Apakah ada alternatif yang telah kita tinggalkan?

Fergal Reid: Ya, saya akan mengatakan bahwa ada alternatif yang telah kami tinggalkan. Sekarang, saya tidak ingin menjual jaringan saraf secara berlebihan. Jaringan saraf adalah tren baru, dan hampir semua terobosan yang Anda lihat dalam lima tahun terakhir adalah jaringan saraf. Namun, itu adalah bagian dari pembelajaran mesin. Dalam tim pembelajaran mesin di sini di Intercom, jaringan saraf mungkin 30% dari apa yang kami lakukan, menggunakan hal perkembangan logistik yang sama untuk memprediksi apa yang akan dilakukan seseorang selanjutnya.

Ketika ada data tidak terstruktur seperti kumpulan teks atau gambar atau suara, jaringan saraf sekarang jelas merupakan cara terbaik untuk menangani data tersebut. Untuk terobosan yang Anda lihat – hal-hal visual, hal-hal suara, sintesis teks – Anda memerlukan model besar yang benar-benar dapat menangkap banyak ketergantungan dalam data itu, dan jaringan saraf adalah cara utama untuk melakukannya. Orang-orang telah banyak berinvestasi dalam membuat skalanya, dan Anda dapat menjalankannya jauh lebih besar. Beberapa model yang Anda baca mungkin menghabiskan biaya komputasi senilai $10 juta hanya untuk melatih model tersebut.

“Dulu, untuk data teks atau gambar yang tidak terstruktur, kami akan melihatnya dari perspektif pembelajaran mesin dan seperti, 'Tidak tahu apa yang harus dilakukan di sini'”

Ada beberapa hal yang terjadi. Kami semakin baik dalam melatih mereka dalam skala besar. Kami menjadi lebih baik dalam mengungkapkan masalah dengan cara yang dapat membuat kemajuan dan masuk akal. Dalam video, kami terus meningkatkan kinerja. Jadi, ada banyak revolusi teknologi. Ini adalah pertemuan dari banyak tren yang berbeda.

Des Traynor: Untuk bertransisi ke aspek produk, apa yang sekarang tidak mungkin? DALL-E dapat mengambil prompt dan menghasilkan gambar; GPT-3 dapat menghasilkan teks yang dihasilkan dengan tampilan yang cukup realistis. Jika Anda ingin menganalisis banyak teks dan mencari tahu apa yang dikatakannya, menguranginya atau menyederhanakannya atau memeriksa sentimen atau apa pun, apakah ada semacam daftar kemampuan yang kita miliki sekarang? Alasan saya bertanya adalah karena saya mencoba mengikat ini lebih dekat dengan bagaimana seharusnya PM memikirkan hal ini.

Fergal Reid: Ya, ada beberapa cara berbeda untuk memikirkan hal ini. Di masa lalu, untuk data teks atau gambar yang tidak terstruktur, kami akan melihatnya dari perspektif pembelajaran mesin dan menjadi seperti, “Tidak tahu apa yang harus dilakukan di sini. Ukuran ini, dan jumlah paragraf teks yang mungkin ada di dokumen saya sangat tinggi. Saya tidak tahu bagaimana menghadapinya dengan pembelajaran mesin tradisional.” Dan Anda dapat melakukan hal-hal seperti mengekstrak fitur, misalnya, "Saya akan memecah ini menjadi sekumpulan kata dan mengekstraknya." Tetapi yang berbeda sekarang adalah metode Anda untuk bekerja dengan data itu akan bekerja jauh lebih baik daripada sebelumnya. Dan Anda tidak perlu banyak fitur rekayasa tangan. Anda dapat menggunakan jaringan saraf.

Kami mulai melihat langkah tengah, lapisan tengah muncul. Ada hal yang kami sebut penyematan, di mana Anda dapat mengambil salah satu jaringan saraf besar yang telah dilatih pada satu ton data teks, dan kemudian mereka akan dirilis oleh Google atau salah satu pemain besar, yang menghabiskan $10 juta untuk pelatihan, dan Anda dapat menggunakannya untuk mengambil teks apa pun yang Anda berikan untuk mengubahnya menjadi vektor angka. Kemudian, Anda dapat melakukan hal-hal dengan vektor angka itu. Jadi, ada teknologi terobosan, tetapi telah memberikan blok bangunan yang benar-benar dapat digunakan oleh startup untuk membuat produk.

“Jika Anda berada di ekosistem startup mana pun yang berurusan dengan banyak data tidak terstruktur, terutama volume besar, di mana Anda mungkin mencoba membuat keputusan dengannya, Anda pasti harus memperhatikannya”

Des Traynor: Jadi, X persen pertama dilakukan untuk Anda oleh perusahaan besar?

Fergal Reid: Tepat. Atau konsorsium terbuka juga. Ada orang membentuk konsorsium yang mengumpulkan banyak uang untuk melatih sesuatu yang besar yang kemudian dirilis.

Des Traynor: Jadi, jika produk Anda melibatkan banyak teks tulisan manusia, baik membuat balasan, menulisnya, menguraikannya, atau memahaminya, Anda harus berasumsi bahwa dasar telah bergeser di bawah kaki Anda selama beberapa tahun terakhir?

Fergal Reid: Ya, saya pikir itu asumsi yang adil. Jika Anda berada di ekosistem startup mana pun yang berurusan dengan banyak data tidak terstruktur, terutama volume besar, di mana Anda mungkin mencoba membuat keputusan dengannya, Anda harus memperhatikannya. Lanskap kemampuan telah berubah. 10 tahun yang lalu, tidak ada yang perlu Anda khawatirkan, tetapi sekarang, mungkin ada sesuatu yang keren yang dapat Anda bangun yang sebelumnya tidak dapat Anda buat. Kami mulai melihat perubahan dalam hal-hal yang sederhana seperti pencarian. Enam, tujuh tahun yang lalu, Anda akan mendapatkan Elasticsearch atau sesuatu seperti itu dan menggunakan algoritme yang terbukti benar ini untuk menangani pencarian Anda. Sekarang Anda dapat menggunakan pencarian saraf. Dan kami mulai melihat teknologi dan produk yang muncul di ruang itu.

Mencari tindakan terbaik berikutnya

Paul Adams: Satu hal yang ingin saya tanyakan kepada Anda adalah produk yang menjanjikan tindakan terbaik berikutnya. Saya pikir ini penting untuk tim produk karena dua alasan. Salah satunya hanyalah produk di ruang itu – jika Anda memiliki produk komunikasi pelanggan atau produk untuk tim penjualan, ada banyak janji untuk memberi tahu penjual apa tindakan terbaik berikutnya. Dan tim produk sering kali mencoba membuat pelanggan dan pengguna mereka melakukan lebih banyak dan terlibat lebih banyak, jadi ini adalah alat bagi mereka untuk mendorong pertumbuhan. Berapa banyak dari itu hype? Berapa yang nyata?

Fergal Reid: Selalu ada masalah dengan produk pembelajaran mesin ini, dan saya mengatakan ini sebagai seseorang yang membangun produk pembelajaran mesin untuk mencari nafkah, yang sangat sulit untuk mengatakan berapa banyak hype dan berapa banyak yang nyata dari luar. Saya tidak dapat berbicara tentang produk tertentu kecuali saya telah menganalisis dan membandingkannya. Saya akan mengatakan bahwa hal-hal tindakan terbaik berikutnya sebenarnya lebih kecil kemungkinannya adalah jaringan saraf. Atau jika mereka ada di sana, mereka akan berada di sana sebagai komponennya. Untuk memasukkannya ke dalam konteks Interkom, saya akan mengambil teks percakapan yang terjadi antara perwakilan dukungan dan pengguna akhir dan menggunakan penyematan untuk mencoba memahaminya. Tapi kemudian, saya mungkin akan menggabungkannya dengan banyak sinyal lain tentang apa yang terjadi, mungkin nilai akun atau di mana pelanggan berada dalam perjalanan pelanggan mereka, dan menggunakan pengklasifikasi atau regressor pembelajaran mesin yang lebih tradisional untuk mencoba dan memprediksi, "Oke, apa hal terbaik berikutnya yang bisa saya lakukan?"

“Ketika akurasi meningkat, meningkat, meningkat, itu melewati ambang kritis di mana itu seperti, 'Itu tidak selalu benar, tetapi berguna, dan saya tidak perlu berpikir. Ini membantu '”

Dan barang ini bekerja dengan cukup baik. Kami memiliki fitur dalam produk kami yang menggunakan metode pembelajaran mesin yang lebih tradisional yang mencoba memprediksi, katakanlah, apa yang akan ditanyakan seseorang ketika mereka datang ke situs web dan membuka messenger. Kami melakukannya berdasarkan semua data dan sinyal yang kami miliki tentang pengguna itu, dan itu bekerja dengan cukup baik. Jika Anda dapat membuat prediksi yang baik dengan itu, itu adalah langkah singkat dari sana ke sesuatu yang lebih umum yang merupakan tindakan terbaik berikutnya.

Saya yakin barang-barang itu bekerja dengan cukup baik. Saya akan memiliki ekspektasi akurasi yang masuk akal. Semua hal ini bekerja dengan baik ketika mereka menambah dan membantu seseorang. Jika akurasinya terlalu rendah, itu seperti, “Oh, ini menjengkelkan. Ini jelek. Tidak ada gunanya memperhatikannya. ” Tapi kemudian, ketika akurasi meningkat, meningkat, meningkat, itu melewati ambang kritis di mana itu seperti, “Itu tidak selalu benar, tetapi berguna, dan saya tidak perlu berpikir. Saya hanya bisa melihatnya dan menyadari bahwa itu membantu.” Itulah yang kami cari dengan produk ini, dan saya yakin ada orang di industri ini yang memiliki hal seperti itu.

Des Traynor: Ya. Saya merasa pelengkapan otomatis Gmail telah melewati jurang persepsi di mana saya tidak akan mematikan fitur itu. Anda mengetik balasan, itu menebak dua hal berikutnya yang akan Anda katakan, dan Anda dapat menekan tab, dan mungkin Anda akan mengubah kalimat atau kata atau sesuatu seperti itu, tapi itu lebih berharga daripada tidak.

“Saya melihat masa depan di mana kita dapat mempelajari saran apa yang mendorong perilaku rekan satu tim yang memberikan CSAT lebih baik atau nilai seumur hidup pelanggan yang lebih baik dengan cara yang saling menguntungkan”

Paul Adams: Ini lucu. Saya pikir itu mengubah perilaku. Saya melihat saran itu dan berkata, "Saya tidak akan mengatakan itu, tapi itu cukup dekat." Tab, tab, tab. Masuk, kirim.

Fergal Reid: Saya ingin tahu apakah mereka pernah melakukan eksperimen di mana mereka mengukur saran dan sentimen dari saran yang mereka hasilkan, dan bagaimana mereka mengubah dunia nyata. Facebook terkenal melakukan beberapa eksperimen seperti ini di masa lalu. Jika Anda melihat sesuatu seperti Intercom, saya melihat masa depan di mana kami mulai membuat rekomendasi balasan cerdas di dalam kotak masuk. Saya melihat masa depan di mana kita dapat mempelajari saran apa yang mendorong perilaku rekan satu tim yang memberikan CSAT lebih baik atau nilai umur pelanggan yang lebih baik dengan cara yang saling menguntungkan. Permintaan gesekan rendah itu. Saya memikirkan hal itu setiap kali saya menulis “I love you” kepada istri saya. Kadang-kadang saya mendapatkan saran untuk "Aku mencintaimu," dan saya seperti, "Saya mengetik itu sendiri."

Des Traynor: Ya. Ada sesuatu yang lebih kolonial tentang itu – kita membentuk alat kita, dan alat kita membentuk kita. Anda dapat membayangkan bahwa perwakilan CS yang baru bergabung dengan tim yang menggunakan Intercom akan benar-benar berbicara dan mengetik seperti rekan-rekan mereka berdasarkan fakta bahwa Intercom memberi tahu mereka bahwa ini adalah perilaku yang tampaknya berkinerja terbaik. Ini hampir seperti sekolah untuk dukungan pelanggan.

Fergal Reid: Kami berbicara dengan beberapa pelanggan yang menyukai gagasan jalan pelatihan gesekan rendah untuk repetisi baru, yang sepertinya merupakan praktik terbaik. Itulah yang sistem mendorong Anda untuk melakukan dengan cara yang baik.

Masalah vs. teknologi

Des Traynor: Jika kita kembali ke atas, saya merasa bahwa banyak narasi, bahkan ketika, katakanlah, DALL-E keluar, utas paling populer di dalamnya adalah hal-hal seperti, ” Adakah yang bisa menyebutkan kasus penggunaan yang baik untuk ini?" Atau, "Ini ide terbaik saya." Jelas, pikiran setiap orang berkata, “Oh, Anda bisa membangun perusahaan kaos,” atau apa pun. Tusukan terbaik saya pada apa yang bisa berguna adalah kemampuan untuk membubuhi keterangan buku cerita anak-anak. Bayangkan sebuah alat di mana ada cerita bertipe anak-anak dan gambar akan muncul untuk menambahnya. Anda juga bisa melihat bagaimana itu bisa menjadi plugin untuk Squarespace atau Mailchimp untuk menggantikan fotografi stok. Keynote atau Google Slides akan serupa.

Saya merasa seperti kita mendekati ini mundur, meskipun. Kami berkata, "Mengingat bahwa kami sekarang dapat mengambil teks dan menghasilkan gambar, mari kita bangun perusahaan dari itu," yang bukan dari mana perusahaan terbaik berasal. Biasanya, mereka cenderung ingin menyelesaikan suatu masalah di dunia. Apa cara terbaik bagi penggemar atau PM untuk memikirkan ruang ini? Secara umum, mereka mungkin terobsesi dengan suatu masalah, bukan tentang bagian tertentu dari teknologi saraf baru.

Fergal Reid: Ini adalah pertanyaan yang sangat kompleks. Seringkali, saran standar adalah jika Anda membangun beberapa startup teknologi baru, Anda tidak pernah ingin menjadi solusi mencari masalah. Anda ingin menemukan masalah nyata yang nyata dan kemudian mendekati solusi. Saya pikir itu saran yang umumnya bagus. Di Intercom, kami memiliki prinsip untuk memulai dengan masalah. Tapi saya pikir ada pengecualian untuk itu. Dengan teknologi yang benar-benar mengganggu, di mana Anda seperti, “Sesuatu mengubah dunia, mengubah lanskap, ada kemampuan baru di sini, dan saya tidak tahu apa gunanya, tapi saya tahu itu akan menjadi revolusi yang baik untuk sesuatu, “Saya pikir tidak apa-apa untuk memulai dengan solusi dan kemudian mencari masalah.

“Tidak ada gunanya memulai dengan masalah jika Anda mencoba membangun solusi teknologi yang belum mampu”

Saya percaya hype tentang ML dan AI saat ini. Saya akan mengatakan bahwa kali ini adalah nyata, dan itu adalah permainan yang adil untuk mengatakan, “Lihat, kami memiliki kemampuan revolusioner di sini. Di mana semua peluang besar di mana ini bisa diterapkan?” Kemudian, jelas, ada interaksi. Ketika Anda merasa telah menemukan peluang, Anda mungkin ingin pergi dan memulai dengan masalah.

Tim pembelajaran mesin di sini di Intercom sedikit tidak biasa dibandingkan dengan tim lain. Kami beradaptasi dengan prinsip produk sedikit lebih banyak daripada yang dilakukan tim lain karena kami harus berada di ruang abu-abu ini antara memulai dengan masalah dan teknologi. Tidak ada gunanya memulai dengan masalah jika Anda mencoba membangun solusi teknologi yang belum mampu. Jadi, kita harus mulai dengan teknologinya sedikit, melakukan beberapa prototipe, mendapatkan ide tentang apa yang mungkin, dan kemudian membahas masalahnya dan bertanya, "Apakah itu berguna atau tidak?"

Des Traynor: Ini hampir seperti Anda harus melihat melalui sisi permintaan dan penawaran inovasi, dalam arti tertentu. Dari semua masalah yang bisa kita selesaikan dan kemampuan yang kita miliki, dimanakah perusahaan yang baik dalam interkoneksi? Jika kami menggunakan Bot Resolusi produk kami, bagaimana Anda mengartikulasikannya sebagai pasangan masalah/solusi?

“Dengan Resolution Bot, kami tidak menggunakan jaringan saraf atau apa pun untuk versi satu kami, tetapi kami memiliki keyakinan bahwa mungkin untuk membangun sesuatu yang baik di sini”

Fergal Reid: Ketika kami memulai, kami menyadari bahwa ada pergerakan dalam teknologi dan lanskap produk di mana bot benar-benar buruk, dan mereka mulai memberikan pengalaman yang menarik dalam keadaan yang sangat terbatas di mana, “Oke, ada sesuatu di sini .” Dan kemudian itu seperti, "Oke, bisakah kita mengambil domain khusus kita, bisakah kita mengobrol dan mengobrol dan melihat apakah ada pernikahan itu, kecocokan antara masalah dan teknologi yang akan memberikan pengalaman pelanggan yang luar biasa?"

Dengan Resolution Bot, kami tidak menggunakan jaringan saraf atau apa pun untuk versi satu kami, tetapi kami memiliki keyakinan bahwa mungkin untuk membangun sesuatu yang baik di sini. Kami membangun investasi teknologi minimal, memvalidasi bahwa prototipe knock-together yang jelek benar-benar akan membantu pelanggan dan bahwa orang benar-benar menginginkannya, mengurangi risikonya, dan kemudian mengulanginya dan mengulanginya dan mengulanginya. Kami sekarang menggunakan versi tiga atau versi empat dari teknologi kami, dan menggunakan jaringan saraf yang sangat modern dan mewah, dan mendapatkan kinerja dan akurasi terbaik di kelasnya. Tapi versi pertama adalah Elasticsearch off-the-shelf hanya untuk memvalidasi bahwa ini benar-benar akan membantu orang.

Anda ingin memandu pencarian itu. Anda ingin menjadi seperti, "Saya tahu ada sesuatu yang baik dalam arah umum ruang produk ini." Saya tidak akan berakhir dengan permintaan yang divalidasi untuk produk yang tidak mungkin dikirimkan. Anda tidak ingin berada di sana. Anda juga tidak ingin menjadi seperti, "Saya memiliki algoritme luar biasa yang pasti akan menggerakkan jarum untuk sesuatu yang tidak dipedulikan siapa pun." Anda harus mengulangi kedua sisi persamaan itu dan menemukan beberapa zona pendaratan di tengah.

Terlalu bagus untuk menjadi kenyataan?

Paul Adams: Sebenarnya ada kaki ketiga dari bangku. Ada masalah, ada solusi, dan kemudian ada cerita, atau apa yang bisa Anda katakan tentangnya. Salah satu hal yang saya perjuangkan dalam hal AI dan pembelajaran mesin adalah apa yang menurut Anda baik untuk dikatakan secara eksternal dan apa yang dikatakan orang lain secara eksternal. Yang terburuk dari ini adalah tragedi komunikasi di mana semua perusahaan keluar dan membuat klaim besar, dan orang-orang yang benar-benar tahu apa yang mereka bicarakan mengatakan, "Itu klaim yang menggelikan." “Tapi ada dilema kompetitif ini. Jika pesaing kita mengatakan 80%, dan tidak mungkin kita berpikir mereka bisa mendapatkannya, tetapi milik kita adalah 50, bagaimana menurut Anda? Apa pendapat Anda tentang klaim yang dapat Anda buat dan keseimbangan antara masalah, solusi, dan cerita?

“Saya menemukan produk di pasar dan menilai klaim mereka, dan saya seperti, 'Apakah itu benar-benar melakukannya? Bagaimana Anda menilai itu?'”

Fergal Reid: Maksud saya, ini sangat sulit. Saya pikir saya akan memisahkan pengembangan produk internal dari kesuksesan di pasar. Dengan pengembangan produk internal, dan ini benar di Intercom, jika saya datang dan berkata, "Hei, teman-teman, saya cukup yakin kami dapat memberikan pengalaman produk yang cukup baik," saya setidaknya bertanggung jawab jika ternyata itu tidak terjadi sama sekali. Jadi, secara internal, Anda harus bekerja dengan orang-orang dan menjelaskan berbagai hal dengan baik, tetapi setidaknya insentifnya selaras.

Secara eksternal, ketika orang bersaing di pasar dengan produk pembelajaran mesin, itu sangat sulit. Saya menemukan produk di pasar dan menilai klaim mereka, dan saya seperti, “Apakah itu benar-benar melakukannya? Bagaimana Anda menilai itu?” Bahkan jika saya melihat makalah penelitian baru yang menjanjikan sesuatu yang luar biasa, dan ada contoh "kami mengatakan ini kepada AI, dan inilah yang dikatakannya kembali," pertanyaan pertama saya selalu seperti, "Yah, apakah itu ceri-picked contoh? Apakah itu melakukannya 9 kali dari 10 atau satu kali dari 10?” Karena sangat berbeda tergantung masing-masing. Selalu ada implisit ini, "well, apa kinerjanya, sebenarnya?" Anda tidak bisa benar-benar tahu kecuali Anda melakukan semacam head-to-head di mana Anda duduk dan bermain dengannya. Pelanggan kami melakukan lebih banyak bukti konsep dan evaluasi head-to-head, dan saya menyukainya. Indah sekali. Itu yang ingin kami lihat.

“Anda pasti bisa memberi janji berlebihan, kurang tayang, dan kemudian melihat akun churn”

Dalam hal ruang secara umum, saya pikir Anda melihat orang membuat demo tersedia untuk umum semakin banyak. Orang-orang pergi ke DALL-E 2, dan mereka mendapatkan akses ke peneliti independen lebih awal. Atau mereka menulis hal-hal di koran yang mengatakan, "inilah yang dihasilkan dalam sekali jalan pada prompt standar." Itu membantu orang memahaminya.

Des Traynor: Ada pertanyaan tentang pendapatan seperti apa yang Anda inginkan karena Anda pasti dapat memberikan janji berlebih, kurang tayang, dan kemudian melihat akun churn. Atau Anda dapat mengatakan, "Ini yang menurut kami dapat kami lakukan untuk Anda," berisiko kehilangan kesepakatan, tetapi ketahuilah bahwa jika mereka berkonversi, mereka akan mendapatkan apa yang mereka konversi. Saya pikir ini adalah dunia yang berbahaya – mengambil jalan yang tinggi versus jalan yang lebih rendah; mengambil pelanggan yang akan mendapatkan persis apa yang mereka pikir akan mereka dapatkan versus mendapatkan banyak pelanggan yang marah di bulan 11 karena mereka tidak mendekati apa yang mereka harapkan. Ini sebuah tantangan.

Fergal Reid: Ini adalah tantangan, dan ada begitu banyak aspek dari tantangan itu. Kita juga harus mengelola ekspektasi. Pembelajaran mesin menjadi jauh lebih baik, tetapi masih belum sempurna. Kami terkadang memiliki pelanggan yang membeli Bot Resolusi kami, dan itu bagus, terbaik di kelasnya, tetapi masih membuat kesalahan. Setiap produk perangkat lunak masih membuat kesalahan. Jadi, Anda harus mengelola ekspektasi di semua sisi untuk memiliki hubungan positif itu.

Des Traynor: Bagaimana pendapat Anda tentang sumber daya pembelajaran mesin? Di Intercom, kami memiliki tim yang dipimpin oleh Anda sendiri yang terpisah dari semua tim dan kemudian bermitra untuk memberikan fungsionalitas pembelajaran mesin. Apakah Anda pikir itu akan tetap seperti itu? Apakah menurut Anda tim harus menyematkan insinyur ML? Setiap tim di Intercom memiliki desainernya sendiri – kami tidak memiliki tim desain yang berkeliaran mencari sedikit desain untuk ditambahkan. Apakah masuk akal seperti itu? Untuk pendengar kita di luar sana, bagaimana mereka akan mencelupkan kaki mereka? Apakah mereka akan memulai dengan semacam pod ML khusus, atau akankah mereka memiliki seseorang? Bagaimana seharusnya startup mulai menghadirkan ML?

Fergal Reid: Saya memiliki pendapat yang kuat bahwa tim pembelajaran mesin terpusat lebih baik untuk organisasi seukuran kami atau lebih kecil pada saat ini dalam pengembangan teknologi. Kita berurusan dengan teknologi yang belum matang di sini. Teknologi ini sulit digunakan dan mudah salah. Ada serangkaian keterampilan yang tumpang tindih dengan keterampilan rekayasa perangkat lunak, ilmu data, atau analitik, tetapi mereka tidak sama. Saya pikir sangat masuk akal untuk memiliki tim terpusat yang dapat bekerja dan mengasah serangkaian keterampilan itu dan mempelajari jebakan karena produk pembelajaran mesin memiliki jebakan yang unik. Mereka probabilistik. Seperti yang kami sebutkan, mereka terkadang salah. Jadi, saat Anda mendesain atau membuat produk pembelajaran mesin, Anda harus benar-benar berkeringat. Apakah tingkat akurasi cukup baik untuk memberikan pengalaman pelanggan yang baik? Itu sulit.

“Saya pikir model terpusat yang kemudian masuk untuk membantu berdasarkan proyek per proyek adalah model yang tepat saat ini”

Ketika Anda berbicara dengan seorang desainer, satu hal yang sering kita lihat adalah sulit bagi mereka pada awalnya untuk memahami gagasan bahwa Anda tidak bisa hanya memikirkan jalur emas di mana semuanya berjalan dengan benar. Anda harus mempertimbangkan semua jalur di mana ada kesalahan dan kesalahan dapat menumpuk. Itu sulit.

Kami berada di persimpangan rekayasa perangkat lunak yang aneh ini, dan kami harus dapat menerapkan produk ini dengan ilmu data atau penelitian. Kita harus menjalankan tim produk. Kita harus ramping dan efisien, tetapi kita juga harus berjalan sedikit seperti tim peneliti di mana kita menciptakan ruang untuk inovasi. Menghabiskan dua minggu mengerjakan sesuatu dan tidak berhasil? Tidak apa-apa. Kita harus bersedia berinvestasi untuk itu. Jadi, saya pikir model terpusat yang kemudian masuk untuk membantu berdasarkan proyek per proyek adalah model yang tepat saat ini.

Menjaganya tetap nyata

Des Traynor: Bagaimana Anda menghadapi kenyataan bahwa seseorang seperti Fergal berkata, “Hei, Paul, kami akan mencoba produk yang dapat mengubah sifat produk dukungan pelanggan kami, tetapi mungkin tidak berhasil, dan Anda mungkin tidak melihat apa pun di sisi pertama dari semua ini.” Pada saat yang sama, seseorang seperti saya berkata, "Hei, kita harus mencapai peta jalan, dan kita perlu memberi tahu perusahaan apa yang sedang kita bangun dan memberi tahu tim penjualan apa yang harus dijual." Bagaimana Anda mengatasi kerumitan itu?

Paul Adams: Sebagai seseorang yang bekerja selama bertahun-tahun pada produk yang tidak pernah dikirim, saya memiliki jaringan parut yang dalam dan dalam tentang bau apa pun yang tidak akan dikirim secepat mungkin, sekecil mungkin.

Des Traynor: Ini akan menjadi mantan majikan Anda, kan?

Paul Adams: Ya. Dalam pekerjaan saya sebelumnya, ya. Tapi sejak hari pertama di Intercom, Des dan saya selalu terobsesi dengan pengiriman dan memulai dari yang kecil. Kami terobsesi untuk melingkupi dan mengeluarkan sesuatu secepat mungkin, solusi tercepat terkecil untuk masalah yang telah kami identifikasi. Jadi saya punya keinginan yang selalu terjadi.

“Saya berasal dari akademisi, dan siapa pun yang pernah memiliki waktu di dunia akademis mungkin telah melihat begitu banyak proyek yang menjanjikan bulan pada tongkat dan kemudian tidak pernah melakukan apa pun”

Sekarang, jelas, ini berbeda. Namun, satu pertanyaan yang ingin saya jawab oleh Fergal – sedikit catatan tambahan, tetapi menurut saya ini penting – ketika Anda menjawab pertanyaan Des sebelumnya tentang bagaimana Anda menyediakan sumber daya untuk tim pembelajaran mesin, Anda berbicara tentang para insinyur ML . Untuk hampir semua sejarah tim ML kami di sini, ini adalah insinyur ML. Tapi kami baru-baru ini menyewa seorang desainer ML. Bisakah Anda memberi tahu kami secara singkat tentang itu juga? Karena saya pikir itu adalah bagian penting dari jawaban di sini. Apa yang dilakukan desainer ML, dan apa bedanya?

Fergal Reid: Jadi, itu pertanyaan yang sulit. Ini adalah awal dari minggu ketiganya, jadi saya tidak ingin berbicara di podcast tentang apa yang akan dia lakukan sebelum berbicara dengannya…

Des Traynor: Pada tingkat yang lebih tinggi. Apa pendapat Anda tentang desain pembelajaran mesin versus desain biasa?

Fergal Reid: Biarkan saya membalik urutannya lagi, dan saya akan kembali ke ini. Aku benci bekerja pada hal-hal yang tidak dikirim. Saya memiliki gelar Ph.D., saya berasal dari akademisi, dan siapa pun yang pernah kuliah mungkin pernah melihat begitu banyak proyek yang menjanjikan bulan pada tongkat dan kemudian tidak pernah melakukan apa pun. Dan sebagian dari itu adalah pemborosan yang diperlukan, bukan? Anda harus mencoba banyak hal karena sangat berisiko. Tapi bagian dari itu selalu tidak akan pernah berhasil. Jadi, memisahkan kedua hal itu sangat penting di sini. Saya ingin tim pembelajaran mesin menjadi seeksploratif dan berisiko mungkin dan tidak lebih eksploratif dan tidak lebih berisiko dari yang diperlukan.

Kami mencoba dan menginjak dua dunia di sini. Kami mencoba dan menjaga prinsip Interkom yang sangat tegas ini: jika Anda akan gagal, gagallah dengan cepat; mulai dengan masalah; mulai dari yang kecil, bergerak dalam langkah-langkah kecil. Kami berusaha sangat keras untuk mengikuti prinsip-prinsip itu. Tapi kami melakukan penelitian dan hal-hal berisiko saat kami membutuhkannya jika kami cukup yakin seseorang menginginkan ini. Kami ingin sangat, sangat jelas tentang risiko yang kami coba hilangkan di setiap fase pengembangan. Jadi ya, begitulah cara kami beroperasi. Saya akan mengatakan bahwa kami lebih banyak meneliti daripada tim Interkom rata-rata, tetapi mungkin lebih bijaksana untuk bergerak dalam langkah-langkah kecil dan tentang risiko yang coba kami kurangi daripada sebagian besar tim ML di dunia. Tentu saja jauh lebih banyak daripada yang cenderung dilakukan oleh tim lab penelitian.

With that in mind, we've recently hired a designer for the first time in the five years we've had a machine learning team. That's partly because the team is getting a bit bigger and can kind of support that, and since our team has grown, our work is touching more and more parts of the Intercom product, and we can do better than handling the product design ourselves and having a ML engineer figure out the product design envelope. We'll be able to increase the scope of things we can interact with less with disruption to the teams in whose area we're operating.

“Even when you're doing something as simple as testing a ML system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity”

Des Traynor: Is it a different type of design?

Fergal Reid: There is definitely a certain type of design specific to ML and ML products. And we can see this when we're interviewing or interacting with designers in this space. There's sort of a product design or a systems design, and a lot of the time, its aspects are closer to API design than UI design. And obviously, there's a big spectrum here. We have a great design team at Intercom. We have people used to working in all different parts of that spectrum. But there's definitely a difference.

And also, you're looking for quantitative skills to make progress in this space. It's very immature technology. There will come a time, I'm sure, in five, 10 years, I don't know, when Amazon and Google and everyone will have figured out the best API. And it's going to have really nice docs and explain to you all the premises of that space, but we're not there yet. We're a very, very long way away from there. There are just so many trade-offs. Even when you're doing something as simple as testing a machine learning system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity. Some designers are great at that, but for other designers, that wouldn't be how they'd like to work. And so, you're looking for something that treads all those needles at once.

The future of conversations

Des Traynor: We're coming towards the end here. I would like to try a little quick-fire round that I haven't prepared you for at all.

Fergal Reid: Sounds good.

Des Traynor: Here's my proposal. I name a product or a product space, and you tell me something that you think is possible that people don't think about.

Fergal Reid: Oh my God. Oke. This is going to be futuristic and speculative and wrong, but let's do it.

Des Traynor: Let's start. Issue tracking.

Fergal Reid: A lot like customer support. You can probably do a lot more with clustering issues and detecting when a bunch of issues have one root cause. You can probably do much better in terms of the next best action about suggestions and resolutions for common issues you've seen before.

“We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent”

Des Traynor: Cool. This is going well. Project management apps. Say Basecamp or Asana or something like that.

Fergal Reid: Project management apps. Probably an insights layer, and you can build on top of that stuff. People always say that. It's always easy to say and extremely difficult to make an insights product work, but it's probably an insights layer. There's probably a lot you can do with unstructured assets that are part of the project you're tracking, and you can start to make sense of those that you couldn't in the past. Definitely field research, but there's probably something there.

Des Traynor: Cool. Paul, do you have any?

Paul Adams: Well, one hot space we mentioned earlier is communication products. I'm thinking about Gmail, for example. Gmail was the same for the best part of a decade. And now, suddenly, it feels like there's an explosion in all sorts of cool things happening in Gmail.

Fergal Reid: This is going to sound very self-serving, but I think that the sort of domain we're in at Intercom is going to drive a lot of extremely exciting innovation that is going to percolate out to broader, more horizontal products like Gmail. To give an example of why I think this: if you look at our customers as they use Intercom, they're having so many of the same conversations again and again. There's so much structure in that domain. It's this mix of unstructured texts that they're writing, but then there's so much structure to the conversation, whereas Gmail is broad and horizontal. If you look at my inbox, any email could be completely different than the last. So, I feel that companies like us working in areas like customer support are going to be in a great position to innovate because there's just so much structure to take advantage of there. You're going to have suggestions, recommendations, and automation. And I think that will percolate out. That will go out to these broader, more horizontal products after it has proven its business value. We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent. It's starting to scratch that direction, and we're going to see more and more of that.

Paul Adams: It's easy for me to imagine a world where a WhatsApp exchange between any one of us is literally just tap, reply. Tap, reply. Tap, reply.

Des Traynor: We're trying to go for dinner. Here are four places. Bang. What time? Bang.

Paul Adams: But literally, you're just inserting the recommended content.

“If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface”

Fergal Reid: Now, is the future of the inbox something where you're sitting almost looking at this dashboard of a conversational tree unfolding and your job is to guide the AI to answer questions for you? Maybe the future of coms and conversations looks a lot less like typing on a keyboard. You're still going to do that sometimes, but maybe 80% of what you do will be much more structured, like guiding the branches on a tree.

Des Traynor: The AI stops augmenting you, you start augmenting it.

Fergal Reid: Exactly, which is good. It's almost like you're managing somebody who's answering your conversations. And that's always my number one thinking tool for AI disruption. Imagine you had a very well-paid, smart human doing the task, and you told them what to do. What would that look like? People were like, “Oh, there'll never be software that automatically programs, or it will never have visual programming. We've tried it a whole bunch of times.” Well, I used to do programming competitions, and if you have a highly skilled developer, you don't say the exact keystrokes. You say, “Oh, now flip the list around. Oke. And then filter out those two things.” If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface. That's a great starting point for where AI could take us.

Des Traynor: That's fascinating. Okay, last question. You mentioned that AI is a disruptive force. If our listeners haven't already embarked upon an AI, ML journey, and let's say they have the budget for a couple of heads, what's the best thing to do?

Fergal Reid: Like any disruptive tech change, the first question is always: Is it still worth ignoring? And how long can you ignore it for? And I'm not saying to race and do something now. Maybe you're in a space where you should continue to ignore this as it matures for another few years. If you can't ignore it, or if you want to do something in this space, I would say to concentrate your resources and your budget and get someone who's got some deep experience at the tech end and enough of a product head on their shoulders that they can go and work with your product team productively. And start exploring opportunities from there. Start building relationships with the designers and the company. Start sketching and figuring out, “Okay, what would be possible to design here?” And start mocking up some designs. Do they look exciting? Do they look good? Show them to your customers. Get customer feedback and take it from there.

After that, you're into the standard product development – how do you know how to resource something or not? But yeah, concentrate your resources and get someone who knows what you're doing as much as possible, and then have them pair with your existing organizational assets. Don't go and say, “We're going to do some blue sky thinking. We're going to start a new lab and put it off-site, and they're going to go and build nothing for two years, and it'll be very impressive.” No, definitely tread that balance. That's what it's all about. It's about marrying and balancing technology and design.

Des Traynor: Fergal Reid, thank you very much for joining us. Thank you, Paul. And we'll see you all again for Intercom on Product. Take care, everyone.