GPT ve üretken yapay zeka ile büyük deneyimiz

ChatGPT dünyayı kasıp kavurdu ve daha fazla heyecanlanamazdık. Bugün, bu devrim niteliğindeki yapay zekayı kullanarak oluşturduğumuz müşteri hizmetleri özelliklerini açıklıyoruz.

Aralık ayında, Makine Öğrenimi Direktörümüz Fergal Reid ve ben ChatGPT'nin lansmanı hakkında sohbet etmek için oturduk: iyi, kötü, vaat, yutturmaca. Destek temsilcileri için süreçleri otomatikleştirme ve düzene sokma olasılıkları sonsuz gibi görünse de üretken yapay zekanın bu alandaki başarısı, sonuçta onun müşteri hizmetleri ekipleri ve benzer şekilde müşteriler için gerçek değer sunma becerisine bağlı olacaktır. Değilse, bu sadece bir oyuncak – eğlenceli ama yine de bir oyuncak.

Bunu test etmek için hızla işe koyulduk. Yararlı olabileceğini düşündüğümüz yapay zeka destekli birkaç özelliğin taslağını çıkardık, üretime geçtik ve 160 müşterinin önüne bir beta sürümü koyduk. Bu yeni özelliklerle ilgili her şeyi buradan okuyabilirsiniz.

Bugünkü bölümde, Fergal ve ben son birkaç hafta içinde öğrendiklerimizi, bundan sonra nereye gideceğimizi ve bunun bu alanda nelerin mümkün olduğuna dair algımızı nasıl değiştirdiğini paylaşıyoruz.

☞ AI özelliklerimiz için beta bekleme listesine katılmak veya Intercom'dan AI haberleri almak için buraya tıklayın .

İşte önemli çıkarımlardan bazıları:

• ChatGPT modellerinin çok cümleli konuşmalarda doğal dili işleme yeteneği, gelişmeye ve yeni olasılıkların kilidini açmaya devam ediyor.
• Ürün geliştirmede, müşteriler her zaman nihai hakemdir - harika bir teknoloji geliştirebilirsiniz, ancak bu onlar için bir sorunu çözmezse, buna değmez.
• GPT-3.5'in metni düzenleme ve değiştirme yeteneği, onu müşteri hizmetleri için çok değerli kılar ve metni özetleme ve tonu ayarlama gibi görevleri zaten halledebilir.
• ChatGPT'deki ilerlemelerle, verimliliği en üst düzeye çıkarmak için daha fazla özellik eklenebilir ve müşteri memnuniyetini artıran daha karmaşık konulara odaklanmak için ön saf temsilcilerini serbest bırakabilir.
• Akıllı yanıtlar gibi oyunun kurallarını değiştirme potansiyeline sahip kullanımları araştırmaya başlarken, modelin çalışması için iş bağlamına ilişkin bir anlayış hâlâ eksik.

Apple Podcasts, Spotify, YouTube'da Inside Intercom'u takip ederek veya seçtiğiniz oynatıcıda RSS beslemesini kaparak öne çıkan hiçbir şeyi kaçırmadığınızdan emin olun. Aşağıda, bölümün hafifçe düzenlenmiş bir kopyası var.

Dil anlayışında bir atılım

Des Traynor: Bir kez daha merhaba, Fergal. Nasılsınız?

Fergal Reid: Güzel, teşekkürler Des. Intercom'da geçen altı veya yedi hafta yoğun geçti, bu yüzden bugün bunun hakkında konuşmak için çok heyecanlıyım.

Des: Evet, sadece altı ya da yedi hafta önce oturup sohbet ettik. Kasım ayı sonlarında başlayan yapay zeka devrimine karşı altı veya yedi haftalık gerçek mühendislik süresi inşa ettiniz sanırım. Ne öğrendin? Müşteri hizmetleri dünyasında nelerin mümkün olacağına dair algınızı değiştirdi mi?

Fergal: Evet, sanırım öyle. Son konuştuğumuzda, ChatGPT hakkında çok konuştuk ve bu, lansmanından belki bir hafta sonraydı. Buradaki büyük farkın ChatGPT mi yoksa OpenAI'nin oluşturduğu model ailesi mi olduğu konusunda kılları ayırabilirsiniz - gerçekten spesifik olmak için çoğunlukla GPT-3.5 veya Text-Davinci-003 ile çalışıyoruz.

Des: Bunlar, bu özel modülün adlarıdır.

Fergal: Evet, bu özel modelin isimleri. Ve aslında, bu isimler ve farklı şeylerin ne olduğu konusunda çok fazla kafa karışıklığı var. Ama temel olarak, geçen yıl çıkan GPT-3.5 serisi modellerin, Davinci-002, Davinci-003, bu tür şeylerin ve ardından tam olarak aynı zamanda düşen Davinci-003'ün olduğunu hissediyoruz. ChatGPT çığır açıcıydı ve gerçekten farklı, niteliksel olarak daha iyi işlevsellik oluşturmaya başlamamızı sağladı.

"Bu büyük bir açık çünkü yapmak istediğimiz ve en iyi şekilde doğal dilde açıklanan pek çok görev var."

Des: Şu anda neyin mümkün olduğuna dair inancın nedir? Müşteri hizmetleri dünyasında nereye gidiyoruz?

Fergal: Bence müşteri hizmetlerinde ve hatta ötesinde, bu modeller doğal dille eskisinden daha iyi başa çıkmamızı sağlıyor. Sanırım doğal dil işlemenin biraz tarihçesini verebilirim. Uzun süre düzenli ifadeler gibi basit şeylerdi. Ardından, verilerde çokça yer alan anahtar kelimelere bakma konusunda gerçekten başarılı olan metinlerimiz oldu. Ve sonra belki üç, dört yıl önce sinir ağları, "Hey, bu cümlenin anlamı nedir?" Ama şimdi, "Hey, bu cümlenin daha derindeki anlamı nedir..." konusunda gerçekten iyi olmaya başladıklarını söyleyebilirim, insanların bunu nasıl yapabileceğine çok daha yaklaşıyorlar ve birden fazla cümleden oluşan bir sohbette neler olup bittiğini anlıyorlar. . Kişi ne hakkında konuşuyor? Birisinin az önce "Ah, Salesforce hakkında bir sorum var" dediğini anlamak için birinci cümlenin içeriğini üçüncü cümlenin içeriğiyle birleştirmek. Takım arkadaşı da, “Peki, sorunuz nedir? Sana nasıl yardım edebilirim?" Ve sonra, "Evet, entegrasyonumla ilgili gerçekten yardıma ihtiyacım var" diyor. Ve sistemler, bu entegrasyonun Salesforce entegrasyonu ile ilgili olduğunu anlamada çok daha iyi hale geliyor ve konuşmanın bundan sonra nereye gitmesi gerektiği konusunda bir fikir sahibi oluyor.

"Makineler birdenbire bunlara bakabiliyor ve onları çok daha iyi anlayabiliyor"

Çözünürlük Botumuz ve halihazırda konuşlandırılmış olan makine öğrenimi teknolojimiz, belirli bir cümle içindeki bu tür şeylerde oldukça iyidir. Ancak şimdi teknoloji, birden çok cümlede iyi ve bağlamda çok daha iyi olduğu bir noktaya geliyor. Birbirleriyle doğal dillerde iletişim kuran ve konuşmak isteyen insanlar olarak, bu bizim için çok doğal. Bu büyük bir açık çünkü yapmak istediğimiz ve en iyi şekilde doğal dilde açıklanan pek çok görev var. Bir şeyin nasıl yapılacağına dair o kadar çok belge, talimat ve makale var ki, birbirimizle doğal dilde yazıp iletişim kuruyoruz. Ve şimdi, birdenbire, makineler bunlara bakabiliyor ve onlardan çok daha fazla anlam çıkarabiliyor. Ve bu yetenek her geliştiğinde, pek çok ürün daha önce mümkün olmayan pek çok şeyin kilidini açar. Ve olanların gerçekten büyük bir şey olduğunu hissediyoruz. Bir şeyler inşa edip müşterilerimizin önüne koyana ve müşterilerimizin bu konuda ne düşündüğünü görene kadar bizim düşüncemiz bu.

Des: Demek istediğimiz de bu.

Fergal: Yani, biz de bunu yapmaya çalışıyoruz.

Des: Yazılım nedir, kodlanmış görüşler değil mi?

Fergal: Doğru.

Müşterilere kalmış

Des: Peki, ne inşa ettik? Ne üzerinde çalışıyorsun? üzerinden konuşalım.

Fergal: Yani, ürün geliştirmede her zaman fikrinizi kontrol etmek istersiniz. Müşterileriniz her zaman bir şeyin iyi olup olmadığı konusunda nihai hakemdir. En harika teknolojiye ve en harika ürün deneyimine sahip olduğunuzu düşünebilirsiniz, ancak bir sorunu çözmüyorsa ve kullanılmıyorsa yanılıyorsunuz. Ve bu yüzden, buradaki aldatmacayı gerçekten kesmek ve kendimizi ikna etmek istedik, "Tamam, müşteriler için hızlı bir şekilde ne inşa edebiliriz, değerin ne olduğunu görmek için onlarla birlikte çalışmak için önlerine ne alabiliriz?" Ve böylece, gidip bu yeni teknolojinin bir kısmını kullanacak ve değerli mi yoksa oyuncak mı olduğunu anlamamıza yardımcı olacak hızlı bir şekilde inşa edip üretime geçebileceğimiz özelliklerin taslağını çıkardık.

"Temel olarak 'Hey, bu özelliğin bir özetini istiyorum, bestecime koy ki hafifçe ekleyeyim' diyebilmek için bir düğmeye basmanız veya bir klavye kısayolu kullanmanız yeterli."

Yapmaya karar verdiğimiz ilk şey, temelde özetleme yapan bir özellik oluşturmaktı. Ve bunu yapmaya karar vermemizin bir nedeni var. Ekibim, Intercom'daki makine öğrenimi ekibi, Inbox ekibi, çokça gördüğümüz iki ortak müşteri işi olduğunu keşfetti. Pek çok işletmede, bir destek temsilcisi görüşmeyi devretmeden önce, bu görüşmenin bir özetini yazması gerekir. Bunu yapmazlarsa, son kullanıcının kendilerini tekrar etmesi veya alıcı temsilcinin gidip yukarı kaydırması ve bir sürü şey okuması gerekir. Ve böylece, teslim eden destek temsilcisinin bir özet yazması gerekir ve bu gerçek bir iştir.

Yaklaşık bir buçuk veya iki yıl önce, ekibim o zamanki en iyi sinir ağlarına, T5'e ve tüm bu büyük ağlara bakmaya ve bunları yeterli bir özetleme özelliği oluşturmak için kullanıp kullanamayacağımızı anlamaya çalıştı. Ve ne yazık ki, hiçbir yolu olmadığı sonucuna vardık. Konuşmalar çok boğuk. Bir konuşmanın akışı, bu farklı kısımlar arasında insanlar için gerçekten iyi bir şekilde gidip geliyor - insanlar kolayca bakabiliyor, hızlı ve tarayabiliyorlar - ama Çözünürlük Botunda sahip olduğumuz oldukça büyük sinir ağları bile zorlandı bu tür bir görevde. Ve son DaVinci-003 modeli GPT-3.5 ile oynarken gördüğümüz ilk şeylerden biri, birdenbire özetleme konusunda harika göründüğüydü. Biz de "Vay canına, bu harika görünüyor" dedik.

“İnsanlarla gerçekten gerçek olmaya çalışacağız. Müşterilerimizin hangi parçaların oyuncak olduğunu anlamalarına yardımcı olacağız”

Ve böylece, bir özellik oluşturduk ve gelen kutusunda bir özetleme özelliği ile birkaç tur yineleme yaptık. Temel olarak "Hey, bu özelliğin bir özetini istiyorum, bestecime koy ki hafifçe ekleyeyim" diyebilirsiniz. Mükemmel değil. Biraz eklemeniz gerekebilir, ancak bu çok büyük bir zaman tasarrufu sağlar. Ve betamızda bu özellikleri kullanan 160'tan fazla müşterimiz oldu ve özetleri gerçekten kazanan oldular. Henüz bir destek temsilcisi için oyunu tamamen değiştirmiyor; bir temel işi seçer, ancak bu tek temel işi yerine getirir.

Des: Ve azaltır. İndirimin ne olduğunu söylersiniz? Normalde yazması üç dakika sürerse, özeti veya başka bir şeyi eklemek 10 saniyeye mi düştü?

Fergal: Evet.

Des: İşin %90'ı kaldırılmış gibi.

Fergal: Aynen. Ve bazı müşterilerimizi bu konuda son derece heyecanlandırdık çünkü gerçekten uzun bir e-posta dizisine veya gerçekten çok uzun bir konuşma geçmişine sahip olabilirler ve bu sadece çok zaman kazandırır. Sanki akademik bir makale falan okuyormuşsun gibi. Bazen sadece bir fikir edinmek, tam olarak istediğiniz ayrıntıları bulmanıza yardımcı olur. Orada gerçekten iyi bir şeye ulaştığımızı düşünüyorum ve bu, üzerinde çalıştığımız özelliklerden biri.

“Abartma makinesiyle ortaya çıkmak çok kolay; basın bültenleriyle çıkmak kolaydır: 'Dünyayı değiştirdik.' Ve pratikte buna karar verecek olan kişi müşterilerimizdir”

İnsanlarla gerçekten gerçek olmaya çalışacağız. Müşterilerimizin hangi parçaların oyuncak olduğunu anlamalarına yardımcı olacağız. İnşa ettiğimiz ve beta sürümüne koyduğumuz her şey oyunun kurallarını değiştirmiyor, ancak özetlemek en güçlü hissettiğimiz şeylerden biri. Gerçekten hazır. Bu teknoloji dönüştürücü bir şey yapıyor; yeni, heyecan verici ve gerçek müşteri değeri sunuyor.

Des: Yapay zeka ile ilgili olarak her zaman olmaya çalıştığımız bir şey, müşterilerimize bir iyilik yapmaya çalıştığımız için ayık olmaktır. Hype makinesiyle çıkmak kolaydır; basın bültenleriyle çıkmak kolaydır: "Dünyayı değiştirdik." Ve pratikte, buna karar verecek olan kişi müşterilerimizdir. Bu nedenle, özetlemeyi yayınladığımızda, bunun gerçekten değerli olduğuna dair sözlerine güveniyoruz. Önemli olan bu, değil mi?

Fergal: Aynen. Ve bakın, bu acı çektiğimiz bir şey. Bazen abartmaya istekli insanlara kaybedersiniz. Bunu yapmamak için çok uğraşıyorduk çünkü bunu yapmaya başladığınızda sonunda kendi abartılarınıza inanmaya başlıyorsunuz.

Des: Anlatım yazılımın önüne geçiyor. Bu gerçek bir risk.

Fergal: Ve sen bundan kaçınmaya çalışıyorsun. Bu tür bir teknolojiyle bunun gerçekten bilincindeyiz, yani neredeyse çok işe yarıyor ve büyülü ve dönüştürücü bir şey yapmaya gerçekten çok yaklaşıyor, ancak bazen başarısız oluyor. Ve böylece, burada "Tamam, bu gerçekten yeterince iyi mi?" konusunda dürüst olmaya çalışıyoruz. Mükemmel olmadığını biliyoruz ama yine de yeterince iyi mi? Ve ne için yeterince iyi? Ve özetleme, kendimizi iyi hissettiğimiz bir şeydir. Bu, gerçek değer kattığını düşündüğümüz bir özellik.

İyi görünen ama aslında üretimde çalışmayan bir şey sunarak kaybedebilirsiniz ve ayrıca çok muhafazakar davranarak da kaybedebilirsiniz. Ve geçmişte, Resolution Bot ile çok muhafazakar olduğumuz zamanlar oldu. "Ah, cevabı bulduğundan emin olmadığımız sürece bunun geri tepmesini gerçekten istemiyoruz" gibiydik. Sonra bazı müşteriler bize gelip, "Ah, kullanıcı bir süredir yardım alamıyor, hatalı olsanız bile onlara bir şeyler verin" dediler. Ve bu çöp akışını vb. A/B testi yapıyor ve ayarlıyoruz. Çok muhafazakar olduğu zamanlar oldu. Ve böylece, müşterilerimize hızla yeni beta özellikleri sunmak için bir yaklaşım izliyoruz. Müşterilerimiz bu teknoloji konusunda son derece heyecanlı.

Zahmetsiz metin düzenleme

Des: Betada kaç özellik var? Beş altı?

Fergal: Yani yaptığımız ilk şey özetlemek oldu. Bunu yaptık çünkü basit, entegrasyonu kolay, iyi anlaşılan bir işti. Ondan sonra besteciye bakmaya gittik. Telemetri ve ölçümlerimiz olduğu için, bir temsilcinin Intercom'da geçirdiği sürenin yaklaşık yarısını bestecide metin yazarak veya düzenleyerek geçirdiğini biliyoruz. Onlar da düşüncelerini düzenliyorlar ama metni yazmak ve yeniden şekillendirmek için çok zaman harcıyorlar. Ve buna baktığımızda, "Tamam, bu metin düzenleme ve değiştirme konusunda çok iyi" dedik. Orada bazı küçük özelliklerle başladık, bazıları onları canlı hale getirmek ve nasıl gittiğini görmek için MVP özellikleri gibi. Ve böylece metin düzenleme ve metni yeniden şekillendirme özellikleriyle başladık. Belki de açıklaması en basit olanı basit düzenlemedir. "Hey, az önce yazdığım bu metni daha arkadaş canlısı yap" veya "daha resmi" demek, çünkü bu teknoloji artık tonu ayarlamakta iyi. Önceden, tonu güvenilir bir şekilde ayarlamak için kullanabileceğiniz hiçbir şey yoktu. UX üzerinde birçok yineleme yaptık ve bir araç çubuğunun olduğu ve sadece metin seçebileceğiniz UX'i bulduk. İlk sürümümüzde metni seçemiyordunuz ve biz onu yineledik. Müşteri bize bunun yararsız olduğunu söyledi - bestecideki her şeyin tonunu değiştirmek istemediler. Şimdi, biraz seçebilirsiniz.

"Yeni içerik menüsünün 'üzerini genişlet', 'özetle', 'daha mutlu et' ve 'daha resmi yap' gibi olduğu bir dünyaya bakıyor olabileceğimizi bilmek beni şaşırtıyor”

Neredeyse bir görüntüyü düzenlemek gibi. Ve burada gelişmekte olan bir paradigma olduğunu düşünmeye başladık. Bir zamanlar, metni kalın ve italik yapabileceğiniz bir kelime işlemcinin "vay canına" gibi olduğunu hatırlıyorum. Ve gelecekte insanların bunu üslup açısından düşünüp düşünmeyeceklerini merak ediyoruz. "Ah, tabii ki gidip tonu hızla düzenlemek istiyorum" gibi. Günün sonunda yorgunsanız, bir taslak yazdınız ve "Yeterince arkadaş canlısı değildim, bu benim CSAT'ımı etkileyecek" diyorsanız, gidip bir düğmeye tıklayın ve metni düzenleyin ton ve daha samimi olur. Ve o düğmeye bir veya iki kez basmak, gidip-

Des: Git ve yeniden yaz.

Fergal: Metni yeniden yazmak iştir.

Des: Yeni bağlam menüsünün "üzerine genişlet", "özetle", "daha mutlu yap" ve "daha resmi hale getir" gibi olduğu bir dünyaya bakıyor olabileceğimizi bilmek beni şaşırtıyor. Yapmaya çalıştığınız dönüşümler bunlar olacaktır. Metnin optik özelliklerine o kadar çok tonda odaklanmıyorsunuz.

Fergal: Kesinlikle. Bakın bunda ileri geri gittiğimizde “bu bir oyuncak mı? Harika bir oyuncak mı yaptık yoksa harika bir şey mi?” Ve bunun müşteriye göre değişeceğini düşünüyorum, ancak bu özel özellik için cesurca ifade şu: "Hey, günün sonunda yorgunum ve tonu çok önemsiyorum çünkü CSAT'ım benim için büyük bir ölçü ve bu, bunu yapmanın bir yolu.” Daha keyifli bir müşteri deneyimi sunmanın bir yolu.

Des: "Üzgünüm, işte geri ödemeniz." "Lütfen bu sesi daha empatik hale getirin" ya da her neyse diyebilirsiniz.

Fergal: Empati etrafında deneyler yaptık. Aslında geçiş yaptığımız şey, "işleri daha resmi hale getirmek, işleri daha dostça hale getirmek". Bu gerçekten iyi çalışan bir tür spektrum, bu yüzden biz de onunla gittik. Ve sanırım Intercom'a yakışıyor. Pek çok insan çok kişisel, çok arkadaşça bir destek deneyimi sunmaya çalışıyor.

“Çoğu zaman, bir şey yazdığınızda, yanlış çıkıyor. Böylece sadece 'Hey, bunu yeniden ifade et' diyebilirsiniz”

Tamamen şeffaf olmak gerekirse, oyuncaktan değerliye spektrumun tam olarak neresinde oturduğundan hala emin değiliz. Bazı müşteriler bunun çok değerli olduğunu söylüyor ve biz de bunu değerlendirmeye devam ediyoruz. Ama buna beta olarak sahibiz. Müşterilerimize, inşa ettiğimiz ve araştırdığımız türden şeylerin bunlar olduğunu söylemek istiyoruz.

Bu bir özellik. Bakmaya başladığımız bir sonraki şey, yeniden ifade etme özelliğidir. Ve yine, bu dil modelleri kısıtlı bir metin parçasını alıp düzenleme veya değiştirme konusunda çok iyidir. Bunu özetleme ile görmeye başlarsınız. Çoğu zaman, bir şey yazdığınızda yanlış çıkar. Böylece, "Hey, bunu yeniden ifade et" diyebilirsiniz. Ve yine, bu, onu vurgulayıp tıkladığınız türden bir hızlı kullanıcı deneyimidir. Kendiniz yeniden yazmaktan biraz daha kolay. Bunu yaptığınızda biraz gecikme oluyor. Yani, hala değerlendiriyoruz. Ancak yine bazı müşteriler bundan gerçekten hoşlanıyor, işlerinde gerçekten işe yarıyor ve bu modeller daha iyi hale geldikçe gecikme süresinin zamanla azalmasını bekliyoruz. Bu, metnin yeniden ifade edilmesidir. Bunlar, bestecide peşinden gittiğimiz ilk özellikler.

Şimdi, daha büyük bilet işi geliyor ve potansiyel olarak oyunun kurallarını daha fazla değiştirebilecek şeyleri araştırmaya başlıyoruz. Bununla yapmaya çalıştığımız şeylerden biri, genişletme özelliği dediğimiz şey. Programcılar için yardımcı pilot gibi şeylerden ilham aldık. Yardımcı pilotta, bir yorum yazabilirsiniz ve bu, tüm işlevi doldurur ve size çok zaman kazandırır. Biz de "Ah, müşteri desteği için biraz buna benzer bir şey yapabilir miyiz?" Ve fikir şu ki, belki de istediğiniz şeyin kısa bir özetini yazarsınız ve sonra bunu vurgularsınız, örneğin genişletin ve besteciniz bunu doldurur. Bunu yaptık, sevk ettik ve müşteriler bunun bir oyuncak değil, değerli olduğunu açıkça görüyor - eğer işe yararsa. Ancak bazı alanlarda diğerlerinden çok daha iyi çalışır. İnternetteki genel bilgilerin iyi bir iş çıkaracağı soruları yanıtlıyorsanız-

Des: Telefonunuzu sıfırlamanız gerekmiş gibi.

Fergal: Aynen öyle. Bunun için çok iyi çalışıyor. Ancak, bir steno yazdığınız bir yerde bir şey yapmaya çalışıyorsanız ve aslında bu tür soruları nasıl yanıtladığınızla ilgili işinize özgü pek çok bağlam varsa, o zaman halüsinasyon görebilir ve düzenlemeniz gereken bir şey söyleyecektir. dışarı. Yine de, bazı müşteriler bundan gerçekten hoşlanıyor ve onlar için gerçekten iyi çalışıyor. Ama gerçekten bunun bir çeşit birinci versiyon olduğunu düşünüyoruz. Bunu kullanıyorsanız, kontrol etmeniz ve sizin ve işletmeniz için ne kadar iyi çalıştığını görmeniz gerekir. Ancak bunun için sürekli yeni şeyleri değerlendiren bir projemiz var, “Hey, aynı konularda daha önce verdiğiniz cevapları alabilir miyiz?” Yani, bize yapmak istediğiniz şeyin üç kelimelik özetini verin, örneğin "müşteriye teşekkürü iade edin", biz de gidip geri ödemeler hakkında söylediğiniz son beş şeyi bulalım. Ayrıca gidip geri ödemelerle ilgili bir makronuz olup olmadığına bakacağız. Ayrıca önceden konuşmanın içeriğine de bakacağız.

"Denediğimiz şey şu: tümsekleri aşabilir miyiz? Bu bağlamı dahil ederek gerçekten dönüştürücü bir şey yapmaya başlayabilir miyiz?”

Des: Yardım merkezinde herhangi bir şey varsa, tüm bu tür şeyler.

Fergal: Yardım merkezinden makaleler filan çekecek kadar ileri gitmedik. Sizin ve kullanıcının iki tur önce söylediklerine baktık, hepsini bir istem haline getirdik ve ardından "Tamam, tüm bu bilgilerle birlikte, lütfen gidin ve şu üç kelimelik stenoyu alın ve özetleme yapmayın" diyeceğiz. onu büyük bir şeye dönüştürün.”

Des: Evet, kesinlikle. Böylece, "Üzgünüm, işte bir geri ödeme, teşekkürler" ifadesi, "Rahatsızlıktan dolayı gerçekten özür dileriz. Bir geri ödeme yaptık ve üç ila dört gün içinde görmeniz gerekir. Ve pişmanız..."

Fergal: Genelde kullandığınız tarzda – şahsen, bireysel temsilci olarak – ve sahip olduğunuz ilgili makroları da alarak. Gerçekten o noktadayız. Ve bu son parça henüz üretimde değil. V1 üretimde. V1, yüzlerce beta müşterisi tarafından kullanılmıştır. Ama denediğimiz şey şu: tümsekleri aşabilir miyiz? Bu bağlamı dahil ederek gerçekten dönüştürücü bir şey yapmaya başlayabilir miyiz? Ve bu hala devam ediyor. İyimser olduğumuzu ancak henüz kesin olmadığımızı söyleyebilirim. Bu bizim için her hafta değişiyor, bu yüzden bu konuda çok heyecanlıyız. Ve bu, şu anda genişletilmiş özelliğin birinci sürümüdür. Ancak ikinci ve üçüncü versiyonun geleceğini görebiliriz.

Sürüş desteği verimliliği

Fergal: Betamızda denediğimiz son özellik, müşterilerimize GPT'ye doğrudan erişim sağlamaktı. Yani, istem yok, modele hiçbir şey söylemeden, "Hey, oraya ne istersen koy" demek yeterli. Ve bunu gerçekten hızlı ilerleyen bir beta deneyi olarak yaptık. Müşterilerimize bunu nasıl kullanacakları konusunda beta sürümünde pek rehberlik etmedik. Bazılarının kafasını karıştırdık ve işler pek iyi gitmedi, ancak bazı müşteriler çeviri dahil olmak üzere kendilerine gerçek değer katan yeni kullanım örnekleri buldu. Şimdi, bu modeller çeviride en iyisi değil ama belki de bu, "Hey, beta müşterileriniz varsa, belki onlara beklediğinizden biraz daha fazla güç verin ve" gibi ilginç bir yapay zeka ürün geliştirme taktiğidir. sana neye ihtiyaçları olduğunu söyleyecekler.”

Des: Neyin ortaya çıktığını görün. Hatta bekleneni görün.

Fergal: Aynen. Ve bence beklentiler bu konuda hızla değişecek. Belki de bu bize çeviriye ihtiyacımız olduğunu söylüyor çünkü çok iyi anlaşılmış çeviri modelleri var.

"Belki yanında bir kaynak vardır ve birdenbire, o beş dakikalık cevap arama anına dönüşür. Ve işte burada gerçekten oyunun kurallarını değiştirmeye başlıyor”

Des: Yani tüm bu özellikler, destek ekipleri için verimliliği en üst düzeye çıkaran şeyler gibi görünüyor. İster girişler ve çıkışlar olsun, ister sadece bir şeyi yeniden yazmak olsun, onu daha mutlu veya daha resmi hale getirmek için yapacak enerjileri olmayabilir. Bunların hepsi, ön cephedeki destek temsilcilerine çok fazla zaman kazandırmanın farklı yollarıdır. Nihayetinde onlara konuşmanın teknik aramalar veya derin dalışlar gibi daha zor kısımlarına odaklanmaları için daha fazla zaman verir. Bunun en iyi konuşlandırılacağı yer burası mı? Şimdiye kadarki en iyi düşüncemiz bu mu? Bu GPT tarzı teknolojiyi destek deneyimi boyunca başka nerede sunabileceğimizi düşündüğünüzde, başka ne düşünüyorsunuz?

Fergal: Daha büyük müşterilerimizin, günlerini bestecide geçiren çok sayıda destek temsilcisi var. Ve böylece, onları daha hızlı ve daha verimli hale getirebilirsek, %10 veya %20'lik bir verimlilik artışı kesinlikle çok büyük.

De: Elbette, evet. Binlerce lisansı olan müşterilerimiz var, bu yüzden gerçekten dönüşümsel.

Fergal: Aynen. Oyun değiştiren. Ve bu bizim çok ilgimizi çeken bir alan. Ve bu teknoloji her geçen gün daha da iyiye gidiyor. Tek yer orası değil, ama bu konuda gerçekten iyimseriz. Müşterilerimizden bazıları, günlük yaşamlarının videolarını bizimle çok güzel bir şekilde paylaşacak. Ve bu iş akışının "Hey, bir soruyu cevaplamaya çalışıyorum ve cevabı bilmiyorum. Gidip dahili bir yardım masası makalesine bakmam veya benzer bir konuşma bulmam gerekiyor ve etrafta geziniyorum." Bunu, “Hey, işte yapay zeka. Belki birkaç kelime edersin…” Ya da belki bunun ötesine geçeriz. Birkaç dakika içinde bahsedeceğim başka prototiplerimiz de var, belki de yanıt orada sizi bekliyor olabilir. Belki de yanında bir kaynak vardır ve birdenbire, o beş dakikalık cevap arama anına dönüşür. Ve işte burada oyun gerçekten değişmeye başlıyor. Bence çok yakında gideceğimiz yer orası.

Des: Evet, bu mantıklı. Büyük ekiplerdeki küçük kazanımlar hala çok büyük ve ayrıca herhangi bir özel iş akışındaki, özetleme olayındaki büyük kazanımlar da çok büyük. Bence bazı insanlar, tüm desteği otomatikleştirene kadar hiçbir şey yapmadığımız bu tuhaf ikili dünyaya sahip. Kişisel görüşüm, tüm desteği gerçekten otomatik hale getireceğimizi düşünmüyorum. Yapacağımızı düşündüğüm şey, kelimenin tam anlamıyla desteğin farklılaşmamış kısmını, her gün aynı şeyi yaptığınız "tıklama", "giriş ve çıkış" şeylerini sindirmek.

Fergal: Ve umarım sinir bozucu kısımlarından kurtulursun. Etrafta geziniyorsunuz, aramaya çalışıyorsunuz ve cevabın buralarda bir yerde olduğunu biliyorsunuz. Bu soruyu geçen ay beş kez cevapladığınızı biliyorsunuz ama bulamıyorsunuz.

"Dürüst olmak gerekirse, bu özellikler kullanışlılık eşiğini tahmin ettiğimden çok daha hızlı geçiyor"

Beta sürümünde yayında olan son özellik, makale tabanlı bir genişleticidir. Bu, neredeyse çok hızlı bir şekilde standart bir özellik haline geldiğini gördüğümüz bir şey. Bir metin makalesi yazdığın her yerde, büyük bir dil modeline seslenip “Hey, bunu tamamlamama yardım et, bunu genişlet. İşte benim madde işaretlerim.” Ve böylece, bunu Intercom makaleleri ürünümüz için beta sürümümüzde gönderiyoruz. Yine, hala erken. Bütün bunlar erken - altı haftadan sekiz haftaya kadar oldu, ama bazen büyülü oluyor. Bazen gidip bir makalenin içeriğini açıklamak için dört veya beş madde işareti yazabilirsiniz ve ardından istemde, ona bir Intercom makalesinin standart formatını veririz, böylece nasıl gidip bunları başlıklara koyacağını bilir ve yakında. İşe yaradığında ve ne sıklıkla işe yaradığı ve insanlar için ne kadar iyi çalıştığı büyülüdür. Yine de içeriği kontrol etmeniz gerekiyor. Oraya bir şeyler koyabilir, ancak bunu indirmenin yolları olduğunu düşünüyoruz. Ve dürüst olmak gerekirse, bu özellikler kullanışlılık eşiğini tahmin ettiğimden çok daha hızlı geçiyor. Yani evet, bununla deney yapıyoruz.

Son sınır

Des: Öyleyse, daha uzaklarda, tüm bunların gidişatı hakkında ne düşünüyorsunuz? Buradan nereye?

Fergal: Bunlar betada sahip olduğumuz şeyler. Bunları kullanan yüzlerce müşterimiz oldu ve müşteri değeri konusunda gerçek bir sinyal aldık. Şu anda makine öğrenimi ile üretimde tam olarak nerede olduğumuzu size anlatacağım. Son bir veya iki gün içinde, kendi dahili CS ekibimizin kullandığı bir özelliğimiz oldu: geçmişte, ortak selamlarınızı çıkaracağı bir akıllı yanıtlar özelliğimiz vardı. Bunlar bilgi içermeyen, kullanıcının sorusuna cevap vermeyen şeylerdir – sadece tekerlekleri yağlıyorlar, onu hızlı ve çabuk yapıyorlar ve “Oh, teşekkürler. Rica ederim. Yapabileceğim başka bir şey var mı?” Ve bu teknoloji bu tür şeyler için harika. Dilbilimciler onlara fiziksel ifadeler diyor.

Son birkaç gün içinde, bunun bir sürümünü Intercom CS ekibimize gönderdik ve burada bu grileştirilmiş metnin bestecide önceden doldurulmuş olduğunu gördüler, ancak bu belirli konuşmayla alakalı. Bu nedenle, daha önce "Merhaba, size yardımcı olabilir miyim" derse ve kullanıcı "Ah evet, makaleler ürünüyle ilgili yardım istiyorum" derse, o zaman "Ah evet, makalelere bakmama izin verin" önerisinde bulunur. ürün sizin için.” Henüz sizin için aramayacak, ancak bunu yapacağız. Üç veya dört gün önce, “Tamam, bunu dahili olarak göndereceğim. Can sıkıcı bir hal alıp almayacağından ve insanların bunu görmezlikten gelip gelmeyeceğinden emin değiliz çünkü bunu sık sık görüyorlar ve bu yalnızca bir alt kümeye yardımcı oluyor” ve bu konuda her zaman gerçekten temkinli davranırız. Ancak şu ana kadar CS ekibimizin dahili yanıtı harika oldu. Ve böylece, bunun üzerinde çalışmaya devam etmeyi planlıyoruz. Belki de gösterme sıklığını sınırlayan başka bir sistem koymamız gerekiyor. Üzerinde çalıştığımız şeylerden biri de bu.

Genişletme parçasından daha önce bahsetmiştim ve şimdi üzerinde çalışıyoruz, "Hey, bunu steno olmadan da yapabilir miyiz?" Kullanıcıların az önce söylediklerine dayanarak bir sonraki adımda ne yazacağınızı anlayabilir miyiz? Gidip bilgi bankanıza bakacağız, uygun bir bağlam bulmaya çalışacağız ve bunu modele vereceğiz. Modelin kendisi bunu yapmak için yeterince iyi değil. İşinizi bilmiyor ama belki biz genişletebiliriz. Belki daha geleneksel makine öğrenimi metninin bir kombinasyonunu modelle kullanabilir ve iyi bir şey elde edebiliriz. Prototiplerimiz var ve bunun üzerinde çalışıyoruz, ancak bunları herhangi bir beta biçiminde bile olsa henüz müşterilerimize göndermedik çünkü bunun dönüştürücü olacak kadar iyi olup olmadığını veya sıkıcı ve can sıkıcı bir hal alıp almadığını hâlâ değerlendiriyoruz. Bu eşiğin nerede olduğu belli değil. Kullanıcı bunu ne zaman yapacağını öğrenebileceği için bunu istemeniz gereken genişletme tarzı şey hakkında biraz daha iyimseriz. Sorgulamayı öğrenebilirler. Hepimizin Google'ı nasıl kullanacağımızı öğrenmesi gerekiyordu ve kullanıcıların bu sistemlerle başa çıkma konusunda da çok daha iyi olacaklarını umuyoruz.

Aşağı yukarı bu durumdayız. Hızlı hareket ediyoruz ve burada gerçekten kontrol etmek ve gerçek değeri elde etmek için müşterilere ürünleri hızlı bir şekilde gönderiyoruz. Aldatmaca tuzağına düşmemek için dikkatli olmaya çalışıyoruz. Burada çok büyük bir potansiyel olduğuna inanıyoruz, ancak bir açılış sayfası yapıştırmak ve "Buradan alın" demek çok kolay. Her şeye cevap verecek.” Ve bu iyi değil. İnsanlar kör olacak ve kapanacaklar.

"Bunu herkes gördü ve 'ChatGPT gerçekten çok iyi. Müşteri desteğime yardımcı olması için böyle bir teknoloji alabilirsem, bu çok büyük.' Ama bunu raftan yapmayacak. İşinizi bilmiyor”

Des: "Bu şey bir şeyler yapıyor" derseniz itibarınıza zarar verdiğinizi düşünüyorum ve açıkça yapmıyor, ama bunu tıklamalar için yaptınız ya da her neyse. Bu yeni alanda herkesin beklediği gerçek ürün, çoğu soruyu her zaman doğru yanıtlayan son kullanıcıya dönük bot gibi geliyor. Bununla ilgili düşünceler? Haftalar, aylar, günler?

Fergal: Açıkçası, bu herkes için çok büyük bir alan. Besteciyi de hafife almam - soruların bir kısmı her zaman besteciye akacaktır. Ve onlar için bu süreyi azaltabilirsek, bu çok büyük. Ama kesinlikle, bu alandaki en büyük ödüllerden biri, ChatGPT ile gördüğümüz konuşmayı anlama deneyimini alıp, halüsinasyonlardan kaçınırken bireysel işiniz için çalışmasını sağlayıp sağlayamayacağımızdır. Bunu araştıran çok kişi var. Bunu da araştırıyoruz. İlginç ve ümit verici prototiplerimiz var, ancak halüsinasyonların yapmaya değecek ve değerli olacak kadar nadir olduğu eşiği aşıp aşmadığımızı henüz kesin olarak bilmiyoruz. Bu konuda dahili olarak bazı fikirlerin netleştiğini görmeye başlıyoruz, ancak bu konuda nerede olduğumuzu paylaşmaya henüz hazır değiliz.

Des: Tamamen adil. Sanırım altı hafta kadar sonra tekrar kontrol edeceğiz.

Fergal: Çok hızlı hareket eden bir dönem oldu. Bakın bu çalışmak için çok heyecan verici bir alan. Müşteri beklentileri çok yüksek. Herkes bunu gördü ve “ChatGPT gerçekten çok iyi. Müşteri desteğime yardımcı olması için böyle bir teknolojiye sahip olabilirsem, bu çok büyük." Ama bunu raftan yapmayacak. İşinizi bilmiyor. Bugün gerçekten ince ayar yapamazsınız. Özel işinizde ince ayar yapabilseniz bile, muhtemelen bunu yapmaz. Akıllı teknikler bulmalıyız ve bence Intercom gibi şirketler bunu denemek ve yapmak için iyi bir konumda. Ve evet, pek çok ilginç teknoloji ve dil modeli var. Bu alandaki tüm yenilikleri görmek beni gerçekten heyecanlandırıyor.

Des: Harika. Çok teşekkürler.

Fergal: Teşekkür ederim. Teşekkür ederim.

☞ AI özelliklerimiz için beta bekleme listesine katılmak veya Intercom'dan AI haberleri almak için buraya tıklayın .