Începător de conversație: o discuție despre noul nostru chatbot AI revoluționar

Lumea AI se mișcă rapid, iar aici, la Intercom, ajutăm la stabilirea acestui ritm. Astăzi, suntem încântați să vă prezentăm Fin, noul nostru chatbot alimentat de GPT-4 de la OpenAI și de tehnologia proprie de învățare automată a Intercom.

Cu doar câteva săptămâni în urmă, am anunțat primele noastre funcții GPT în Intercom – o gamă de instrumente utile pentru reprezentanții serviciului pentru clienți – iar clienții noștri s-au bucurat cu adevărat de eficiența suplimentară oferită de aceste funcții.

Totuși, marele obiectiv a fost crearea unui chatbot bazat pe GPT care să poată răspunde direct la întrebările clienților. Pentru a face acest lucru, trebuia să poată valorifica puterea modelelor de limbaj mari, dar fără dezavantajele reprezentate de „halucinații”. Inițial, nu eram siguri cât timp va dura să rezolvăm această problemă, dar acum, odată cu lansarea GPT-4 de către OpenAI, putem dezvălui că am construit un chatbot care poate răspunde în mod fiabil la întrebările clienților la un standard înalt. . L-am numit Fin.

În episodul de astăzi al podcastului Inside Intercom, m-am întâlnit cu directorul nostru de învățare automată, Fergal Reid, pentru a discuta noul nostru chatbot AI, cum l-am construit, ce face și cum arată pașii următori pentru această descoperire remarcabilă.

Iată câteva dintre concluziile cheie:

• Noul nostru chatbot AI poate conversa în mod natural folosind cea mai recentă tehnologie GPT.
• Fin ingerează informațiile din centrul tău de ajutor existent și folosește doar aceste cunoștințe, oferindu-ți control asupra modului în care răspunde la întrebările despre afacerea ta.
• La Intercom, credem că viitorul asistenței este un amestec de roboți și oameni. Fin nu va putea răspunde la toate întrebările clienților și, în aceste situații, poate transmite întrebări mai dificile echipelor de asistență umană fără probleme.
• Am redus halucinațiile de aproximativ 10 ori, creând constrângeri care limitează Fin la întrebări legate de afacerea dvs., pe baza unei baze de cunoștințe în care aveți încredere.

Dacă îți place discuția noastră, vezi mai multe episoade din podcastul nostru. Puteți urmări pe Apple Podcasturi, Spotify, YouTube sau puteți accesa fluxul RSS în playerul dorit. Ceea ce urmează este o transcriere ușor editată a episodului.

Un bot cu orice alt nume

Des Traynor: Bun venit la un episod interesant al podcastului Intercom. Mi se alătură încă o dată Fergal Reid, directorul nostru de învățare automată, și ne va spune despre lansarea a ceva ce ni s-a cerut aproape în fiecare zi de la lansarea ChatGPT.

„Acesta va fi de fapt un bot pe care îl puteți folosi pentru afacerea dvs., care are capacitatea de procesare a limbajului natural ChatGPT, dar care va răspunde la întrebări în mod specific despre afacerea dvs.”

Fergal Reid: Da, mulțumesc Des. De când a apărut ChatGPT, oamenii au spus: „Hei, pot folosi asta pentru a răspunde la întrebările mele de asistență pentru afacerea mea?” Și mereu ne spuneam: „Oh, nu știm. Nu suntem siguri de halucinații. Dar astăzi cred că suntem foarte încântați să anunțăm că suntem foarte încântați de acest produs pentru că credem că am făcut-o. Credem că am construit ceva – acesta va fi de fapt un bot pe care îl puteți folosi pentru afacerea dvs., care are capacitatea de procesare a limbajului natural ChatGPT, dar va răspunde la întrebări în mod specific despre afacerea dvs. și l-am creat folosind centrul dvs. de ajutor, astfel încât nu va răspunde la întrebări aleatoriu de pe internet sau nimic. Puteți controla ceea ce spune. Rata de precizie a crescut mult. Am reușit să creștem foarte mult rata de precizie prin utilizarea noului model GPT-4 al OpenAI și la care aveți acces în versiune beta. Așa că sunt foarte încântat de asta.

Des: Deci, ideea este că ceea ce oamenii au experimentat și de care s-au cam îndrăgostit în ChatGPT, care este efectiv acest bot căruia îi poți întreba orice și dă o încercare bună de a răspunde. Poți face asta pentru afacerea ta?

Fergal: Da. Un fel de. Așa că am făcut-o în mod deliberat, astfel încât să nu-l poți întreba nimic. Ideea este să construiești ceva care să aibă același tip de înțelegere conversațională pe care l-am văzut cu ChatGPT, dar care să răspundă în mod specific doar la întrebări despre afacerea ta. Puteți întreba ceva sălbatic, cum ar fi, cine a fost al 22-lea președinte al Americii? Și va fi de genul „Hei, sunt aici doar pentru a răspunde la întrebările de asistență pentru clienți despre această afacere specifică”.

Des: Cool. Deci știe efectiv ce ar trebui și ce nu ar trebui să încerce?

Fergal: Da, exact. Așa da.

O descoperire bot

Des: Simt că acum șapte sau opt săptămâni ai spus că nu vom face asta pentru că nu a fost posibil sau nu va fi ușor sau ceva de genul acesta?

„Fiecare client ne-a întrebat despre asta”

Fergal: Așadar, acum șase sau șapte săptămâni, când am început să ne uităm la această tehnologie, inițial când ne-am uitat prima dată la ea, ne-am spus: „Uau, putem construi asta? Putem construi ChatGPT pentru afacerea ta?' Asta era în mintea tuturor. Fiecare client ne-a întrebat despre asta. Ne cam uitam la asta și mergeam, Doamne, asta halucinează foarte mult, asta îți va da rezultate inexacte. Rezultate extrem de inexacte, lucruri total inventate, am spus: „Este o tehnologie foarte interesantă, dar nu suntem siguri dacă o putem constrânge și să o oprim suficient de halucinate. Și am petrecut mult timp jucându-ne cu GPT, ChatGPT, GPT-3.5.

„Când am început să ne jucăm cu el, ne-am gândit, wow, asta pare mult mai bine. Mai poate să halucineze uneori, dar halucinează mult mai puțin, poate de 10 ori mai puțin.”

Nu am putea să-l facem niciodată să știe când nu știe ceva. Dar recent am avut acces la o nouă versiune beta de la OpenAI a noului lor model GPT-4. Și unul dintre lucrurile pe care ni le-au spus a fost: „Hei, acesta este conceput pentru a halucina mult mai puțin decât unele dintre celelalte modele pe care le-am văzut în trecut”. Și așa, știi, ne-am spus: „Uau, asta sună foarte interesant. Sună foarte interesant, GPT-4, ce va face? Și ne-am străduit să ne uităm la asta și să punem asta prin unele dintre paturile noastre de testare pentru a verifica și a examina pentru halucinații. Și când am început să ne jucăm cu el, ne-am gândit, wow, asta pare mult mai bine. Mai poate să halucineze uneori, dar halucinează mult mai puțin, poate de 10 ori mai puțin, așa ceva. Și așa am fost extrem de entuziasmați. Ne-am spus: „Wow, bine, se simte dintr-o dată că e ceva. Acesta este suficient de bun pentru a construi un bot cu ajutorul căruia acesta este cu o generație înaintea GPT-3.5 pe care îl folosim. Doar că este mult mai departe, în ceea ce privește cât de demn de încredere este.

Des: Emotionant. Ce face testul – există teste de tortură prin care le-am supus acestor roboți pentru a vedea exact dacă știu că sunt prostii, practic?

Fergal: Deci nu suntem atât de departe. Pentru generația anterioară de modele, de exemplu pentru botul de rezoluție, am avut acest set foarte, foarte bine dezvoltat de benchmark-uri de testare, testate în luptă, pe care le-am construit de-a lungul anilor. Toată această nouă tehnologie este veche de câteva luni, așa că nu suntem chiar așa de principii ca asta. Dar am identificat o grămadă de cazuri marginale, doar lucruri specifice. Avem o foaie de calcul în care urmărim tipurile specifice de moduri de defecțiune pe care le vedem cu aceste modele noi. Și atunci când a apărut GPT-4, ești ca, bine, hai să încercăm asta. Să vedem ce se întâmplă când îi pui o întrebare care nu este deloc conținută într-un articol sau într-o bază de cunoștințe. Sau îi pui o întrebare care este similară, dar nu în totalitate la fel cu ceea ce este de fapt acolo.

Și știi, cu GPT-3.5 și cu ChatGPT, dacă nu știe ceva, aproape că vrea să te mulțumească, să-ți dea ce vrei. Și așa doar inventează ceva. Și cu GPT-4, evident că au făcut o grămadă de muncă pentru a reduce acest lucru. Și asta este chiar evident pentru noi. Așa că, atunci când trecem prin testele noastre, este posibil să-l facem să spună „Nu știu” sau să exprime mult mai mult incertitudinea. A fost un adevărat schimbător de joc pentru noi.

„La Intercom, credem că viitorul asistenței este un amestec de roboți și oameni”

Des: Și dacă botul nu știe, poate preda unui om?

Fergal: Absolut. La interfon, credem că viitorul asistenței este un amestec de roboți și oameni. Avem o mulțime de experiență cu botul de rezoluție pentru a face o predare plăcută de la bot la reprezentantul de asistență umană, sperăm că obținem acel reprezentant de asistență înainte de conversație și credem că încă trebuie să facem asta cu acest bot. Vor exista întotdeauna probleme în care, să zicem, cineva cere o rambursare. Poate vrei ca un om să aprobe asta. Deci va trebui să existe întotdeauna o cale de aprobare umană. La Intercom avem o platformă foarte bună pentru fluxurile de lucru și o veți putea folosi pentru a controla când botul predă și cum predă. Ne vom asigura că acest nou bot se integrează cu platforma noastră existentă în același mod în care a făcut-o botul nostru existent.

Des: Și presupun că botul va fi dezambiguat sau calificat o interogare într-un fel, poate a rezumat-o, chiar dacă o predă?

Fergal: Momentan, nu avem nicio funcție de rezumat, dar botul va încerca să dezambiguizeze și să atragă un răspuns client. Botul nostru de rezoluție existent face puțin din asta. Acest nou bot, pentru că este mult mai bun la procesarea limbajului natural, poate face asta mai eficient. Deci, asta poate însemna că timpul de manipulare scade pentru reprezentantul tău, pentru întrebările pe care botul le-a atins. Deci da, sunt destul de încântat și de asta.

Arta conversației

Des: Ascultătorii podcastului nostru Intercom On Product ar ști că îmi place adesea să spun că a avea o capacitate, chiar și o capacitate nouă, care este utilă, nu este suficient pentru a avea un produs grozav. Cum ați împachetat un produs - care au fost obiectivele dvs.? Care sunt obiectivele de proiectare pentru construirea unui produs real în jurul acestei capabilități GPT-4?

Fergal: Așa că ne-am dat seama destul de devreme că există într-adevăr un set de obiective de design spre care încercam să ne îndreptăm. În primul rând, am vrut să surprindem înțelegerea limbajului natural pe care oamenii au văzut-o și de care au fost foarte impresionați, cu ChatGPT. Am vrut să obținem o generație peste ceea ce era, ceea ce era înainte. Deci, dacă pui o întrebare destul de complicată sau pui o singură întrebare, atunci pui o întrebare următoare, care să înțeleagă că a doua întrebare trebuie interpretată în lumina celei de mai sus. Botul nostru anterior nu a făcut asta. Și majoritatea roboților de acolo, pur și simplu nu fac asta. A fost prea greu. Știi, conversațiile sunt medii foarte complicate pentru algoritmii de învățare automată. Există multă subtilitate și interacțiune și un fel de conversație de asistență, dar această nouă tehnologie pare să se descurce grozav la asta. Deci primul nostru obiectiv este să surprindem asta.

„Există multă subtilitate și interacțiune și un fel de conversație de asistență, dar această nouă tehnologie pare să se descurce grozav în acest sens”

Des: Deci, ca exemplu, ați putea pune o întrebare și spuneți „Aveți o aplicație Android? Ei bine, ce zici de iPhone? Vreau să întreb, „Ce zici de iPhone?” nu are sens decât dacă l-ați analizat anterior cu „Aveți o aplicație Android?”, ca exemplu. Deci este vorba de a lipi lucrurile împreună pentru a înțelege continuitatea conversației și contextul.

Fergal: Exact. Și cu asta, pur și simplu curge mai natural. Observăm acest lucru în mod special cu noul bot atunci când îi pui o întrebare și primești un răspuns și nu este exact ceea ce ai întrebat, poți să spui: „Oh, dar nu, chiar am vrut să cer prețuri”. Și cam înțelege asta și îți va oferi răspunsul mai relevant. Avem impresia că aceasta este o adevărată tehnologie inovatoare.

Des: Poate să te împingă și să-ți spună „Spune mai multe?” Vă poate adresa întrebări ulterioare pentru a vă califica întrebările? Deci, dacă vii cu ceva vag, cum ar fi: „Hei, funcționează chestia asta?” Ar încerca să rezolve asta? Sau ar răspunde cu: „Am nevoie de mai mult decât atât”.

„Pentru a construi o experiență de produs bună, este aproape ca și cum am avea o mulțime de flexibilitate și multă putere, dar acum avem nevoie de capacitatea de a-l limita și de a-l controla.”

Fergal: Deci, în mod nativ, algoritmii vor face o anumită cantitate din asta, dar cu acest tip de tehnologie, obținem această capacitate foarte avansată și apoi, de fapt, ceea ce încercăm să facem este că încercăm să o constrângem foarte mult. Încercăm să spunem de fapt: „Bine, poți face toate astea din cutie, dar avem nevoie de mai mult control”. Pentru a construi de fapt o experiență de produs bună, așa cum ați făcut aluzie mai devreme, este aproape ca și cum am avea o mulțime de flexibilitate și multă putere, dar acum avem nevoie de capacitatea de a o limita și de a o controla. Așa că am construit astfel de experiențe. Am construit o experiență de dezambiguizare în care, dacă pui o întrebare și nu există suficiente informații, încercăm să clarificăm asta, dar o controlăm.

Am conceput prompturi în care aveți aplicații cu scop special cu tehnologia pentru a face fiecare sarcină din conversație. Așadar, avem o solicitare pentru a vă face să puneți o întrebare; altul pentru a dezambigua o întrebare; încă una pentru a verifica dacă ți s-a răspuns complet la o întrebare. Și așa că începem cu acest model de limbaj foarte puternic, dar chiar vrem să-l folosim ca element de bază. Vrem să-l controlăm. Obținem acest control împărțindu-l în module speciale care fac fiecare lucru separat.

Cu un produs grozav vine o mare responsabilitate

Des: Deci, la nivel fundamental, spunem că poate conversa în mod natural. Cel mai mare avantaj al acestui produs, în opinia mea, este că vă veți simți confortabil să îl puneți ca primă linie de soluție în fața clienților dumneavoastră. Voiam să spun apărare, dar nu este o operațiune militară. Dar ți-ar fi confortabil să-l arăți ca și cum ai spune: „Hei, majoritatea conversațiilor merg aici”. Și faptul că poate avea un înainte și înapoi, poate menține contextul, poate dezambigua înseamnă că este bine echipat pentru a face asta. Ce ai mai adaugat? Nu este doar să stai acolo să discutăm – așa că ce altceva face?

Fergal: Primul lucru pe care l-aș spune este că diferitele companii vor avea probabil niveluri diferite de confort în ceea ce privește modul în care implementează acest lucru. Unii oameni probabil vor spune: „Ei bine, am un centru de ajutor foarte grozav”, iar acest bot pe care l-am creat își extrage toate informațiile din centrul tău de ajutor. Voi reveni la asta. Dar unii oameni ar putea spune: „Am un centru de ajutor foarte bun. Este foarte bine îngrijit. Am pus o mulțime de articole acolo de-a lungul timpului și vreau să am dialogul cu botul și să răspund la toate aceste întrebări.' Vor mai exista și alți clienți care vor dori ca botul să intre mai oportunist și să se retragă, iar noi lucrăm la crearea setărilor pentru a le permite oamenilor să-și controleze nivelul de confort cu asta.

Des: Un fel de prag pentru momentul în care bot-ul ar trebui să intre.

„Integrem bot-ul cu toate fluxurile noastre de lucru existente pentru a vă ajuta să obțineți acel control despre momentul în care doriți să intre și, mai important, când doriți să plece, astfel încât să puteți preda echipa de asistență existentă atunci când este atins. sfarsitul lui”

Fergal: Exact. Și în acest moment avem o capacitate destul de mare de fluxuri de lucru pe care o puteți folosi. Și integrăm bot-ul cu toate fluxurile noastre de lucru existente pentru a vă ajuta să obțineți acel control despre momentul în care doriți să intre și, mai important, când doriți să plece, astfel încât să puteți preda echipa de asistență existentă atunci când este atins. sfârşitul ei.

Des: Deci, dacă nu există agenți de asistență online sau dacă utilizatorul este gratuit, trimiteți-i direct la bot. Dacă este un client VIP și agenții stau inactiv, trimiteți-i direct agentului.

Fergal: Exact. Deci, ceea ce încercăm să facem aici este să luăm această nouă tehnologie și apoi să o integrăm cu platforma noastră existentă, care are toate acele caracteristici de care oamenii au nevoie pentru a construi ceea ce ar fi considerat o implementare de bot standard în industrie.

„Următorul obiectiv major de design pe care l-am avut a fost să evităm halucinațiile”

Deci următorul obiectiv major de design pe care l-am avut a fost să evităm halucinațiile. Am vorbit despre reducerea halucinațiilor și despre cum a fost un obiectiv al nostru de a avea botul să converseze în mod natural. Dar am vrut cu adevărat să le oferim clienților noștri control asupra tipului de întrebări la care ar putea răspunde. Acum acești roboți, această nouă tehnologie AI, aveți acces la un model de limbă mare și a fost instruit pe întregul text de pe internet. Deci are toate aceste cunoștințe acolo. Și o modalitate – un fel de cea mai simplă modalitate – de a implementa acest lucru este de a spune: „Hei, o să-l pun pe bot să răspundă la întrebări folosind toate informațiile sale despre internet”. Dar problema cu asta este că dacă nu știe ceva, poate inventa. Sau dacă știe ceva, poate nu vrei să discute cu clienții tăi despre un subiect potențial sensibil despre care știi că are informații. S-ar putea să vă gândiți: „Nu sunt sigur cum se simte afacerea mea sau marca mea despre, știi, orice informație, a apărut de pe un site ciudat. Nu vreau să aibă acea conversație cu clientul meu.

„Am depus multă muncă pentru a folosi modelul lingvistic mare pentru a fi conversațional; pentru a-l folosi pentru a înțelege un articol din centrul de ajutor pe care îl aveți; dar să-l constrângeți să ofere doar informații care se află într-un articol real din centrul de ajutor pe care îl controlați și pe care îl puteți actualiza și pe care îl puteți modifica și pe care îl puteți edita”

Așa că am depus multă muncă pentru a folosi modelul lingvistic mare pentru a fi conversațional; pentru a-l folosi pentru a înțelege un articol din centrul de ajutor pe care îl aveți; dar pentru a-l restrânge să ofere doar informații care se află într-un articol real din centrul de ajutor pe care îl controlați și pe care îl puteți actualiza și pe care îl puteți modifica și pe care îl puteți edita. Și, deci, acesta a fost un obiectiv major de design pentru noi, să încercăm să facem acest bot demn de încredere, să luăm modelele mari de limbaj, dar să construim un bot care să fie constrâns să le folosească doar pentru a răspunde întrebărilor despre afacerea dvs. și despre centrul de ajutor al companiei dvs.

A fost multă muncă și suntem foarte mândri de asta. Credem că avem ceva care este foarte bun pentru că primești acea bucată de conversație. Obțineți inteligența modelului AI pentru a obține un răspuns real dintr-un articol din centrul de ajutor, dar este constrâns. Deci, nu va începe să aibă conversații aleatorii cu utilizatorii finali.

Acești roboți, aceste modele, este întotdeauna posibil – dacă le faci jailbreak – să-i cam păcăli să spună ceva care nu este marca sau pe care nu l-ai dori. Și probabil că este încă posibil, dar simțim într-adevăr că am ajuns într-un punct în care ar necesita o încercare hotărâtă de hacking pentru ca acest lucru să funcționeze cu adevărat. Nu se va deplasa radical în afara scenariului în conversațiile normale.
Cred că un lucru care este foarte important de clarificat este că aceste modele de limbaj mari sunt probabiliste. Halucinațiile au scăzut foarte mult și credem că acum este acceptabil pentru multe afaceri, dar nu este zero. Ocazional vor oferi informații irelevante. Ocazional, vor oferi informații incorecte atunci când citesc articolul din centrul dvs. de ajutor, nu au înțeles pe deplin și, prin urmare, răspund greșit la o întrebare. Este posibil ca și un agent de asistență să facă greșeli...

Des: Se știe că oamenii...

Fergal: Ocazional, se știe că și oamenii fac greșeli. Și astfel, acești roboți, știți, este o nouă eră a tehnologiei. Are un alt compromis decât cel avut înainte. Posibil, unii clienți ai noștri vor spune: „Vreau să aștept. Nu vreau să implementez asta încă. Dar credem că, pentru mulți, mulți clienți, acest lucru va trece pragul, în cazul în care beneficiul [de a putea spune] „Nu trebuie să fac curatoria, nu trebuie să fac configurarea pe care o fac”. Am avut de-a face în trecut cu botul de rezoluție, pot doar să pornesc acest lucru, în prima zi, și dintr-o dată toate cunoștințele din centrul meu de ajutor, bot-ul le are, botul poate încerca să răspundă la întrebări cu el. Nu va fi perfect, dar va fi rapid. Credem că acesta va fi un compromis util pentru multe companii.

Des: În ceea ce privește configurarea, dacă ești un client cu o bază de cunoștințe bună, cât timp îți ia să treci de la asta la un robot bun? Cât de mult antrenament este implicat? Câtă configurație?

Fergal: Foarte puțin timp. Practic, nici un antrenament. Puteți doar să luați noul sistem pe care l-am creat și îl puteți îndrepta către centrul dvs. de ajutor existent. Este puțin timp de procesare în care trebuie să-l tragem și să-l răzuim și să pregătim articolele pentru servire.

Des: Minute? secunde?

Fergal: Încă lucrăm la asta. Suntem în câteva minute acum, dar credem că – poate până când va fi difuzat – va scădea mult mai puțin decât atât. Nu există un blocaj ingineresc greu pentru a face asta foarte, foarte scăzut. Și așa că suntem foarte încântați de asta.

Un rezumat al produsului

Des: Deci, în rezumat, dă-ne punctele marcante ale acestui produs. Ce ar trebui să spunem pieței despre asta?

„Va vorbi cu tine într-un mod natural, așa cum ai văzut cu ChatGPT. Al doilea lucru este că tu, ca afacere, poți controla ceea ce spune.”

Fergal: Primul lucru pe care l-aș spune este că va vorbi cu tine într-un mod natural, așa cum ai văzut cu ChatGPT. Al doilea lucru este că tu, ca afacere, poți controla ceea ce spune. Puteți limita lucrurile despre care va vorbi la conținutul bazei dvs. de cunoștințe. Al treilea lucru pe care l-aș spune este că halucinațiile sunt mult mai jos de unde au fost. Și al patrulea lucru pe care l-aș spune este că acest lucru este foarte ușor de configurat. Doar luați acest lucru, îl îndreptați către setul dvs. de cunoștințe existente și nu trebuie să faceți o grămadă de curatori.

Des: Deoarece suntem Intercom, nu este posibil să vorbim la rahat și să ne angajăm într-o mulțime de hype fără măcar niște calificări. În ce domenii lucrăm în continuare pentru a îmbunătăți?

Fergal: Cred că primul lucru pe care l-aș spune este că piesa de precizie nu este perfectă. Acesta este un nou tip de tehnologie. Este un nou tip de compromis de inginerie software. Deci, cu botul de rezoluție, botul de rezoluție venea uneori și dădea un răspuns irelevant, dar ai putea oricând să-ți dai seama despre ce se vorbește, ai putea spune: „Nu este tocmai relevant”. Acest lucru este puțin diferit. Aceasta va oferi uneori răspunsuri irelevante, dar uneori poate oferi și răspunsuri incorecte. Este posibil să fi înțeles greșit informațiile din baza ta de cunoștințe. Un exemplu specific în acest sens este uneori, să zicem, dacă aveți o listă de situații în care se poate întâmpla ceva și un utilizator întreabă [botul], s-ar putea presupune că lista este exhaustivă. S-ar putea presupune că acea listă a fost mereu și apoi va presupune: „Oh, nu, nu a fost în lista din articol. Așa că voi spune că răspunsul este nu, nu se poate întâmpla. Acest lucru nu se poate întâmpla de altă dată.

Des: Așadar, este posibil să aveți un articol bazat pe cunoștințe care citează exemple de cazuri în care nu vă vom rambursa plata, cu o listă de două sau trei exemple. Și modelul de limbaj va citi asta și va concluziona că există trei condiții în care se întâmplă acest lucru. Și face o greșeală, în a nu vedea că acestea sunt doar exemple demonstrative, mai degrabă decât lista exhaustivă. Asta vrei să spui?

Fergal: Exact. Cunoștințele sale generale și înțelegerea sa generală sunt încă puțin limitate aici. Deci se poate uita la liste de lucruri și poate face presupuneri care sunt aproape de a fi în regulă, dar nu tocmai corecte. Da. Deci, de cele mai multe ori, când vedem că face o eroare, eroarea pare destul de rezonabilă, dar totuși greșită. Dar trebuie să fii de acord cu asta. Asta e o limitare. Trebuie să fii de acord cu ideea că uneori ar putea oferi răspunsuri ușor greșite.

„Clădim această experiență în care puteți lua centrul dvs. de ajutor existent și puteți obține foarte repede acces la o demonstrație a botului, pre-cumpărați, pentru a vă juca singur cu el și pentru a înțelege cât de bine funcționează acest lucru pentru centrul dvs. de ajutor specific.”

Des: Este cuantificabil? Bănuiesc că nu pentru că va fi diferit în funcție de întrebare, de bază de cunoștințe, de client, de acceptabilitate... Deci, când cineva spune: „Hei, cât de bun este botul?”, cum ai putea răspunde cel mai bine?

Fergal: Cel mai bun lucru de făcut este să te joci cu o demonstrație a acestuia în propriul tău centru de ajutor. Construim această experiență în care puteți să luați centrul dvs. de ajutor existent și să obțineți foarte rapid acces la o demonstrație a botului, pre-cumpărați, pentru a vă juca singur și a înțelege cât de bine funcționează acest lucru pentru centrul dvs. de ajutor specific.

Des: Și ați sugera, să zicem, să reluați ultimele 20 de conversații pe care le-ați avut sau cele mai frecvente întrebări de asistență? Cum ia orice individ o decizie informată? Pentru că sunt sigur că va face totul, „Alo? Esti un robot?' „Da, eu sunt”.

Fergal: Credem că, doar interacționând cu el, vă puteți face foarte repede o idee despre nivelul de precizie. Dacă îți pui primele 20 de întrebări, tipul de întrebări pe care ți le pun oamenii zi de zi... cercetezi în jurul lor, ceri clarificări. Ai o idee destul de bună despre unde este bine și unde sunt punctele de rupere. Pentru noi, acesta este un produs nou uimitor și suntem foarte încântați de el – dar este încă prima generație. Acum vom îmbunătăți toate piesele de învățare automată. Vom îmbunătăți și toate acele piese de măsurare în timp.

Des: Cu un bot de rezoluție, botul nostru anterior, l-ai antrena – așa că ai spune: „Hei, acesta este răspunsul greșit. Iată ce vreau să spui', etc. Nu faci asta de data asta. Deci, dacă îl detectezi dând un răspuns imprecis sau crezi că s-ar putea descurca mai bine, care este cel mai bun lucru de făcut? Scrii un articol mai bun? Te uiți la sursa lui?

Fergal: Sunt încă devreme aici și probabil vom construi funcții care să vă permită să aveți un control mai fin asupra acesteia. Dar chiar acum, răspunsul la această întrebare este: „Hei, poți să clarifici articolul din baza de cunoștințe?” De fapt, dezvoltând acest bot, am văzut că există o mulțime de articole ambigue bazate pe cunoștințe în lume, unde mici părți ar putea fi mai clare.

Evoluţie

Des: Ce alte domenii crezi că vor evolua în următoarele luni?

Fergal: Avem mult de lucru din partea noastră. Avem versiunea unu momentan. Pentru a-l îmbunătăți, vrem să-l punem în direct cu clienții, vrem să obținem feedback real, bazat pe utilizare. Orice produs de învățare automată la care am lucrat vreodată, există întotdeauna o mulțime de iterații și o mulțime de îmbunătățiri de făcut în timp. De asemenea, dorim să îmbunătățim nivelul de integrare cu botul nostru de rezoluție existent. Botul nostru de rezoluție existent necesită acea îngrijire, dar dacă o faci, este excelent. Poate face lucruri precum să ia măsuri. Îl puteți conecta la API-ul dvs., astfel încât să realizeze că cineva întreabă despre revânzarea unei parole și să declanșeze acea resetare a parolei.

„Ultimul articol de care sunt extrem de încântat este ideea că putem lua această nouă tehnologie AI și o putem folosi pentru a genera mult mai mult conținut de asistență decât am putut să facem în trecut. Foarte repede, acest nou bot, dacă conținutul se află în centrul tău de ajutor, va putea răspunde folosind conținutul tău”

Este foarte important pentru noi ca acest tip de bot de ultimă generație să poată face și toate aceste lucruri. Deci inițial va fi de genul „Hei, răspunde la întrebările informaționale din baza ta de cunoștințe”. Zero configurare prima zi – primiți-o live, este grozav. Dar în cele din urmă – și am văzut asta în fiecare cercetare pe care am făcut-o – vrei să treci la următorul nivel. După aceea, oamenii vor dori capacitatea de a folosi acea tehnologie și capacitatea pe care o avem deja de a lua măsuri pentru a rezolva interogările. Și suntem încântați că s-ar putea să vedem că mult mai mult construit pe această platformă de generație următoare, bazată pe limbaj.

Apoi, ultima piesă de care sunt extrem de încântat este ideea că putem lua această nouă tehnologie AI și o putem folosi pentru a genera mult mai mult conținut de asistență decât am putut să facem în trecut. Foarte repede, acest nou bot, dacă conținutul se află în centrul tău de ajutor, va putea răspunde folosind conținutul tău. Și credem că e grozav. Există o mulțime de oameni care sunt capabili să scrie articole din centrul de ajutor care s-ar fi blocat încercând să organizeze roboți sau intenții în trecut. Deci suntem foarte încântați de asta. Dar credem că există instrumente noi de construit aici, pentru a face mult mai ușor să scrieți conținutul articolului din centrul de ajutor. De exemplu, luați-vă conversațiile de asistență și folosiți această IA de ultimă generație pentru a porni acest proces.

Des: Așa că o viziune despre care am vorbit, poate cu doar două luni în urmă, a fost ideea că echipa de asistență va răspunde la întrebări care sunt... Cred că, la momentul respectiv, am spus, să vă răspundă la întrebări pentru prima și ultima dată. . Deci, dacă o întrebare își face drum, este pentru că nu am văzut-o până acum. Și odată ce l-am văzut, nu o mai vedem. Așa vezi că se întâmplă?

„Credem că putem vedea o cale către asta în care putem avea o experiență de curatare care este suficient de simplă încât un reprezentant de asistență dintr-o căsuță de e-mail să poată termina de a răspunde la o conversație și să spună: „Da, am aprobat acest răspuns pentru a intra în bot. '”

Fergal: Cred că, pentru prima dată, văd o cale către asta. Când am trecut la rezoluția bot 1.0, solicitarea de funcții pe care o primim mereu a fost: „Hei, pot avea reprezentantul meu de asistență în căsuța de e-mail? Pot să-i pun să răspundă la o întrebare și apoi să pună întrebarea în bot?' Și de fiecare dată când am încercat să facem asta, nu a funcționat, pentru că a pune o întrebare și a îngriji o întrebare pentru a fi suficient de bun pentru a proiecta o intenție a fost doar multă muncă. În industrie, există o mulțime de roboți de asistență diferiți. Nu am văzut niciodată pe nimeni care să fi reușit să găsească asta și să facă asta să funcționeze cu adevărat. Dar acum, cu modelele avansate de limbaj mari, credem că putem vedea o cale către asta în care putem avea o experiență de curatare care este suficient de simplă încât un reprezentant de asistență dintr-o căsuță de e-mail poate să termine de răspuns la o conversație și să spună: „Da, eu a aprobat acest răspuns să intre în bot.'

Trebuie să existe o aprobare umană pentru că nu se poate ca Fergal să-l întrebe pe bot, „Hei, care este numărul cardului de credit al lui Des? Botul va spune: „Ei bine, știu răspunsul pentru că a fost în această altă conversație în care este Des”. Ar fi inacceptabil. Trebuie să existe un pas de aprobare între conversațiile private și cunoștințele durabile de asistență. Dar credem că vedem acolo o cale către un proces de aprobare mult mai bun decât am avut-o până acum. Și, potențial, o lume în care poate nu toate problemele, dar pentru multe probleme, se poate răspunde o singură dată. Credem că vine ceva grozav acolo.

Des: Minunat. Ei bine, este o lansare interesantă – este disponibilă pentru toată lumea?

Fergal: Acest lucru se îndreaptă spre beta privată în acest moment, cu noua lansare a GPT-4 de la OpenAI.

Des: Emotionant. Ei bine, voi verifica peste câteva săptămâni și voi vedea cum merge.

Fergal: Da. Vremuri emoționante.