Rozpoczęcie rozmowy: rozmowa o naszym przełomowym nowym chatbocie opartym na sztucznej inteligencji

Świat sztucznej inteligencji rozwija się szybko, a my w firmie Intercom pomagamy nadać temu tempo. Dziś z przyjemnością przedstawiamy Fin, naszego nowego chatbota opartego na GPT-4 firmy OpenAI i zastrzeżonej technologii uczenia maszynowego firmy Intercom.

Zaledwie kilka tygodni temu ogłosiliśmy nasze pierwsze funkcje Intercom oparte na GPT — szereg przydatnych narzędzi dla przedstawicieli obsługi klienta — a nasi klienci naprawdę cieszą się z dodatkowej wydajności, jaką zapewniają te funkcje.

Głównym celem było jednak stworzenie chatbota opartego na GPT, który mógłby bezpośrednio odpowiadać na zapytania klientów. Aby to zrobić, musiał być w stanie wykorzystać moc dużych modeli językowych, ale bez wad związanych z „halucynacjami”. Początkowo nie byliśmy pewni, ile czasu zajmie rozwiązanie tego problemu, ale teraz, wraz z wydaniem GPT-4 przez OpenAI, możemy ujawnić, że zbudowaliśmy chatbota, który może niezawodnie odpowiadać na pytania klientów w wysokim standardzie . Nazwaliśmy go Fin.

W dzisiejszym odcinku podcastu Inside Intercom usiadłem z naszym dyrektorem ds. uczenia maszynowego, Fergalem Reidem, aby omówić naszego nowego chatbota AI, jak go zbudowaliśmy, co robi i jakie będą kolejne kroki w tym niezwykłym przełomie.

Oto niektóre z kluczowych wniosków:

• Nasz nowy chatbot oparty na sztucznej inteligencji może rozmawiać w naturalny sposób, korzystając z najnowszej technologii GPT.
• Fin pobiera informacje z istniejącego centrum pomocy i wykorzystuje tylko tę wiedzę, dając Ci kontrolę nad tym, jak odpowiada na pytania dotyczące Twojej firmy.
• W Intercom wierzymy, że przyszłość wsparcia to połączenie botów i ludzi. Fin nie będzie w stanie odpowiedzieć na wszystkie pytania klientów, aw takich sytuacjach może bezproblemowo przekazywać trudniejsze pytania zespołom wsparcia.
• Zredukowaliśmy halucynacje około 10-krotnie, budując ograniczenia, które ograniczają Fin do zapytań związanych z Twoją firmą, w oparciu o bazę wiedzy, której ufasz.

Jeśli podoba Ci się nasza dyskusja, sprawdź więcej odcinków naszego podcastu. Możesz śledzić w Apple Podcasts, Spotify, YouTube lub pobrać kanał RSS w wybranym odtwarzaczu. Poniżej znajduje się lekko zredagowana transkrypcja odcinka.

Bot pod inną nazwą

Des Traynor: Witamy w ekscytującym odcinku podcastu Intercom. Po raz kolejny dołączył do mnie Fergal Reid, nasz dyrektor ds. uczenia maszynowego, który opowie nam o uruchomieniu czegoś, o co pytano nas prawie codziennie od czasu uruchomienia ChatGPT.

„W rzeczywistości będzie to bot, którego możesz użyć w swojej firmie, który ma zdolność przetwarzania języka naturalnego ChatGPT, ale odpowie na pytania konkretnie dotyczące Twojej firmy”

Fergal Reid: Tak, dzięki Des. Odkąd pojawił się ChatGPT, ludzie mówili: „Hej, czy mogę użyć tego, aby odpowiedzieć na pytania dotyczące mojej firmy?” I zawsze mówiliśmy: „Och, nie wiemy. Nie jesteśmy pewni halucynacji. Ale dzisiaj myślę, że jesteśmy naprawdę podekscytowani mogąc ogłosić, że jesteśmy naprawdę podekscytowani tym produktem, ponieważ uważamy, że to zrobiliśmy. Wydaje nam się, że coś stworzyliśmy – będzie to właściwie bot, którego możesz używać w swojej firmie, który ma zdolność przetwarzania języka naturalnego ChatGPT, ale będzie odpowiadał na pytania konkretnie dotyczące Twojej firmy. Stworzyliśmy go, korzystając z Twojego centrum pomocy, więc nie będzie odpowiadać na pytania losowo z internetu ani nic. Możesz kontrolować to, co mówi. Wskaźnik dokładności znacznie wzrósł. Udało nam się znacznie zwiększyć dokładność dzięki zastosowaniu nowego modelu GPT-4 OpenAI, do którego masz dostęp w wersji beta. Więc jestem tym bardzo podekscytowany.

Des: Więc chodzi o to, czego ludzie doświadczyli iw czym się zakochali w ChatGPT, który jest faktycznie tym botem, do którego można zapytać o wszystko i który daje dobre dźgnięcie w odpowiedzi. Możesz to zrobić dla swojej firmy?

Fergal: Tak. Raczej. Więc zrobiliśmy to celowo, więc nie możesz go o nic zapytać. Chodzi o to, aby zbudować coś, co ma ten sam rodzaj rozumienia konwersacji, co widzieliśmy w ChatGPT, ale konkretnie odpowiada tylko na pytania dotyczące Twojej firmy. Możesz zadać mu coś szalonego, na przykład: kto był 22. prezydentem Ameryki? I będzie to w stylu: „Hej, jestem tu tylko po to, by odpowiadać na pytania obsługi klienta dotyczące tej konkretnej firmy”.

Des: Spoko. Więc faktycznie wie skutecznie, czego powinien, a czego nie powinien próbować?

Fergal: Tak, dokładnie. To jest pomysł.

Przełom w bocie

Des: Wydaje mi się, że siedem czy osiem tygodni temu powiedziałeś, że nie będziemy tego robić, ponieważ to nie jest możliwe, nie będzie łatwe czy coś w tym stylu?

„Każdy klient nas o to pytał”

Fergal: Więc sześć lub siedem tygodni temu, kiedy zaczęliśmy przyglądać się tej technologii, początkowo, gdy spojrzeliśmy na nią po raz pierwszy, pomyśleliśmy: „Wow, czy możemy to zbudować? Czy możemy zbudować ChatGPT dla Twojej firmy?' To było najważniejsze dla wszystkich. Każdy klient nas o to pytał. Patrzyliśmy na to i szliśmy, Boże, to dużo halucynacji, to da ci niedokładne wyniki. Szalenie niedokładne wyniki, całkowicie zmyślone rzeczy, pomyśleliśmy: „To bardzo ekscytująca technologia, ale nie jesteśmy pewni, czy rzeczywiście możemy ją ograniczyć i powstrzymać halucynacje”. I spędziliśmy dużo czasu grając z GPT, ChatGPT, GPT-3.5.

„Kiedy zaczęliśmy z nim grać, pomyśleliśmy, wow, to wydaje się o wiele lepsze. Czasami nadal może mieć halucynacje, ale halucynacje są znacznie mniejsze, może 10 razy mniej”

Po prostu nigdy nie moglibyśmy sprawić, by wiedział, kiedy czegoś nie wie. Ale ostatnio mamy dostęp do nowej wersji beta od OpenAI ich nowego modelu GPT-4. I jedną z rzeczy, które nam powiedzieli, było: „Hej, to ma powodować halucynacje o wiele mniej niż niektóre inne modele, które widzieliśmy w przeszłości”. Więc, wiesz, pomyśleliśmy: „Wow, to brzmi bardzo interesująco”. To brzmi bardzo ekscytująco, GPT-4, co to zrobi? I podjęliśmy wysiłek, aby spojrzeć na to i umieścić to na niektórych naszych łóżkach testowych, aby sprawdzić i zbadać pod kątem halucynacji. A kiedy zaczęliśmy się tym bawić, pomyśleliśmy, wow, to wydaje się o wiele lepsze. Czasami nadal może mieć halucynacje, ale halucynacje są znacznie mniejsze, może 10 razy mniej, coś w tym rodzaju. I tak byliśmy bardzo podekscytowani. Pomyśleliśmy: „Wow, w porządku, to nagle wydaje się, że to jest coś”. Jest to wystarczająco dobre, aby zbudować bota, jest to generacja przed GPT-3.5, którego używamy. Jest po prostu dużo dalej, jeśli chodzi o wiarygodność.

Des: Ekscytujące. Co robi ten test – czy są jakieś testy tortur, którym poddajemy te boty, aby dokładnie sprawdzić, czy wiedzą, że bredzą?

Fergal: Więc nie jesteśmy aż tak daleko. W przypadku naszej poprzedniej generacji modeli, na przykład bota rozdzielczości, mieliśmy naprawdę dobrze opracowany zestaw przetestowanych w boju testów porównawczych, które budowaliśmy przez lata. Cała ta nowa technologia ma miesiące, więc nie jesteśmy aż tak pryncypialni. Ale zidentyfikowaliśmy kilka skrajnych przypadków, tylko konkretne rzeczy. Mamy arkusz kalkulacyjny, w którym śledzimy określone typy trybów awarii, które obserwujemy w tych nowych modelach. I kiedy pojawił się GPT-4, pomyśleliście, okej, spróbujmy tego. Zobaczmy, co się stanie, gdy zadasz mu pytanie, którego w ogóle nie ma w artykule ani w bazie wiedzy. Lub zadajesz mu pytanie, które jest podobne, ale nie do końca takie samo, jak to, co faktycznie tam jest.

I wiesz, z GPT-3.5 i ChatGPT, jeśli czegoś nie wie, to prawie tak, jakby chciał cię zadowolić, dać ci to, czego chcesz. I tak po prostu coś wymyśla. A w przypadku GPT-4 oczywiście wykonali mnóstwo pracy, aby to zmniejszyć. I to jest dla nas po prostu oczywiste. Więc kiedy poddamy go naszym testom, możliwe jest, że powie „nie wiem” lub znacznie bardziej wyrazi niepewność. To była dla nas prawdziwa zmiana gry.

„W Intercom wierzymy, że przyszłość wsparcia to połączenie botów i ludzi”

Des: A jeśli bot nie wie, czy może przekazać to człowiekowi?

Fergal: Zdecydowanie. W firmie intercom wierzymy, że przyszłość wsparcia to połączenie botów i ludzi. Mamy duże doświadczenie z botem rozstrzygającym, jeśli chodzi o dobre przekazanie bota przedstawicielowi pomocy technicznej, miejmy nadzieję, że uda nam się pozyskać tego przedstawiciela wsparcia przed rozmową i uważamy, że nadal musimy to zrobić z tym botem. Zawsze będą problemy, gdy, powiedzmy, ktoś poprosi o zwrot pieniędzy. Może chcesz, żeby człowiek to zaakceptował. Więc zawsze będzie musiała istnieć ścieżka akceptacji człowieka. W Intercom mamy naprawdę dobrą platformę dotyczącą przepływów pracy i będziesz mógł jej użyć do kontrolowania, kiedy bot przekazuje i jak to robi. Upewnimy się, że ten nowy bot zintegruje się z naszą istniejącą platformą w taki sam sposób, jak zrobił to nasz istniejący bot.

Des: Zakładam, że bot w jakiś sposób ujednoznaczni lub zakwalifikuje zapytanie, być może je streści, nawet gdy je przekaże?

Fergal: W tej chwili nie mamy tam żadnej funkcji podsumowania, ale bot spróbuje ujednoznacznić i wyciągnąć odpowiedź klienta. Nasz istniejący bot zajmujący się rozdzielczościami trochę to robi. Ten nowy bot, ponieważ jest o wiele lepszy w przetwarzaniu języka naturalnego, może to robić bardziej efektywnie. Może to oznaczać, że Twój przedstawiciel skróci czas obsługi pytań poruszonych przez bota. Więc tak, też jestem tym bardzo podekscytowany.

Sztuka rozmowy

Des: Słuchacze naszego podcastu Intercom On Product wiedzą, że często lubię mówić, że posiadanie możliwości, nawet nowej, użytecznej, nie wystarczy, aby mieć świetny produkt. Jak opakowałeś produkt – jakie były Twoje cele? Jakie są cele projektowe dotyczące budowania rzeczywistego produktu wokół możliwości GPT-4?

Fergal: Więc dość wcześnie zdaliśmy sobie sprawę, że istnieje zestaw celów projektowych, do których staramy się dążyć. Przede wszystkim chcieliśmy uchwycić rozumienie języka naturalnego, które ludzie widzieli i byli pod wrażeniem dzięki ChatGPT. Chcieliśmy uzyskać pokolenie ponad to, co było, co było wcześniej. Więc jeśli zadasz dość skomplikowane pytanie lub zadasz jedno pytanie, zadasz kolejne pytanie, aby zrozumiało, że drugie pytanie należy interpretować w świetle poprzedniego. Nasz poprzedni bot tego nie robił. A większość botów po prostu tego nie robi. To było po prostu zbyt trudne. Wiesz, rozmowy są bardzo trudnym środowiskiem dla algorytmów uczenia maszynowego. Jest wiele subtelności i interakcji oraz rodzaj rozmowy wspierającej, ale ta nowa technologia wydaje się być w tym świetna. Więc naszym pierwszym celem jest uchwycenie tego.

„Jest wiele subtelności i interakcji oraz coś w rodzaju rozmowy wspierającej, ale ta nowa technologia wydaje się być w tym świetna”

Des: Jako przykład możesz zadać pytanie i powiedzieć: „Czy masz aplikację na Androida? A co z iPhonem? Lubisz pytać: „A co z iPhonem?” nie ma sensu, chyba że wcześniej przeanalizowałeś go z pytaniem „Czy masz aplikację na Androida?” jako przykład. Chodzi więc o sklejenie rzeczy razem, aby zrozumieć ciągłość konwersacji i kontekst.

Fergal: Dokładnie. A dzięki temu po prostu płynie bardziej naturalnie. Szczególnie zauważamy to w przypadku nowego bota, gdy zadajesz mu pytanie i otrzymujesz odpowiedź, która nie jest dokładnie tym, o co pytałeś, możesz po prostu powiedzieć: „Och, ale nie, naprawdę chciałem zapytać o cenę”. I w pewnym sensie to rozumie i da ci bardziej odpowiednią odpowiedź. Czujemy, że to naprawdę przełomowa technologia.

Des: Czy może cię odepchnąć i powiedzieć: „Powiedz więcej?” Czy może zadać ci dodatkowe pytania, aby zakwalifikować twoje pytania? Więc jeśli wymyślisz coś niejasnego, na przykład: „Hej, czy to działa?” Czy spróbuje to rozwiązać? A może odpowiedziałby: „Potrzebuję czegoś więcej”.

„Aby właściwie zbudować dobre wrażenia z produktu, to prawie tak, jakbyśmy mieli mnóstwo elastyczności i mnóstwo mocy, ale teraz potrzebujemy możliwości ich ograniczenia i kontrolowania”

Fergal: Tak więc, natywnie, algorytmy wykonają pewną ilość tego, ale dzięki tego rodzaju technologii uzyskujemy tę bardzo zaawansowaną możliwość, a następnie tak naprawdę to, co próbujemy zrobić, to bardzo ją ograniczyć. Próbujemy właściwie powiedzieć: „Dobra, możesz zrobić to wszystko od razu po wyjęciu z pudełka, ale potrzebujemy większej kontroli”. Aby faktycznie – jak wspomniałeś wcześniej – zbudować dobre wrażenia z produktu, to prawie tak, jakbyśmy mieli mnóstwo elastyczności i mnóstwo mocy, ale teraz potrzebujemy możliwości jej ograniczenia i kontrolowania. Zbudowaliśmy więc takie doświadczenia. Zbudowaliśmy doświadczenie ujednoznaczniające, w którym, jeśli zadajesz pytanie i nie ma wystarczających informacji, próbujemy to wyjaśnić, ale kontrolujemy to.

Opracowaliśmy monity, w których masz aplikacje specjalnego przeznaczenia z technologią do wykonywania każdego zadania w rozmowie. Mamy więc jedną zachętę do zadania pytania; inny, aby ujednoznacznić pytanie; inny, aby sprawdzić, czy udzielono pełnej odpowiedzi na pytanie. Zaczynamy więc od tego bardzo potężnego modelu językowego, ale tak naprawdę chcemy go użyć jako budulca. Chcemy to kontrolować. Osiągamy tę kontrolę, dzieląc ją na moduły specjalnego przeznaczenia, które wykonują każdą rzecz osobno.

Z doskonałym produktem wiąże się wielka odpowiedzialność

Des: Tak więc na podstawowym poziomie mówimy, że może rozmawiać naturalnie. Największą zaletą tego, moim zdaniem, jako produktu jest to, że będziesz mógł swobodnie przedstawiać go jako pierwszą linię rozwiązania przed swoimi klientami. Chciałem powiedzieć obrona, ale to nie jest operacja wojskowa. Ale wygodnie byłoby umieścić to tam, jakby chciał powiedzieć: „Hej, większość rozmów odbywa się tutaj”. A fakt, że może toczyć się tam iz powrotem, może utrzymywać kontekst, może ujednoznaczniać, oznacza, że ​​jest do tego dobrze wyposażony. Co jeszcze dodałeś? To nie tylko siedzenie na czacie – więc co jeszcze robi?

Fergal: Pierwszą rzeczą, którą chciałbym powiedzieć, jest to, że różne firmy prawdopodobnie będą miały różne poziomy komfortu pod względem sposobu wdrażania tego. Niektórzy ludzie prawdopodobnie powiedzą: „Cóż, mam naprawdę świetne centrum pomocy”, a ten bot, którego zbudowaliśmy, czerpie wszystkie informacje z Twojego centrum pomocy. wrócę do tego. Ale niektórzy ludzie mogą powiedzieć: „Mam naprawdę dobre centrum pomocy”. Jest bardzo dobrze wyreżyserowany. Z biegiem czasu umieściłem tam wiele artykułów i chcę, aby bot dialogował i odpowiadał na wszystkie te pytania. Będą inni klienci, którzy będą chcieli, aby bot wszedł bardziej oportunistycznie i wycofał się [sam], a my pracujemy nad budowaniem ustawień, aby umożliwić ludziom kontrolowanie ich poziomu komfortu za pomocą tego.

Des: Jakiś próg określający, kiedy bot powinien wskoczyć.

„Integrujemy bota ze wszystkimi naszymi istniejącymi przepływami pracy, aby pomóc Ci uzyskać kontrolę nad tym, kiedy chcesz, aby przyszedł, a co ważniejsze, kiedy chcesz, aby wyszedł, abyś mógł przekazać istniejącemu zespołowi wsparcia, gdy zostanie osiągnięty To koniec"

Fergal: Dokładnie. W tej chwili mamy całkiem duże możliwości przepływów pracy, z których możesz korzystać. I integrujemy bota ze wszystkimi naszymi istniejącymi przepływami pracy, aby pomóc Ci uzyskać kontrolę nad tym, kiedy chcesz, aby przyszedł, a co ważniejsze, kiedy chcesz, aby wyszedł, abyś mógł przekazać istniejącemu zespołowi wsparcia, gdy zostanie osiągnięty To koniec.

Des: Więc jeśli nie ma agentów wsparcia online lub jeśli użytkownik jest wolny, po prostu wyślij ich bezpośrednio do bota. Jeśli jest to klient VIP, a agenci siedzą bezczynnie, wyślij ich prosto do agenta.

Fergal: Dokładnie. Więc to, co próbujemy tutaj zrobić, to wziąć tę nową technologię, a następnie zintegrować ją z naszą istniejącą platformą, która ma wszystkie te funkcje, których ludzie potrzebują, aby zbudować coś, co można by uznać za standardowe wdrożenie botów w branży.

„Następnym ważnym celem projektowym było uniknięcie halucynacji”

Tak więc kolejnym głównym celem projektowym było uniknięcie halucynacji. Rozmawialiśmy o redukcji halucynacji io tym, że naszym celem projektowym było naturalne rozmawianie bota. Ale naprawdę chcieliśmy dać naszym klientom kontrolę nad rodzajami pytań, na które może odpowiedzieć. Teraz te boty, ta nowa technologia sztucznej inteligencji, masz dostęp do dużego modelu językowego, który został przeszkolony na całym tekście w Internecie. Więc ma tam całą tę wiedzę. A jednym ze sposobów – w pewnym sensie najprostszym – wdrożenia tego jest coś w stylu: „Hej, po prostu poproszę bota, aby odpowiadał na pytania, wykorzystując wszystkie jego informacje o Internecie”. Ale problem polega na tym, że jeśli czegoś nie wie, może to wymyślić. A jeśli coś wie, może nie chcesz, aby rozmawiał z klientami na potencjalnie drażliwy temat, o którym wiesz, że zawiera informacje. Możesz pomyśleć: „Nie jestem pewien, co moja firma lub moja marka myśli o jakichkolwiek informacjach, które pochodzą z jakiejś dziwnej strony internetowej”. Nie chcę, żeby prowadził tę rozmowę z moim klientem.

„Włożyliśmy dużo pracy, aby wykorzystać model dużego języka do konwersacji; używać go do zrozumienia posiadanego artykułu w centrum pomocy; ale ograniczyć go do podawania tylko informacji, które znajdują się w rzeczywistym artykule w centrum pomocy, który kontrolujesz i który możesz aktualizować, możesz zmieniać i edytować”

Więc wykonaliśmy dużo pracy, aby używać dużego modelu językowego do konwersacji; używać go do zrozumienia posiadanego artykułu w centrum pomocy; ale ograniczyć go do podawania tylko informacji, które znajdują się w rzeczywistym artykule w Centrum pomocy, który kontrolujesz i który możesz aktualizować, zmieniać i edytować. Więc to był dla nas główny cel projektowy, aby spróbować uczynić tego bota godnym zaufania, wziąć duże modele językowe, ale zbudować bota, który jest ograniczony do używania ich tylko do odpowiadania na pytania dotyczące Twojej firmy i centrum pomocy Twojej firmy.

To było dużo pracy i jesteśmy z tego bardzo dumni. Uważamy, że mamy coś naprawdę dobrego, ponieważ dostajesz ten konwersacyjny fragment. Otrzymujesz inteligencję modelu AI, aby uzyskać rzeczywistą odpowiedź z artykułu w centrum pomocy, ale jest to ograniczone. Więc nie pójdzie i nie zacznie przypadkowych rozmów z użytkownikami końcowymi.

Te boty, te modele, zawsze jest możliwe – jeśli je złamiesz – nakłonić je do powiedzenia czegoś, co jest niemarkowe lub czego byś nie chciał. I prawdopodobnie jest to nadal możliwe, ale naprawdę czujemy, że dotarliśmy do punktu, w którym wymagałoby to zdecydowanej próby hakowania, aby naprawdę zadziałało. To nie tylko radykalnie wykracza poza scenariusz w normalnych rozmowach.
Myślę, że bardzo ważną rzeczą do wyjaśnienia jest to, że te duże modele językowe są probabilistyczne. Halucynacje znacznie się zmniejszyły i uważamy, że jest to obecnie akceptowalne dla wielu firm, ale nie jest zerowe. Czasami podają nieistotne informacje. Od czasu do czasu podają nieprawidłowe informacje w artykule w Centrum pomocy, którego nie do końca rozumieją, i dlatego udzielają błędnej odpowiedzi na pytanie. Być może agent wsparcia też popełni błędy…

Des: Wiadomo, że ludzie…

Fergal: Ludzie czasami też popełniają błędy. I tak, te boty, wiesz, to nowa era technologii. Ma inny kompromis niż ten, który mieliśmy wcześniej. Być może niektórzy z naszych klientów powiedzą: „Chcę poczekać. Nie chcę jeszcze tego wdrażać. Uważamy jednak, że dla wielu, wielu klientów przekroczy to próg, w którym korzyść z [możności powiedzenia] „Nie muszę robić kuracji, nie muszę konfigurować, że ja” w przeszłości miałem do czynienia z botem do rozwiązywania problemów, mogę go po prostu włączyć pierwszego dnia i nagle cała wiedza, która jest w moim centrum pomocy, bot to ma, bot może próbować odpowiadać na pytania za jego pomocą. Nie zrobi tego idealnie, ale będzie szybko. Uważamy, że dla wielu firm będzie to opłacalny kompromis.

Des: Jeśli chodzi o konfigurację, jeśli jesteś klientem z dobrą bazą wiedzy, ile czasu zajmuje przejście od tego do dobrego bota? Ile to wymaga treningu? Ile konfiguracji?

Fergal: Bardzo mało czasu. Zasadniczo bez treningu. Możesz po prostu wziąć nowy system, który stworzyliśmy, i skierować go do istniejącego centrum pomocy. To trochę czasu przetwarzania, w którym musimy go wciągnąć, zeskrobać i przygotować artykuły do ​​podania.

Des: Minuty? Sekundy?

Fergal: Wciąż nad tym pracujemy. Jesteśmy teraz za kilka minut, ale myślimy – być może do czasu emisji – spadnie o wiele niżej. Nie ma twardego wąskiego gardła inżynieryjnego, aby to było bardzo, bardzo niskie. I tak jesteśmy tym bardzo podekscytowani.

Podsumowanie produktu

Des: Podsumowując, podaj nam najważniejsze punkty tego produktu. Co powinniśmy powiedzieć o tym rynkowi?

„Będzie z tobą rozmawiać w naturalny sposób, tak jak widziałeś to w ChatGPT. Drugą rzeczą jest to, że ty, jako firma, możesz kontrolować to, co mówi”

Fergal: Pierwszą rzeczą, którą chciałbym powiedzieć, jest to, że będzie z tobą rozmawiać w naturalny sposób, tak jak widziałeś to w przypadku ChatGPT. Po drugie, ty, jako firma, możesz kontrolować to, co jest napisane. Możesz ograniczyć tematy, o których będzie mówić, do zawartości Twojej bazy wiedzy. Trzecią rzeczą, którą chciałbym powiedzieć, jest to, że halucynacje są daleko w tyle od miejsca, w którym były. I czwartą rzeczą, którą chciałbym powiedzieć, jest to, że jest to naprawdę łatwe do skonfigurowania. Po prostu bierzesz to, wskazujesz to na swój istniejący zestaw wiedzy i nie musisz robić całej masy kuracji.

Des: Ponieważ jesteśmy Intercom, raczej nie rozmawiamy o gównie i nie angażujemy się w mnóstwo szumu bez przynajmniej pewnych kwalifikacji. Nad jakimi obszarami wciąż pracujemy, aby je udoskonalić?

Fergal: Myślę, że pierwszą rzeczą, którą chciałbym powiedzieć, jest to, że element dokładności nie jest doskonały. To nowy rodzaj technologii. To nowy rodzaj kompromisu w zakresie inżynierii oprogramowania. Tak więc, w przypadku bota zajmującego się rozdzielczością, czasami pojawiał się on i dawał nieistotną odpowiedź, ale zawsze można było domyślić się, o czym mówi, można było powiedzieć: „To niezupełnie istotne”. To jest trochę inne. Czasami daje to nieistotne odpowiedzi, ale czasami może również dawać błędne odpowiedzi. Mógł po prostu źle zrozumieć informacje w Twojej bazie wiedzy. Konkretnym tego przykładem jest czasami, powiedzmy, jeśli masz listę przypadków, w których coś może się wydarzyć, a użytkownik pyta [bota], może założyć, że lista jest wyczerpująca. Może założyć, że ta lista była cały czas, a potem domyśli się: „O nie, nie było jej na liście w artykule”. Więc powiem, że odpowiedź brzmi: nie, to nie może się zdarzyć. Ta rzecz nie może się wydarzyć tym razem.

Des: Możesz więc mieć oparty na wiedzy artykuł, w którym podano przykłady sytuacji, w których nie zwrócimy Ci płatności, wraz z listą dwóch lub trzech przykładów. A model językowy odczyta to i stwierdzi, że istnieją trzy warunki, w których tak się dzieje. I popełnia błąd, nie dostrzegając, że są to tylko demonstracyjne przykłady, a nie wyczerpująca lista. Czy o to Ci chodziło?

Fergal: Dokładnie. Jego ogólna wiedza i ogólne zrozumienie są tutaj nadal trochę ograniczone. Może więc patrzeć na listy rzeczy i przyjmować założenia, które są bliskie bycia w porządku, ale nie całkiem w porządku. Tak. Tak więc przez większość czasu, gdy widzimy, że popełnia błąd, błąd wydaje się dość rozsądny, ale nadal błędny. Ale musisz się z tym pogodzić. To ograniczenie. Musisz pogodzić się z myślą, że czasami może dać odpowiedzi, które są nieco błędne.

„Tworzymy to doświadczenie, w którym możesz skorzystać z istniejącego centrum pomocy i bardzo szybko uzyskać dostęp do wersji demonstracyjnej bota, kupić go w przedsprzedaży, aby samemu się nim bawić i zrozumieć, jak dobrze działa to w konkretnym centrum pomocy”

Des: Czy jest to wymierne? Domyślam się, że nie dlatego, że będzie inny w zależności od pytania, bazy wiedzy, klienta, akceptowalności… Więc kiedy ktoś mówi: „Hej, jak dobry jest bot?”, jak najlepiej na to odpowiedzieć?

Fergal: Najlepszą rzeczą do zrobienia jest zagranie w wersję demonstracyjną w swoim własnym centrum pomocy. Tworzymy to środowisko, w którym możesz skorzystać z istniejącego centrum pomocy i bardzo szybko uzyskać dostęp do wersji demonstracyjnej bota przed zakupem, aby samemu się nim bawić i zrozumieć, jak dobrze działa to w konkretnym centrum pomocy.

Des: Sugerujesz, powiedzmy, odtworzenie ostatnich 20 rozmów lub najczęściej zadawanych pytań? W jaki sposób każda osoba podejmuje świadomą decyzję? Ponieważ jestem pewien, że to wystarczy, „Halo? Jesteś botem?' „Tak, jestem”.

Fergal: Uważamy, że po prostu wchodząc z nim w interakcję, można bardzo szybko zorientować się, jaki jest poziom dokładności. Jeśli zadasz swoje 20 najważniejszych pytań, typ pytań, które ludzie zadają ci dzień po dniu… sondujesz je, prosisz o wyjaśnienia. Masz całkiem dobre wyczucie, gdzie jest to dobre, a gdzie są punkty krytyczne. Dla nas to niesamowity nowy produkt i jesteśmy nim naprawdę podekscytowani – ale to wciąż pierwsza generacja. Zamierzamy teraz udoskonalić wszystkie elementy uczenia maszynowego. Z czasem udoskonalimy również wszystkie te elementy pomiarowe.

Des: Z pierwszym robotem zajmującym się rozdzielczością, naszym poprzednim botem, szkoliłbyś go – więc powiedziałbyś: „Hej, to zła odpowiedź. Oto, co chcę, żebyś powiedział” i tak dalej. Tym razem tego nie zrobisz. Więc jeśli wykryjesz, że daje nieprecyzyjną odpowiedź lub uważasz, że może działać lepiej, co najlepiej zrobić? Napiszesz lepszy artykuł? Czy patrzysz na jego źródło?

Fergal: To wciąż wczesne dni i prawdopodobnie stworzymy funkcje, które pozwolą ci mieć nad nim lepszą kontrolę. Ale w tej chwili odpowiedź na to pytanie brzmi: „Hej, czy możesz sprawić, by artykuł w bazie wiedzy był bardziej przejrzysty?”. Właściwie, opracowując tego bota, zauważyliśmy, że na świecie jest wiele niejednoznacznych artykułów opartych na wiedzy, w których niektóre fragmenty mogłyby być jaśniejsze.

Ewolucja

Des: Jak myślisz, jakie inne obszary będą ewoluować w nadchodzących miesiącach?

Fergal: Po naszej stronie jest dużo pracy. W tej chwili mamy wersję pierwszą. Aby go ulepszyć, chcemy udostępnić go klientom, chcemy uzyskać rzeczywiste opinie na podstawie użytkowania. Każdy produkt do uczenia maszynowego, nad którym kiedykolwiek pracowałem, zawsze jest mnóstwo iteracji i mnóstwo ulepszeń do zrobienia w czasie. Chcemy również poprawić poziom integracji z naszym istniejącym botem rozstrzygającym. Nasz istniejący bot zajmujący się rozdzielczością wymaga takiej kontroli, ale jeśli to zrobisz, będzie doskonale. Może robić takie rzeczy, jak podejmowanie działań. Możesz podłączyć go do swojego interfejsu API, aby zdał sobie sprawę, że ktoś pyta o odsprzedaż hasła, i faktycznie uruchomi resetowanie hasła.

„Ostatni element, którym jestem niezwykle podekscytowany, to pomysł, że możemy wykorzystać tę nową technologię sztucznej inteligencji i użyć jej do wygenerowania znacznie większej liczby treści wsparcia niż byliśmy w stanie w przeszłości. Bardzo szybko ten nowy bot, jeśli treść znajduje się w Twoim centrum pomocy, będzie mógł odpowiedzieć, korzystając z Twoich treści”

To dla nas bardzo ważne, aby tego rodzaju bot nowej generacji był w stanie wykonać wszystkie te czynności. Więc początkowo będzie to coś w stylu: „Hej, odpowiedz na pytania informacyjne ze swojej bazy wiedzy”. Zero konfiguracji pierwszego dnia — uruchom go na żywo, jest świetny. Ale w końcu – i widzieliśmy to w każdym prowadzonym przez nas badaniu – chcesz przejść na wyższy poziom. Po tym ludzie będą chcieli mieć możliwość korzystania z tej technologii i możliwości, które już mamy, aby podejmować działania w celu rozwiązania zapytań. Cieszymy się, że możemy zobaczyć, że o wiele więcej zostało zbudowanych na tej opartej na językach platformie nowej generacji.

Ostatnią rzeczą, z której jestem bardzo podekscytowany, jest pomysł, że możemy wykorzystać tę nową technologię sztucznej inteligencji i użyć jej do generowania znacznie większej ilości treści wsparcia, niż byliśmy w stanie zrobić w przeszłości. Bardzo szybko ten nowy bot, jeśli treść znajduje się w Twoim centrum pomocy, będzie mógł odpowiedzieć, korzystając z Twoich treści. I uważamy, że to świetnie. Jest wiele osób, które potrafią pisać artykuły w Centrum pomocy, a które w przeszłości utknęłyby w martwym punkcie, próbując wyselekcjonować boty lub intencje. Jesteśmy tym bardzo podekscytowani. Sądzimy jednak, że trzeba tu stworzyć nowe narzędzia, które radykalnie ułatwią pisanie treści artykułów w centrum pomocy. Na przykład prowadzenie rozmów z pomocą techniczną i używanie sztucznej inteligencji nowej generacji do inicjowania tego procesu.

Des: Więc jedną z wizji, o której rozmawialiśmy może zaledwie dwa miesiące temu, był pomysł, aby zespół wsparcia odpowiadał na pytania, które są… Myślę, że w tamtym czasie, powiedziałem, odpowiadał na twoje pytania po raz pierwszy i ostatni . Jeśli więc pojawia się pytanie, to dlatego, że nie widzieliśmy go wcześniej. A kiedy raz to zobaczyliśmy, nie widzimy tego ponownie. Czy widzisz, że tak się dzieje?

„Uważamy, że możemy zobaczyć drogę do tego, w której możemy mieć doświadczenie kuratorskie, które jest na tyle proste, że przedstawiciel pomocy technicznej w skrzynce odbiorczej może po prostu zakończyć odpowiadanie na rozmowę i powiedzieć:„ Tak, zatwierdziłem tę odpowiedź, aby przejść do bota '”

Fergal: Myślę, że po raz pierwszy widzę drogę do tego. Kiedy przeszliśmy na rozdzielczość bota 1.0, prośba o funkcję, którą zawsze otrzymywaliśmy, brzmiała: „Hej, czy mogę poprosić przedstawiciela pomocy technicznej w skrzynce odbiorczej?”. Czy mogę poprosić ich o udzielenie odpowiedzi na pytanie, a następnie umieszczenie tego pytania w bocie? I za każdym razem, gdy próbowaliśmy to zrobić, nie działało, ponieważ postawienie pytania i sformułowanie pytania tak, aby było wystarczająco dobre, aby zaprojektować intencję, wymagało po prostu dużo pracy. W branży istnieje wiele różnych botów wspierających. Nigdy nie widziałem nikogo, komu udałoby się to osiągnąć i sprawić, by to naprawdę działało. Ale teraz, dzięki zaawansowanym dużym modelom językowym, uważamy, że możemy zobaczyć drogę do tego, w której możemy mieć doświadczenie kuratorskie, które jest na tyle proste, że przedstawiciel pomocy technicznej w skrzynce odbiorczej może po prostu zakończyć odpowiadanie na rozmowę i powiedzieć: „Tak, ja zatwierdził tę odpowiedź, aby przejść do bota.'

Musi być jakaś ludzka aprobata, ponieważ nie może być tak, że Fergal pyta bota: „Hej, jaki jest numer karty kredytowej Des”? Bot powie: „Cóż, znam odpowiedź na to pytanie, ponieważ była w tej innej rozmowie, w której bierze udział Des”. To byłoby nie do przyjęcia. Pomiędzy prywatnymi rozmowami a trwałą wiedzą pomocniczą musi być jakiś etap zatwierdzania. Uważamy jednak, że widzimy tam ścieżkę do znacznie lepszego procesu zatwierdzania niż kiedykolwiek wcześniej. I potencjalnie świat, w którym może nie na każdy problem, ale na wiele problemów można odpowiedzieć tylko raz. Uważamy, że szykuje się tam coś fajnego.

Des: Super. Cóż, to ekscytujące wydanie – czy jest dostępne dla wszystkich?

Fergal: W tej chwili zbliżamy się do prywatnej wersji beta, wraz z nową wersją GPT-4 od OpenAI.

Des: Ekscytujące. Cóż, sprawdzę za kilka tygodni i zobaczę, jak idzie.

Fergal: Tak. Ekscytujące czasy.