Nowy świt uczenia maszynowego

Byliśmy tu już wcześniej. Pomiędzy szumem medialnym, przesadnymi twierdzeniami i pracą w terenie, czasami trudno odróżnić fantazję od rzeczywistości, gdy mamy do czynienia z uczeniem maszynowym. Gdy sieci neuronowe dojrzewają i wyróżniają się na tle innych, czy technologia może sprostać oczekiwaniom?

W ciągu ostatnich pięciu lat widzieliśmy, jak technologia sieci neuronowych naprawdę wystartowała. GPT-3 może tworzyć na żądanie tekst podobny do ludzkiego, a DALL-E, model uczenia maszynowego, który generuje obrazy z podpowiedzi tekstowych, zyskał na popularności w mediach społecznościowych, odpowiadając na najbardziej palące pytania na świecie, takie jak „co by Darth Vader wygląda jak łowienie pod lodem? lub „jak wyglądałby Walter White, gdyby był w Animal Crossing?”

Chcieliśmy wiedzieć, co się dzieje z tą falą, więc zapytaliśmy naszego dyrektora ds. uczenia maszynowego, Fergala Reida, czy możemy wybrać jego mózg na dzisiejszy odcinek. Pomimo tego, że praca nadal jest w dużej mierze balansowaniem między tym, co możliwe, a tym, co wykonalne, wydaje się, że sprawy dopiero zaczynają się skalować. Krajobraz technologiczny się zmienia, aplikacje biznesowe (potencjalnie) zmieniają zasady gry i, uwaga spoilera, Fergal bardzo wierzy w ten szum.

W dzisiejszym odcinku Intercom on Product Paul Adams, nasz dyrektor ds. produktu, i ja usiedliśmy z Fergalem Reidem, aby porozmawiać o niedawnym szumie wokół sieci neuronowych, o tym, w jaki sposób uczenie maszynowe napędza firmy i czego możemy się spodziewać po technologii następne kilka lat.

Oto niektóre z naszych ulubionych wniosków z rozmowy:

• Sieci neuronowe poczyniły znaczne postępy w ciągu ostatnich pięciu lat i są obecnie najlepszym sposobem radzenia sobie z nieustrukturyzowanymi danymi, takimi jak tekst, obrazy lub dźwięk na dużą skalę.
• W CX sieci neuronowe będą prawdopodobnie używane z bardziej tradycyjnymi metodami uczenia maszynowego, aby wybrać działania, które zapewnią najlepszą możliwą interakcję z klientem.
• Budowanie produktów ML wymaga równowagi – nie ma sensu zaczynać od problemu, jeśli rozwiązanie jest nieosiągalne, ale nie należy zaczynać od technologii, jeśli nie spełnia rzeczywistych potrzeb klienta.
• W przeszłości sztuczna inteligencja była dość przereklamowana. Chociaż prawdopodobnie bardziej realistyczne roszczenia zamykają mniej kont, opłaca się to w utrzymaniu klientów.
• Zespoły ML mają tendencję do inwestowania sporej części zasobów w badania, które nigdy nie są realizowane. Dopasuj go w jak największym stopniu do projektów, które mają realny wpływ na doświadczenie klienta.
• Jeśli chcesz zainwestować w ML, zatrudnij kogoś z doświadczeniem zarówno od strony technicznej, jak i operacyjnej, aby mógł rozpocząć pracę z zespołem produktowym od pierwszego dnia.

Jeśli podoba Ci się nasza dyskusja, sprawdź więcej odcinków naszego podcastu. Możesz śledzić na iTunes, Spotify, YouTube lub pobrać kanał RSS w wybranym odtwarzaczu. Poniżej znajduje się lekko zredagowany transkrypcja odcinka.

Szum powraca

Des Traynor: Witamy w Intercom On Product, odcinek 18. Dziś mamy do omówienia ciekawy temat. Chodzi o sztuczną inteligencję i uczenie maszynowe. Dołącza do mnie, jak zawsze, dyrektor ds. produktów firmy Intercom, pan Paul Adams. Paul, jak się masz?

Paul Adams: Dobrze, Des. Dziękuję Ci.

Des Traynor: A dzisiaj mamy gościa specjalnego, pana Fergala Reida, który jest naszym dyrektorem ds. uczenia maszynowego. Fergal, jak leci?

Fergal Reid: To dobrze, Des. Jestem naprawdę zachwycony, że mogę być dzisiaj na podkaście. Nie mogę się doczekać, aby się do tego dostać.

Des Traynor: Doskonale. Myślę, że jesteś naszym pierwszym lub drugim gościem, więc powinieneś być bardzo, bardzo wdzięczny.

Fergal Reid: Naprawdę czuję się bardzo uprzywilejowany.

„Widzieliśmy ciągły postęp czegoś nowego i ekscytującego – technologii opartej na sieciach neuronowych – która naprawdę zaczyna działać i być użyteczna”

Des Traynor: Cóż, zacznijmy w pewnym sensie od końca. Wygląda na to, że maszyna do szumu AI znów jest przesterowana. Z mojego punktu widzenia dzieje się to co kilka lat, ale to, co naprawdę widzę, to ludzie tworzący dużo sztuki. Wystartowała generacja DALL-E, a niektóre z tworzonych obrazów zapierają dech w piersiach. Któregoś dnia zobaczyłem, że istnieje rynek podpowiedzi DALL-E, gdzie można dosłownie kupić podpowiedzi tworzące dla ciebie obrazy, co jest tak meta, jak to tylko możliwe. W bardziej praktycznym sensie, drugi pilot GitHub może teraz rozszerzać twój kod podczas pisania, co jest dość niewiarygodne; Bawiłem się GPT-3 z OpenAI, zadawałem pytania i pozwalałem mu tworzyć dla mnie małe akapity i historie, i to było całkiem imponujące. Jeśli cofniemy się trochę, co się właściwie dzieje? Czy coś się wydarzyło w ostatnim czasie? Czy ma to związek z jakimś konkretnym łańcuchem wydarzeń? Co tam?

Fergal Reid: Rozpakowywanie jest skomplikowane – dużo się dzieje. Firmy inwestują w ten obszar sztucznej inteligencji i uczenia maszynowego tak wiele, że trudno jest dokładnie rozpakować, co się dzieje. Jeśli spojrzysz na arxiv, gdzie ludzie umieszczają swoje prace na temat uczenia maszynowego, każdego dnia pojawia się potok nowych rzeczy. Tak więc trudno jest przejść przez to narrację. Moim zdaniem przez ostatnie pięć lat obserwowaliśmy stały postęp czegoś nowego i ekscytującego – technologii opartej na sieciach neuronowych – która naprawdę zaczyna się rozwijać i być użyteczna. Wspomniałeś o GPT-3, OpenAI i to właśnie nazywamy modelem dużego języka, który jest dużą siecią neuronową próbującą przewidzieć następne słowo i sekwencję słów, które widzi. A oni po prostu to zwiększają. Po prostu dodawali do niego coraz więcej mocy obliczeniowych i zaczął robić niesamowite rzeczy.

Des Traynor: Więc może tylko kilka definicji słownikowych. Czy dodanie większej mocy obliczeniowej to więcej mocy procesora?

Fergal Reid: Tak, dokładnie. Cofając się daleko, procesory w naszych komputerach, mózg naszych komputerów, były naprawdę, bardzo szybkie w robieniu rzeczy ogólnego przeznaczenia. Być może w połowie i pod koniec lat dziewięćdziesiątych, napędzanych głównie grami wideo i innymi rzeczami, mieliśmy masowy rynek przyjmowania tych procesorów graficznych lub procesorów graficznych.

Des Traynor: Jak karty wideo i takie rzeczy?

Fergal Reid: W kartach wideo i Twojej karcie 3dfx i wszystkim innym. I byli naprawdę dobrzy w tworzeniu grafiki do gier komputerowych. Potem, na początku XXI wieku, ludzie mówili: „Och, operacje, które wykonujemy dla gier wideo, są naprawdę dobre dla macierzy i mnożenia”. I okazuje się, że tego rodzaju rzeczy są również bardzo przydatne w operacjach, które musisz wykonać podczas trenowania sieci neuronowej. I tak, po długim czasie, wartość zapasów wideo idzie w górę, ponieważ istnieje sztuczna inteligencja i rewolucja w kopaniu kryptowalut.

Powstanie sieci neuronowych

Des Traynor: Wspomniałeś o nowym podejściu do pracy nad sieciami neuronowymi. Czuję się tak, jakbym słyszał o nich, kiedy byłem na studiach, kiedyś. Czy właśnie włożono w nie więcej pracy? Czy pojawiły się jako podstawowy sposób uczenia maszynowego? Czy istnieje alternatywa, od której odeszliśmy?

Fergal Reid: Tak, powiedziałbym, że istnieje alternatywa, od której odeszliśmy. Teraz nie chcę zbytnio sprzedawać sieci neuronowych. Sieci neuronowe to nowy trend i prawie wszystkie przełomy, jakie widziałeś w ciągu ostatnich pięciu lat, dotyczą sieci neuronowych. Jest to jednak podrozdział uczenia maszynowego. W zespole zajmującym się uczeniem maszynowym w Intercom sieci neuronowe stanowią może 30% tego, co robimy, używając tych samych rzeczy związanych z postępem logistycznym do przewidywania, co ktoś będzie dalej robił.

W przypadku danych nieustrukturyzowanych, takich jak mnóstwo tekstu, obrazów lub dźwięków, sieci neuronowe są obecnie zdecydowanie najlepszym sposobem radzenia sobie z tymi danymi. Do przełomów, które widzisz – wizualne rzeczy, dźwięki, synteza tekstu – potrzebujesz ogromnego modelu, który naprawdę może uchwycić wiele zależności w tych danych, a sieci neuronowe są głównym sposobem, aby to zrobić. Ludzie dużo zainwestowali w ich skalowanie, a Ty możesz je uruchomić znacznie większymi. Niektóre z modeli, o których czytasz, mogą kosztować 10 milionów dolarów na obliczenia tylko po to, by nauczyć ten model.

„W przeszłości, w przypadku wszelkich nieustrukturyzowanych danych tekstowych lub graficznych, patrzyliśmy na nie z perspektywy uczenia maszynowego i mówiliśmy:„ Nie wiem, co tutaj robić ””

Dzieje się wiele rzeczy. Jesteśmy coraz lepsi w szkoleniu ich na dużą skalę. Jesteśmy coraz lepsi w wyrażaniu problemu w sposób, który pozwala nam poczynić postępy i nadać mu sens. W filmie kontynuujemy ulepszanie wydajności. Tak więc nastąpiło wiele rewolucji technologicznych. To zbieg wielu różnych trendów.

Des Traynor: Aby przejść do aspektu produktu, co jest możliwe teraz, czego nie było wcześniej? DALL-E może przyjąć monit i wygenerować obraz; GPT-3 może generować całkiem realistycznie wyglądający wygenerowany tekst. Jeśli chcesz przeanalizować ładunek tekstu i dowiedzieć się, co on mówi, zmniejszyć go lub uprościć, sprawdzić sentyment lub cokolwiek, czy jest jakaś lista możliwości, które teraz mamy? Powodem, dla którego pytam, jest to, że staram się powiązać to bliżej z tym, jak PM powinni o tym myśleć.

Fergal Reid: Tak, jest kilka różnych sposobów myślenia o tym. W przeszłości, w przypadku jakichkolwiek nieustrukturyzowanych danych tekstowych lub graficznych, patrzyliśmy na nie z perspektywy uczenia maszynowego i mówiliśmy: „Nie wiem, co tu robić. Rozmiar tego i liczba możliwych akapitów tekstu, które mogą znajdować się w moim dokumencie, są szalenie wysokie. Nie wiem, jak sobie z tym poradzić w przypadku tradycyjnego uczenia maszynowego”. I możesz robić takie rzeczy, jak wyodrębnianie funkcji, powiedzmy: „Rozbiję to na worek słów i wyodrębnię rzeczy”. Ale to, co się teraz zmieniło, to to, że twoje metody pracy z tymi danymi będą działać znacznie lepiej niż w przeszłości. I nie potrzebujesz tak dużo ręcznej inżynierii funkcji. Możesz użyć sieci neuronowej.

Zaczynamy widzieć środkowe kroki, wyłaniające się środkowe warstwy. Jest coś, co nazywamy osadzaniem, gdzie można wziąć jedną z tych wielkich sieci neuronowych, które zostały wytrenowane na mnóstwie danych tekstowych, a następnie zostałyby udostępnione przez Google lub jednego z największych graczy, którzy wydali te 10 milionów dolarów na treningu i możesz użyć tego do przekształcenia dowolnego tekstu w wektor liczb. Następnie możesz robić rzeczy z tym wektorem liczb. Tak więc nastąpiła przełomowa technologia, ale dała ona cegiełki, z którymi startupy mogą faktycznie pracować, aby tworzyć produkty.

„Jeśli jesteś w jakimkolwiek ekosystemie startupowym, który ma do czynienia z dużą ilością nieustrukturyzowanych danych, w szczególności z dużymi wolumenami, gdzie być może próbujesz podejmować na ich podstawie decyzje, zdecydowanie powinieneś zwracać na to uwagę”

Des Traynor: Czyli pierwsze X procent jest robione za ciebie przez większe firmy?

Fergal Reid: Dokładnie. Lub też otwarte konsorcjum. Są ludzie tworzący konsorcjum, które zebrało dużo pieniędzy, aby wyszkolić coś dużego, co następnie zostanie wydane.

Des Traynor: Więc jeśli twój produkt zawiera dużo tekstu napisanego przez ludzi, tworząc odpowiedzi, pisząc go, analizując lub rozumiejąc, powinieneś założyć, że grunt pod twoimi stopami przesunął się w ciągu ostatnich kilku lat?

Fergal Reid: Tak, myślę, że to uczciwe założenie. Jeśli jesteś w jakimkolwiek ekosystemie startupowym, który ma do czynienia z dużą ilością nieustrukturyzowanych danych, szczególnie dużymi wolumenami, gdzie być może próbujesz podejmować na ich podstawie decyzje, zdecydowanie powinieneś zwracać na to uwagę. Zmienił się krajobraz możliwości. 10 lat temu nie musiałeś się o nic martwić, ale teraz może jest coś fajnego, co możesz zbudować, czego wcześniej nie mogłeś. Zaczynamy dostrzegać zmiany tak proste jak wyszukiwanie. Sześć, siedem lat temu kupiłbyś Elasticsearch lub coś w tym stylu i używał tych sprawdzonych algorytmów do obsługi wyszukiwania. Teraz możesz korzystać z wyszukiwania neuronowego. I zaczynamy dostrzegać nowe technologie i produkty w tej przestrzeni.

W poszukiwaniu następnej najlepszej akcji

Paul Adams: Jedną rzeczą, o którą chciałbym cię zapytać, są produkty, które obiecują kolejną najlepszą akcję. Myślę, że jest to ważne dla zespołów produktowych z dwóch powodów. Jednym z nich są po prostu produkty w tej przestrzeni – jeśli masz produkt do komunikacji z klientem lub produkt dla zespołów sprzedażowych, istnieje wiele obietnic dotyczących informowania sprzedawcy, jakie jest następne najlepsze działanie. A zespoły produktowe często próbują zachęcić swoich klientów i użytkowników do robienia więcej i większego zaangażowania, więc jest to dla nich narzędzie do napędzania wzrostu. Ile z tego jest szumem? Ile jest prawdziwe?

Fergal Reid: Z tymi produktami uczenia maszynowego zawsze jest problem i mówię to jako ktoś, kto buduje produkty do uczenia maszynowego w celach zarobkowych, co jest bardzo trudne do określenia, ile jest szumu, a ile realnego z zewnątrz. Nie mogę mówić o konkretnych produktach, chyba że je przeanalizowałem i porównałem. Powiedziałbym, że następną najlepszą rzeczą akcji są w rzeczywistości sieci neuronowe. Albo jeśli tam są, będą tam jako jego składnik. Aby umieścić to w kontekście interkomu, wezmę tekst rozmowy, która miała miejsce między przedstawicielem pomocy technicznej a użytkownikiem końcowym i użyję osadzeń, aby spróbować to zrozumieć. Ale potem prawdopodobnie połączę to z kilkoma innymi sygnałami dotyczącymi tego, co się dzieje, na przykład z wartością konta lub miejscem, w którym znajduje się klient na ścieżce klienta, i użyję bardziej tradycyjnego klasyfikatora lub regresora uczenia maszynowego, aby spróbować i przewidzieć: „OK, jaka jest kolejna najlepsza rzecz, jaką mogę zrobić?”

„W miarę jak dokładność wzrasta, wzrasta, wzrasta, przekracza krytyczny próg, w którym wydaje się, że: „Nie zawsze jest w porządku, ale jest przydatne i nie muszę myśleć. To pomaga ””

I to działa całkiem nieźle. W naszych produktach mamy funkcje, które wykorzystują bardziej tradycyjne metody uczenia maszynowego, które próbują przewidzieć, powiedzmy, o co ktoś zapyta, gdy wejdzie na stronę internetową i otworzy komunikator. Robimy to na podstawie wszystkich danych i sygnałów, jakie posiadamy o tym użytkowniku, i to działa całkiem nieźle. Jeśli możesz dzięki temu dokonać dobrych prognoz, to już tylko krok do czegoś bardziej ogólnego, czyli następnego najlepszego działania.

Założę się, że to działa całkiem nieźle. Miałbym rozsądne oczekiwania co do dokładności. Wszystkie te rzeczy działają dobrze, gdy wspomagają i komuś pomagają. Jeśli dokładność jest zbyt niska, to jak: „Och, to jest denerwujące. To kiepskie. Nie warto na to zwracać uwagi.” Ale potem, gdy dokładność wzrasta, wzrasta, wzrasta, przekracza krytyczny próg, w którym brzmi: „Nie zawsze jest w porządku, ale jest użyteczny i nie muszę myśleć. Mogę tylko na to spojrzeć i rozpoznać, że to pomaga”. Tego właśnie szukamy w tych produktach i jestem pewien, że są ludzie w branży, którzy mają takie rzeczy.

Des Traynor: Tak. Czuję, że autouzupełnianie Gmaila przekroczyło ten percepcyjny klif, w którym nie chciałbym wyłączyć tej funkcji. Wpisujesz odpowiedź, zgaduje ona następne dwie rzeczy, które zamierzasz powiedzieć, i możesz nacisnąć tabulator, a może zmienisz zdanie lub słowo lub coś w tym rodzaju, ale jest to bardziej wartościowe kierunkowo niż nie.

„Widzę przyszłość, w której możemy dowiedzieć się, jakie sugestie skłaniają do zachowania członków zespołu, co daje lepszy CSAT lub lepszą wartość życiową klienta w sposób korzystny dla wszystkich”

Paul Adams: Ale to zabawne. Myślę, że to zmienia zachowanie. Patrzę na sugestię i mówię: „Nie powiedziałbym tego do końca, ale jest wystarczająco blisko”. Zakładka, zakładka, zakładka. Wejdź, wyślij.

Fergal Reid: Zastanawiam się, czy kiedykolwiek przeprowadzają eksperymenty, w których mierzą sugestie i sentyment do sugestii, które tworzą, i jak zmienili rzeczywisty świat. Facebook niesławnie przeprowadził kiedyś takie eksperymenty. Jeśli spojrzysz na coś takiego jak Interkom, widzę przyszłość, w której zaczynamy przedstawiać inteligentne rekomendacje w skrzynce odbiorczej. Widzę przyszłość, w której możemy dowiedzieć się, jakie sugestie skłaniają do zachowania kolegów z zespołu, co daje lepszy CSAT lub lepszą wartość życiową klienta w sposób korzystny dla wszystkich. Te podpowiedzi o niskim współczynniku tarcia. Myślę o tym za każdym razem, gdy piszę do żony „kocham cię”. Czasami dostaję sugestię „Kocham Cię” i mówię: „Sam to piszę”.

Des Traynor: Tak. Jest w tym coś bardziej kolonialnego – my kształtujemy nasze narzędzia, a nasze narzędzia kształtują nas. Można sobie wyobrazić, że przedstawiciel CS nowo przyjęty do zespołu, który korzysta z interkomu, w rzeczywistości zacznie mówić i pisać bardzo podobnie do swoich kolegów, ponieważ Intercom mówi im, że to zachowanie wydaje się działać najlepiej. To prawie jak szkoła obsługi klienta.

Fergal Reid: Rozmawialiśmy z kilkoma klientami, którym spodobał się pomysł rampy treningowej o niskim współczynniku tarcia dla nowych powtórzeń, co wydaje się być najlepszą praktyką. To jest to, do czego system zachęca cię w dobry sposób.

Problem a technika

Des Traynor: Jeśli cofniemy się o poziom, czuję, że większość narracji, nawet gdy, powiedzmy, wyszło DALL-E, najpopularniejszymi wątkami były takie rzeczy jak: „Czy ktoś może wymienić dobry przypadek użycia dla ten?" Lub „Oto mój najlepszy pomysł”. Oczywiście każdy myśli: „Och, mógłbyś zbudować firmę produkującą koszulki” lub cokolwiek innego. Moim najlepszym dowodem na to, do czego może się to przydać, jest umiejętność opisywania bajek dla dzieci. Wyobraź sobie narzędzie, w którym jest opowieść typu dziecięcego, a obrazy wydają się ją uzupełniać. Możesz również zobaczyć, jak może to być wtyczka do Squarespace lub Mailchimp, która zastąpi fotografie. Keynote czy Google Slides” byłyby podobne.

Czuję jednak, że zbliżamy się do tego wstecz. Mówimy: „Biorąc pod uwagę, że możemy teraz używać tekstu i tworzyć obrazy, zbudujmy z tego firmę”, a to nie jest miejsce, z którego pochodzą najlepsze firmy. Zwykle chcą rozwiązać problem na świecie. Jaki jest najlepszy sposób, aby fan lub PM pomyślał o tej przestrzeni? Ogólnie rzecz biorąc, prawdopodobnie mają obsesję na punkcie problemu, a nie konkretnego elementu nowej technologii neuronowej.

Fergal Reid: To bardzo złożone pytanie. W większości przypadków standardowa rada jest taka, że ​​jeśli budujesz jakiś startup technologiczny, nigdy nie chcesz być rozwiązaniem szukającym problemu. Chcesz znaleźć prawdziwy konkretny problem, a następnie podejść do rozwiązania. Myślę, że to ogólnie dobra rada. W Intercomie mamy zasadę, jak zacząć od problemu. Ale myślę, że są od tego wyjątki. Z prawdziwie przełomową technologią, kiedy myślisz: „Coś zmienia świat, zmienia krajobraz, są tu nowe możliwości i nie wiem, do czego to jest dobre, ale wiem, że będzie to rewolucyjnie dobre dla czegoś, ” Myślę, że można zacząć od rozwiązania, a następnie szukać problemów.

„Nie ma sensu zaczynać od problemu, jeśli próbujesz zbudować rozwiązanie technologiczne, które po prostu nie jest jeszcze zdolne”

Wierzę, że w tej chwili szum wokół ML i AI. Powiedziałbym, że tym razem jest to prawdziwe, a więc uczciwą grą jest powiedzenie: „Słuchaj, mamy tutaj rewolucyjną zdolność. Gdzie są wszystkie wspaniałe możliwości, w których można to zastosować?” No i oczywiście jest wzajemne oddziaływanie. Kiedy myślisz, że znalazłeś okazję, prawdopodobnie chcesz iść i zacząć od problemu.

Zespół uczenia maszynowego w Intercomie jest trochę niezwykły w porównaniu z innymi zespołami. Dostosowujemy się do zasad produktu nieco bardziej niż inne zespoły, ponieważ musimy znaleźć się w tej szarej przestrzeni między rozpoczęciem od problemu a technologią. Nie ma sensu zaczynać od problemu, jeśli próbujesz zbudować rozwiązanie technologiczne, które po prostu nie jest jeszcze zdolne. Tak więc, musimy zacząć trochę od technologii, zrobić trochę prototypów, zorientować się, co jest możliwe, a potem naprawdę przeanalizować problem i zapytać: „Czy to jest przydatne, czy nie?”

Des Traynor: To prawie tak, jakbyś musiał spojrzeć na innowacje zarówno od strony popytu, jak i podaży. Spośród wszystkich problemów, które możemy rozwiązać i możliwości, które posiadamy, gdzie jest dobra firma w połączeniu z innymi? Jeśli weźmiemy nasz produkt Resolution Bot, jak określiłbyś to jako połączenie problemu / rozwiązania?

„Dzięki Resolution Bot nie używaliśmy sieci neuronowych ani niczego w naszej wersji pierwszej, ale mieliśmy przekonanie, że można tu zbudować coś dobrego”

Fergal Reid: Kiedy zaczynaliśmy, zdawaliśmy sobie sprawę, że nastąpił ruch w technologii i krajobrazie produktów, gdzie boty były naprawdę słabe, i zaczęły dawać przekonujące doświadczenia w bardzo ograniczonych okolicznościach, gdzie: „Ok, coś tu jest ”. A potem pomyślałem: „Ok, czy możemy wziąć naszą konkretną domenę, czy możemy wziąć czat i rozmowy i zobaczyć, czy istnieje to małżeństwo, które pasuje między problemem a technologią, która zapewni wspaniałe wrażenia klientów?”

W przypadku Resolution Bota nie używaliśmy sieci neuronowych ani niczego w naszej wersji pierwszej, ale mieliśmy przekonanie, że można tu zbudować coś dobrego. Zbudowaliśmy minimalne inwestycje w technologię, sprawdziliśmy, że gówniany, poskładany prototyp faktycznie pomoże klientom i że ludzie będą go naprawdę chcieli, zrezygnowaliśmy z tego, a następnie przeprowadziliśmy iterację, iterację i iterację. Korzystamy teraz z wersji trzeciej lub czwartej naszej technologii, która wykorzystuje bardzo nowoczesne, wymyślne sieci neuronowe i zapewnia najlepszą w swojej klasie wydajność i dokładność. Ale pierwszą wersją było Elasticsearch gotowe, tylko po to, by potwierdzić, że to faktycznie pomoże ludziom.

Chcesz poprowadzić te poszukiwania. Chcesz powiedzieć: „Wiem, że w tym ogólnym kierunku przestrzeni produktowej jest coś dobrego”. Nie skończę z potwierdzonym zapotrzebowaniem na produkt, którego nie da się dostarczyć. Nie chcesz tam być. Nie chcesz też mówić: „Mam niesamowity algorytm, który z pewnością przesunie igłę o coś, na czym nikogo nie obchodzi”. Musisz iterować po obu stronach tego równania i znaleźć pośrodku strefę lądowania.

Zbyt dobre by było prawdziwe?

Paul Adams: Właściwie jest trzecia noga stołka. Jest problem, jest rozwiązanie, a potem jest historia lub co możesz o niej powiedzieć. Jedną z rzeczy, z którymi borykałem się, jeśli chodzi o sztuczną inteligencję i uczenie maszynowe, jest to, co czujesz dobrze mówiąc na zewnątrz i to, co inni ludzie mówią na zewnątrz. W najgorszym przypadku jest to tragedia komunikacji, w której wszystkie firmy wychodzą i wygłaszają ogromne roszczenia, a ludzie, którzy faktycznie wiedzą, o czym mówią, mówią: „To niedorzeczne twierdzenia”. „Ale jest dylemat konkurencji. Jeśli nasz konkurent mówi 80% i nie ma mowy, żebyśmy mogli to uzyskać, ale nasz ma 50, co o tym sądzisz? Co sądzisz o twierdzeniach, które możesz wysuwać, oraz o równowadze między problemem, rozwiązaniem i historią?

„Spotykam produkty na rynku i oceniam ich deklaracje, a ja pytam: „Czy to faktycznie to robi? Jak to oceniasz?”

Fergal Reid: To znaczy, to bardzo trudne. Myślę, że oddzieliłbym wewnętrzny rozwój produktu od sukcesu rynkowego. W przypadku wewnętrznego rozwoju produktu, co jest prawdą w Intercomie, jeśli przyjdę i powiem: „Hej, chłopaki, jestem prawie pewien, że możemy zapewnić wystarczająco dobre wrażenia z produktu”, jestem przynajmniej odpowiedzialny, jeśli okaże się, że to jest wcale tak nie jest. Tak więc, wewnętrznie, musisz pracować z ludźmi i dobrze wyjaśniać rzeczy, ale przynajmniej zachęty są wyrównane.

Zewnętrznie, gdy ludzie konkurują na rynku z produktami uczenia maszynowego, jest to naprawdę trudne. Spotykam produkty na rynku i oceniam ich deklaracje, a ja pytam: „Czy to faktycznie to robi? Jak to oceniasz?” Nawet jeśli widzę nowy artykuł naukowy obiecujący coś niesamowitego i zawiera przykłady „powiedzieliśmy to sztucznej inteligencji i to właśnie powiedziałem”, moje pierwsze pytanie zawsze brzmi: „Cóż, czy to była przykład? Czy robi to 9 razy na 10 czy raz na 10?” Ponieważ jest bardzo różny w zależności od każdego. Zawsze jest to niejawne: „no cóż, jaka właściwie jest wydajność?” Naprawdę nie możesz powiedzieć, chyba że zrobisz coś w rodzaju head-to-head, w którym siadasz i bawisz się tym. Nasi klienci przeprowadzają więcej bezpośrednich weryfikacji koncepcji i ocen, co mi się podoba. Wspaniale. Właśnie to chcemy zobaczyć.

„Zdecydowanie możesz obiecać za dużo, niedostarczyć, a następnie obserwować, jak traci się konto”

Jeśli chodzi o przestrzeń, myślę, że ludzie coraz częściej udostępniają publicznie dema. Ludzie chodzą do DALL-E 2 i wcześniej uzyskują dostęp do niezależnych badaczy. Albo piszą w gazetach rzeczy, które mówią: „to jest to, co produkuje się w jednym przebiegu na standardowym monitu”. To pomaga ludziom się o tym przekonać.

Des Traynor: Pojawia się pytanie, jakiego rodzaju przychodów chcesz, ponieważ możesz zdecydowanie zawyżać, dostarczać mniej, a następnie obserwować, jak traci się konto. Możesz też powiedzieć: „Oto, co według nas możemy dla ciebie zrobić”, ryzykuj utratę umowy, ale wiedz, że jeśli się nawrócą, dostaną to, za co się nawrócili. Myślę, że przebywanie w tym świecie jest niebezpieczne – wybieranie głównej drogi kontra niższej drogi; wzięcie klientów, którzy dostaną dokładnie to, co myśleli, że dostaną, zamiast zdobywania wielu wściekłych klientów w miesiącu 11, ponieważ nie zbliżyli się do tego, na co liczyli. To wyzwanie.

Fergal Reid: To wyzwanie i jest tak wiele aspektów tego wyzwania. Musimy też sprostać oczekiwaniom. Uczenie maszynowe staje się coraz lepsze, ale wciąż nie jest idealne. Czasami mamy klientów, którzy kupują naszego Bota Resolution i jest dobry, najlepszy w swojej klasie, ale nadal popełnia błędy. Każdy produkt oprogramowania nadal popełnia błędy. Musisz więc zarządzać oczekiwaniami ze wszystkich stron, aby mieć ten pozytywny związek.

Des Traynor: Jak myślisz o pozyskiwaniu zasobów do uczenia maszynowego? W Intercom mamy zespół kierowany przez Ciebie, który jest oddzielony od wszystkich zespołów, a następnie partnerów dostarczających funkcje uczenia maszynowego. Myślisz, że tak już zostanie? Czy uważasz, że zespoły powinny mieć wbudowanych inżynierów ML? Każdy zespół w Intercomie ma własnego projektanta – nie mamy zespołu projektowego, który krąży wokół, szukając fragmentów projektu do dodania. Czy to ma sens tak, jak jest? Dla naszych słuchaczy, w jaki sposób mogliby zanurzyć palec u nogi? Czy zaczęliby od dedykowanego typu ML, czy też mieliby osobę? Jak startupy powinny zacząć wprowadzać ML?

Fergal Reid: Jestem przekonany, że scentralizowany zespół uczenia maszynowego jest lepszy dla organizacji naszej wielkości lub mniejszych na tym etapie rozwoju technologii. Mamy tu do czynienia z niedojrzałą technologią. Technologia jest trudna w użyciu i łatwo się pomylić. Istnieje zestaw umiejętności, które pokrywają się z umiejętnościami inżynierii oprogramowania, nauki o danych lub analityki, ale nie są tym samym. Myślę, że posiadanie scentralizowanego zespołu, który może pracować i doskonalić ten zestaw umiejętności oraz uczyć się pułapek, ma sens, ponieważ produkty uczenia maszynowego mają unikalne pułapki. Są probabilistyczne. Jak wspomnieliśmy, czasami się mylą. Tak więc, kiedy projektujesz lub budujesz produkt do uczenia maszynowego, musisz się naprawdę pocić. Czy wskaźnik dokładności jest wystarczająco dobry, aby zapewnić dobre wrażenia klientów? To trudne.

„Myślę, że scentralizowany model, który następnie wchodzi, aby pomóc na podstawie projektu na projekt, jest obecnie właściwym modelem”

Kiedy rozmawiasz z projektantem, często widzimy, że na początku trudno jest mu zrozumieć, że nie można po prostu myśleć o złotej ścieżce, w której wszystko idzie dobrze. Musisz wziąć pod uwagę wszystkie ścieżki, na których coś idzie nie tak, a błędy mogą się kumulować. To jest trudne.

Znajdujemy się na tym dziwnym skrzyżowaniu inżynierii oprogramowania i musimy być w stanie wdrożyć te produkty z nauką o danych lub badaniami. Musimy prowadzić zespół produktowy. Musimy być szczupli i wydajni, ale musimy też działać trochę jak zespół badawczy, w którym tworzymy przestrzeń dla innowacji. Spędziłeś dwa tygodnie pracując nad czymś i to nigdzie nie poszło? W porządku. Musimy być gotowi w to zainwestować. Sądzę więc, że scentralizowany model, który następnie pomaga w poszczególnych projektach, jest w tej chwili właściwym modelem.

Utrzymuj to w rzeczywistości

Des Traynor: Jak radzisz sobie z faktem, że ktoś taki jak Fergal mówi: „Hej, Paul, zamierzamy spróbować produktu, który może zmienić charakter naszego produktu obsługi klienta, ale może to nie zadziałać, i możesz nie widzieć niczego po pierwszej stronie tego wszystkiego. W tym samym czasie ktoś taki jak ja mówi: „Hej, musimy trafić w plany i musimy powiedzieć firmie, co budujemy, i powiedzieć zespołowi sprzedaży, co ma sprzedawać”. Jak rozwiązujesz tę złożoność?

Paul Adams: Jako ktoś, kto przez lata pracował nad produktami, które nigdy nie zostały wysłane, mam głęboką, głęboką tkankę bliznową dotyczącą każdego powąchania rzeczy, które nie zostaną wysłane tak szybko, jak to możliwe, tak małe, jak to możliwe.

Des Traynor: To byłby twój były pracodawca, żeby było jasne, prawda?

Paul Adams: Tak. W moim poprzednim zatrudnieniu tak. Ale od pierwszego dnia w Intercomie Des i ja zawsze mieliśmy obsesję na punkcie wysyłki i zaczynania od małych rzeczy. Mamy obsesję na punkcie określenia zakresu i wydobycia czegoś tak szybko, jak to możliwe, najmniejszego najszybszego rozwiązania zidentyfikowanego przez nas problemu. Więc mam pragnienie, że tak jest zawsze.

„Pochodzę ze środowiska akademickiego, a każdy, kto miał czas w środowisku akademickim, prawdopodobnie widział tak wiele projektów, które obiecywały księżyc na patyku, a potem nigdy nic nie robiły”

Teraz oczywiście jest inaczej. Jedno pytanie, na które chciałbym odpowiedzieć Fergalowi – trochę na marginesie, ale myślę, że jest to ważne – kiedy wcześniej odpowiadałeś na pytanie Desa dotyczące tego, w jaki sposób wyposażasz zespół uczenia maszynowego, mówisz o inżynierach ML . Przez prawie całą historię naszego zespołu ML byli to inżynierowie ML. Ale niedawno zatrudniliśmy projektanta ML. Czy możesz nam o tym krótko opowiedzieć? Ponieważ myślę, że to ważna część odpowiedzi. Czym zajmuje się projektant ML i jaka jest różnica?

Fergal Reid: Więc to trudne pytanie. To początek jej trzeciego tygodnia, więc nie chcę rozmawiać w podcastie o tym, co zamierza zrobić, zanim z nią porozmawia…

Des Traynor: Na wyższym poziomie. Co sądzisz o projektowaniu systemów uczących się w porównaniu do zwykłego projektowania?

Fergal Reid: Pozwól, że ponownie odwrócę kolejność, a do tego wrócę. Nienawidzę pracować nad rzeczami, które nie są wysyłane. Mam doktorat, pochodzę z akademii i każdy, kto miał czas w akademii, prawdopodobnie widział tyle projektów, które obiecywały księżyc na patyku, a potem nigdy nic nie robiły. A część to konieczne odpady, prawda? Musisz spróbować wielu rzeczy, ponieważ to jest bardzo ryzykowne. Ale część tego zawsze nigdy nie działała. Zatem rozdzielenie tych dwóch rzeczy jest tutaj absolutnie kluczowe. Chcę, aby zespół uczenia maszynowego był jak najbardziej eksploracyjny i ryzykowny, a nie bardziej odkrywczy i nie bardziej ryzykowny niż to konieczne.

Próbujemy tu stąpać po dwóch światach. Staramy się przestrzegać tych niezwykle stanowczych zasad Intercomu: jeśli masz zamiar ponieść porażkę, szybko przegrywaj; zacznij od problemu; zaczynaj od małych kroków, poruszaj się małymi krokami. Bardzo staramy się przestrzegać tych zasad. Ale robimy badania i ryzykowne rzeczy, kiedy musimy, jeśli jesteśmy przekonani, że ktoś by tego chciał. Chcemy być bardzo, bardzo klarowni co do ryzyka, które staramy się wyeliminować na każdym etapie rozwoju. Więc tak, tak właśnie działamy. Powiedziałbym, że jesteśmy bardziej badani niż przeciętny zespół interkomowy, ale prawdopodobnie bardziej rozważni w poruszaniu się małymi krokami i dokładnie o ryzyku, które staramy się zmniejszyć, niż zdecydowana większość zespołów ML na świecie. Z pewnością znacznie bardziej niż zespół laboratorium badawczego.

With that in mind, we've recently hired a designer for the first time in the five years we've had a machine learning team. That's partly because the team is getting a bit bigger and can kind of support that, and since our team has grown, our work is touching more and more parts of the Intercom product, and we can do better than handling the product design ourselves and having a ML engineer figure out the product design envelope. We'll be able to increase the scope of things we can interact with less with disruption to the teams in whose area we're operating.

“Even when you're doing something as simple as testing a ML system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity”

Des Traynor: Is it a different type of design?

Fergal Reid: There is definitely a certain type of design specific to ML and ML products. And we can see this when we're interviewing or interacting with designers in this space. There's sort of a product design or a systems design, and a lot of the time, its aspects are closer to API design than UI design. And obviously, there's a big spectrum here. We have a great design team at Intercom. We have people used to working in all different parts of that spectrum. But there's definitely a difference.

And also, you're looking for quantitative skills to make progress in this space. It's very immature technology. There will come a time, I'm sure, in five, 10 years, I don't know, when Amazon and Google and everyone will have figured out the best API. And it's going to have really nice docs and explain to you all the premises of that space, but we're not there yet. We're a very, very long way away from there. There are just so many trade-offs. Even when you're doing something as simple as testing a machine learning system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity. Some designers are great at that, but for other designers, that wouldn't be how they'd like to work. And so, you're looking for something that treads all those needles at once.

The future of conversations

Des Traynor: We're coming towards the end here. I would like to try a little quick-fire round that I haven't prepared you for at all.

Fergal Reid: Sounds good.

Des Traynor: Here's my proposal. I name a product or a product space, and you tell me something that you think is possible that people don't think about.

Fergal Reid: Oh my God. Dobra. This is going to be futuristic and speculative and wrong, but let's do it.

Des Traynor: Let's start. Issue tracking.

Fergal Reid: A lot like customer support. You can probably do a lot more with clustering issues and detecting when a bunch of issues have one root cause. You can probably do much better in terms of the next best action about suggestions and resolutions for common issues you've seen before.

“We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent”

Des Traynor: Cool. This is going well. Project management apps. Say Basecamp or Asana or something like that.

Fergal Reid: Project management apps. Probably an insights layer, and you can build on top of that stuff. People always say that. It's always easy to say and extremely difficult to make an insights product work, but it's probably an insights layer. There's probably a lot you can do with unstructured assets that are part of the project you're tracking, and you can start to make sense of those that you couldn't in the past. Definitely field research, but there's probably something there.

Des Traynor: Cool. Paul, do you have any?

Paul Adams: Well, one hot space we mentioned earlier is communication products. I'm thinking about Gmail, for example. Gmail was the same for the best part of a decade. And now, suddenly, it feels like there's an explosion in all sorts of cool things happening in Gmail.

Fergal Reid: This is going to sound very self-serving, but I think that the sort of domain we're in at Intercom is going to drive a lot of extremely exciting innovation that is going to percolate out to broader, more horizontal products like Gmail. To give an example of why I think this: if you look at our customers as they use Intercom, they're having so many of the same conversations again and again. There's so much structure in that domain. It's this mix of unstructured texts that they're writing, but then there's so much structure to the conversation, whereas Gmail is broad and horizontal. If you look at my inbox, any email could be completely different than the last. So, I feel that companies like us working in areas like customer support are going to be in a great position to innovate because there's just so much structure to take advantage of there. You're going to have suggestions, recommendations, and automation. And I think that will percolate out. That will go out to these broader, more horizontal products after it has proven its business value. We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent. It's starting to scratch that direction, and we're going to see more and more of that.

Paul Adams: It's easy for me to imagine a world where a WhatsApp exchange between any one of us is literally just tap, reply. Tap, reply. Tap, reply.

Des Traynor: We're trying to go for dinner. Here are four places. Bang. Jaki czas? Bang.

Paul Adams: But literally, you're just inserting the recommended content.

“If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface”

Fergal Reid: Now, is the future of the inbox something where you're sitting almost looking at this dashboard of a conversational tree unfolding and your job is to guide the AI to answer questions for you? Maybe the future of coms and conversations looks a lot less like typing on a keyboard. You're still going to do that sometimes, but maybe 80% of what you do will be much more structured, like guiding the branches on a tree.

Des Traynor: The AI stops augmenting you, you start augmenting it.

Fergal Reid: Exactly, which is good. It's almost like you're managing somebody who's answering your conversations. And that's always my number one thinking tool for AI disruption. Imagine you had a very well-paid, smart human doing the task, and you told them what to do. What would that look like? People were like, “Oh, there'll never be software that automatically programs, or it will never have visual programming. We've tried it a whole bunch of times.” Well, I used to do programming competitions, and if you have a highly skilled developer, you don't say the exact keystrokes. You say, “Oh, now flip the list around. Dobra. And then filter out those two things.” If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface. That's a great starting point for where AI could take us.

Des Traynor: That's fascinating. Okay, last question. You mentioned that AI is a disruptive force. If our listeners haven't already embarked upon an AI, ML journey, and let's say they have the budget for a couple of heads, what's the best thing to do?

Fergal Reid: Like any disruptive tech change, the first question is always: Is it still worth ignoring? And how long can you ignore it for? And I'm not saying to race and do something now. Maybe you're in a space where you should continue to ignore this as it matures for another few years. If you can't ignore it, or if you want to do something in this space, I would say to concentrate your resources and your budget and get someone who's got some deep experience at the tech end and enough of a product head on their shoulders that they can go and work with your product team productively. And start exploring opportunities from there. Start building relationships with the designers and the company. Start sketching and figuring out, “Okay, what would be possible to design here?” And start mocking up some designs. Do they look exciting? Do they look good? Show them to your customers. Get customer feedback and take it from there.

After that, you're into the standard product development – how do you know how to resource something or not? But yeah, concentrate your resources and get someone who knows what you're doing as much as possible, and then have them pair with your existing organizational assets. Don't go and say, “We're going to do some blue sky thinking. We're going to start a new lab and put it off-site, and they're going to go and build nothing for two years, and it'll be very impressive.” No, definitely tread that balance. That's what it's all about. It's about marrying and balancing technology and design.

Des Traynor: Fergal Reid, thank you very much for joining us. Thank you, Paul. And we'll see you all again for Intercom on Product. Take care, everyone.