Noua zori a învățării automate

Am mai fost aici. Între zgomotul media, afirmațiile exagerate și munca de pe teren, uneori este greu să distingem fantezia de realitate atunci când ai de-a face cu Machine Learning. Pe măsură ce rețelele neuronale se maturizează și ies în evidență din grup, poate tehnologia să fie la înălțimea hype-ului?

În ultimii cinci ani, am văzut că tehnologia rețelelor neuronale și-a luat cu adevărat succesul. GPT-3 poate crea text asemănător unui om la cerere, iar DALL-E, un model de învățare automată care generează imagini din solicitări de text, a explodat în popularitate pe rețelele sociale, răspunzând la cele mai stringente întrebări ale lumii, cum ar fi „ce ar fi Darth Vader arată ca pescuitul pe gheață?” sau „cum ar arăta Walter White dacă ar fi în Animal Crossing?”

Am vrut să știm ce este cu această creștere, așa că l-am întrebat pe directorul nostru de învățare automată, Fergal Reid, dacă îi putem alege creierul pentru episodul de astăzi. În ciuda faptului că munca este încă un act de echilibru între ceea ce este posibil și ceea ce este fezabil, lucrurile, se pare, abia încep să se extindă. Peisajul tehnologic se schimbă, aplicațiile de afaceri schimbă (potențial) jocul și, alertă de spoiler, Fergal crede foarte mult în hype.

În episodul de astăzi din Intercom on Product, Paul Adams, directorul nostru de produse, și cu mine ne-am întâlnit cu Fergal Reid pentru a vorbi despre zgomotul recent din jurul rețelelor neuronale, despre modul în care învățarea automată alimentează afacerile și despre ce ne putem aștepta de la tehnologia din următorii ani.

Iată câteva dintre concluziile noastre preferate din conversație:

• Rețelele neuronale au făcut progrese semnificative în ultimii cinci ani și sunt acum cea mai bună modalitate de a trata datele nestructurate, cum ar fi textul, imaginile sau sunetul la scară.
• În CX, rețelele neuronale vor fi probabil utilizate cu metode tradiționale de învățare automată pentru a alege acțiuni care oferă cea mai bună interacțiune posibilă cu clientul.
• Construirea de produse ML necesită echilibru – este inutil să începeți cu problema dacă soluția este de neatins, dar nu ar trebui să începeți cu tehnologia dacă nu poate satisface nevoile reale ale clienților.
• AI a fost destul de exagerat în trecut. Deși este probabil ca afirmațiile mai realiste să închidă mai puține conturi, aceasta se bucură de reținerea clienților.
• Echipele ML tind să investească o parte echitabilă a resurselor în cercetare care nu se livrează niciodată. Potriviți-l cât mai mult posibil cu proiecte care au un impact real asupra experienței clientului.
• Dacă doriți să investiți în ML, angajați pe cineva cu experiență atât pe partea tehnologică, cât și pe cea operațională, astfel încât să poată începe să lucreze cu echipa de produs din prima zi.

Dacă îți place discuția noastră, vezi mai multe episoade din podcastul nostru. Puteți urmări pe iTunes, Spotify, YouTube sau puteți prelua fluxul RSS în playerul dorit. Ceea ce urmează este o transcriere ușor editată a episodului.

hype-ul lovește înapoi

Des Traynor: Bun venit la Intercom On Product, episodul 18. Astăzi, avem un subiect interesant de discutat. Totul este despre inteligența artificială și învățarea automată. Mi se alătură, ca întotdeauna, directorul de produs al Intercom, domnul Paul Adams. Paul, ce mai faci?

Paul Adams: Sunt bine, Des. Mulțumesc.

Des Traynor: Și astăzi avem un invitat special, domnul Fergal Reid, care este directorul nostru de învățare automată. Fergal, cum merge?

Fergal Reid: E bine, Des. Sunt foarte încântat să fiu astăzi pe podcast. Aștept cu nerăbdare să intru în ea.

Des Traynor: Excelent. Cred că ești primul sau al doilea nostru oaspete, așa că ar trebui să te simți foarte, foarte recunoscător.

Fergal Reid: Mă simt foarte privilegiat, într-adevăr.

„Am văzut progrese susținute în ceea ce privește ceva nou și incitant – tehnologia bazată pe rețelele neuronale – care a început cu adevărat să devină proprie și să fie utilă”

Des Traynor: Ei bine, să începem de la sfârșit, într-un fel. Se simte ca și cum aparatul de hype AI este din nou în overdrive. Acest lucru se întâmplă la fiecare câțiva ani din punctul meu de vedere, dar ceea ce pot vedea cu adevărat că se întâmplă sunt oameni care creează multă artă. Generația DALL-E a început, iar unele dintre imaginile create sunt uluitoare. Zilele trecute, am văzut că există o piață pentru solicitări DALL-E de unde puteți cumpăra literalmente solicitări care creează imagini pentru dvs., ceea ce este la fel de meta. Într-un sens mai practic, copilotul GitHub vă poate mări codul pe măsură ce scrieți, ceea ce este destul de incredibil; M-am jucat cu GPT-3 de la OpenAI și am pus întrebările și l-am lăsat să creeze mici paragrafe și povești pentru mine și a fost destul de impresionant. Dacă mărim puțin înapoi, ce se întâmplă de fapt? S-a întâmplat ceva în ultimul timp? Are asta de-a face cu vreun lanț anume de evenimente? Ce faci?

Fergal Reid: Este un lucru complex de despachetat – se întâmplă multe. Sunt atât de multe investiții în acest domeniu al AI și al învățării automate în cadrul companiilor, așa că este dificil să detaliezi exact ce se întâmplă. Dacă te uiți la arxiv, unde oamenii își pun documentele de învățare automată, există un torent de lucruri noi în fiecare zi. Deci, este dificil să treci printr-o narațiune prin asta. În opinia mea, în ultimii cinci ani, am văzut progresul susținut al ceva nou și incitant – tehnologia condusă de rețele neuronale – care a început cu adevărat să devină proprie și să fie utilă. Ați menționat GPT-3, OpenAI și asta numim un model de limbaj mare, care este o rețea neuronală mare care încearcă să prezică următorul cuvânt și o secvență de cuvinte pe care o vede. Și doar cresc asta. Tocmai i-au adăugat din ce în ce mai mult calcul și a început să facă lucruri uimitoare.

Des Traynor: Deci, poate doar câteva definiții de dicționar. Deci, adăugând mai mult calcul, este mai multă putere CPU?

Fergal Reid: Da, exact. Ca să mergem înapoi cu mult timp în urmă, procesoarele din computerele noastre, creierul computerelor noastre, au fost cu adevărat, foarte rapide în a face lucruri de uz general. Și poate că la mijlocul până la sfârșitul anilor 90, în primul rând condus de jocuri video și chestii, am avut această piață în masă de adoptare a acestor GPU-uri sau unități de procesare grafică.

Des Traynor: Ca plăcile video și chestia asta?

Fergal Reid: În plăcile video și placa ta 3dfx și tot. Și erau foarte buni la realizarea graficelor pentru jocuri pe calculator. Apoi, la începutul anilor 2000, oamenii au spus: „Oh, genul de operațiuni pe care le facem pentru jocurile video sunt foarte bune pentru matrice și multiplicare”. Și se dovedește că astfel de lucruri sunt, de asemenea, foarte utile pentru operațiunile pe care trebuie să le faci atunci când antrenezi o rețea neuronală. Și așa, după mult timp, valoarea stocului video trece prin acoperiș pentru că există o revoluție a AI și a criptominerilor.

Creșterea rețelelor neuronale

Des Traynor: Ați făcut referire la o nouă asimilare a lucrărilor privind rețelele neuronale. Simt că am auzit de ei când eram la facultate, pe vremuri. S-a pus mai multă muncă în ei? Au apărut ele ca modalitate principală de a face învățarea automată? Există o alternativă de care ne-am îndepărtat?

Fergal Reid: Da, aș spune că există o alternativă de la care ne-am îndepărtat. Acum, nu vreau să vând prea mult rețelele neuronale. Rețelele neuronale sunt noua popularitate și aproape toate descoperirile pe care le-ați văzut în ultimii cinci ani sunt ale rețelelor neuronale. Cu toate acestea, aceasta este o subsecțiune a învățării automate. În echipa de învățare automată de la Intercom, rețelele neuronale reprezintă poate 30% din ceea ce facem noi, folosind aceleași chestii de progres logistic pentru a prezice ce va face cineva în continuare.

Când există date nestructurate, cum ar fi mase de text sau imagini sau sunete, rețelele neuronale sunt acum cu siguranță cea mai bună modalitate de a trata acele date. Pentru descoperirile pe care le vedeți – elementele vizuale, elementele sonore, sinteza textului – aveți nevoie de un model masiv care poate capta cu adevărat o mulțime de dependențe în acele date, iar rețelele neuronale sunt principala modalitate de a face asta. Oamenii au investit foarte mult pentru a le face să se extindă și le puteți rula mult mai mari. Unele dintre modelele despre care citiți ar putea costa 10 milioane de dolari de calcul doar pentru a antrena acel model.

„În trecut, pentru orice text nestructurat sau date de imagine, ne-am uita la asta dintr-o perspectivă de învățare automată și am fi de genul „Nu știu ce să fac aici””

Se întâmplă o serie de lucruri. Suntem din ce în ce mai buni la antrenarea lor la scară. Suntem din ce în ce mai buni în exprimarea problemei într-un mod în care să putem face progrese și să înțelegem. În videoclip, continuăm să îmbunătățim performanța. Deci, au avut loc o mulțime de revoluții tehnologice. Este o confluență a o mulțime de tendințe diferite.

Des Traynor: Pentru a trece la aspectul de produs, ce este posibil acum și nu era înainte? DALL-E poate prelua o solicitare și poate produce o imagine; GPT-3 poate produce un text generat cu aspect destul de realist. Dacă doriți să analizați o mulțime de text și să aflați ce spune, să o reduceți sau să o simplificați sau să verificați sentimentul sau orice altceva, există un fel de listă de capabilități pe care le avem acum? Motivul pentru care întreb este că încerc să leg asta mai aproape de modul în care PM ar trebui să gândească despre asta.

Fergal Reid: Da, există câteva moduri diferite de a gândi la asta. În trecut, pentru orice text nestructurat sau date de imagine, ne-am uita la asta dintr-o perspectivă de învățare automată și am fi spus: „Nu știu ce să fac aici. Dimensiunea acestuia și numărul de paragrafe posibile de text care ar putea fi în documentul meu este nebunește de mare. Nu știu cum să rezolv asta cu învățarea automată tradițională.” Și puteți face lucruri precum extragerea funcțiilor, să spuneți „Voi împărți asta într-o pungă de cuvinte și voi extrage lucruri”. Dar ceea ce este diferit acum este că metodele tale de a lucra cu acele date vor funcționa mult mai bine decât ar fi făcut-o în trecut. Și nu aveți nevoie de atât de multă inginerie manuală a caracteristicilor. Puteți folosi o rețea neuronală.

Începem să vedem trepte de mijloc, straturi mijlocii care apar. Există acest lucru pe care îl numim încorporare, în care puteți lua una dintre aceste rețele neuronale mari care au fost antrenate pe o mulțime de date text și apoi vor fi lansate de Google sau de unul dintre cei mai mari jucători, care cheltuiesc acele 10 milioane de dolari pentru antrenament și poți folosi asta pentru a lua orice text pe care i-l dai pentru a-l converti într-un vector de numere. Apoi, puteți face lucruri cu acel vector de numere. Deci, a existat o tehnologie revoluționară, dar a oferit elemente de bază cu care startup-urile pot lucra efectiv pentru a face produse.

„Dacă vă aflați într-un ecosistem de startup care se confruntă cu o mulțime de date nestructurate, în special cu volume mari, în care poate încercați să luați decizii cu acestea, cu siguranță ar trebui să fiți atenți.”

Des Traynor: Deci, primul X la sută este făcut pentru tine de companiile mai mari?

Fergal Reid: Exact. Sau un consorțiu deschis, de asemenea. Sunt oameni care formează un consorțiu care au adunat mulți bani pentru a antrena ceva mare care apoi este eliberat.

Des Traynor: Deci, dacă produsul dvs. implică o mulțime de text scris de oameni, fie creând răspunsuri, scriendu-l, analizându-l sau înțelegându-l, ar trebui să presupuneți că pământul s-a mutat sub picioarele voastre în ultimii doi ani?

Fergal Reid: Da, cred că este o presupunere corectă. Dacă vă aflați într-un ecosistem de startup care se confruntă cu o mulțime de date nestructurate, în special cu volume mari, în care poate încercați să luați decizii cu acestea, cu siguranță ar trebui să fiți atenți. Peisajul capabilităților s-a schimbat. În urmă cu 10 ani, nu era de ce să-ți faci griji, dar acum, poate că există ceva grozav pe care să-l construiești pe care nu ai fi putut înainte. Începem să vedem o schimbare în lucruri la fel de simple ca căutarea. În urmă cu șase, șapte ani, ați obține Elasticsearch sau ceva de genul acesta și ați folosi acești algoritmi încercați și adevărați pentru a vă gestiona căutarea. Acum puteți folosi căutarea neuronală. Și începem să vedem tehnologii și produse emergente în acel spațiu.

În căutarea următoarei cele mai bune acțiuni

Paul Adams: Un lucru despre care mi-ar plăcea să vă întreb sunt produsele care promit următoarea cea mai bună acțiune. Cred că acest lucru este important pentru echipele de produse din două motive. Unul este doar produsele din acel spațiu – dacă aveți un produs de comunicare cu clienții sau un produs pentru echipele de vânzări, există o mulțime de promisiuni în a spune agentului de vânzări care este următoarea acțiune cea mai bună. Și echipele de produse încearcă adesea să-și determine clienții și utilizatorii să facă mai mult și să se implice mai mult, așa că este un instrument pentru ei pentru a stimula creșterea. Cât de mult este hype? Cât de mult este real?

Fergal Reid: Există întotdeauna o problemă cu aceste produse de învățare automată și spun asta ca cineva care construiește produse de învățare automată pentru a se câștiga, ceea ce înseamnă că este foarte greu de spus cât de mult este hype și cât de mult este real din exterior. Nu pot vorbi despre anumite produse decât dacă le-am analizat și comparat. Aș spune că cele mai bune lucruri de acțiune sunt de fapt mai puțin probabil să fie rețelele neuronale. Sau dacă sunt acolo, vor fi acolo ca o componentă a acestuia. Pentru a-l pune într-un context Intercom, voi lua textul conversației care a avut loc între reprezentantul de asistență și utilizatorul final și voi folosi încorporarea pentru a încerca să dau sens. Dar apoi, probabil că voi pune asta împreună cu o grămadă de alte semnale despre ceea ce se întâmplă, poate valoarea contului sau unde se află clientul în călătoria lor către client și voi folosi un clasificator sau regresor mai tradițional de învățare automată pentru a încerca și prezice: „Bine, care este cel mai bun lucru pe care l-aș putea face?”

„Pe măsură ce acuratețea crește, crește, crește, trece un prag critic în care se spune: „Nu este întotdeauna corect, dar este util și nu trebuie să mă gândesc. Ajută "

Și chestia asta funcționează destul de bine. Avem caracteristici în produsele noastre care folosesc metode tradiționale de învățare automată care încearcă să prezică, să zicem, ce urmează să întrebe cineva când ajunge pe un site web și deschid messengerul. Facem asta pe baza tuturor datelor și semnalelor pe care le avem despre acel utilizator și asta funcționează destul de bine. Dacă puteți face predicții bune cu asta, este un pas scurt de acolo până la ceva mai general, care este următoarea cea mai bună acțiune.

Pun pariu că lucrurile funcționează destul de bine. Aș avea așteptări rezonabile de acuratețe. Toate aceste lucruri funcționează bine atunci când măresc și ajută pe cineva. Dacă precizia este prea scăzută, este de genul „Oh, asta este enervant. E nasol. Nu merită să-i acordăm atenție.” Dar apoi, pe măsură ce acuratețea crește, crește, crește, trece un prag critic unde este de genul: „Nu este întotdeauna corect, dar este util și nu trebuie să mă gândesc. Pot doar să mă uit la el și să recunosc că ajută.” Acesta este ceea ce căutăm cu aceste produse și sunt sigur că există oameni în industrie care au astfel de lucruri.

Des Traynor: Da. Simt că completarea automată a Gmail a traversat acea stâncă perceptivă în care nu aș dezactiva această funcție. Tastați un răspuns, ghicește următoarele două lucruri pe care le veți spune și puteți apăsa tab și poate ați schimba o propoziție sau un cuvânt sau ceva de genul ăsta, dar este direcțional mai valoros decât nu.

„Văd un viitor în care putem afla ce sugestii determină un comportament al coechipierilor care oferă un CSAT mai bun sau o valoare mai bună pe viață a clientului într-un mod câștigător pentru toate”

Paul Adams: Totuși, este amuzant. Cred că schimbă comportamentul. Mă uit la sugestie și spun: „Nu aș spune asta, dar este destul de aproape”. Filă, filă, filă. Intră, trimite.

Fergal Reid: Mă întreb dacă au făcut vreodată experimente în care măsoară sugestiile și sentimentul sugestiilor pe care le produc și cum au schimbat lumea reală. Facebook a făcut niște experimente ca acesta în vremuri. Dacă te uiți la ceva de genul Intercom, văd un viitor în care începem să facem recomandări inteligente de răspuns în căsuța de e-mail. Văd un viitor în care putem afla ce sugestii determină un comportament al coechipierilor care oferă un CSAT mai bun sau o valoare mai bună pe viață a clientului într-un mod câștigător pentru toate. Acele prompte cu frecare redusă. Mă gândesc la asta ori de câte ori îi scriu soției mele „te iubesc”. Uneori primesc sugestia pentru „Te iubesc” și îmi zic „O scriu eu însumi”.

Des Traynor: Da. Este ceva mai colonial în asta – ne modelăm uneltele, iar instrumentele noastre ne modelează. Vă puteți imagina că un reprezentant CS nou încorporat într-o echipă care folosește Intercom va ajunge de fapt să vorbească și să tasteze la fel ca colegii lor, pe baza faptului că Intercom le spune că acesta este comportamentul care pare să funcționeze cel mai bine. Este aproape ca o școală de asistență pentru clienți.

Fergal Reid: Am discutat cu câțiva clienți cărora le-a plăcut ideea unei rampe de antrenament cu frecare redusă pentru noi repetări, care pare a fi cea mai bună practică. Asta te îndeamnă sistemul să faci într-un mod bun.

Problemă vs. tehnologie

Des Traynor: Dacă mergem înapoi la un nivel, simt că o mare parte din narațiune, chiar și atunci când, să zicem, a apărut DALL-E, cele mai populare fire de discuție au fost lucruri de genul „Poate cineva să numească un caz de utilizare bun pentru acest?" Sau, „Iată cea mai bună idee a mea”. Evident, mintea tuturor spune: „Oh, ai putea construi o companie de tricouri” sau orice altceva. Cea mai bună încercare a mea pentru ceea ce ar putea fi util este capacitatea de a adnota o carte de povești pentru copii. Imaginați-vă un instrument în care există o poveste de tip copil și imaginile ar părea să o sporească. De asemenea, puteți vedea cum ar putea fi un plugin pentru Squarespace sau Mailchimp pentru a înlocui fotografia de stoc. Keynote sau Google Slides ar fi similar.

Simt că ne apropiem de asta, totuși. Spunem: „Având în vedere că acum putem să luăm text și să producem imagini, să construim o companie din asta”, ceea ce nu este de unde provin cele mai bune companii. De obicei, ei tind să vrea să rezolve o problemă din lume. Care este cel mai bun mod ca un fan sau un PM să se gândească la acest spațiu? În general, probabil că sunt obsedați de o problemă, nu de o anumită piesă de tehnologie neuronală nouă.

Fergal Reid: Aceasta este o întrebare foarte complexă. De cele mai multe ori, sfatul standard este că, dacă construiești un nou startup de tehnologie, nu vrei să fii niciodată o soluție în căutarea unei probleme. Vrei să găsești o problemă reală concretă și apoi să abordezi o soluție. Cred că, în general, este un sfat bun. La Intercom, avem un principiu pentru a începe cu problema. Dar cred că există excepții de la asta. Cu o tehnologie cu adevărat disruptivă, unde spui: „Ceva schimbă lumea, schimbă peisajul, există noi capacități aici și nu știu la ce este bun, dar știu că va fi revoluționar de bun pentru ceva, ” Cred că e în regulă să începi cu soluția și apoi să cauți probleme.

„Nu are rost să începeți cu problema dacă încercați să construiți o soluție tehnologică care pur și simplu nu este încă capabilă”

Cred că hype-ul despre ML și AI în acest moment. Aș spune că de data aceasta este real, așa că este un joc corect să spui: „Uite, avem o capacitate revoluționară aici. Unde sunt toate marile oportunități în care acest lucru poate fi aplicat?” Apoi, evident, există o interacțiune. Când crezi că ai găsit o oportunitate, probabil că vrei să mergi și să începi cu problema.

Echipa de învățare automată de aici la Intercom este puțin neobișnuită în comparație cu alte echipe. Ne adaptăm la principiile produsului puțin mai mult decât fac alte echipe, deoarece trebuie să fim în acest spațiu gri între începerea cu problemă și tehnologie. Nu are rost să începeți cu problema dacă încercați să construiți o soluție tehnologică care pur și simplu nu este încă capabilă. Așadar, trebuie să începem puțin cu tehnologia, să facem niște prototipuri, să ne facem o idee despre ceea ce este posibil și apoi să mergem și să ascultăm problema și să întrebăm: „Este util sau nu?”

Des Traynor: Este aproape ca și cum trebuie să priviți atât partea cererii, cât și a ofertei a inovației, într-un fel. Dintre toate problemele pe care le putem rezolva și capacitățile pe care le avem, unde este o firmă bună în interconectare? Dacă luăm produsul nostru Resolution Bot, cum ați articula asta ca o pereche problemă/soluție?

„Cu Resolution Bot, nu am folosit rețele neuronale sau nimic pentru versiunea noastră 1, dar am avut convingerea că este posibil să construim ceva bun aici”

Fergal Reid: Când am început, eram conștienți că a existat o mișcare în tehnologia și peisajul produselor în care roboții erau cu adevărat săraci și au început să ofere experiențe convingătoare în circumstanțe foarte limitate în care: „Bine, există ceva aici. .” Și apoi a fost de genul: „Bine, putem să luăm domeniul nostru particular, să luăm chat și conversații și să vedem dacă există acea căsătorie, acea potrivire între problemă și tehnologia care va oferi clienților experiențe grozave?”

Cu Resolution Bot, nu am folosit rețele neuronale sau nimic pentru versiunea noastră 1, dar am avut convingerea că este posibil să construim ceva bun aici. Am construit o investiție minimă în tehnologie, am validat că un prototip prost, combinat, ar ajuta cu adevărat clienții și că oamenii chiar l-ar dori, am eliminat riscul, apoi l-am repetat și l-am repetat și l-am repetat. Suntem acum la versiunea trei sau versiunea a patra a tehnologiei noastre și folosește rețele neuronale foarte moderne și luxoase și obține cele mai bune performanțe și precizie din clasă. Dar prima versiune a fost Elasticsearch de pe raft doar pentru a valida faptul că acest lucru ar ajuta cu adevărat oamenii.

Vrei să ghidezi această căutare. Vrei să spui: „Știu că există ceva bun în această direcție generală a spațiului de produse.” Nu voi ajunge cu o cerere validată pentru un produs care este imposibil de livrat. Nu vrei să fii acolo. De asemenea, nu vrei să spui: „Am un algoritm uimitor care va mișca cu siguranță acul pentru ceva ce nu-i pasă nimănui.” Trebuie să iterați de ambele părți ale ecuației și să găsiți o zonă de aterizare în mijloc.

Prea frumos ca sa fie adevarat?

Paul Adams: Există de fapt un al treilea picior al scaunului. Există o problemă, există o soluție și apoi este povestea sau ce poți spune despre ea. Unul dintre lucrurile cu care m-am luptat când vine vorba de inteligență artificială și de învățare automată este ceea ce te simți bine când spui extern și ce spun alți oameni în exterior. În cel mai rău caz este o tragedie a comunicațiilor în care toate companiile ies și fac afirmații uriașe, iar oamenii care știu de fapt despre ce vorbesc spun: „Sunt afirmații ridicole”. „Dar există această dilemă competitivă. Dacă concurentul nostru spune 80% și nu avem cum să credem că poate obține asta, dar al nostru este 50, ce părere aveți despre asta? Ce părere aveți despre afirmațiile pe care le puteți face și despre echilibrul dintre problemă, soluție și poveste?

„Întâlnesc produse de pe piață și le evaluez afirmațiile și îmi zic: „Oare chiar face asta? Cum evaluezi asta?”

Fergal Reid: Adică, este foarte dificil. Cred că aș separa dezvoltarea internă a produsului de succesul pe piață. Cu dezvoltarea internă a produsului, și acest lucru este adevărat în Intercom, dacă vin și spun: „Hei, băieți, sunt destul de sigur că putem oferi o experiență de produs suficient de bună”, sunt cel puțin responsabil dacă se dovedește că asta este nu este deloc cazul. Deci, pe plan intern, trebuie să lucrezi cu oamenii și să explici bine lucrurile, dar cel puțin stimulentele sunt aliniate.

În exterior, atunci când oamenii concurează pe piață cu produse de învățare automată, este foarte greu. Întâlnesc produse de pe piață și le evaluez afirmațiile și îmi zic: „Oare chiar face asta? Cum evaluezi asta?” Chiar dacă văd o nouă lucrare de cercetare care promite ceva uimitor și are exemple de „am spus asta AI și asta este ceea ce mi-a spus înapoi”, prima mea întrebare este întotdeauna de genul „Ei bine, a fost ăla un cireș ales. exemplu? Face asta de 9 ori din 10 sau o dată din 10?” Pentru că este foarte diferit în funcție de fiecare. Există întotdeauna acest implicit: „Ei bine, care este performanța, de fapt?” Nu poți să-ți dai seama cu adevărat decât dacă faci un fel de cap la cap unde te așezi și te joci cu el. Clienții noștri fac mai multe dovezi de concept și evaluări directe, iar asta îmi place. Asta e minunat. Asta vrem să vedem.

„Puteți cu siguranță să exagerați, să livrați insuficient și apoi să urmăriți schimbarea contului”

În ceea ce privește spațiul în general, cred că vezi că oamenii fac demo-uri disponibile public din ce în ce mai mult. Oamenii merg la DALL-E 2 și au acces mai devreme la cercetători independenți. Sau scriu chestii în ziare spunând: „Asta este ceea ce produce într-o singură rulare pe un prompt standard”. Asta îi ajută pe oameni să-și dea seama.

Des Traynor: Există o întrebare despre ce fel de venit doriți, pentru că cu siguranță puteți suprapromite, livra insuficient și apoi urmăriți pierderea contului. Sau poți spune: „Iată ce credem că putem face pentru tine”, riscă să pierzi afacerea, dar să știi că, dacă se convertesc, vor primi ceea ce s-au convertit. Cred că este o lume periculoasă în care să fii – luând drumul mare versus drumul inferior; luarea clienților care vor primi exact ceea ce au crezut că vor obține, comparativ cu obținerea de mulți clienți supărați în luna 11, deoarece nu s-au apropiat de ceea ce sperau. Este o provocare.

Fergal Reid: Este o provocare și există atât de multe fațete în această provocare. Trebuie să gestionăm și așteptările. Învățarea automată devine mult mai bună, dar încă nu este perfectă. Uneori avem clienți care ne cumpără Resolution Bot și este bun, cel mai bun din clasă, dar tot face greșeli. Fiecare produs software face încă greșeli. Deci, trebuie să gestionați așteptările din toate părțile pentru a avea acea relație pozitivă.

Des Traynor: Cum credeți despre resursele de învățare automată? La Intercom, avem o echipă condusă de dvs., care este separată de toate echipele și apoi parteneri pentru a oferi funcționalitate de învățare automată. Crezi că va rămâne așa? Crezi că echipele ar trebui să aibă ingineri ML încorporați? Fiecare echipă de la Intercom are propriul său designer – nu avem o echipă de design care plutește în căutarea unor elemente de design de adăugat. Are sens așa cum este? Pentru ascultătorii noștri de acolo, cum și-ar scufunda degetul de la picior? Ar începe cu un tip de pod ML dedicat sau ar avea o persoană? Cum ar trebui să înceapă startup-urile să introducă ML?

Fergal Reid: Am o părere puternică că o echipă centralizată de învățare automată este mai bună pentru organizațiile de dimensiunea noastră sau mai mici în acest moment al dezvoltării tehnologiei. Avem de-a face cu tehnologie imatură aici. Tehnologia este greu de utilizat și ușor de greșit. Există un set de abilități care se suprapun cu abilitățile de inginerie software, știință a datelor sau analiză, dar nu sunt la fel. Cred că are foarte mult sens să ai o echipă centralizată care să lucreze și să perfecționeze acel set de abilități și să învețe capcanele, deoarece produsele de învățare automată au capcane unice. Sunt probabilistice. După cum am menționat, uneori înțeleg greșit. Deci, atunci când proiectați sau construiți un produs de învățare automată, trebuie să transpirați cu adevărat. Este rata de precizie suficient de bună pentru a oferi clienților o experiență bună? Asta-i greu.

„Cred că un model centralizat care apoi vine să ajute pe bază de proiect per proiect este modelul potrivit în acest moment”

Când vorbești cu un designer, un lucru pe care îl vedem adesea este că la început le este greu să înțeleagă ideea că nu te poți gândi doar la calea de aur pe care totul merge bine. Trebuie să luați în considerare toate căile în care lucrurile merg prost și se pot acumula erori. Asta e greu.

Ne aflăm la această intersecție ciudată a ingineriei software și trebuie să fim capabili să implementăm aceste produse cu știința datelor sau cercetare. Trebuie să conducem o echipă de produse. Trebuie să fim slabi și eficienți, dar trebuie, de asemenea, să conducem un pic ca o echipă de cercetare în care creăm spațiu pentru inovare. Ai petrecut două săptămâni lucrând la ceva și nu a mers nicăieri? E in regula. Trebuie să fim dispuși să investim în asta. Deci, cred că un model centralizat care apoi vine să ajute pe bază de proiect per proiect este modelul potrivit în acest moment.

Păstrându-l real

Des Traynor: Cum te descurci cu faptul că cineva ca Fergal spune: „Hei, Paul, vom încerca un produs care ar putea transforma natura produsului nostru de asistență pentru clienți, dar s-ar putea să nu funcționeze și s-ar putea să nu vezi nimic pe prima parte a tuturor acestor lucruri.” În același timp, cineva ca mine spune: „Hei, trebuie să ajungem la foile de parcurs și trebuie să spunem companiei ce construim și să spunem echipei de vânzări ce să vândă”. Cum rezolvi această complexitate?

Paul Adams: Ca cineva care a lucrat ani de zile la produse care nu au fost livrate niciodată, am un țesut cicatricial profund și profund despre orice adulmecare a unui lucru care nu va fi livrat cât mai curând posibil, cât mai mic posibil.

Des Traynor: Acesta ar fi fostul tău angajator, ca să fie clar, nu?

Paul Adams: Da. În fostul meu loc de muncă, da. Dar încă din prima zi la Intercom, Des și cu mine am fost întotdeauna obsedați de expediere și de a începe mic. Suntem obsedați de stabilirea domeniului și de a obține ceva cât mai repede posibil, cea mai mică soluție rapidă la problema pe care am identificat-o. Așa că am o dorință care este întotdeauna cazul.

„Vin din mediul academic și oricine a avut timp în mediul academic a văzut probabil atât de multe proiecte care promiteau luna pe un băț și apoi nu fac niciodată nimic”

Acum, evident, acest lucru este diferit. Totuși, la o întrebare la care mi-ar plăcea să răspundă Fergal – un pic o notă secundară, dar cred că este importantă – când ați răspuns la întrebarea lui Des mai devreme despre modul în care alocați resurselor unei echipe de învățare automată, vorbiți despre inginerii ML . Pentru aproape toată istoria echipei noastre ML de aici, au fost ingineri ML. Dar recent am angajat un designer ML. Ne poți spune pe scurt și despre asta? Pentru că cred că aceasta este o parte importantă a răspunsului aici. Ce face designerul ML și care este diferența?

Fergal Reid: Deci, aceasta este o întrebare grea. Acesta este începutul săptămânii a treia, așa că nu vreau să vorbesc pe podcast despre ce va face înainte de a vorbi cu ea...

Des Traynor: La un nivel superior. Ce părere aveți despre designul de învățare automată față de designul obișnuit?

Fergal Reid: Lasă-mă să inversez ordinea înapoi și voi reveni la asta. Urăsc să lucrez la lucruri care nu se livrează. Am un doctorat, vin din mediul academic și oricine a avut timp în mediul academic probabil a văzut atât de multe proiecte care promiteau luna pe un băț și apoi nu face nimic. Și o parte din ele sunt deșeuri necesare, nu? Trebuie să încerci o mulțime de lucruri pentru că este atât de riscant. Dar o parte din asta nu avea să funcționeze niciodată. Și, așadar, depărtarea acestor două lucruri este absolut esențială aici. Îmi doresc ca echipa de învățare automată să fie cât mai exploratorie și riscantă posibil și nu mai exploratorie și nici mai riscantă decât este necesar.

Încercăm să călcăm două lumi aici. Încercăm să păstrăm aceste principii extrem de ferme ale interfonului: dacă ai de gând să eșuezi, eșuează rapid; începeți cu problema; începe mic, mișcă-te cu pași mici. Încercăm din greu să respectăm aceste principii. Dar facem cercetările și lucrurile riscante atunci când avem nevoie, dacă suntem destul de convinși că cineva și-ar dori asta. Vrem să fim foarte, foarte clari cu privire la riscul pe care încercăm să-l eliminăm în fiecare fază a dezvoltării. Deci da, așa funcționăm. Aș spune că suntem mai cercetători decât echipa intercom obișnuită, dar probabil mai atenți la mișcarea în pași mici și la exact riscul pe care încercăm să-l reducem decât marea majoritate a echipelor ML din lume. Cu siguranță, mult mai mult decât ar tinde să fie o echipă de laborator de cercetare.

With that in mind, we've recently hired a designer for the first time in the five years we've had a machine learning team. That's partly because the team is getting a bit bigger and can kind of support that, and since our team has grown, our work is touching more and more parts of the Intercom product, and we can do better than handling the product design ourselves and having a ML engineer figure out the product design envelope. We'll be able to increase the scope of things we can interact with less with disruption to the teams in whose area we're operating.

“Even when you're doing something as simple as testing a ML system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity”

Des Traynor: Is it a different type of design?

Fergal Reid: There is definitely a certain type of design specific to ML and ML products. And we can see this when we're interviewing or interacting with designers in this space. There's sort of a product design or a systems design, and a lot of the time, its aspects are closer to API design than UI design. And obviously, there's a big spectrum here. We have a great design team at Intercom. We have people used to working in all different parts of that spectrum. But there's definitely a difference.

And also, you're looking for quantitative skills to make progress in this space. It's very immature technology. There will come a time, I'm sure, in five, 10 years, I don't know, when Amazon and Google and everyone will have figured out the best API. And it's going to have really nice docs and explain to you all the premises of that space, but we're not there yet. We're a very, very long way away from there. There are just so many trade-offs. Even when you're doing something as simple as testing a machine learning system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity. Some designers are great at that, but for other designers, that wouldn't be how they'd like to work. And so, you're looking for something that treads all those needles at once.

The future of conversations

Des Traynor: We're coming towards the end here. I would like to try a little quick-fire round that I haven't prepared you for at all.

Fergal Reid: Sounds good.

Des Traynor: Here's my proposal. I name a product or a product space, and you tell me something that you think is possible that people don't think about.

Fergal Reid: Oh my God. Bine. This is going to be futuristic and speculative and wrong, but let's do it.

Des Traynor: Let's start. Issue tracking.

Fergal Reid: A lot like customer support. You can probably do a lot more with clustering issues and detecting when a bunch of issues have one root cause. You can probably do much better in terms of the next best action about suggestions and resolutions for common issues you've seen before.

“We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent”

Des Traynor: Cool. This is going well. Project management apps. Say Basecamp or Asana or something like that.

Fergal Reid: Project management apps. Probably an insights layer, and you can build on top of that stuff. People always say that. It's always easy to say and extremely difficult to make an insights product work, but it's probably an insights layer. There's probably a lot you can do with unstructured assets that are part of the project you're tracking, and you can start to make sense of those that you couldn't in the past. Definitely field research, but there's probably something there.

Des Traynor: Cool. Paul, do you have any?

Paul Adams: Well, one hot space we mentioned earlier is communication products. I'm thinking about Gmail, for example. Gmail was the same for the best part of a decade. And now, suddenly, it feels like there's an explosion in all sorts of cool things happening in Gmail.

Fergal Reid: This is going to sound very self-serving, but I think that the sort of domain we're in at Intercom is going to drive a lot of extremely exciting innovation that is going to percolate out to broader, more horizontal products like Gmail. To give an example of why I think this: if you look at our customers as they use Intercom, they're having so many of the same conversations again and again. There's so much structure in that domain. It's this mix of unstructured texts that they're writing, but then there's so much structure to the conversation, whereas Gmail is broad and horizontal. If you look at my inbox, any email could be completely different than the last. So, I feel that companies like us working in areas like customer support are going to be in a great position to innovate because there's just so much structure to take advantage of there. You're going to have suggestions, recommendations, and automation. And I think that will percolate out. That will go out to these broader, more horizontal products after it has proven its business value. We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent. It's starting to scratch that direction, and we're going to see more and more of that.

Paul Adams: It's easy for me to imagine a world where a WhatsApp exchange between any one of us is literally just tap, reply. Tap, reply. Tap, reply.

Des Traynor: We're trying to go for dinner. Here are four places. Bang. What time? Bang.

Paul Adams: But literally, you're just inserting the recommended content.

“If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface”

Fergal Reid: Now, is the future of the inbox something where you're sitting almost looking at this dashboard of a conversational tree unfolding and your job is to guide the AI to answer questions for you? Maybe the future of coms and conversations looks a lot less like typing on a keyboard. You're still going to do that sometimes, but maybe 80% of what you do will be much more structured, like guiding the branches on a tree.

Des Traynor: The AI stops augmenting you, you start augmenting it.

Fergal Reid: Exactly, which is good. It's almost like you're managing somebody who's answering your conversations. And that's always my number one thinking tool for AI disruption. Imagine you had a very well-paid, smart human doing the task, and you told them what to do. What would that look like? People were like, “Oh, there'll never be software that automatically programs, or it will never have visual programming. We've tried it a whole bunch of times.” Well, I used to do programming competitions, and if you have a highly skilled developer, you don't say the exact keystrokes. You say, “Oh, now flip the list around. Bine. And then filter out those two things.” If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface. That's a great starting point for where AI could take us.

Des Traynor: That's fascinating. Okay, last question. You mentioned that AI is a disruptive force. If our listeners haven't already embarked upon an AI, ML journey, and let's say they have the budget for a couple of heads, what's the best thing to do?

Fergal Reid: Like any disruptive tech change, the first question is always: Is it still worth ignoring? And how long can you ignore it for? And I'm not saying to race and do something now. Maybe you're in a space where you should continue to ignore this as it matures for another few years. If you can't ignore it, or if you want to do something in this space, I would say to concentrate your resources and your budget and get someone who's got some deep experience at the tech end and enough of a product head on their shoulders that they can go and work with your product team productively. And start exploring opportunities from there. Start building relationships with the designers and the company. Start sketching and figuring out, “Okay, what would be possible to design here?” And start mocking up some designs. Do they look exciting? Do they look good? Show them to your customers. Get customer feedback and take it from there.

After that, you're into the standard product development – how do you know how to resource something or not? But yeah, concentrate your resources and get someone who knows what you're doing as much as possible, and then have them pair with your existing organizational assets. Don't go and say, “We're going to do some blue sky thinking. We're going to start a new lab and put it off-site, and they're going to go and build nothing for two years, and it'll be very impressive.” No, definitely tread that balance. That's what it's all about. It's about marrying and balancing technology and design.

Des Traynor: Fergal Reid, thank you very much for joining us. Thank you, Paul. And we'll see you all again for Intercom on Product. Take care, everyone.