La nuova alba del Machine Learning

Siamo stati qui prima. Tra buzz mediatico, affermazioni esagerate e lavoro sul campo, a volte è difficile distinguere la fantasia dalla realtà quando si ha a che fare con l'apprendimento automatico. Mentre le reti neurali maturano e si distinguono dal gruppo, la tecnologia può essere all'altezza dell'hype?

Negli ultimi cinque anni, abbiamo visto la tecnologia delle reti neurali decollare davvero da sola. GPT-3 può creare testo simile a quello umano su richiesta e DALL-E, un modello di apprendimento automatico che genera immagini da messaggi di testo, è esploso in popolarità sui social media, rispondendo alle domande più urgenti del mondo come "cosa farebbe Darth Vader sembra una pesca sul ghiaccio?" o "come sarebbe Walter White se fosse in Animal Crossing?"

Volevamo sapere cosa sta succedendo con questa ondata, quindi abbiamo chiesto al nostro Direttore del Machine Learning, Fergal Reid, se possiamo scegliere il suo cervello per l'episodio di oggi. Nonostante il lavoro sia ancora un atto di equilibrio tra ciò che è possibile e ciò che è fattibile, le cose, a quanto pare, stanno appena iniziando a crescere. Il panorama tecnologico sta cambiando, le applicazioni aziendali stanno (potenzialmente) rivoluzionarie e, avviso spoiler, Fergal crede fermamente al clamore.

Nell'episodio di oggi di Intercom on Product, Paul Adams, il nostro Chief Product Officer, e io ci siamo seduti con Fergal Reid per parlare del recente ronzio che circonda le reti neurali, di come l'apprendimento automatico sta alimentando le aziende e cosa possiamo aspettarci dalla tecnologia nel prossimi anni.

Ecco alcuni dei nostri asporto preferiti dalla conversazione:

• Le reti neurali hanno fatto progressi significativi negli ultimi cinque anni e ora sono il modo migliore per gestire dati non strutturati come testo, immagini o suoni su larga scala.
• In CX, le reti neurali verranno probabilmente utilizzate con metodi di apprendimento automatico più tradizionali per scegliere azioni che forniscano la migliore interazione possibile con il cliente.
• La creazione di prodotti ML richiede equilibrio: è inutile iniziare con il problema se la soluzione è irraggiungibile, ma non dovresti iniziare con la tecnologia se non può soddisfare le reali esigenze dei clienti.
• L'IA è stata piuttosto sopravvalutata in passato. Sebbene sia probabile che reclami più realistici chiudano meno account, si ripaga nella fidelizzazione dei clienti.
• I team di ML tendono a investire una giusta quota di risorse nella ricerca che non viene mai spedita. Abbinalo il più possibile a progetti che abbiano un impatto effettivo sull'esperienza del cliente.
• Se vuoi investire in ML, assumi qualcuno con esperienza sia sul lato tecnico che operativo in modo che possa iniziare a lavorare con il team di prodotto fin dal primo giorno.

Se ti piace la nostra discussione, dai un'occhiata ad altri episodi del nostro podcast. Puoi seguire su iTunes, Spotify, YouTube o prendere il feed RSS nel tuo lettore preferito. Quella che segue è una trascrizione leggermente modificata dell'episodio.

L'hype risponde

Des Traynor: Benvenuto in Intercom On Product, episodio 18. Oggi abbiamo un argomento interessante di cui discutere. Si tratta di intelligenza artificiale e apprendimento automatico. Sono affiancato, come sempre, dal Chief Product Officer di Intercom, il signor Paul Adams. Paolo, come stai?

Paul Adams: Sto bene, Des. Grazie.

Des Traynor: E oggi abbiamo un ospite speciale, il signor Fergal Reid, che è il nostro Direttore del Machine Learning. Fergal, come va?

Fergal Reid: Va bene, Des. Sono davvero felice di essere sul podcast oggi. Non vedo l'ora di entrarci.

Des Traynor: Eccellente. Penso che tu sia il nostro primo o secondo ospite in assoluto, quindi dovresti sentirti molto, molto grato.

Fergal Reid: Mi sento molto privilegiato, davvero.

"Abbiamo assistito a un continuo progresso di qualcosa di nuovo ed eccitante - la tecnologia basata sulle reti neurali - che inizia davvero a farsi valere e ad essere utile"

Des Traynor: Bene, cominciamo dalla fine, in un certo senso. Sembra che la macchina dell'hype AI sia di nuovo in overdrive. Questo accade ogni pochi anni dal mio punto di vista, ma quello che posso davvero vedere accadere sono le persone che creano molta arte. La generazione DALL-E è iniziata e alcune delle immagini create sono mozzafiato. L'altro giorno, ho visto che c'era un mercato per i prompt DALL-E in cui puoi letteralmente acquistare prompt che creano immagini per te, il che è meta come si arriva. In un senso più pratico, il copilota GitHub ora può aumentare il tuo codice mentre scrivi, il che è piuttosto incredibile; Ho giocato con GPT-3 di OpenAI e ho posto le domande e ho lasciato che creasse piccoli paragrafi e storie per me, ed è stato piuttosto impressionante. Se ingrandiamo un po', cosa sta succedendo? È successo qualcosa negli ultimi tempi? Ha a che fare con qualche particolare catena di eventi? Che cosa succede?

Fergal Reid: È una cosa complessa da disfare – c'è molto da fare. Ci sono così tanti investimenti in quest'area dell'IA e dell'apprendimento automatico tra le aziende, quindi è difficile disimballare esattamente cosa sta succedendo. Se guardi ad arxiv, dove le persone mettono i loro documenti di apprendimento automatico, c'è un torrente di cose nuove ogni giorno. Quindi, è difficile percorrere una narrazione attraverso questo. A mio parere, negli ultimi cinque anni, abbiamo assistito a un continuo progresso di qualcosa di nuovo ed eccitante - la tecnologia basata sulle reti neurali - che ha iniziato a manifestarsi e ad essere utile. Hai menzionato GPT-3, OpenAI, ed è quello che chiamiamo un modello linguistico di grandi dimensioni, che è una grande rete neurale che cerca di prevedere la parola successiva e una sequenza di parole che vede. E lo stanno solo aumentando. Hanno semplicemente aggiunto sempre più computer e ha iniziato a fare cose incredibili.

Des Traynor: Quindi, forse solo un paio di definizioni del dizionario. Quindi, aggiungendo più elaborazione, è più potenza della CPU?

Fergal Reid: Sì, esatto. Per tornare indietro nel tempo, le CPU dei nostri computer, il cervello dei nostri computer, erano davvero molto veloci nel fare cose di uso generale. E forse tra la metà e la fine degli anni Novanta, guidato principalmente da videogiochi e cose del genere, abbiamo avuto questo mercato di massa dell'adozione di queste GPU o unità di elaborazione grafica.

Des Traynor: Ti piacciono le schede video e roba del genere?

Fergal Reid: Nelle schede video e nella tua scheda 3dfx e tutto il resto. Ed erano davvero bravi a creare grafica per giochi per computer. Poi, all'inizio degli anni 2000, le persone dicevano: "Oh, il tipo di operazioni che facciamo per i videogiochi sono davvero buone per la matrice e la moltiplicazione". E si scopre che questo genere di cose è anche molto utile per le operazioni che devi fare quando stai addestrando una rete neurale. E così, dopo molto tempo, il valore delle azioni video va alle stelle perché c'è un'IA e una rivoluzione del mining di criptovalute.

L'ascesa delle reti neurali

Des Traynor: Hai fatto riferimento a una nuova adozione del lavoro sulle reti neurali. Mi sembra di aver sentito parlare di loro quando ero al college, ai tempi. C'è stato solo più lavoro in loro? Sono emersi come un modo principale per fare l'apprendimento automatico? C'è un'alternativa da cui ci siamo allontanati?

Fergal Reid: Sì, direi che c'è un'alternativa da cui ci siamo allontanati. Ora, non voglio vendere eccessivamente le reti neurali. Le reti neurali sono la nuova moda e quasi tutte le scoperte che hai visto negli ultimi cinque anni riguardano le reti neurali. Tuttavia, questa è una sottosezione dell'apprendimento automatico. Nel team di machine learning qui a Intercom, le reti neurali rappresentano forse il 30% di ciò che facciamo, utilizzando le stesse cose di progressione logistica per prevedere cosa farà dopo.

Quando ci sono dati non strutturati come masse di testo o immagini o suoni, le reti neurali sono ora sicuramente il modo migliore per gestire quei dati. Per le scoperte che stai vedendo - il materiale visivo, il materiale sonoro, la sintesi del testo - hai bisogno di un modello enorme che possa davvero catturare molte dipendenze in quei dati e le reti neurali sono il modo principale per farlo. Le persone hanno investito molto nel renderle scalabili e puoi gestirle molto più grandi. Alcuni dei modelli di cui stai leggendo potrebbero costare $ 10 milioni di calcoli solo per addestrare quel modello.

"In passato, per qualsiasi testo non strutturato o dati di immagine, lo guardavamo da una prospettiva di apprendimento automatico e dicevamo, 'Non so cosa fare qui'"

Ci sono un certo numero di cose in corso. Stiamo migliorando nell'addestrarli su larga scala. Stiamo migliorando nell'esprimere il problema in un modo in cui possiamo fare progressi e dare un senso. Nel video, continuiamo a migliorare le prestazioni. Quindi, ci sono state molte rivoluzioni tecnologiche. È una confluenza di un sacco di tendenze diverse.

Des Traynor: Per passare all'aspetto del prodotto, cosa è possibile ora che non lo fosse prima? DALL-E può ricevere un prompt e produrre un'immagine; GPT-3 può produrre testo generato dall'aspetto piuttosto realistico. Se volevi analizzare un carico di testo e capire cosa sta dicendo, ridurlo o semplificarlo o controllare il sentimento o altro, c'è una sorta di elenco di capacità che ora abbiamo? Il motivo per cui lo sto chiedendo è che sto cercando di legare questo più vicino a come dovrebbero pensare i PM.

Fergal Reid: Sì, ci sono diversi modi di pensare a questo. In passato, per qualsiasi testo non strutturato o dati di immagine, lo guardavamo da una prospettiva di apprendimento automatico e dicevamo: "Non so cosa fare qui. La dimensione di questo e il numero di possibili paragrafi di testo che potrebbero essere nel mio documento sono pazzeschi. Non so come affrontarlo con l'apprendimento automatico tradizionale". E puoi fare cose come estrarre funzionalità, dire "Ho intenzione di rompere questo in un sacco di parole ed estrarre roba". Ma ciò che è diverso ora è che i tuoi metodi per lavorare con quei dati funzioneranno molto meglio di quanto avrebbero fatto in passato. E non hai bisogno di tanta ingegneria manuale delle funzionalità. Puoi usare una rete neurale.

Stiamo iniziando a vedere passaggi intermedi, strati intermedi emergenti. C'è questa cosa che chiamiamo incorporamenti, in cui puoi prendere una di queste grandi reti neurali che sono state addestrate su una tonnellata di dati di testo, e poi verrebbero rilasciate da Google o da uno dei grandi giocatori, che spendono quei $ 10 milioni per allenamento, e puoi usarlo per prendere qualsiasi testo che gli dai per convertirlo in un vettore di numeri. Quindi, puoi fare cose con quel vettore di numeri. Quindi, c'è stata una tecnologia rivoluzionaria, ma ha fornito elementi costitutivi con cui le startup possono effettivamente lavorare per realizzare prodotti.

"Se ti trovi in ​​un ecosistema di startup che ha a che fare con molti dati non strutturati, volumi particolarmente grandi, dove forse stai cercando di prendere decisioni con esso, dovresti assolutamente prestare attenzione"

Des Traynor: Quindi, il primo X percento viene fatto per te dalle aziende più grandi?

Fergal Reid: Esattamente. O anche un consorzio aperto. Ci sono persone che formano un consorzio che mette insieme molti soldi per formare qualcosa di grande che viene poi rilasciato.

Des Traynor: Quindi, se il tuo prodotto include molto testo scritto da persone, creando risposte, scrivendolo, analizzandolo o comprendendolo, dovresti presumere che il terreno si sia spostato sotto i tuoi piedi negli ultimi due anni?

Fergal Reid: Sì, penso che sia una giusta ipotesi. Se ti trovi in ​​un ecosistema di startup che ha a che fare con molti dati non strutturati, in particolare volumi di grandi dimensioni, in cui forse stai cercando di prendere decisioni con essi, dovresti assolutamente prestare attenzione. Il panorama delle capacità è cambiato. 10 anni fa, non c'era nulla di cui doversi preoccupare, ma ora forse c'è qualcosa di interessante che puoi costruire che prima non potevi. Stiamo iniziando a vedere un cambiamento in cose semplici come la ricerca. Sei, sette anni fa, avresti ottenuto Elasticsearch o qualcosa del genere e utilizzeresti questi algoritmi collaudati per gestire la tua ricerca. Ora puoi usare la ricerca neurale. E stiamo iniziando a vedere tecnologie e prodotti emergenti in quello spazio.

Alla ricerca della prossima azione migliore

Paul Adams: Una cosa che mi piacerebbe chiederti sono i prodotti che promettono la prossima azione migliore. Penso che questo sia importante per i team di prodotto per due motivi. Uno sono solo i prodotti in quello spazio: se hai un prodotto per la comunicazione con i clienti o un prodotto per i team di vendita, ci sono molte promesse nel dire al venditore qual è la prossima azione migliore. E i team di prodotto spesso cercano di convincere i loro clienti e utenti a fare di più e coinvolgere di più, quindi è uno strumento per loro di guidare la crescita. Quanto di questo è clamore? Quanto è reale?

Fergal Reid: C'è sempre un problema con questi prodotti di apprendimento automatico, e lo dico come qualcuno che costruisce prodotti di apprendimento automatico per vivere, il che è molto difficile dire quanto sia clamore e quanto sia reale dall'esterno. Non posso parlare di prodotti specifici a meno che non li abbia analizzati e confrontati. Direi che la prossima migliore azione d'azione è in realtà meno probabile che siano le reti neurali. O se sono lì, saranno lì come un componente di esso. Per metterlo in un contesto Intercom, prenderò il testo della conversazione che sta avvenendo tra il rappresentante dell'assistenza e l'utente finale e userò gli incorporamenti per cercare di dare un senso a questo. Ma poi, probabilmente lo metterò insieme a una serie di altri segnali su cosa sta succedendo, forse il valore dell'account o dove si trova il cliente nel percorso del cliente, e userò un classificatore o regressore di machine learning più tradizionale per provare a prevedere: "Ok, qual è la prossima cosa migliore che potrei fare?"

“Man mano che la precisione aumenta, aumenta, aumenta, supera una soglia critica in cui è come, 'Non è sempre giusto, ma è utile e non devo pensare. Aiuta '”

E questa roba funziona abbastanza bene. Abbiamo funzionalità nei nostri prodotti che utilizzano metodi di apprendimento automatico più tradizionali che tentano di prevedere, ad esempio, ciò che qualcuno sta per chiedere quando accede a un sito Web e apre il messenger. Lo facciamo in base a tutti i dati e i segnali che abbiamo su quell'utente e funziona abbastanza bene. Se riesci a fare buone previsioni con questo, è un breve passo da lì a qualcosa di più generale che è la prossima migliore azione.

Scommetto che quella roba funziona abbastanza bene. Avrei ragionevoli aspettative di precisione. Tutte queste cose funzionano bene quando aumentano e aiutano qualcuno. Se la precisione è troppo bassa, è come: "Oh, questo è fastidioso. È schifoso. Non vale la pena prestarci attenzione". Ma poi, man mano che la precisione aumenta, aumenta, aumenta, supera una soglia critica in cui è come: "Non è sempre giusto, ma è utile e non devo pensare. Posso solo guardarlo e riconoscere che aiuta”. Questo è ciò che stiamo cercando con questi prodotti e sono sicuro che ci sono persone nel settore che hanno cose del genere.

Des Traynor: Sì. Mi sento come se il completamento automatico di Gmail avesse superato quella scogliera percettiva in cui non avrei disattivato quella funzione. Stai digitando una risposta, indovina le prossime due cose che dirai e puoi premere tab, e forse cambieresti una frase o una parola o qualcosa del genere, ma è direzionalmente più prezioso che no.

"Vedo un futuro in cui possiamo imparare quali suggerimenti richiedono il comportamento dei compagni di squadra che offre una migliore CSAT o un migliore lifetime value del cliente in modo vantaggioso per tutti"

Paul Adams: Comunque è divertente. Penso che cambi comportamento. Guardo il suggerimento e dico: "Non lo direi, ma è abbastanza vicino". Scheda, scheda, scheda. Entra, invia.

Fergal Reid: Mi chiedo se fanno mai esperimenti in cui misurano le suggestioni e il sentimento delle suggestioni che producono e come hanno cambiato il mondo reale. Facebook ha fatto infamemente alcuni esperimenti come questo nel corso della giornata. Se guardi a qualcosa come Intercom, vedo un futuro in cui stiamo iniziando a fornire consigli di risposta intelligenti all'interno della posta in arrivo. Vedo un futuro in cui possiamo imparare quali suggerimenti richiedono il comportamento dei compagni di squadra che offre una migliore CSAT o un migliore valore della vita del cliente in modo vantaggioso per tutti. Quei prompt a basso attrito. Ci penso ogni volta che scrivo "ti amo" a mia moglie. A volte ricevo il suggerimento per "ti amo" e sono tipo "lo sto scrivendo io stesso".

Des Traynor: Sì. C'è qualcosa di più coloniale in questo: diamo forma ai nostri strumenti e i nostri strumenti ci modellano. Si potrebbe immaginare che un rappresentante CS appena inserito in un team che utilizza Intercom finirà effettivamente per parlare e digitare in modo molto simile ai suoi colleghi in base al fatto che Intercom sta dicendo loro che questo è il comportamento che sembra funzionare meglio. È quasi come una scuola per l'assistenza clienti.

Fergal Reid: Abbiamo parlato con alcuni clienti che hanno adorato l'idea di una rampa di allenamento a basso attrito per le nuove ripetizioni, che sembra la migliore pratica. Questo è ciò che il sistema ti spinge a fare in modo positivo.

Problema contro tecnologia

Des Traynor: Se torniamo a un livello superiore, sento che gran parte della narrativa, anche quando, diciamo, DALL-E è uscito, i thread più popolari su di esso erano cose del tipo "Qualcuno può nominare un buon caso d'uso per questo?" Oppure: "Ecco la mia idea migliore". Ovviamente, la mente di tutti dice: "Oh, potresti creare un'azienda di t-shirt" o qualsiasi altra cosa. La mia migliore pugnalata a ciò per cui potrebbe essere utile è la capacità di annotare un libro di fiabe per bambini. Immagina uno strumento in cui c'è un tipo di storia di un bambino e le immagini sembrerebbero aumentarlo. Potresti anche vedere come potrebbe essere un plug-in per Squarespace o Mailchimp per sostituire la fotografia stock. Keynote o Presentazioni Google sarebbero simili.

Sento che ci stiamo avvicinando a questo all'indietro, però. Stiamo dicendo: "Dato che ora possiamo prendere testo e produrre immagini, costruiamoci un'azienda", che non è da dove provengono le migliori aziende. Di solito, tendono a voler risolvere un problema nel mondo. Qual è il modo migliore per un fan o un PM di pensare a questo spazio? In generale, probabilmente sono ossessionati da un problema, non da un particolare pezzo della nuova tecnologia neurale.

Fergal Reid: Questa è una domanda molto complessa. Molte volte, il consiglio standard è che se stai costruendo una nuova startup tecnologica, non vuoi mai essere una soluzione alla ricerca di un problema. Vuoi trovare un vero problema concreto e poi avvicinarti a una soluzione. Penso che sia generalmente un buon consiglio. In Intercom, abbiamo un principio per iniziare con il problema. Ma penso che ci siano delle eccezioni. Con una tecnologia davvero dirompente, in cui dici: "Qualcosa sta cambiando il mondo, sta cambiando il panorama, qui ci sono nuove capacità e non so a cosa serva, ma so che sarà rivoluzionario per qualcosa, “Penso che sia giusto iniziare con la soluzione e poi cercare i problemi.

"Non ha senso iniziare con il problema se stai cercando di costruire una soluzione tecnologica che semplicemente non è ancora in grado"

Credo che il clamore su ML e AI in questo momento. Direi che questa volta è reale, quindi è un gioco leale dire: "Guarda, abbiamo una capacità rivoluzionaria qui. Dove sono tutte le grandi opportunità in cui questo può essere applicato?" Poi, ovviamente, c'è un'interazione. Quando pensi di aver trovato un'opportunità, probabilmente vorrai iniziare con il problema.

Il team di machine learning qui a Intercom è un po' insolito rispetto ad altri team. Ci adattiamo ai principi del prodotto un po' più di quanto facciano gli altri team perché dobbiamo trovarci in questo spazio grigio tra l'inizio del problema e la tecnologia. Non ha senso iniziare con il problema se stai cercando di creare una soluzione tecnologica che non è ancora in grado di funzionare. Quindi, dobbiamo iniziare un po' con la tecnologia, fare un po' di prototipazione, avere un'idea di cosa è possibile, e poi affrontare il problema e chiederci: "È utile o no?"

Des Traynor: È quasi come se dovessi guardare sia la domanda che l'offerta dell'innovazione, in un certo senso. Tra tutti i problemi che possiamo risolvere e le capacità che abbiamo, dov'è una buona azienda nell'interconnessione? Se prendiamo il nostro prodotto Resolution Bot, come lo articolare come un abbinamento problema/soluzione?

“Con Resolution Bot non abbiamo utilizzato reti neurali o altro per la nostra versione uno, ma avevamo la convinzione che fosse possibile costruire qualcosa di buono qui”

Fergal Reid: Quando abbiamo iniziato, eravamo consapevoli che c'era un cambiamento nella tecnologia e nel panorama dei prodotti in cui i robot erano stati davvero poveri e stavano iniziando a fornire esperienze avvincenti in circostanze molto limitate in cui, "Ok, c'è qualcosa qui .” E poi è stato come, "Ok, possiamo prendere il nostro dominio particolare, possiamo prendere chat e conversazioni e vedere se c'è quel matrimonio, quella corrispondenza tra il problema e la tecnologia che darà grandi esperienze ai clienti?"

Con Resolution Bot non abbiamo utilizzato reti neurali o altro per la nostra versione uno, ma avevamo la convinzione che fosse possibile costruire qualcosa di buono qui. Abbiamo costruito un investimento tecnologico minimo, convalidato che un prototipo scadente messo insieme avrebbe effettivamente aiutato i clienti e che le persone lo avrebbero effettivamente voluto, l'abbiamo ridotto al rischio, quindi l'abbiamo ripetuto, ripetuto e ripetuto. Ora siamo alla versione tre o quattro della nostra tecnologia e utilizza reti neurali molto moderne e fantasiose e offre prestazioni e precisione ai vertici della categoria. Ma la prima versione era Elasticsearch pronta all'uso solo per convalidare che questo avrebbe effettivamente aiutato le persone.

Vuoi guidare quella ricerca. Vuoi dire: "So che c'è qualcosa di buono in questa direzione generale dello spazio prodotto". Non finirò con una richiesta convalidata per un prodotto impossibile da fornire. Non vuoi essere lì. Inoltre, non vuoi dire "Ho un algoritmo straordinario che sposterà sicuramente l'ago per qualcosa che non interessa a nessuno". Devi scorrere su entrambi i lati dell'equazione e trovare una zona di atterraggio nel mezzo.

Troppo bello per essere vero?

Paul Adams: In realtà c'è una terza gamba dello sgabello. C'è un problema, c'è una soluzione, e poi c'è la storia, o quello che puoi dire a riguardo. Una delle cose con cui ho lottato quando si tratta di intelligenza artificiale e apprendimento automatico è ciò che ti senti bene a dire esternamente e ciò che le altre persone dicono esternamente. Nel peggiore dei casi, c'è una tragedia di comunicazioni in cui tutte le aziende escono e fanno affermazioni enormi, e le persone che sanno davvero di cosa stanno parlando dicono: "Sono affermazioni ridicole". “Ma c'è questo dilemma competitivo. Se il nostro concorrente dice 80%, e non c'è modo di pensare che possano ottenerlo, ma il nostro è 50, cosa ne pensi? Cosa ne pensi delle affermazioni che puoi fare e dell'equilibrio tra il problema, la soluzione e la storia?

“Mi imbatto in prodotti sul mercato e valuto le loro affermazioni, e sono tipo, 'Lo fa davvero? Come lo valuti?'”

Fergal Reid: Voglio dire, è molto difficile. Penso che separerei lo sviluppo interno del prodotto dal successo nel mercato. Con lo sviluppo interno del prodotto, e questo è vero in Intercom, se vengo e dico: "Ehi, ragazzi, sono abbastanza sicuro che possiamo offrire un'esperienza di prodotto abbastanza buona", sono almeno responsabile se si scopre che è non è affatto il caso. Quindi, internamente, devi lavorare con le persone e spiegare bene le cose, ma almeno gli incentivi sono allineati.

Esternamente, quando le persone competono sul mercato con prodotti di apprendimento automatico, è davvero difficile. Mi imbatto in prodotti sul mercato e valuto le loro affermazioni, e sono tipo: "Lo fa davvero? Come lo valuti?” Anche se vedo un nuovo documento di ricerca che promette qualcosa di straordinario, e contiene esempi di "l'abbiamo detto all'IA, e questo è quello che ha risposto", la mia prima domanda è sempre del tipo: "Beh, è ​​stata una scelta esempio? Lo fa 9 volte su 10 o una volta su 10?" Perché è molto diverso a seconda di ciascuno. C'è sempre questo implicito, "beh, qual è la performance, in realtà?" Non puoi davvero dirlo a meno che tu non faccia una sorta di testa a testa in cui ti siedi e ci giochi. I nostri clienti stanno facendo più prove di concetti e valutazioni testa a testa, e questo lo adoro. È magnifico. Questo è ciò che vogliamo vedere.

"Puoi sicuramente promettere troppo, consegnare troppo poco e poi guardare l'andamento dell'account"

In termini di spazio in generale, penso che le persone rendano le demo pubblicamente disponibili sempre di più. Le persone vanno a DALL-E 2 e ottengono l'accesso a ricercatori indipendenti prima. Oppure scrivono cose sui giornali dicendo: "questo è ciò che produce in una corsa su un prompt standard". Questo aiuta le persone a capirlo.

Des Traynor: C'è una domanda sul tipo di entrate che vuoi perché puoi sicuramente promettere troppo, consegnare troppo poco e poi guardare il conto cambiare. Oppure puoi dire: "Ecco cosa pensiamo di poter fare per te", rischi di perdere l'accordo, ma sappi che se si convertono, otterranno ciò per cui si sono convertiti. Penso che sia un mondo pericoloso in cui trovarsi – prendere la strada principale contro la strada inferiore; prendendo i clienti che otterranno esattamente ciò che pensavano di ottenere rispetto a ottenere molti clienti arrabbiati nel mese 11 perché non si sono avvicinati affatto a ciò che speravano. È una sfida.

Fergal Reid: È una sfida e ci sono così tante sfaccettature in quella sfida. Dobbiamo gestire anche le aspettative. L'apprendimento automatico sta migliorando molto, ma non è ancora perfetto. A volte abbiamo clienti che acquistano il nostro Resolution Bot, ed è buono, il migliore della categoria, ma fa ancora errori. Ogni prodotto software commette ancora errori. Quindi devi gestire le aspettative di tutte le parti per avere quella relazione positiva.

Des Traynor: Come pensi dell'apprendimento automatico delle risorse? In Intercom, abbiamo un team guidato da te che è separato da tutti i team e quindi partner per fornire funzionalità di apprendimento automatico. Pensi che resterà così? Pensi che i team dovrebbero avere ingegneri ML incorporati? Ogni team di Intercom ha il suo designer: non abbiamo un team di design che va in giro alla ricerca di pezzi di design da aggiungere. Ha senso così com'è? Per i nostri ascoltatori là fuori, come potrebbero immergersi? Inizierebbe con una sorta di pod ML dedicato o avrebbe una persona? In che modo le startup dovrebbero iniziare a introdurre il ML?

Fergal Reid: Sono fermamente convinto che un team di apprendimento automatico centralizzato sia migliore per le organizzazioni delle nostre dimensioni o inferiori a questo punto dello sviluppo tecnologico. Abbiamo a che fare con una tecnologia immatura qui. La tecnologia è difficile da usare e facile da sbagliare. Esiste un insieme di competenze che si sovrappongono alle competenze di ingegneria del software, scienza dei dati o analisi, ma non sono la stessa cosa. Penso che abbia molto senso avere un team centralizzato in grado di lavorare e affinare quel set di abilità e imparare le insidie ​​perché i prodotti di apprendimento automatico hanno insidie ​​uniche. Sono probabilistici. Come accennato, a volte sbagliano. E così, quando progetti o realizzi un prodotto di machine learning, devi davvero sudare. Il tasso di accuratezza è abbastanza buono da fornire una buona esperienza del cliente? Questo è difficile.

"Penso che un modello centralizzato che poi vada ad aiutare su base progetto per progetto sia il modello giusto al momento"

Quando parli con un designer, una cosa che vediamo spesso è che all'inizio è difficile per loro capire che non puoi semplicemente pensare al percorso d'oro in cui tutto va per il verso giusto. Devi considerare tutti i percorsi in cui le cose vanno male e gli errori possono accumularsi. È difficile.

Siamo in questo strano incrocio tra l'ingegneria del software e dobbiamo essere in grado di implementare questi prodotti con la scienza dei dati o la ricerca. Dobbiamo gestire un team di prodotto. Dobbiamo essere snelli ed efficienti, ma dobbiamo anche correre un po' come un gruppo di ricerca in cui creiamo spazio per l'innovazione. Hai passato due settimane a lavorare su qualcosa e non è andato da nessuna parte? Va bene. Dobbiamo essere disposti a investire in questo. Quindi, penso che un modello centralizzato che poi vada ad aiutare su base progetto per progetto sia il modello giusto al momento.

Mantenerlo reale

Des Traynor: Come gestisci il fatto che qualcuno come Fergal dice: "Ehi, Paul, proveremo un prodotto che potrebbe trasformare la natura del nostro prodotto di assistenza clienti, ma potrebbe non funzionare, e potresti non vedere nulla sul primo lato di tutto questo. Allo stesso tempo, qualcuno come me sta dicendo: "Ehi, dobbiamo raggiungere le tabelle di marcia e dobbiamo dire all'azienda cosa stiamo costruendo e dire al team di vendita cosa vendere". Come risolvi questa complessità?

Paul Adams: Come persona che ha lavorato per anni su prodotti che non sono mai stati spediti, ho un tessuto cicatriziale profondo e profondo su qualsiasi annusata di qualcosa che non verrà spedito il prima possibile, il più piccolo possibile.

Des Traynor: Questo sarebbe il tuo ex datore di lavoro, per essere chiari, giusto?

Paul Adams: Sì. Nel mio precedente impiego, sì. Ma dal primo giorno in Intercom, io e Des siamo sempre stati ossessionati dalle spedizioni e dall'inizio in piccolo. Siamo ossessionati dallo scopo e dall'ottenere qualcosa il più velocemente possibile, la soluzione più piccola e rapida al problema che abbiamo identificato. Quindi ho un desiderio che è sempre così.

“Io vengo dal mondo accademico, e chi ha avuto tempo nel mondo accademico ha probabilmente visto tanti progetti che promettevano la luna su un bastone e poi non fanno mai niente”

Ora, ovviamente, questo è diverso. Tuttavia, una domanda a cui mi piacerebbe che Fergal rispondesse – un po' una nota a margine, ma penso che sia importante – quando in precedenza hai risposto alla domanda di Des su come risorse un team di apprendimento automatico, stai parlando degli ingegneri ML . Per quasi tutta la storia del nostro team ML qui, sono stati ingegneri ML. Ma di recente abbiamo assunto un designer ML. Puoi parlarci brevemente anche di questo? Perché penso che questa sia una parte importante della risposta qui. Cosa fa il designer ML e qual è la differenza?

Fergal Reid: Quindi, questa è una domanda difficile. Questo è l'inizio della sua terza settimana, quindi non voglio parlare nel podcast di cosa farà prima di parlarle...

Des Traynor: A un livello superiore. Cosa ne pensi del design del machine learning rispetto al design normale?

Fergal Reid: Fammi invertire di nuovo l'ordine e tornerò su questo. Odio lavorare su cose che non vengono spedite. Ho un dottorato di ricerca, vengo dal mondo accademico e chiunque abbia avuto tempo nel mondo accademico ha probabilmente visto tanti progetti che promettevano la luna su un bastone e poi non fanno mai nulla. E parte di esso è uno spreco necessario, giusto? Devi provare un sacco di cose perché è così rischioso. Ma parte di esso non avrebbe mai funzionato. E quindi separare queste due cose è assolutamente fondamentale qui. Voglio che il team di machine learning sia il più esplorativo e rischioso possibile, non più esplorativo e non più rischioso del necessario.

Cerchiamo di percorrere due mondi qui. Cerchiamo di mantenere questi principi Intercom estremamente fermi: se hai intenzione di fallire, fallisci velocemente; iniziare con il problema; inizia in piccolo, muoviti a piccoli passi. Cerchiamo molto duramente di seguire questi principi. Ma facciamo la ricerca e le cose rischiose quando necessario, se siamo abbastanza convinti che qualcuno lo vorrebbe. Vogliamo essere molto, molto chiari sul rischio che stiamo cercando di eliminare in ogni fase dello sviluppo. Quindi sì, è così che operiamo. Direi che siamo più ricercati rispetto al team Intercom medio, ma probabilmente più attenti a muoverci a piccoli passi e esattamente al rischio che stiamo cercando di ridurre rispetto alla stragrande maggioranza dei team ML nel mondo. Certamente molto più di quanto tenderebbe ad essere un team di un laboratorio di ricerca.

With that in mind, we've recently hired a designer for the first time in the five years we've had a machine learning team. That's partly because the team is getting a bit bigger and can kind of support that, and since our team has grown, our work is touching more and more parts of the Intercom product, and we can do better than handling the product design ourselves and having a ML engineer figure out the product design envelope. We'll be able to increase the scope of things we can interact with less with disruption to the teams in whose area we're operating.

“Even when you're doing something as simple as testing a ML system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity”

Des Traynor: Is it a different type of design?

Fergal Reid: There is definitely a certain type of design specific to ML and ML products. And we can see this when we're interviewing or interacting with designers in this space. There's sort of a product design or a systems design, and a lot of the time, its aspects are closer to API design than UI design. And obviously, there's a big spectrum here. We have a great design team at Intercom. We have people used to working in all different parts of that spectrum. But there's definitely a difference.

And also, you're looking for quantitative skills to make progress in this space. It's very immature technology. There will come a time, I'm sure, in five, 10 years, I don't know, when Amazon and Google and everyone will have figured out the best API. And it's going to have really nice docs and explain to you all the premises of that space, but we're not there yet. We're a very, very long way away from there. There are just so many trade-offs. Even when you're doing something as simple as testing a machine learning system, what if it's not working the way you expected? To unpack that, you've got to be willing to engage with a lot of complexity. Some designers are great at that, but for other designers, that wouldn't be how they'd like to work. And so, you're looking for something that treads all those needles at once.

The future of conversations

Des Traynor: We're coming towards the end here. I would like to try a little quick-fire round that I haven't prepared you for at all.

Fergal Reid: Sounds good.

Des Traynor: Here's my proposal. I name a product or a product space, and you tell me something that you think is possible that people don't think about.

Fergal Reid: Oh my God. Bene. This is going to be futuristic and speculative and wrong, but let's do it.

Des Traynor: Let's start. Issue tracking.

Fergal Reid: A lot like customer support. You can probably do a lot more with clustering issues and detecting when a bunch of issues have one root cause. You can probably do much better in terms of the next best action about suggestions and resolutions for common issues you've seen before.

“We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent”

Des Traynor: Cool. This is going well. Project management apps. Say Basecamp or Asana or something like that.

Fergal Reid: Project management apps. Probably an insights layer, and you can build on top of that stuff. People always say that. It's always easy to say and extremely difficult to make an insights product work, but it's probably an insights layer. There's probably a lot you can do with unstructured assets that are part of the project you're tracking, and you can start to make sense of those that you couldn't in the past. Definitely field research, but there's probably something there.

Des Traynor: Cool. Paul, do you have any?

Paul Adams: Well, one hot space we mentioned earlier is communication products. I'm thinking about Gmail, for example. Gmail was the same for the best part of a decade. And now, suddenly, it feels like there's an explosion in all sorts of cool things happening in Gmail.

Fergal Reid: This is going to sound very self-serving, but I think that the sort of domain we're in at Intercom is going to drive a lot of extremely exciting innovation that is going to percolate out to broader, more horizontal products like Gmail. To give an example of why I think this: if you look at our customers as they use Intercom, they're having so many of the same conversations again and again. There's so much structure in that domain. It's this mix of unstructured texts that they're writing, but then there's so much structure to the conversation, whereas Gmail is broad and horizontal. If you look at my inbox, any email could be completely different than the last. So, I feel that companies like us working in areas like customer support are going to be in a great position to innovate because there's just so much structure to take advantage of there. You're going to have suggestions, recommendations, and automation. And I think that will percolate out. That will go out to these broader, more horizontal products after it has proven its business value. We're heading for a future where any suggestions, smart replies in our inbox, or the Gmail-style ahead suggestions are starting to become an agent. It's starting to scratch that direction, and we're going to see more and more of that.

Paul Adams: It's easy for me to imagine a world where a WhatsApp exchange between any one of us is literally just tap, reply. Tap, reply. Tap, reply.

Des Traynor: We're trying to go for dinner. Here are four places. Bang. What time? Bang.

Paul Adams: But literally, you're just inserting the recommended content.

“If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface”

Fergal Reid: Now, is the future of the inbox something where you're sitting almost looking at this dashboard of a conversational tree unfolding and your job is to guide the AI to answer questions for you? Maybe the future of coms and conversations looks a lot less like typing on a keyboard. You're still going to do that sometimes, but maybe 80% of what you do will be much more structured, like guiding the branches on a tree.

Des Traynor: The AI stops augmenting you, you start augmenting it.

Fergal Reid: Exactly, which is good. It's almost like you're managing somebody who's answering your conversations. And that's always my number one thinking tool for AI disruption. Imagine you had a very well-paid, smart human doing the task, and you told them what to do. What would that look like? People were like, “Oh, there'll never be software that automatically programs, or it will never have visual programming. We've tried it a whole bunch of times.” Well, I used to do programming competitions, and if you have a highly skilled developer, you don't say the exact keystrokes. You say, “Oh, now flip the list around. Bene. And then filter out those two things.” If you ever wonder what the future looks like, put the two humans doing the task where one person's allowed to touch the computer and the other isn't, and see how those two humans interface. That's a great starting point for where AI could take us.

Des Traynor: That's fascinating. Okay, last question. You mentioned that AI is a disruptive force. If our listeners haven't already embarked upon an AI, ML journey, and let's say they have the budget for a couple of heads, what's the best thing to do?

Fergal Reid: Like any disruptive tech change, the first question is always: Is it still worth ignoring? And how long can you ignore it for? And I'm not saying to race and do something now. Maybe you're in a space where you should continue to ignore this as it matures for another few years. If you can't ignore it, or if you want to do something in this space, I would say to concentrate your resources and your budget and get someone who's got some deep experience at the tech end and enough of a product head on their shoulders that they can go and work with your product team productively. And start exploring opportunities from there. Start building relationships with the designers and the company. Start sketching and figuring out, “Okay, what would be possible to design here?” And start mocking up some designs. Do they look exciting? Do they look good? Show them to your customers. Get customer feedback and take it from there.

After that, you're into the standard product development – how do you know how to resource something or not? But yeah, concentrate your resources and get someone who knows what you're doing as much as possible, and then have them pair with your existing organizational assets. Don't go and say, “We're going to do some blue sky thinking. We're going to start a new lab and put it off-site, and they're going to go and build nothing for two years, and it'll be very impressive.” No, definitely tread that balance. That's what it's all about. It's about marrying and balancing technology and design.

Des Traynor: Fergal Reid, thank you very much for joining us. Thank you, Paul. And we'll see you all again for Intercom on Product. Take care, everyone.