L'effetto GPT: una nuova era del servizio clienti

Le recenti scoperte con modelli linguistici di grandi dimensioni hanno superato tutte le nostre aspettative. Abbiamo riunito esperti del settore per una conversazione su GPT e su come plasmerà il futuro del servizio clienti.

Non possiamo dire che ci abbia colto di sorpresa. Per anni, l'industria ha elogiato il potenziale dell'intelligenza artificiale e dell'apprendimento automatico di trasformare radicalmente il modo in cui lavoriamo, soprattutto perché i progressi nella potenza di calcolo e nell'archiviazione dei dati hanno reso possibile l'addestramento di modelli sempre più grandi. Ma non ci aspettavamo esattamente quanto velocemente i recenti progressi nel ChatGPT di OpenAI avrebbero sbloccato nuove possibilità.

In Intercom, abbiamo sempre spedito per imparare. Solo fornendo rapidamente nuove funzionalità possiamo ottenere un feedback adeguato, imparare da esso e ripetere ancora e ancora per servire meglio i nostri clienti. E quindi, naturalmente, è quello che abbiamo fatto con questa nuova tecnologia. Negli ultimi due mesi, abbiamo distribuito alcune funzionalità basate sull'intelligenza artificiale a 160 clienti. E sebbene sia ancora troppo presto per dire come questi modelli linguistici di grandi dimensioni (LLM) si svilupperanno nelle nostre vite, riteniamo di aver raggiunto un punto di svolta cruciale, soprattutto per quanto riguarda il servizio clienti.

E così, la scorsa settimana, abbiamo ospitato un webinar per approfondire i casi di utilizzo aziendale di GPT. Questa ondata di innovazione è diversa dalle ondate passate? Trasformerà il modo in cui lavoriamo e il modo in cui le aziende interagiscono con clienti e prospect? Può innescare una nuova generazione di startup? Per darti un'idea in più, abbiamo invitato un paio di pezzi grossi nella scena delle startup a intervenire.

Nella puntata di oggi ascolterai:

• Ethan Kurzweil, membro del consiglio di amministrazione di Intercom e partner di Bessemer Venture Partners
• Fergal Reid, il nostro direttore del Machine Learning
• Krystal Hu, VC e reporter di startup presso Reuters
• Talia Goldberg, partner di Bessemer Venture Partners

Parleranno di modelli linguistici di grandi dimensioni come ChatGPT, di come le aziende stanno incorporando questa tecnologia e di come modellerà il futuro del settore del servizio clienti.

Poco tempo? Ecco alcuni punti chiave:

• Stiamo iniziando a vedere i casi d'uso appiccicosi dei modelli di linguaggio di grandi dimensioni: c'è un grande potenziale per aumentare il servizio clienti grazie alla sua regolarità e all'uso del linguaggio naturale.
• Per ora, i grandi modelli linguistici dovrebbero aumentare le capacità umane piuttosto che sostituirle, in quanto possono contribuire a rendere i professionisti più produttivi ed efficienti nel loro lavoro.
• Sebbene sia ancora troppo presto per misurare il successo dell'esperimento beta di Intercom, l'adozione e l'utilizzo delle ultime funzionalità basate sull'intelligenza artificiale sono state enormi e il feedback iniziale è molto promettente.
• I modelli di linguaggio di grandi dimensioni possono diventare molto costosi molto rapidamente. Tuttavia, nel tempo, diventeranno più economici e più onnipresenti, consentendo ulteriori sperimentazioni e scoperte.
• Anche se ci sono ancora problemi con le allucinazioni, puoi configurare e vincolare questi modelli per renderli più affidabili quando la situazione richiede un grado di sicurezza più elevato.
• I modelli non sono taglia unica. È probabile che, in futuro, le aziende gestiscano un mix su misura di diversi modelli personalizzabili che si adattano a diversi problemi aziendali.

Se ti piace la nostra discussione, dai un'occhiata ad altri episodi del nostro podcast. Puoi seguire su Apple Podcasts, Spotify, YouTube o prendere il feed RSS nel tuo lettore preferito. Quella che segue è una trascrizione leggermente modificata dell'episodio.

L'ascesa di ChatGPT

Krystal Hu: Grazie mille per tutti coloro che si sono presi il tempo di partecipare. Sono Krystal Hu e mi occupo di venture e startup per Reuters. Come molti di voi sanno, l'intelligenza artificiale e l'ondata di ChatGPT sono entrate in scena negli ultimi mesi e gran parte del mio lavoro è capire la tecnologia e come sta cambiando diversi aspetti della vita. Per l'argomento di oggi, ci concentreremo su come ChatGPT modellerà il futuro del servizio clienti. Discuteremo cosa sono esattamente ChatGPT e modelli di linguaggio di grandi dimensioni, come verrà utilizzata questa tecnologia, l'impatto che avrà sulle tecnologie esistenti e future, come le startup stanno incorporando questa tecnologia e come vengono costruite nuove aziende.

Abbiamo un grande panel oggi con noi. Due fantastici investitori di Bessemer: Talia Goldberg e Ethan Kurzweil. Talia ha sede a San Francisco, investe in Internet di consumo e aziende di software e collabora con aziende come ServiceTitan e Discord. Anche Ethan Kurzweil ha sede a San Francisco e guida gli investitori in una varietà di settori verticali, tra cui piattaforme per sviluppatori, nuove infrastrutture di dati, applicazioni per consumatori digitali e criptovalute.

E poi, avremo il direttore del Machine Learning di Intercom, Fergal Reid, che ci darà uno sguardo dall'interno su come Intercom sta incorporando questa tecnologia nelle sue ultime offerte, comprese alcune funzionalità di assistente AI. Non vedo l'ora di raccogliere i loro cervelli e ascoltare ciò che stanno vedendo sia sul fronte delle startup che delle imprese e sui cambiamenti che GPT potrebbe portare. Durante tutto il processo, se hai domande, sentiti libero di inserire la tua domanda nella chat, e alla fine della conversazione avremo circa 15-20 minuti per esaminare le domande.

Immagino che inizierò con te, Fergal, perché sei il tecnologo nella stanza e sei in prima linea nell'incorporare GPT nelle offerte di Intercom. Forse puoi iniziare dandoci un po' di background e spiegando cosa sono GPT e ChatGPT, e come ti è venuto in mente di incorporare questa tecnologia?

"Non ho intenzione di codificare le regole e non ho intenzione di dire specificamente 'Impara a prevedere X rispetto a Y'"

Fergal Reid: È un momento molto eccitante per la tecnologia. Presumo che molte persone abbiano probabilmente visto ChatGPT a questo punto perché ha appena fatto un'onda così grande. Ma dal punto di vista tecnologico, dalla mia visione ristretta del mondo, sono in Intercom da circa cinque anni e gestisco il team di machine learning. E le cose di apprendimento automatico che abbiamo fatto utilizzano algoritmi che esistono da un po' di tempo, utilizzando algoritmi di apprendimento supervisionato, algoritmi che imparano a distinguere le cose. Puoi dire: "Ehi, prevediamo se qualcuno chiederà una cosa o un'altra". Con questi sistemi di apprendimento automatico, fornisci loro molti dati di addestramento: "Ehi, questo è un esempio se qualcuno ti ha fatto una domanda, e questo è un esempio se qualcuno ti ha fatto un'altra domanda".

E ciò che è nuovo e diverso con questa ultima ondata di IA generativa è che invece di insegnare semplicemente a un modello a prevedere una cosa o l'altra, stai dicendo: “Ehi, modello. Scopri come generare nuovi dati di questo tipo. Scopri come generare un'immagine. Gli dai del testo e impara a generare un'immagine che si associa a quel testo, oppure, con ChatGPT, gli parli e gli dai del testo, e diventa abbastanza bravo a generare più testo in risposta a quello.

"Abbiamo questo modello davvero grande, gli facciamo domande in inglese, gli diciamo di fare le cose in inglese, ed è abbastanza bravo a fare solo quello che gli diciamo"

È solo un modo diverso di fare machine learning. Non scriverò le regole del codice e non dirò specificamente "Impara a prevedere X rispetto a Y". Invece, prenderò una quantità davvero grande di dati di addestramento, creerò un modello che è molto bravo a cercare di prevedere quei dati di addestramento e poi, si spera, posso fargli fare cose utili generando nuovi esempi.

Con ChatGPT, gli chiedi qualcosa dandogli del testo e dicendo: "Genera ciò che viene dopo". E sorprendentemente, è piuttosto utile. Puoi dire "Ehi, ecco una conversazione con l'assistenza clienti, e questo è il riepilogo della conversazione con l'assistenza", quindi consegnarlo a ChatGPT e genererà cosa succederà dopo o cosa si aspetterebbe di vedere dopo. E forse, dici: "Questo è il riassunto", e poi salta fuori un riassunto. E questo è molto utile. È un modo molto generale di costruire funzionalità e sistemi. Invece di codificare un nuovo sistema di apprendimento automatico per ogni piccola cosa, abbiamo questo modello davvero grande, gli facciamo domande in inglese, gli diciamo di fare cose in inglese, ed è abbastanza bravo a fare solo quello che gli diciamo. E così, in Intercom, abbiamo cercato di usarlo per creare funzionalità del prodotto.

Un punto di svolta per il servizio clienti

Krystal Hu: Voglio portare Talia ed Ethan sul palco come prolifici investitori nello spazio. Hai visto un paio di ondate tecnologiche. In che modo questo sull'IA generativa è diverso e quali sono le aree delle applicazioni che ti entusiasmano?

Talia Goldberg: Certo, grazie per avermi ospitato. Questa è stata un'ottima panoramica di cosa sia l'IA generativa. È divertente, proprio prima di questo incontro, stavo guardando un pezzo che abbiamo pubblicato sul nostro blog la scorsa estate, forse otto o nove mesi fa, e questo è stato qualche mese prima del lancio di ChatGPT, ma stavamo iniziando a vedere molto slancio e motivo per essere entusiasti di ciò che stava accadendo con i modelli di linguaggio di grandi dimensioni in particolare, e il potenziale dell'IA e dell'IA generativa come questa nuova ondata davvero potente di intelligenza artificiale.

E avevamo una previsione: "Oggi, meno dell'1% dei contenuti online viene generato utilizzando l'IA e, entro i prossimi 10 anni, prevediamo che almeno il 50% sarà generato o potenziato dall'IA". E ne stavamo discutendo, e abbiamo pensato che fosse una cosa assurda da dire, ma merda, abbiamo sottovalutato la velocità con cui l'IA può trasformare molte delle informazioni che vediamo. Direi che potrebbe essere del 50% entro i prossimi due anni delle nostre interazioni, contenuti e media online. Le implicazioni di ciò, penso, sono vaste in molte informazioni e lavoro di conoscenza, incluso l'assistenza clienti.

"Vedi subito i casi d'uso appiccicosi in cui la tecnologia è pronta per interrompere, migliorare, aumentare e migliorare, e l'assistenza clienti è pronta per questo"

Krystal Hu: Ethan, lavori con Intercom da un po'. È questo il momento che pensi che il servizio clienti stesse aspettando? Perché ritengo che la tecnologia e le opportunità siano d'oro per le applicazioni del servizio clienti come Intercom.

Ethan Kurzweil: Sì, penso che questa sia forse l'applicazione all'avanguardia di modelli linguistici di grandi dimensioni e cosa possono fare. Se fai un passo indietro e pensi ai cambiamenti tecnologici e ai cambiamenti di piattaforma come il momento dello smartphone, il momento dell'iPhone e cose del genere, quello che succede all'inizio è che c'è tutta questa eccitazione e molti sviluppatori e creatori si precipitano in uno spazio, e poi hai questo sbiadimento in cui vedi quali sono le applicazioni all'avanguardia in cui si attacca per prime e quelle in cui non ti fa cadere un po 'in una depressione di disillusione. Penso che probabilmente siamo ancora un po' all'inizio di quella curva, ma vedi subito i casi d'uso appiccicosi in cui la tecnologia è pronta per interrompere, migliorare, aumentare e migliorare, e l'assistenza clienti è dritta verso il fairway per quello.

Lavoro con Intercom ormai da quasi otto anni e mezzo e Intercom è sempre stato un team in prima linea nell'adottare nuove tecnologie quando sono pronte. E ricordo che due o tre anni fa la gente diceva: "Automazione, automazione, automazione". E la leadership di prodotto di Intercom diceva sempre: “Non è ancora abbastanza buono. Possiamo farlo, possiamo inserirlo in modo tale da poter spuntare una casella su qualche modulo di richiesta di funzionalità, ma non porterà a un flusso davvero buono come quello umano. Intercom è sempre stata fondata attorno a questa idea di rendere personale il business di Internet. E se hai un bot che non suona personale, è ortogonale a quello.

Il fatto che Intercom lo stia utilizzando con successo nel loro flusso mostra che la tecnologia è pronta e che questa è una delle tante, molte cose su cui vedremo l'impatto. Non tutto subito, ma con il tempo vedremo un impatto molto maggiore dando a una macchina la capacità di conversare in modo umano.

"Osserva la curva e il tasso di miglioramento, e sarà ancora meglio tra qualche mese, tra qualche trimestre e tra qualche anno"

Talia Goldberg: Se posso aggiungere una cosa, penso che l'assistenza clienti sia l'area iniziale perfetta per l'IA per iniziare ad avere un impatto. E uno dei motivi è che usa il linguaggio naturale. Puoi comunicare con l'IA usando l'inglese e risponderà in inglese. Non è necessario codificare: genera informazioni. Ed è così che funziona il servizio clienti e l'assistenza: generare esperienze fantastiche e simili a quelle umane che possono essere personalizzate, risolvere reclami e migliorare sempre di più nel tempo. Quindi, ottieni anche questo fantastico ciclo di feedback utilizzandolo nell'assistenza clienti.

Anche se oggi potrebbero esserci alcune sfide e cose che sono approssimative, la tecnologia e il potenziale sono già davvero grandiosi, come ha detto Ethan. Guardi la curva e il tasso di miglioramento, e sarà ancora meglio tra qualche mese, tra qualche trimestre e tra qualche anno. È una delle categorie di cui siamo più entusiasti e pensiamo che ogni azienda possa trarne vantaggio e debba pensarci.

Krystal Hu: Fergal, questo è il momento giusto per darci una panoramica del recente lancio di funzionalità su Intercom e di come hai incorporato ChatGPT in esso.

Fergal Reid: Assolutamente. E solo per fare eco ai sentimenti di Talia ed Ethan qui, c'è così tanta struttura nel dominio, ci sono così tante cose che fa un agente dell'assistenza clienti dove stanno facendo di nuovo la stessa cosa che hanno fatto l'ultimo giorno, o che forse uno dei loro compagni di squadra ha già fatto, e c'è così tanta regolarità e struttura che sembra davvero maturo per un sistema che apprende e utilizza l'intelligenza artificiale per rendere le persone più veloci.

“Abbiamo ritenuto che il posto migliore per iniziare fosse con un essere umano nel giro. Qualcuno è stato inserito nella Posta in arrivo e vogliamo renderlo più veloce, ma sono comunque in grado di controllarlo e approvarlo"

Quando ChatGPT è stato lanciato, allo stesso tempo, OpenAI ha rilasciato questo nuovo modello per l'uso da parte degli sviluppatori, text-davinci-003. Abbiamo una relazione con OpenAI da molto tempo e, quando abbiamo esaminato quel modello, abbiamo sentito che stava davvero superando una soglia di utilità e che potevamo costruire con esso. E così, abbiamo fatto alcuni benchmark iniziali. Le persone trascorrono molto tempo nella Posta in arrivo e una cosa che devono fare molto è scrivere riassunti della conversazione che hanno appena guardato prima di consegnarla. Questa tecnologia sembrava essere davvero eccezionale nel fare riepiloghi conversazionali e ci siamo detti: "Possiamo creare una funzionalità che faccia questo e distribuirla ai nostri clienti beta?" Intercom ha questo principio di "nave per imparare". Crediamo nell'invio di nuove funzionalità in modo estremamente rapido ai clienti, in modo da poter sapere se ha risolto un problema o se è più una curiosità.

E così, fondamentalmente, all'inizio di dicembre, abbiamo avviato un progetto per vedere se potevamo fornire rapidamente alcune funzionalità che avrebbero funzionato con i rappresentanti dell'assistenza clienti nell'effettiva Posta in arrivo per renderle più veloci. Uno era il riepilogo, con altre funzionalità che li aiutavano a comporre il testo più velocemente. E abbiamo davvero pensato che fosse il posto giusto per iniziare con questa tecnologia perché l'IA generativa ha uno svantaggio. Non è sempre così preciso come potresti pensare. È facile guardare ChatGPT, porre una domanda, ti dà una risposta e pensi: "È fantastico". E poi lo leggi con un po' più di dettagli, e in realtà, a volte, sbaglia. Abbiamo ritenuto che il posto migliore per iniziare fosse con un essere umano nel giro. Qualcuno è inserito nella Posta in arrivo e vogliamo renderlo più veloce, ma è comunque in grado di controllarlo e approvarlo. È stato un ottimo punto di partenza.

Ora, vedo persone che chiedono nei commenti: "Ehi, che ne dici di robot e cose che possono rispondere alle domande da sole?" Pensiamo che stia arrivando e potrebbe arrivare presto, ma lo stiamo ancora esplorando. Il grosso problema per noi è la precisione. Riteniamo che sia maturo in questo momento avere un essere umano nel giro in cui rende più veloce il rappresentante di supporto. E probabilmente, in arrivo, ci sono cose che scendono al gradino successivo. È un'area molto interessante.

Ethan Kurzweil: Per riff su questo, stiamo ricevendo alcune interessanti domande lungimiranti come: "Questo renderà i miei giorni contati come copywriter?" Non credo affatto. Dove questa tecnologia è ed è probabile che rimanga per un po' è nell'aumentare le capacità umane e l'intelligenza umana, rendendoti più produttivo come copywriter ma non necessariamente sostituendoti perché, prima di tutto, la tecnologia non è ancora arrivata, e in secondo luogo, l'asticella dell'assistenza clienti straordinaria o di qualsiasi comunicazione con un'azienda salirà sempre di più man mano che disponiamo di queste risorse. Sebbene la tecnologia possa essere in grado di gestire da sola alcuni casi d'uso di copywriter e di risposta al supporto, la barra per ciò che sarà davvero una buona copia e un ottimo supporto e così via e così via aumenterà man mano che avremo accesso a queste tecnologie . Lo stato ideale è che avrai accesso a queste tecnologie per essere più produttivo, ma non ti sostituiranno presto.

Talia Goldberg: Sì. Adoro il modo in cui Wyatt ha appena detto che è un moltiplicatore di abilità. Parliamo molto internamente dell'esempio di Copilot, che è come il completamento automatico per la codifica, e sta già rendendo gli ingegneri significativamente più efficienti. Non sostituisce affatto gli ingegneri o l'ingegneria, ma può aumentarli. Un esempio molto semplice di ciò potrebbe essere la calcolatrice. In passato, facevamo matematica a mano. Ora usiamo le calcolatrici, ma la matematica è ancora molto importante: dobbiamo impararla tutti e i matematici sono molto importanti in questo mondo. Probabilmente, il tuo ruolo potrebbe diventare ancora più importante perché man mano che il costo per creare contenuti diminuisce e c'è un'inondazione di molti contenuti e informazioni diversi, la creazione di contenuti e informazioni che possono distinguersi e superare avrà un prezzo ancora maggiore premium nei prossimi anni.

L'esperimento di Intercom con GPT

Krystal Hu: Sono passate alcune settimane da quando Intercom ha lanciato le sue funzionalità assistite dall'intelligenza artificiale. Qual è il primo feedback che hai visto? Come si misura il successo dell'incorporazione di questa tecnologia?

"Stiamo assistendo a molte adozioni, molto entusiasmo e molto utilizzo"

Fergal Reid: Sarò molto trasparente al riguardo – non ho ancora una risposta pienamente soddisfacente a questa domanda. Quello che posso dirti è che ora siamo in diretta, abbiamo migliaia di clienti che lo usano regolarmente - abbiamo avuto molta adozione. Probabilmente proveremo a misurare se questo ha effettivamente reso le persone più produttive, perché diciamo che, per il nostro team CS, possiamo raccogliere dati di telemetria su "Sei più veloce se usi queste funzionalità?" e mettere insieme una qualche forma di esperimento controllato per questo. Ci piace sempre provare a ottenere una qualche forma di dati reali su questo ad un certo punto, ma non siamo ancora a quel punto. Probabilmente avremo dei numeri su questo o più di una comprensione di esso, almeno internamente, tra un mese o due, immagino.

Quello che posso dirti al momento è che stiamo assistendo a molta adozione, molta eccitazione e molto utilizzo. Ci sono sicuramente alcune funzionalità come il riepilogo che i clienti ci dicono che fanno risparmiare loro molto tempo. Alcuni clienti ci hanno detto cose del tipo: "Ehi, per alcune conversazioni, scrivere il riepilogo per un passaggio di consegne può richiedere tutto il tempo necessario per risolvere il problema dell'utente finale". E quindi, ci sentiamo decisamente bene per questo.

In alcune delle nostre altre funzionalità, scrivi una scorciatoia, un po' come GitHub Copilot. Siamo stati ispirati da Copilot, e in Copilot, se sei un programmatore, puoi scrivere un commento o una stenografia, e poi compilerà il codice. Una delle nostre funzionalità è "espandi", dove scrivi una scorciatoia e la trasforma in un messaggio di supporto più lungo. A volte funziona e fa risparmiare tempo alle persone, ma non abbiamo ancora dati al riguardo. Quello che abbiamo dal vivo al momento è solo una versione di prima generazione. E abbiamo prototipi di una versione di seconda generazione. Al momento, scrivi la stenografia e il modello del linguaggio ampio lo espande. Quello che stiamo cercando di fare invece è dire: “Ehi, inseriamo l'ultima volta che hai risposto a una domanda del genere. Inseriamo le macro che sono rilevanti per questo. E abbiamo alcuni prototipi interni che funzionano abbastanza bene. Stiamo ancora innovando e facendo cose che faranno davvero muovere l'ago, ma non abbiamo ancora metriche. Presto.

"Ho un grafico in Tableau della nostra spesa giornaliera con OpenAI che monitoriamo nervosamente"

Krystal Hu: Per approfondire, come ne misuri il costo? A quanto ho capito, probabilmente invii richieste a OpenAI e fanno pagare, immagino, due centesimi per mille caratteri o qualcosa del genere. E immagino che, con l'aumentare della tua adozione, si accumuli anche il conto. Hai qualche insegnamento o osservazione da condividere sull'incorporazione di questa tecnologia?

Fergal Reid: Ho un grafico in Tableau della nostra spesa giornaliera con OpenAI che teniamo d'occhio nervosamente. È sicuramente una considerazione. Ho menzionato la funzione di riepilogo e l'abbiamo costruita in un modo molto umano in cui devi chiedere il riepilogo prima di consegnare la domanda. E una cosa che i nostri clienti ci dicono è: “Ehi, perché devo chiedere questo riepilogo? Per favore, mantieni sempre un riepilogo nella barra laterale in modo che non debba mai chiederlo. E questo diventerebbe molto costoso perché se dovessimo pagare due centesimi ogni volta che qualcuno dice qualcosa di nuovo nella conversazione e il riassunto cambia, diventerebbe estremamente costoso. Dobbiamo assolutamente prendere in considerazione il costo in un modo che non facciamo con i modelli di machine learning più tradizionali.

Detto questo, OpenAI ha appena annunciato la sua API ChatGPT e penso che abbia sorpreso molte persone perché era 10 volte più economica dei precedenti modelli simili di quella serie. È possibile che il costo scenda abbastanza velocemente e queste funzionalità vengano ampiamente adottate. E le altre startup o aziende che stanno costruendo in quest'area? Il consiglio che daremmo a Intercom è di cercare di entrare velocemente nel mercato perché qui c'è un valore reale per i tuoi clienti che puoi costruire e sbloccare. E il costo probabilmente scenderà perché i modelli diventeranno più economici man mano che venditori come OpenAI capiranno come renderli più efficienti o perché scoprirai modi più efficienti per usarli. Troverai dei modi per dire: "Ehi, posso usare un modello generativo più economico per la prima parte della conversazione, e poi, quando avrò questo compito molto più difficile che richiede maggiore accuratezza, userò quello più costoso .” Ethan e Talia probabilmente hanno una visione molto più ampia di me, e mi piacerebbe sentire i loro pensieri.

"Non sei mai sicuro di cosa faranno gli sviluppatori con una nuova tecnologia fino a quando non ce l'hanno e ce l'hanno dove non pagano due centesimi ogni volta che effettuano una chiamata API"

Ethan Kurzweil: Beh, è ​​un buon esempio di ciò che a volte vedi con queste tecnologie all'avanguardia. All'inizio, i casi d'uso di alto valore li ottengono e stai descrivendo l'attualizzazione di quel principio. In Intercom, questa è la funzione di riepilogo quando viene richiesta oggi. Ma nel tempo, la tecnologia sarà molto più diffusa ed economica. Ed è allora che può proliferare in più casi d'uso in cui il costo marginale per farlo è oggi proibitivo e che consente agli sviluppatori di scoprire altre applicazioni di modelli di linguaggio di grandi dimensioni in questo tipo di intelligenza artificiale in cui non stiamo realmente prevedendo.

A Bessemer, Talia e io cerchiamo di elaborare tabelle di marcia su dove pensiamo che la tecnologia andrà, ma come investitore orientato agli sviluppatori, una delle primitive chiave a cui penso sempre è che non sei mai sicuro di cosa faranno gli sviluppatori con una nuova tecnologia, una nuova piattaforma, un nuovo accesso a qualcosa finché non ce l'hanno - e ce l'hanno dove non pagano due centesimi ogni volta che effettuano una chiamata API - e possono riff e fare cose che all'inizio sembrano assurde.

Sono entusiasta che la tecnologia arrivi al punto in cui c'è solo un sacco di sperimentazione. Sono sicuro che nella roadmap dei prodotti Intercom, non oggi, ma tra un anno, ci saranno alcune cose che non avevamo previsto ma che avranno un valore davvero alto per i clienti. E ci saranno alcune startup che sono appena uscite perché hanno modificato un modo particolare in cui puoi usare il testo generativo, e ha creato un'esperienza utente davvero fantastica per qualcuno.

Talia Goldberg: C'è un esempio divertente che penso possa enfatizzare parte del potenziale umano per aumentare le esperienze rilevanti per il supporto. Se parlo con, diciamo, qualcuno del team di Intercom con forti accenti irlandesi, e loro probabilmente pensano che io abbia un folle accento occidentale, è difficile per noi, a volte, capirci quando siamo super eccitati e parlando molto velocemente. Sembra una lingua diversa anche se tutti parlano inglese. L'intelligenza artificiale può, in tempo reale, cambiare un po' gli accenti di una persona per renderla più comprensibile in entrambi i modi. Quindi, se ho un accento irlandese o britannico, lo tradurrò in un accento californiano, e questo può davvero migliorare l'esperienza in qualche modo abbassando le barriere della comunicazione.

Ethan Kurzweil: È un buon esempio perché la tecnologia sta entrando nel mezzo della comunicazione diretta ma rendendola più umana, il che suona come un ossimoro, ma se utilizzata bene, potrebbe farti sentire più connesso in un contesto di messaggistica o comunicazione.

Talia Goldberg: Questa è la promessa di Internet: riunirci tutti e abbattere le barriere. Sono davvero un grande sostenitore del potenziale per potenziarlo.

Il quoziente di confidenza

Krystal Hu: Penso che molte persone abbiano domande su come assicurarsi che tutto sia corretto in termini di flusso di informazioni e che sia accurato. La posta in gioco è diversa nei diversi casi d'uso, ma, in generale, non vuoi fornire informazioni sbagliate ai tuoi clienti. Come lo assicuri?

“Non è che tu, come essere umano, non puoi mai vedere quelle cose perché sarebbe impossibile – è che sei in grado di filtrare in modo appropriato. È così che penso ai grandi modelli linguistici”

Talia Goldberg: Forse solo un commento, e poi penso che lascerò che Fergal risponda in modo più specifico su Intercom. I modelli vengono addestrati su enormi quantità di dati: molti miliardi e miliardi di punti di dati e informazioni. E quindi, non importa quanto cerchi di ingannare i dati o inserisci dati falsi, è ancora una porzione così piccola, minuscola dei dati complessivi. Questa è una cosa da tenere a mente mentre pensi a come vengono creati questi modelli.

L'altra cosa sono gli input di dati. So che c'è preoccupazione sul fatto che sia addestrato su dati errati, e non fraintendetemi, ci sono sicuramente problemi con le allucinazioni e altre aree, quindi c'è molto da migliorare. Ma nella tua vita, non è che vai in giro e non vedi cose che potrebbero essere sbagliate o di parte o addirittura disinformazione. Ti imbatti in questo, ma usi il tuo giudizio e la tua mente, e ci sono molti altri buoni dati. E quindi, non è che tu, come essere umano, non puoi mai vedere quelle cose perché sarebbe impossibile - è che sei in grado di filtrare in modo appropriato. È così che penso ai grandi modelli linguistici. Ci saranno alcuni casi in cui ci sono dati e informazioni che non sono ciò che vorresti nel set di formazione, ma la capacità dei modelli linguistici di filtrarli e ottenere la risposta giusta dovrebbe essere sempre migliore nel tempo.

“Questo potrebbe essere uno dei parametri: 'Quanta fiducia hai in questa risposta?' Se non è abbastanza buono, non darlo”

Ethan Kurzweil: Ci sono alcune domande interessanti sia sulla privacy che sull'accuratezza dei dati. L'altra cosa da tenere a mente sulla questione dell'accuratezza dei dati prima di arrivare alla parte sulla privacy è che, in futuro, e in alcuni modelli di linguaggi di grandi dimensioni, puoi effettivamente impostare un quoziente di precisione. È un po' come quando un'intelligenza artificiale è stata programmata per vincere Jeopardy: aveva un intervallo di confidenza che conosceva la risposta a una domanda con il 90% o il 60% di confidenza. E in quel contesto, dove perdi solo alcuni punti con una risposta sbagliata, impostano l'intervallo piuttosto basso al 40% o qualcosa del genere. Se sei sicuro al 40% o più, che diavolo, vai e prova a rispondere alla domanda.

Potrebbe esserci un contesto in cui desideri una precisione a livello umano, la imposti lì e molte volte, quando l'IA non riesce a raggiungere il 99 percentile, passerà a un essere umano o qualcosa del genere. Potrebbe esserci un contesto anche nell'esercito, anche in settori altamente regolamentati, in cui hai più tolleranza per un'ipotesi istruita assistita dall'IA. E quello potrebbe essere uno dei parametri: “Quanta fiducia hai in questa risposta?” Se non è abbastanza buono, non darlo.

Fergal Reid: Solo per entrare in merito, Ethan, questa è sicuramente una forte convinzione sul prodotto che abbiamo internamente in Intercom, ovvero che è molto probabile che ci saranno una varietà di tolleranze qui. Ci saranno alcuni clienti con una tolleranza piuttosto alta per “Dammi il suggerimento; va bene se il suggerimento è sbagliato di tanto in tanto. E ci saranno altri clienti con una tolleranza molto bassa. Prevediamo di dover disporre di un certo grado di configurazione attorno a questo.

“Abbiamo questa nuova tecnologia che può fare previsioni molto migliori e fare le cose molto più velocemente. Come possiamo prenderlo e renderlo abbastanza affidabile, o almeno consentire ai clienti di scegliere?

Solo per tuffarci nelle erbacce con alcune delle cose che stiamo guardando in futuro, diciamo che hai qualcosa che cerca di consumare un articolo e rispondere a una domanda su quel contenuto. Un esempio è costringerlo a dire: "Ti è permesso rispondere solo con una citazione esatta da questo". E può contestualizzare quella citazione, ma la citazione deve esserci. Questo è un modo conservativo di utilizzare questi nuovi modelli di linguaggio di grandi dimensioni per svolgere un lavoro migliore nel comprendere la tua query e recuperare le informazioni, ma limitando ciò che possono effettivamente dire. Un altro esempio è prendere un modello generativo e consentirgli di essere generativo sotto il cofano, ma può interagire solo con un utente finale attraverso una serie predefinita di azioni o cose che può dire.

Esistono molte tecniche per prendere il potente motore e cercare di renderlo più sicuro, più affidabile e vincolato. E penso che vedrai molte persone lavorare con quella tecnica. Abbiamo questa nuova tecnologia che può fare previsioni molto migliori e fare le cose molto più velocemente. Come possiamo prenderlo e renderlo abbastanza affidabile, o almeno consentire ai clienti di scegliere? Penso che vedrai molto movimento in questo spazio nei prossimi due mesi.

Personalizzazione di massa in tutti i settori

Krystal Hu: In quella nota, Ethan, Talia, oltre al servizio clienti, ci sono altre applicazioni che stai vedendo in questo spazio di cui sei particolarmente entusiasta?

Ethan Kurzweil: Posso andare per primo. Guardando alcune applicazioni consumer, il gioco è qualcosa di cui siamo entusiasti. Se pensi a ciò che rende i giochi divertenti, molte volte, questa è la frequenza di aggiornamento dei nuovi contenuti e ciò richiede costantemente idee creative. Stiamo iniziando a vedere persone che pensano: "E se ogni esperienza per ogni giocatore potesse essere nuova?" You couldn't have a personal copywriter writing that much content for each person, but an AI could do it. And it could get down to a level where each decision you make generates a new experience based on whatever temporal inputs you want to give the system.

“We went from handcrafted goods to mass-produced goods to mass personalization in a way we've probably never seen before”

Media applications as well. Earlier in my career, I used to work at the Wall Street Journal , and the parent company of the Wall Street Journal was Dow Jones. They had a sister news department called Dow Jones Newswires , which was about getting financial news mainly to traders and folks that needed to act very quickly on that information as fast as possible through terminals and things like that. I think about what an AI could do to augment news or get news to the end user more quickly. Again, I don't think it's replacing journalists at all, I think it's augmenting the amount of information and the targeting we can provide to folks much more quickly.

I think about entertainment use cases. This promise of personalized television and premium content services has always been out there, but when you get to the long tail of internet content and user-generated content, it tends to be pretty low-quality. Could you have a high-quality, personalized content delivery service? I think AI could impact that equation in the future.

Talia Goldberg: I love the concept of personalization and everyone having their own experience. We went from handcrafted goods to mass-produced goods to mass personalization in a way we've probably never seen before. This is a totally new experience for everyone, which is super cool. I'll share one of the areas that I think is going to be wildly impactful and really promising, which is in life sciences and biotech.

“The AI is seeing something that we, as humans, have never before been able to see”

Applying AI to drug discovery and development using huge amounts of data to look at molecules and protein structures and genomic data can be really transformative. I read this study that I think was in Nature a month ago, and it described how some researchers gave an AI a bunch of images of a human retina, and the AI, with 90% accuracy, said which retina belonged to either a male or a female. That seems very basic – who cares? But what's really crazy about that is that no researcher, scientist, or AI expert has ever been able to find any sign of a retina correlating to gender of any form. The AI is seeing something that we, as humans, have never before been able to see.

You think about that, and then you apply that to cancer and different cells and otherwise, and the potential is just massive and really exciting. And we're already seeing a lot of applications. AI's going to transform a whole bunch of things – health, software, business applications, logistics, consumer… We could make a long list, but there are a ton of reasons to be super optimistic.

Mix and match

Krystal Hu: When I talk to startups, when they're incorporating this kind of technology into their offerings, one choice they have to make is which model they work with. Do they only work with one type of model, or do they diversify their vendors to work with other companies besides OpenAI? I'm sure, Fergal, you've spent some time thinking about that. What was the experience like at Intercom?

Fergal Reid: With new technology, being right in the forefront, our head tends to go first to customer value. We're happy to use the most expensive or newest model to try and figure out, “Okay, can we really build a transformative experience for a customer with this that is a core part of the workflow and makes something valuable for them?” And once we do that, we're like, “Okay, now, how can we make it cost-effective?” And we're probably going to end up with a large mix of different models from, say, OpenAI, and we've also looked at other vendors like Anthropic, which are doing some really interesting work in this space too.

“It's highly likely that everyone's going to end up running a bespoke mix of many different models. It's going to get complex pretty fast”

It's an exploding space with many different people training large language models, and I think you'll have different large language models that are better and worse and have different trade-offs in terms of cost and latency and performance. Performance won't be one-size-fits-all. Some models are better at dealing with hallucinations, some are better at generating creative content, and I think we're already seeing that.

Our focus is to get whatever models we can, try them out, think if we can use these to build transformative value, get it live with our customers, and then figure out how to optimize that. Once we know it's delivering value, let's optimize it in terms of price and cost and work. It's highly likely that everyone's going to end up running a bespoke mix of many different models. You could have three different models in one customer interaction. So yeah, it's going to get complex pretty fast.

“There'll probably be a new set of metrics that everyone coalesces around that measure the effectiveness of your AI and your particular business problem”

Ethan Kurzweil: I think that's an interesting point that actually ties the question from before: how do you measure the success of this? Because I think lots of companies will try a model or many, and the question will be, “All right, which is best?” And that's such an oversimplification because you have to figure out what you are trying to achieve. Are you trying to achieve engagement with users? Are you trying to achieve a quick resolution?

I think there'll probably be a sort of metricization of this where people come to a standard, like the way Google Search created a new industry, AdWords, and the way we measure click-through rates and conversion rates and things like that. There'll probably be a new set of metrics that everyone coalesces around that measure the effectiveness of your AI and your particular business problem.

Fergal Reid: Yeah, even before these more recent language models, we've had bots that process natural language using pretty big neural networks, although not as big. And whenever we would do something like upgrade our bots, we would conduct a large-scale A/B test framed in terms of end-user metrics such as self-serve rate. Then, we would find edge cases for particular customers or domains where it performed less well, really dig into those, and make sure nothing was broken. I think there's probably a well-understood playbook, like Ethan's referring to, of metrics for given domains. A lot of the same things will apply to this new type of technology.

Domande e risposte

Krystal Hu: I'd love to get to the Q&A. I think we were able to address some of the questions during our discussions, but there are a bunch about the potential roadmaps from, I assume, Intercom's customers or companies working with Intercom who want to know what could be the next AI-aided feature that may come out, both in the short-term and long-term, and also how that will affect the pricing strategy.

Fergal Reid: Cool. Do you want to call out one particular question?

Krystal Hu: I think there was a question about your roadmap for the features for the next six months versus 12 to 18 months, and then the other person asked about the pricing strategy.

Fergal Reid: We have some things coming up that unfortunately, I can't talk about at the moment. I would say that six months is a really long time in this space. I expect you'll see a lot of movement in this space over the next two or three months. We will continue to sweat and invest in these features in our Inbox to make support reps more efficient. I've already talked about how we've got a Generation 1 version of features here at the moment, with summarization and expansion features to help edit a text, and we're definitely working on Generation 2 versions of those features.

We've also met two other exciting features in this space that we're really excited about, but unfortunately, I can't share any details at the moment – it's just a little bit too early to announce and launch those things. I can promise you're going to see a lot of action and excitement from us, and I'm sure from other companies in this space as well, over the next six months.

“Right now, there's a bit of a context limit for each interaction with an AI in a large language model, but there's a lot of exciting research pushing the boundaries”

Krystal Hu: Talia and Ethan, do you have any expectations or hopes on how fast the space could move?

Talia Goldberg: Well, it's moving a lot faster than we even anticipated. The space is moving really quickly in part because there are a whole bunch of technological advances happening at the same time as the hardware that these models are trained on gets better and improves at a Moore's Law rate, and there are new architectures and ways of scaling on that hardware. We're getting better and better at creating new experiences and models.

I don't have an exact prediction of how quickly we'll see different things, but one of the biggest areas that we're watching closely and expect to see a lot of advances in over the next six to 12 months is around personalization and being able to create far more personalized experiences. Right now, there's a bit of a context limit for each interaction with an AI in a large language model, but there's a lot of exciting research pushing the boundaries of those context windows, coming up with new frameworks to create far more personalized experiences and remember each person, each user, each customer, and tons of data points about that person to create a better experience.

“I would encourage everyone that's building new products to ride the ups and the downs”

Ethan Kurzweil: I completely agree with Fergal and Talia. We're going to see predictable and unpredictable applications of this over the next six months. There'll be some unsuccessful ones too, and then the narrative will quickly shift to, “Oh, that didn't do everything we thought it was going to do as quickly as we thought.” Right now, we're into the peak of momentum and euphoria and, dare I say, a little hype in the space. But over time, it'll become as big a deal as we thought.

I would encourage everyone that's building new products to ride the ups and the downs. Don't ride the up as high as it may be feeling like you should right now, but when the narrative changes a little bit, because it will – all new technologies have that “Oh, that wasn't as impactful as quickly as we thought” moment – I would encourage everyone to keep building through that as well.

Krystal Hu: Yeah, I'll definitely take that from you as a crypto investor.

Ethan Kurzweil: It's the same thing. Right now, there's clearly a trough of disillusionment for crypto. And good builders are figuring out, “Okay, what of this technology is applicable? What makes sense?” And we'll see those things come to market over the next couple of years.

Krystal Hu: One common question I saw in the Q&A is: how will this impact human jobs like human agent jobs? I'm curious to hear your thoughts on this specific case.

Ethan Kurzweil: Ever since the advent of the computer, there's been this prediction that it would be a massive replacement for human work at all levels. It does change the nature of work, and this will certainly change in some ways, but it's not going to be a wholesale replacement for humans in any broad way.

“Guess what? Every year, we need way more engineers. It's like Jevon's Paradox. The more that AI is available and the cost goes down, the more demand there is”

Just as Talia alluded to the example of Copilot and people, I've read many articles saying this was going to put all developers out of business over the next two to three years, and that's complete BS. Everyone knows that's not true. But it may allow for more productivity and for the cycle time on software to speed up. It may allow for different skills to be more important. I think it just makes us more productive. It's not that it won't have an impact and won't shift the nature of work in some ways. I don't mean to minimize that because that's very real. But looking at the whole, you'll see we come out ahead.

Talia Goldberg: At least until we reach the singularity, I'm pretty convinced of the need for more and more engineers. You could have gone back 10 years and been like, “Ah, there are all these cool developer tools now that are coming out and making it way easier to integrate things,” or, “Oh gosh, there are these self-serve products like Zapier that make it easy for non-technical people to connect products and integrate things.” And guess what? Every year, we need way more engineers. There's a shortage. It's like Jevon's Paradox. The more that AI is available and the cost goes down, the more demand there is. And I think, in a lot of areas, that paradigm will hold true. But as Ethan said, the exact skills and the way it looks may shift.

Krystal Hu: Yeah, that makes a lot of sense. I saw some interesting observations and questions about whether you should tell people that they are talking to an AI versus a real person. It's an interesting question because it presumes we wouldn't be able to tell.

Ethan Kurzweil: It's a good existential question. If you're talking to a person assisted by an AI, who are you talking to, and what disclosure do you have to make in that case? I don't have any answers to these questions, but they're great ones for us to debate.

Talia Goldberg: I find that AI can sometimes generate responses that are so detailed and so good that there's just no way that a human did it anyway. It's like the reverse of the Turing test.

Krystal Hu: Un'altra domanda sulla funzionalità di sicurezza. Penso che abbiamo accennato anche a questo in precedenza, ma c'è una domanda specifica: “Quanto è importante l'integrazione verticale della funzionalità di sicurezza con il fornitore del modello? Ad esempio, quanto è importante utilizzare l'API di moderazione di OpenAI con l'output del modello ChatGPT rispetto al mix and match con l'API Perspective di Jigsaw?" Fergal, potresti avere alcuni pensieri o esperienze da condividere su questo.

Fergal Reid: Sì, non ho familiarità con l'API Perspective di Jigsaw, quindi non lo so nello specifico. Tutte le persone di OpenAI e Tropic e chiunque altro stia addestrando modelli linguistici di grandi dimensioni si preoccupano molto di renderli utilizzabili, sicuri e allineati, e si preoccupano molto di evitare allucinazioni. E continueranno a lavorare in queste aree per rendere più facile per aziende come Intercom distribuirle in modo affidabile. Non sono convinto che sia necessario integrarlo verticalmente. Non so se Intercom debba occuparsi di addestrare i propri enormi modelli linguistici di grandi dimensioni affinché possiamo affrontare la produzione e renderli abbastanza affidabili. Penso che vedremo comunque molto movimento in questo spazio.

Questo tipo di intelligenza artificiale generativa offre all'utente molta libertà di provare a capire come distribuire il modello. C'è questo campo emergente dell'ingegneria dei prompt, e il mio team sta facendo molto di questo, dove stanno modificando i prompt e cercando di capire, "Okay, come posso chiedere al modello cosa voglio nel modo giusto per ottenerlo dammi il risultato che sto cercando?" Migliorerà, almeno per un po', diventerà più potente e i modelli diventeranno più facili da controllare.

Penso che saremo in grado di vedere le aziende nella posizione di Intercom generare molto valore e capire molte applicazioni e design. Stiamo ancora imparando come progettare prodotti basati su questa nuova tecnologia. Ci sono così tanti gradi di libertà per le persone nella nostra posizione di usarlo.

“C'è sempre questa tensione: ti appoggi solo alla cosa generale? Quanto migliora il modello generale rispetto alla messa a punto?"

Krystal Hu: C'erano anche domande su Intercom che costruiva il proprio modello. Come hai detto prima, forse ci saranno opportunità per fare un mix di quale modello funziona meglio per i tuoi casi d'uso mentre crei un'API o qualcosa del genere?

Fergal Reid: Sì, con la scala su cui questi modelli sono addestrati al momento, non sembra avere senso economico per ogni azienda delle dimensioni di Intercom addestrare i propri. Ma ancora una volta, c'è uno spettro qui. Svilupperemo esperienza nel progettare attorno a loro e sapere cosa chiedere al modello. E probabilmente vedremo funzionalità emergenti attorno ad aziende come i modelli di messa a punto di Intercom. Molti di questi nuovi modelli vengono addestrati con l'apprendimento per rinforzo con feedback umano. Il costo per farlo probabilmente diminuirà nel tempo e saremo in grado di personalizzarli maggiormente in base ai nostri casi d'uso specifici.

C'è sempre questa tensione: ti limiti a cavartela sulla cosa generale? Quanto migliora il modello generale rispetto alla messa a punto e all'esecuzione di cose specifiche? Dovremo vedere come si svolgerà questo spazio, ma penso che ci saranno molti gradi di libertà per le aziende di prendere questi modelli e personalizzarli e produrli per la loro area. Siamo nei primi giorni della produzione di questa tecnologia. Cambierà molto e diventerà molto più facile stabilire le priorità.

Krystal Hu: Ci stiamo quasi avvicinando alla fine della nostra meravigliosa conversazione, ma possiamo fare altre due domande. Uno riguarda il modo in cui le aziende aziendali adottano ed estraggono valore da ChatGPT. Hai visto le aziende iniziare a integrarlo nelle loro offerte e, dall'altra parte, penso che le aziende, in particolare le banche altamente regolamentate, si stessero interrogando sui servizi di informazione e sui problemi di privacy e vietassero ai propri dipendenti di giocare sui laptop aziendali. Sono curioso di sentire i pensieri di Talia ed Ethan su questa domanda.

Talia Goldberg: In tutto il nostro portafoglio, molte società di software che potrebbero non essere nemmeno in categorie come Intercom, che sono davvero all'avanguardia, stanno pensando: "Ehi, quanto è importante per la mia attività e quali sono i modi in cui io potrei integrare alcuni di questi modelli o API ChatGPT nel mio prodotto?" Le attività altamente ripetitive possono essere davvero ottime per un'intelligenza artificiale per aiutare ad automatizzare o semplificare. Una delle nostre aziende riceve molte informazioni contabili dai propri clienti e deve riconciliare e segnalare se c'è un errore o qualcosa che non va. E hanno avuto questi sistemi basati su regole in passato, ma puoi applicare l'intelligenza artificiale e avere una precisione molto migliore. Un altro esempio interessante è relativo al pezzo riassuntivo. Se un cliente parla con un agente di call center o un rappresentante di vendita, puoi riassumere quella conversazione e creare materiale di marketing personalizzato solo per quella persona.

Krystal Hu: Un'ultima domanda per Talia ed Ethan. Le persone chiedevano cosa stavi cercando quando investi in startup pre-seed o, immagino, startup in generale.

"Cerchiamo di scomporlo in quella domanda chiave di 'questo sposta davvero l'ago per un particolare ruolo o tipo di persona?'"

Ethan Kurzweil: Questa è un'ottima domanda. Ci sono così tante risposte diverse a questo. Il pre-seed è un po' prima di quello in cui investiamo di solito, per far emergere quel disclaimer - di solito, stiamo investendo in un seed successivo o in una serie A o B. Ma la nostra filosofia è cercare modelli di iper-crescita ovunque possiamo trovare loro. E di solito, il modo in cui lo scomponiamo è provare a pre-diagnosticare attraverso la roadmapping, e Talia è stata quella che ha spinto gran parte del nostro pensiero sull'IA e le sue applicazioni a varie cose diverse, e abbiamo elaborato queste roadmap di diverse aree tematiche che riteniamo piuttosto interessanti. Potrebbero essere molto ampi, come il cloud computing o la consumerizzazione dell'assistenza sanitaria, o ristretti, come l'impatto dell'IA sul servizio clienti.

Vorrei incoraggiare le persone a guardare, perché pubblichiamo molto sul nostro blog e sui social media della nostra tesi attiva, per vedere se ciò che stai costruendo è allineato con qualcosa. E poi, in generale, stiamo cercando: "Questo ha il tipo di impatto che cambierà il modo in cui lavoriamo o facciamo intrattenimento o qualcosa che potrebbe essere un cambio di paradigma in qualche processo aziendale o esigenza dei consumatori?" Questo è ciò in cui lo suddividiamo. Abbiamo notato che ogni volta che si verifica un cambiamento di comportamento su larga scala, ciò porta a società in ipercrescita e opportunità per le startup di interrompere il modo in cui si lavora o si gioca o qualunque cosa fosse fatta prima. E quindi proviamo a scomporlo in quella domanda chiave di "questo sposta davvero l'ago per un particolare ruolo o tipo di persona?"

Krystal Hu: Questa è la fine della nostra conversazione. Per coloro che non hanno avuto la possibilità di provare le nuove funzionalità di Intercom, ti incoraggio a giocare tu stesso con il riepilogo e alcune altre funzionalità. E se sei interessato allo spazio di rischio, dai sicuramente un'occhiata al sito web di Bessemer. Come tutti hanno detto, tra sei mesi guarderemo indietro e alcune delle previsioni si avvereranno, e forse alcune saranno totalmente diverse. Spero che avremo un'altra volta per tornare indietro e rispondere ad altre domande. Grazie ancora, Talia, Ethan e Fergal, per il vostro tempo oggi.

Ethan Kurzweil: Grazie per averci ospitato.

Talia Goldberg: Ciao.

Fergal Reid: Grazie mille a tutti. Ciao ciao.