AI nella cassetta degli attrezzi del designer: plasmare il futuro con ChatGPT

Man mano che GPT alza l'asticella e i modelli di linguaggio di grandi dimensioni diventano più sofisticati, quali nuovi orizzonti emergeranno per il pensiero progettuale? E come interromperanno il ruolo tradizionale dei designer di prodotti?

Il lancio di ChatGPT ha scatenato un vortice di opinioni e discussioni, con tutti i tipi di persone impegnate in accesi scambi su ciò che tutto questo significa per noi. Ora, siamo i primi ad ammettere che le previsioni e le previsioni speculative possono essere una commissione da pazzi, ma una cosa è certa: questi modelli stanno già causando un cambiamento epocale nel modo in cui pensiamo e costruiamo i nostri prodotti.

Se hai ascoltato Inside Intercom nell'ultima settimana, sai che siamo saltati rapidamente sul carrozzone GPT, progettato nuove funzionalità basate sull'intelligenza artificiale e le abbiamo spedite a 160 clienti beta (sentiti libero di dare un'occhiata alla prima e alla parte due della conversazione se non l'hai già fatto). Oggi, per l'ultima puntata delle nostre chat GPT, siamo raggiunti da alcune delle persone che hanno effettivamente svolto un lavoro di progettazione applicata con ChatGPT e modelli di linguaggio di grandi dimensioni per creare prodotti reali che risolvono problemi reali per i clienti.

In questo episodio, ascolterai da noi stessi:

• Emmet Connolly, vicepresidente del design del prodotto
• Molly Mahar, progettista di prodotti dello staff nel team di Machine Learning
• Gustavs Cirulis, Senior Principal Product Designer

Parleranno di modelli linguistici di grandi dimensioni (LLM) come ChatGPT e di come modelleranno il ruolo di un designer di prodotti negli anni a venire. Non possiamo sapere cosa porterà il futuro, ma se ce lo chiedi, il meglio che puoi fare è appoggiarti ad esso.

Ecco alcuni dei punti chiave:

• GPT è davvero bravo a riassumere i contenuti, comprendere il linguaggio e modificare il testo. Ma un grosso problema è che a volte le sue risposte sembrano plausibili, ma in realtà sono errate.
• Man mano che la tecnologia si evolve, le organizzazioni di supporto passeranno dall'essere reattive a proattive addestrando l'intelligenza artificiale e assicurando che il supporto avvenga in un modo conversazionale che sembri naturale per gli umani.
• Potrebbero emergere nuovi modelli di progettazione per gestire l'incertezza e le aspettative, come la creazione di punteggi di fiducia nelle funzionalità.
• Nel corso del tempo, le aziende saranno in grado di utilizzare modelli open source e costruire livelli superiori con conoscenze specialistiche utilizzando dati proprietari del proprio settore o azienda.
• In futuro, l'interazione con l'intelligenza artificiale potrebbe coinvolgere interfacce conversazionali, interfacce grafiche per l'aumento del flusso di lavoro e persino interfacce neurali.
• Il ruolo di un designer sarà quello di creare un'interfaccia AI che funzioni come un collega intelligente e non minaccioso che può aumentare il tuo flusso di lavoro e semplificarti la giornata.

Assicurati di non perdere nessun momento saliente seguendo Inside Intercom su Apple Podcasts, Spotify, YouTube o recuperando il feed RSS nel tuo lettore preferito. Quella che segue è una trascrizione leggermente modificata dell'episodio.

Primi incontri

Emmet Connolly: Ciao a tutti. Benvenuti al podcast Inside Intercom. Sono molto entusiasta oggi di essere raggiunto da Molly e Gustavs del team di progettazione del prodotto Intercom. Dal lancio di ChatGPT alcune settimane fa, ci sono state molte discussioni accese, molte speculazioni casuali oziose e un sacco di quarterback da poltrona su cosa significhi tutto ciò. La maggior parte, direi, proviene da persone che in realtà non hanno lavorato direttamente con la tecnologia, motivo per cui sono molto entusiasta di parlare con Molly e Gustavs oggi. Perché Molly e Gustavs sono due della minuscola minoranza del mondo intero che hanno effettivamente svolto un vero lavoro di progettazione di prodotti applicati con ChatGPT e le tecnologie correlate. Voglio dire, usarlo effettivamente per integrarsi con i prodotti e risolvere problemi di prodotti reali per i clienti con prodotti reali che operano su larga scala. Allora, Molly e Gustavs, benvenuti allo spettacolo. Forse vorreste presentarvi molto brevemente. Molly, vuoi andare?

Molly Mahar: Certo, certo. Sono Molly Mahar. Sono uno Staff Designer qui alla Intercom. Sono abbastanza nuovo. Sono integrato con il team di Machine Learning, con un team di ingegneri, e facciamo molta prototipazione.

Gustavs Cirulis: Ehi, sono Gustavs. Sono il principale designer di prodotti e sono qui da un po' più di Molly. Sono stato un po' dappertutto, ma al momento sto lavorando al team di crescita.

"Mi ha ricordato l'economia comportamentale al college e l'effetto Dunning-Kruger, dove sei incompetente ma troppo sicuro di te"

Emmet: Oggi parleremo di intelligenza artificiale e modelli di linguaggio di grandi dimensioni come ChatGPT. In particolare, su cosa significano per il design e i designer. Parleremo un po' di quali nuove opportunità sono disponibili per i designer, in particolare con questa nuova tecnologia, com'è stato per te o cosa è stato diverso nel lavorare con l'IA rispetto ai prodotti tradizionali, e alcune delle sfide che hai incontrato mentre abbiamo iniziato a progettare queste funzionalità basate sull'intelligenza artificiale. Potremmo persino entrare in qualche sconsiderata previsione ad un certo punto. Ma partiamo dalle basi. Molly, qual è stata la tua prima reazione quando ChatGPT è arrivato sulla scena e ha fatto un bel colpo solo poche settimane fa? Hai lavorato con sistemi AI e ML per un bel po' di tempo prima.

Molly: Beh, in primo luogo, sono stato bombardato da una serie di screenshot su Slack e ho iniziato a vederli arrivare da persone di tutta l'azienda e su Twitter e tutto il resto. L'ho provato ed è stato come, “Questo è molto bello. Anche questo è molto intelligente. I modelli di linguaggio di grandi dimensioni (LLM) esistono da un po' di tempo, ma ora hanno inserito un'interfaccia utente nella loro API. E così, più persone in tutto il mondo sono in grado di usarli senza dover essere uno sviluppatore o altro, il che penso sia davvero fantastico e mostra quanto le persone fossero entusiaste di loro. Ho iniziato a giocarci ed è davvero potente.

Puoi fargli molte domande, puoi dare seguito. È davvero fantastico. Sembra una specie di conversazione. Quindi abbiamo iniziato, come squadra, a scavarci dentro per provare a sottoporlo a stress test. E mi sentivo come se stessi iniziando a vedere l'hype. Mi ha ricordato l'economia comportamentale al college e l'effetto Dunning-Kruger, dove sei incompetente ma troppo sicuro di te. E a volte sembrava così. Questo ChatGPT è molto più bravo a fare cazzate di me. Ne sono stupito. E così, ho attraversato un'ondata di sentimenti al riguardo. Mi chiedo se sarebbe utile fornire una rapida panoramica degli LLM.

“Gli LLM esistono da un po' di tempo e stanno migliorando, diventando sempre più veloci. La cosa sorprendente di ChatGPT è che, come persona, posso davvero usarlo"

Emmet: Penso di sì. Penso che per molte persone ci sia questa associazione con ChatGPT come l'intelligenza artificiale di cui tutti parlano. Quindi, ti dispiacerebbe spiegare in parole povere cos'è ChatGPT e come si collega ad altri termini come modelli di linguaggio di grandi dimensioni di cui la gente potrebbe aver sentito parlare?

Molly: Sì, farò del mio meglio. Quindi, i grandi modelli linguistici, in breve LLM, sono modelli addestrati su un enorme corpus di testi pubblici provenienti da ogni parte: libri, Internet, fonti multimodali, credo, a volte. Miliardi e miliardi e miliardi di pezzi di dati all'interno. E sono spesso addestrati con il feedback umano lungo il percorso. Penso che questo porti al motivo per cui puoi avere questa conversazione con ChatGPT: puoi dargli un feedback e in realtà risponderà e cambierà le sue risposte. Gli LLM sono in circolazione da un po ', migliorando, sempre più velocemente. La cosa sorprendente di ChatGPT è che, come persona, posso davvero usarlo. E secondo, in realtà è davvero molto, davvero buono. ChatGPT è il front-end, fondamentalmente, e lo sto semplificando un po', ma è il front-end per un'API di modelli di linguaggio di grandi dimensioni che OpenAI ha in background. E ne hanno un certo numero.

Ci sono molte altre aziende che hanno anche modelli linguistici di grandi dimensioni. Google sta lavorando su LaMDA e ci sono altre società. E così, potremmo dire ChatGPT qui oggi, ma ci riferiamo a questa tecnologia in generale. In realtà stiamo lavorando con le API dietro di esso, non con ChatGPT, che al momento è disponibile solo tramite l'interfaccia utente.

“Prima, era solo una specie di 'Ehi, generami questa poesia su qualsiasi cosa'. Ora puoi avere una conversazione avanti e indietro. È così che gli esseri umani interagiscono tra loro”

Emmet: Sì. E penso che una delle cose interessanti di ChatGPT sia che, per certi versi, non è così nuovo dal punto di vista tecnico. ChatGPT è un'app creata utilizzando GPT-3.5 creata da una società chiamata OpenAI. Ma GPT-3.5 esiste da un po', diversi mesi, vero, Molly? Quindi, sono curioso. Gustavs, qual è stata la tua reazione? Perché pensi che ci sia una reazione diversa a ciò che stiamo vedendo con ChatGPT rispetto alla tecnologia sottostante, che era disponibile da tempo?

Gustavs: Penso che la grande differenza sia che la presentazione è come una conversazione in cui puoi porre domande di follow-up e approfondire. Prima, era solo una specie di "Ehi, generami questa poesia su qualunque cosa". Ora puoi avere una conversazione avanti e indietro. È così che gli esseri umani interagiscono tra loro. Quindi, è molto più familiare che dargli un suggerimento una tantum. Quando stavo giocando con ChatGPT quando è appena uscito, sembrava una magia. Era davvero difficile credere che esistesse. E ho continuato a giocarci, parlando di argomenti diversi, e mi è sembrato di avere un tutor personale su richiesta che sa tutto di tutto. Parlava di ogni sorta di cose su tecnologia, storia, psicologia e persino commedia. Si scopre che è davvero bravo a inventare cabaret se gli dai un buon suggerimento. È stato davvero divertente anche farlo.

Un caso di allucinazioni

Emmet: Entrambi avete passato diverse settimane a lavorare su questo adesso. Abbiamo avuto tutti quella reazione iniziale davvero impressionante, ma dopo aver trascorso alcune settimane cercando di applicare questo ai problemi reali dei clienti, magari lottando per applicarlo direttamente in qualche modo, resiste all'hype, Gustavs?

Gustavs: Sì. Non appena ChatGPT è uscito, siamo rimasti davvero colpiti e ci siamo resi conto che dovevamo capire meglio cosa significa per la nostra attività. Sembrava che potesse avere un impatto davvero significativo sull'intero settore del servizio clienti, quindi abbiamo formato un piccolo gruppo di lavoro ed esplorato in cosa ChatGPT è bravo, in cosa è cattivo e cosa potrebbe significare per la nostra attività. Dopo aver svolto quell'esercizio, le mie paure, le mie preoccupazioni e l'entusiasmo sono diminuiti un po'. Sembra che la tecnologia non sia ancora pronta per accettare i nostri lavori e automatizzare tutto.

“La modella vuole farti piacere, quindi vuole darti una risposta che pensa tu voglia”

Si scopre che è davvero bravo in alcune cose, ma non in tutto. È bravo, ad esempio, in cose come riassumere i contenuti o comprendere il linguaggio, l'editing e la scrittura creativa. Ma ha un grosso difetto di allucinazioni, in cui si limita a inventare cose che sembrano molto reali ma in realtà non sono corrette, il che è ovviamente un grosso problema per una soluzione di servizio clienti. Non vuoi dare risposte plausibilmente suonanti, ma di fatto errate. Ma ci sono molte cose interessanti a cui puoi applicarlo. E penso che il grande vantaggio sia che questa tecnologia si sta evolvendo molto velocemente. Ed è davvero solo una questione di tempo prima che possa dare risposte effettivamente corrette. E una volta che ciò accadrà, sarà davvero dirompente.

Emmet: Quindi, quello che stai dicendo è che darà una risposta qualunque cosa succeda. E in alcuni casi, questo si traduce in quelle che hai chiamato allucinazioni. Molly, questo sembra un grosso limite per chiunque cerchi di usarlo per davvero. Cosa sono le allucinazioni e perché si verificano in primo luogo?

Molly: Sì, è un grosso problema, come ha detto Gustavs. La modella vuole farti piacere, quindi vuole darti una risposta che pensa tu voglia. A volte, ha una fonte affidabile per quelle informazioni e, a volte, sta solo inventando cose. Sembra un bambino. "Perchè lo hai fatto?" "Beh, pensavo fosse quello che volevi." L'allucinazione potrebbe provenire da molte fonti diverse. Se gli fai una domanda su Intercom, non sa necessariamente nulla di nuovo. E quindi, potrebbe prendere pezzi di ciò che sa che sono accurati, conoscenza generale da altrove, interpolarli e, in un certo senso, provare a usare il buon senso, che, ovviamente, non ha. Non ha davvero capacità di ragionamento. Utilizza probabilità del tipo: "Beh, questo potrebbe probabilmente funzionare in questo modo, quindi posso inventare una risposta su qualcosa sull'API di Intercom" o qualcosa del genere. E come ha detto Gustavs, è super plausibile. Sembra molto fiducioso.

E come hai detto, diverse aziende si stanno concentrando su cose diverse. Ci sono aziende che si concentrano un po' di più su come ridurre al minimo le allucinazioni. Considerando che ChatGPT, penso, spesso si concentra molto sui guardrail e sull'etica e sull'essere chiari su ciò a cui si rifiuta di rispondere.

Emmet: Pensi che vedremo una proliferazione di tanti, tanti modelli diversi e puoi scegliere quello che meglio si adatta al tipo di compromesso tra l'essere assolutamente corretti e le allucinazioni che vuoi, o è un problema che potrebbe semplicemente scompaiono man mano che i modelli diventano più maturi?

"ChatGPT ha illustrato qualcosa di interessante, ovvero che l'interfaccia utente e la UX di tutto questo sono molto importanti"

Molly: Non sono sicura che scomparirà. Ma sì, ci sono già molti modelli. Esistono modelli open source e c'è il potenziale per fare ciò che chiamiamo messa a punto su un modello. GPT sta per trasformatore generativo pre-addestrato, quindi genera cose. È pre-addestrato su un grande corpus e trasformatori. Diverse aziende si concentreranno su cose diverse. Esistono modelli open source e Intercom, in quanto potenziale utente di questi modelli, potrebbe essere in grado di perfezionarli per ottenere una conoscenza più specializzata del nostro settore o azienda. La tecnologia migliorerà anche nell'utilizzo e avrà bisogno di meno dati per avere un modello eccezionale. E così, i modelli diventeranno sempre più piccoli e sempre più piccoli. E potenzialmente, a quel punto, potrebbe essere molto più ragionevole per un'azienda più piccola creare un modello sui propri dati e renderlo abbastanza specializzato, abbastanza informato e molto affidabile.

Emmet: Cambiamo marcia e parliamo più specificamente di design. Chiaramente, GPT e AI, in generale, sono stati principalmente una storia tecnologica, ma penso che ChatGPT abbia illustrato qualcosa di interessante, ovvero che l'interfaccia utente e l'esperienza utente di tutto questo sono molto importanti. Ad esempio, sembra esserci uno spostamento verso le interfacce utente conversazionali, potenzialmente. Pensi che sia vero? Qual è il ruolo del design nel dare forma a ciò che facciamo con questa tecnologia da qui, Molly?

Molly: Voglio dire, Intercom è posizionato molto bene. La nostra attività riguarda la conversazione e il servizio clienti e le persone sono davvero entusiaste di conversare con questa tecnologia. Ma quello che abbiamo scoperto di recente è che, almeno per il momento, c'è così tanto potere disponibile nella tecnologia che in realtà non è direttamente conversazionale, ma riguarda la conversazione e il linguaggio.

Come accennato, è ottimo per il riepilogo e ci sono un sacco di flussi di lavoro in cui il riepilogo può davvero aiutare gli agenti del servizio clienti. Di recente abbiamo lanciato una versione beta per alcuni clienti e il riepilogo è una delle cose che le persone trovano davvero, davvero, davvero preziose. Abbiamo anche aggiunto alcuni strumenti di testo generativo per consentire ai rappresentanti di apportare modifiche ai loro messaggi se vogliono riformulare le cose, renderle più amichevoli, renderle un po' più formali o ottenere aiuto per chiarire le cose. Fa parte della conversazione, ma non è una conversazione diretta con ChatGPT. Lo troviamo utile anche per aiutare a generare articoli come gli articoli del Centro assistenza, anch'essi parte di questa versione beta. Gran parte del potere di questo è in alcune delle applicazioni più nascoste che non sono così ovvie per i profani ma che richiedono molto tempo per le ripetizioni. E possiamo fornire molto valore con questo.

“Stai cercando quell'intersezione di cose in cui la tecnologia è brava e cose in cui c'è un rischio relativamente basso. E ne vedremo molti nei prossimi mesi”

Gustavs: Sì. Ci sono molti modi in cui puoi usare questa tecnologia, e attraverso di essa, eludere alcuni dei problemi che abbiamo visto, in particolare con le allucinazioni, dove sta inventando cose che non sono corrette. Ma è davvero bravo in altre cose. È bravo a riformulare i contenuti esistenti e ha senso guidare con quello perché può fornire un valore chiaro. L'obiettivo finale sarebbe essere completamente automatizzati e dare effettivamente risposte. È solo che la tecnologia non è ancora abbastanza buona per questo. Ma penso che ci arriveremo.

Emmet: E sospetto che sarà così che vedremo le cose per tutto il 2023 perché immagino che inizieremo a vederlo insinuarsi in molti prodotti diversi, probabilmente in modi relativamente semplici e infallibili per cominciare e poi spingendo sempre più la barca fuori in termini di complessità di ciò che può fare. Tutti noi, credo, ci siamo avvicinati a questa opportunità con una combinazione di entusiasmo e forse anche un po' di sana trepidazione. Molly, hai detto che al momento abbiamo queste funzionalità supportate da ChatGPT in versione beta. E il feedback è stato estremamente incoraggiante e positivo. I primi segni che stiamo vedendo sono clienti reali che ottengono una reale utilità da funzionalità come riassumere una conversazione prima di passarla a qualcun altro. Stai cercando quell'intersezione di cose in cui la tecnologia è brava e cose in cui c'è un rischio relativamente basso. E ne vedremo molti nei prossimi mesi. Quindi, sarà eccitante.

IA conversazionale

Emmet: Gustavs, ci hai pensato più a lungo termine. Potresti parlarci un po'? Hai menzionato Intercom: uno dei motivi per cui ne stiamo parlando è che probabilmente siamo abbastanza ben posizionati, data la natura dei nostri prodotti, che è un servizio clienti conversazionale, per sfruttare al massimo questo aspetto. Cosa pensi quando pensi alle opportunità di prodotti e design a lungo termine?

Gustavs: Nei primissimi giorni del lancio di ChatGPT, abbiamo tenuto questo seminario per provare a pensare al futuro, in particolare a come sarebbe il mondo se avessimo un modello che non avesse questo problema di allucinazioni e fosse in grado di dare buone risposte o dire "Non lo so". È stato davvero promettente e ha davvero aumentato la nostra fiducia in molte cose in cui già credevamo ma che stiamo accelerando. Riteniamo che la maggior parte delle richieste di supporto verrà risolta in modo completamente automatico senza parlare con gli umani. Sta già aumentando oggi con più del tipo di builder "se questo, allora quello", con bot e il nostro bot di risoluzione, che ha alcune capacità di apprendimento automatico ma non nella stessa misura di ChatGPT.

"La maggior parte del supporto avverrà nel modo più naturale per gli esseri umani, ovvero attraverso la conversazione"

Siamo già su quel percorso, ma verrà accelerato. E di conseguenza, le organizzazioni di supporto inizieranno a passare dall'essere reattive e principalmente nella posta in arrivo all'essere proattive, impostando e addestrando l'IA; scrivendo contenuti che l'intelligenza artificiale può utilizzare per risolvere le conversazioni.

Penso che la maggior parte del supporto avverrà nel modo più naturale per gli esseri umani, ovvero attraverso la conversazione. Immagina se avessi qualcuno con cui puoi sempre parlare che ha una risposta personalizzata solo per te. Questo è il modo più naturale per gli esseri umani di interagire. Questa esperienza di ricerca e navigazione che abbiamo oggi, in cui cerchi qualcosa su Google e lo scansioni per cercare di trovare rapidamente risposte da qualche parte nel contenuto, non è così naturale per gli esseri umani. Ci saranno ancora alcune versioni di ciò con suggerimenti per contenuti che potrebbero essere rilevanti per te prima di iniziare una conversazione. Ma quando interagisci con esso, potrebbe comunque essere colloquiale.

Crediamo che dovremo anche costruire un ponte per arrivarci per molteplici ragioni. Penso che inizieremo vedendo l'aumento della rappresentanza di supporto con cose come il riepilogo o la riformulazione. Successivamente, forniremo suggerimenti per le risposte che i rappresentanti dell'assistenza possono modificare e migliorare e, successivamente, entreremo nell'automazione completa. Ci vorrà del tempo, sia per l'aspetto tecnologico che umano, per abituarsi a usare sempre più automazione.

Emmet: Stai descrivendo qualcosa in cui, su una superficie molto ampia del prodotto, ci sono molti punti diversi in cui questo può cambiare il modo in cui lavoriamo, sia quella che chiamiamo esperienza del compagno di squadra sia l'esperienza dell'utente finale, nelle due lati della conversazione. Ma stai anche descrivendo questa nozione nebulosa di come arriveremo a questo vago futuro di "pensiamo che la tecnologia ci arriverà". Mi colpisce come un modo molto diverso di pensare all'approccio al design oggi e quasi una profonda differenza nel modo in cui pensiamo di interagire con i computer, passando da qualcosa di molto deterministico, molto tagliente - di vero e falso e uno e zero - a qualcosa modo più sfocato.

Nuovi modelli di design

Emmet: I designer ora stanno cercando di lavorare con questo materiale che sembra molto più inconoscibile, plastico e meno rigido delle app CRUD, "crea, scrivi, aggiorna, elimina", a cui siamo abituati. Cosa hai trovato? C'è una differenza sostanziale nel modo in cui i designer devono affrontare il loro lavoro? Hai trovato certe cose difficili o stimolanti? I designer dovranno acquisire nuove competenze? Quanto è grande questo cambiamento per l'atto di progettare, il fatto che il materiale con cui stiamo progettando abbia quasi incorporato questo elemento di inconoscibilità?

"Nel corso del tempo, vedremo emergere sempre più nuovi modelli di progettazione su come gestire questa incertezza e aspettative da tutte le parti"

Molly: Penso che ci sia ancora molto del nostro lavoro che rimarrà lo stesso. Stiamo trovando problemi, scavando nei flussi di lavoro delle persone, trovando schemi. Una cosa importante è dover progettare per molti più casi di fallimento perché non ci sono necessariamente guardrail. Quando hai una conversazione, può andare fuori dai binari in tanti modi diversi. Ed è lo stesso con un sistema come questo. Gli umani, come specie, non sono grandi probabilità. Quando guardiamo il bollettino meteorologico e c'è una probabilità del 40% che piova, non abbiamo una grande idea di cosa significhi.

Emmet: Sì, sei deluso se non piove perché ti è stato detto che ci sarebbe stata pioggia.

Molly: Sì. Sono in Olanda – quando vedo qualche possibilità di pioggia, dico: “Pioverà. È solo una questione di quanto tempo. Ecco cosa significano le percentuali per me. Ma non siamo così bravi a interpretarli. Penso che sarà sicuramente qualcosa mentre guardiamo a quanto siano sicure queste previsioni perché sono previsioni di quali parole dovrebbero venire dopo. E cercheremo di migliorare in questo. C'è molto da fare con la velocità con cui questa tecnologia si muove e cambia, e non credo che cambierà. C'è molta prototipazione, reazione e riflessione sulla latenza. La latenza in questo momento può essere piuttosto lunga, progettando per questo. E ci sono molti risultati inaspettati. Queste sono alcune delle cose che ho notato.

Gustavs: Penso che, nel tempo, vedremo emergere sempre più nuovi modelli di design su come gestire questa incertezza e aspettative da tutte le parti. Al momento, tutti stanno sperimentando e vedendo cosa funziona. Stiamo già vedendo emergere alcuni modelli con piccoli suggerimenti predefiniti su come modificare il testo come "espandi questo", "riassumilo", "rendilo più amichevole". È un modello relativamente nuovo che sta iniziando a emergere e penso che vedremo sempre più di questi tipi di modelli. Anche questa interazione in cui, se chiedi a ChatGPT di generare contenuti, ha questo cursore che si muove lentamente. Anche questo è un modello di design interessante. È tecnicamente richiesto, ma potrebbe funzionare molto bene per creare aspettative che "ehi, questa è l'intelligenza artificiale che genera contenuti al volo".

"In questi nuovi sistemi che potrebbero essere molto automatizzati, stiamo pensando di aggiungere nuovamente un po' di attrito in modo da conservare le competenze che riteniamo preziose e che vogliamo avere?"

Emmet: Quindi, stai dicendo che questo effetto di digitazione parola per parola, che è, per essere chiari, una funzione di come la tecnologia lo compone parola per parola, potrebbe diventare sinonimo e un biglietto da visita visivo . Forse accadrà, forse no, ma il tipo di cosa che tende ad emergere quando vediamo questi cambiamenti e l'emergere di nuove tecnologie potrebbe essere interessante approfondire l'idea di nuovi modelli di design che emergono perché lo vediamo quando arrivano nuove tecnologie lungo. Molly, ce ne sono altri che hai incontrato, a un livello di design dell'interazione molto basso o ad un livello elevato di come questo viene cucito nei prodotti?

Molly: Ci sono un paio di altre cose che penso inizieranno ad apparire di più. Ad esempio, quando stiamo cercando di sviluppare una funzionalità, gli ingegneri eseguono il backtesting. Stanno usando dati passati e fanno previsioni su di essi e poi li confrontano con ciò che ha effettivamente detto un compagno di squadra, per esempio. Per cose del genere, potremmo dover iniziare a lanciare non dall'utente finale ma dal lato del team o dell'amministratore, dove le persone che gestiscono un'organizzazione CS potrebbero voler avere quello che io chiamo un lancio oscuro: non hanno cose dal vivo ma lo sono in grado di guardarli e avere la sensazione di "Okay, ora mi fido che questo vada". Diverse fasi di lanci oscuri, suggerimenti di bozze e diverse fasi di lancio di alcuni di questi strumenti. Penso che sarà più prominente.

Non so in che direzione andrà, ma penso ai punti in cui potremmo dover aggiungere nuovamente attrito nel sistema in modo da non ottenere compiacimento. I piloti fanno ancora alcune parti di un volo, anche se il sistema di pilota automatico fa la maggior parte di esso, perché non devono dimenticare come si vola. Quindi, stanno facendo gli atterraggi o altre cose. In questi nuovi sistemi che potrebbero essere molto automatizzati, stiamo pensando di aggiungere nuovamente un po' di attrito in modo da conservare le competenze che riteniamo preziose e che vogliamo avere?

Emmet: E chiaramente, quasi tutto ha un punteggio di confidenza implicito per la funzionalità incorporata che devi progettare. È qualcosa che esporremmo ai rappresentanti e agli amministratori o ai loro clienti? C'è una soglia più alta per noi per esporre cose ai loro clienti o anche a un livello di dettaglio inferiore. Prendi la capacità di riassumere una lunga conversazione. Pubblichi quel riepilogo direttamente nel thread della conversazione con un clic di un pulsante o dai a qualcuno l'opportunità di esaminarlo e approvarlo? Lasciarlo passare senza aggiungere un cancello di approvazione? Penso che probabilmente vedremo emergere molti flussi di lavoro, almeno inizialmente, e poi inizieranno a diminuire man mano che la tecnologia crea una fiducia sempre maggiore?

Molly: Sì, esatto.

Gustavs: Anche solo la capacità di dirti quanto è sicuro. Se l'intelligenza artificiale potesse dirti: "Ehi, questa è la mia risposta ed è corretta al 40%", potresti presentarla per l'approvazione di un essere umano prima che venga inviata. Se è sicuro al 90%, puoi semplicemente andare avanti e inviarlo immediatamente e avere un pulsante "hey, questo non è corretto" sul lato dell'utente finale. Dipende davvero da come si evolve la tecnologia. Il design dovrà evolversi di pari passo.

Emmet: Sì. Dio, concedimi la fiducia di un grande modello linguistico perché dirà con assoluta sicurezza una totale falsità e la totale verità senza distinguerle. E questa è la questione della fiducia. Al momento, non c'è nulla che dica: "Sono fiducioso al 100% in questa affermazione". In ChatGPT, almeno. In alcuni degli altri modelli linguistici, credo che stiamo iniziando a vedere riferimenti alle fonti, il che sembra un passo positivo.

Aggiunta di strati in cima

Emmet: Sembra che ci siano un sacco di cose sconosciute, un sacco di decisioni progettuali nitide e profonde come questa in cui essere coinvolti. Rimpiccioliamo il significato di questi megatrend per il design e il prodotto. Le persone hanno assistito o hanno preso parte all'arrivo di grandi e nuove tecnologie. Sto pensando a cose come il cloud o il passaggio massiccio al Web e ai dispositivi mobili come grandi tecnologie abilitanti che hanno portato a questo mondo completamente nuovo di modelli di progettazione e prodotti che prima non erano disponibili. Con il cloud, abbiamo visto moduli, feed, Mi piace e tutta la trasformazione visiva che il web ha attraversato.

Si potrebbe dire più o meno lo stesso per i dispositivi mobili: qualsiasi cosa, dai feed ai menu hamburger da trascinare per aggiornare e scorrere per eliminare, che ora consideriamo parte del toolkit di un designer. Forse ci stiamo avvicinando pericolosamente al momento della previsione, ma qual è la tua prima esperienza di lavoro con questo? Ti dice qualcosa su quali tipi di prodotti vinceranno o perderanno e quali nuove cose potremmo vedere emergere che prima non erano nemmeno possibili?

"Le aziende che vinceranno, credo, sono quelle che avranno una sorta di dati proprietari e un effetto volano che raccoglie e migliora continuamente quei dati"

Gustavs: Penso che, nel tempo, la maggior parte delle aziende utilizzerà questi modelli di linguaggi di grandi dimensioni disponibili pubblicamente invece di crearne di propri. Ma per differenziarsi l'uno dall'altro, potrebbero costruire strati sopra di loro con conoscenze specialistiche. Ad esempio, potresti disporre di dati specifici dell'azienda: per uno strumento di supporto, potrebbero essere risposte a domande specifiche sul tuo prodotto e i rappresentanti dell'assistenza che forniscono risposte specifiche anziché conoscenze generalizzate. Potrebbe essere una conoscenza davvero approfondita di un campo particolare, come la legge.

Le aziende che vinceranno, penso, sono quelle che avranno una sorta di dati proprietari e un effetto volano che raccoglie e migliora continuamente quei dati. L'altra cosa che penso sarà interessante è vedere cosa fanno i grandi giocatori come Google, Apple e Microsoft con questa tecnologia e come la integrano a livello di sistema operativo. Ciò potrebbe avere un enorme impatto sul tipo di nicchie disponibili per altre aziende.

"OpenAI sta perdendo milioni al giorno per eseguire ChatGPT, e probabilmente ne vale la pena dal punto di vista delle pubbliche relazioni o dei dati di ricerca che stanno raccogliendo, ma significa anche che non sarà gratuito e piacevole"

Emmet: Hai iniziato dicendo che la maggior parte delle persone integrerà questi grandi modelli linguistici in un certo modo. Penso che le aziende che non riescono a fare quello che stavi dicendo, e in realtà trovano una sorta di fossato difensivo, si troveranno fondamentalmente un involucro sottile su GPT che in realtà non fa molto altro. Quindi, sono pienamente d'accordo con te lì. Se pensi a qualcosa come l'App Store o gli app store per dispositivi mobili, all'inizio c'erano molti giocattoli, torce elettriche e cose del genere. E poi, gradualmente, si trasforma in grandi cose abilitanti come Uber, che non potrebbe esistere se non avessimo questo modello, e Instagram e la mappatura e così via. Molly, qualcosa che vorresti aggiungere in base alla tua esperienza?

Molly: Non sono del tutto sicuro che tutti useranno LLM pubblici. Ho un piccolo timore che siano troppo costosi per molte aziende per far funzionare il loro modello di business o che alcune delle grandi aziende possano mantenerli privati. Quindi, non sono sicuro che tutti useranno quelli pubblici o se le persone si sposteranno maggiormente verso l'open source e metteranno il loro livello perfezionato in cima. Sono d'accordo sulle modalità dati. Ad esempio, in Intercom abbiamo molti dati di conversazione e siamo in grado di fare cose che Apple non può necessariamente fare a livello di sistema operativo. E questo ci fornisce un certo valore. Penso che i prodotti che avranno successo saranno quelli che, come hai detto, non sono solo uno strato di merce in cima, ma comprendono profondamente un problema o un flusso di lavoro e possono integrarlo con la loro modalità dati.

Emmet: Hai anche toccato un paio di cose che, per il momento, saranno importanti riguardo ai limiti. È lento. Ci vogliono secondi per restituire una risposta. Ci saranno alcuni prodotti o spazi in cui è semplicemente inadatto. È anche costoso in termini di potenza di calcolo e quindi costoso in termini di denaro. Probabilmente ne sai più di me, ma ogni richiesta costa un paio di centesimi. OpenAI sta perdendo milioni al giorno per eseguire ChatGPT, e probabilmente ne vale la pena dal punto di vista delle pubbliche relazioni o qualunque sia il dato di ricerca che stanno raccogliendo, ma significa anche che non sarà gratuito e piacevole. E mentre la tecnologia ha un'ottima abitudine di diventare più veloce ed economica nel tempo, e questo potrebbe potenzialmente accadere qui, per il momento ci sono alcune limitazioni che limitano l'applicazione. Forse lo vedremo meno nelle app in tempo reale. Forse lo vedremo meno nelle app B2C, dove la portata e il costo dell'esecuzione di questo tipo di query potrebbero essere enormi. Sarà interessante vedere come le cose emergono anche lì.

Il futuro dell'interfacciamento

Emmet: Sono curioso di approfondire la conversazione sul design e pensare effettivamente a questi sistemi generativi ea come interagiremo con essi. Stiamo alludendo a tutti i nuovi tocchi e passaggi e alle cose che puoi fare quando arriva una nuova piattaforma. È qui che dovremo inevitabilmente entrare in punta di piedi nel mondo delle previsioni. Possiamo tutti guardare indietro a questo tra un anno o due e ridere di quanto ci sbagliamo, ma c'è un'interessante sensazione che forse questo si stia spostando verso un modo di interagire più basato sul testo, quasi basato sulla riga di comando. Un altro tipo di micro tendenza nel prodotto è stata questa palette di comandi + K che puoi visualizzare premendo una scorciatoia e digitando l'azione che desideri intraprendere. Lo vediamo in molti prodotti, il che contribuisce a questo senso generale di spostamento verso il testo e il linguaggio naturale come modo diretto di interfacciamento.

“Non credo che dobbiamo scegliere un modo per interagire con l'IA. È una capacità molto ampia che può essere applicata in modi diversi per diversi casi d'uso"

D'altra parte, se guardi alle tendenze precedenti, in particolare al viaggio che abbiamo percorso dall'interfaccia della riga di comando, abbiamo finito per costruire interfacce utente grafiche molto dettagliate. E quindi, mi chiedo se ti interesserebbe speculare su dove vedi questo andare. Questo fa presagire uno spostamento verso più interfacce a riga di comando per il 21° secolo? È una cosa temporanea da riga di comando prima di capire come appare un livello di interfaccia utente grafica su queste cose? È davvero troppo presto per dirlo?

Gustavs: Beh, penso che li avremo tutti. Non penso che dobbiamo scegliere un modo per interagire con l'IA. È una funzionalità molto ampia che può essere applicata in modi diversi per diversi casi d'uso. Quindi, ad esempio, se stai cercando una risposta, la conversazione sarà il modo principale per ottenere una risposta. Ma se parliamo di aumento del flusso di lavoro con l'intelligenza artificiale, penso che vedremo interfacce grafiche con azioni predefinite che l'intelligenza artificiale deve intraprendere. È lo stesso che stiamo vedendo oggi con riassunto, riformulazione e l'intera ondata di co-pilota per X.

Con l'automazione del flusso di lavoro, intendo utilizzare l'intelligenza artificiale per migliorare il modo in cui svolgi il tuo lavoro. Quindi, ad esempio, nell'assistenza clienti, è quando scrivi risposte ai clienti utilizzando l'intelligenza artificiale per migliorare quelle risposte. Di nuovo, espandendo un punto o riassumendo la conversazione fino a quel punto. Penso che potrebbero esserci interfacce grafiche per questi tipi di aumento del flusso di lavoro.

Molly: Sono terribile con le previsioni, ma potremmo avere una specie di proliferazione, come hai detto, di interfacce comando + K o diverse opzioni su ciò che puoi fare. Una delle sfide con questa tecnologia è la rilevabilità di ciò che può fare. Puoi digitare qualsiasi cosa in questo prompt. "Scrivimi una poesia shakespeariana come un pirata" o qualcosa del genere. Metteremo alcuni guardrail, ma penso che probabilmente andremo in largo e poi vedremo le cose restringersi un po' man mano che le cose diventeranno più comuni e utili. E poi, alla fine, forse saremo in grado di passare a un'interfaccia più basata su testo o conversazionale o completamente aperta una volta che avremo un'idea di cosa può fare questa tecnologia.

Man mano che ci abituiamo a parlare con i nostri sistemi, sono anche entusiasta del potenziale delle interfacce neurali. Perché parlarne se posso solo pensarlo? So che è molto lontano, ma quando ero a Berkeley, alcuni dei miei colleghi ci stavano lavorando. Sarebbe davvero fantastico. Ci sono molte situazioni in cui non vuoi parlare e digitare, e questo apre le cose. Forse più avanti nel futuro avremo sistemi integrati in grado di prendere istruzioni non GUI e tradurle in azioni. Lo stiamo già vedendo con alcuni di questi sistemi che possono accettare query e istruzioni in linguaggio naturale e trasformarle in azioni sul tuo computer. E il fatto è che alcuni di questi LLM sono anche molto bravi a generare codice, come il co-pilota di GitHub. E quindi, c'è solo molto potenziale lì.

Emmet: Sospetto che la manipolazione del testo avrà un grande anno nel software perché qui ci sono così tante possibilità immediate. È molto naturale poter evidenziare una parte di testo e dire "rendilo più amichevole". Sembra quasi che appartenga alla tavolozza degli strumenti insieme al grassetto e al corsivo. È solo un modo per manipolare il testo esistente. Quindi, ci sono molti modi per andare oltre, come la generazione o la generazione di codice.

Personalmente ho trovato l'esperienza di lavorare con i generatori di immagini molto diversa. Ancora una volta, gran parte della nostra esperienza con questi sistemi sta vedendo scorrere i risultati, come screenshot di ChatGPT o qualcosa creato da DALL-E, Midjourney o Stable Diffusion. Il processo di creazione dei generatori di immagini mi sembra goffo e qualcosa che probabilmente sarà interfacciato con una GUI e avrà un'interfaccia sullo schermo molto più tattile. Dover semplicemente riempire il prompt con un breve trend F-stop sull'arte deviante per cercare di convincerlo a creare gli output desiderati è così chiaramente un hack. E ci sono molte dimensioni di stili diversi che vuoi attraversare che sarebbero molto meglio servite da manopole, quadranti e cursori di qualche tipo. Immagino che la mia previsione sia che vedremo l'ingegneria rapida come esiste oggi essere sostituita da qualcosa che si spera molto meglio.

"C'è qualcosa di interessante nel fatto che l'intelligenza artificiale sia come un collega superpotente che può usare gli strumenti che hai e puoi dare loro un feedback in testo semplice per aiutarli a migliorarli"

E solo per finire il pensiero, video e audio sono molto diversi perché devi sederti a lungo e rivedere i risultati. Puoi guardare un centinaio di immagini o leggere un po' di testo, ma onestamente ho meno opinioni su questo perché sono stato in grado di dedicarci meno tempo. Ma immagino che torni a quello che stavi dicendo alla fine, Gustavs. Non è una risposta soddisfacente, ma dipenderà in maniera massiccia. E penso che dipenderà molto da cosa sto manipolando. E potremmo avere interfacce utente molto diverse per questo a seconda.

Gustavs: Allo stesso tempo, penso che ci saranno nuove interessanti applicazioni per dare istruzioni in linguaggio naturale. Ad esempio, una cosa che abbiamo trovato interessante quando abbiamo fatto la nostra esplorazione iniziale è stata che il modo in cui potresti addestrare l'IA potrebbe essere molto, molto simile o praticamente lo stesso come se l'IA fosse un agente di supporto e tu avresti dato loro un feedback sulla tua politica su come interagire con i clienti o quale tono di voce utilizzare. Anche quando fornisci feedback su singole conversazioni, potresti semplicemente fornirli in testo semplice perché comprende il linguaggio naturale e il contesto. Penso che vedremo anche quello. E c'è qualcosa di interessante nel fatto che l'intelligenza artificiale sia come un collega superpotente che può usare gli strumenti che hai e puoi dare loro un feedback in testo semplice per aiutarli a migliorarli.

Emmet: Molly ha toccato cosa succede quando queste cose non si limitano a sputare testo, ma possono anche intraprendere azioni, per esempio. E questo è probabilmente un intero livello aggiuntivo di ciò di cui sono capaci.

Dove andiamo da qui?

Molly: Fergal, per quelli di voi che ascoltano alcuni podcast precedenti, è il direttore del Machine Learning. Dice che il suo ideale per un sistema ML dovrebbe essere come un collega intelligente seduto accanto a te a cui puoi dare istruzioni e lo eseguirà davvero bene. È una specie di sogno. E quindi, come ha detto Gustavs, essere in grado di fornire feedback in linguaggio naturale è solo questo cambiamento epocale nel modo in cui possiamo gestirlo.

"Come possiamo rendere questo collega intelligente, potenzialmente minaccioso, un compagno di squadra che ti rende migliore?"

Emmet: Mi chiedo anche quanto intervallo ci sarà. C'era un'agenzia chiamata Berg a Londra qualche anno fa, e hanno fatto molti esperimenti con le precedenti iterazioni dell'IA. Ma uno dei loro principi era "sii intelligente come un cucciolo" perché non volevano che l'intelligenza artificiale si sentisse minacciosa o opprimente. E quello era il loro principio nel tracciare i confini intorno a noi. Non mi piace ritagliare i designer come il tipo che agita le dita "non puoi farlo", ma forse stabilire quei confini sicuri è un ruolo importante anche per i designer.

Molly: Penso che ci sia un ruolo per quei confini. Voglio lavorare accanto a un cucciolo, ma tu vuoi lavorare accanto a qualcuno con l'intelligenza di un cucciolo? Penso che il ruolo dei designer sia: come possiamo rendere questo collega intelligente, potenzialmente minaccioso, un compagno di squadra che ti sta rendendo migliore, che può avere questa sessione di lavagna davvero fantastica, di brainstorming in cui stai solo riff su ogni altro? Come arriviamo a questo? È qui che possiamo davvero aggiungere questa magia: migliorare la giornata lavorativa, aumentare i flussi di lavoro e rendere l'IA un vero compagno di squadra per le persone.

Emmet: Le auto a guida autonoma sono probabilmente l'applicazione più avanzata attualmente dell'IA, anche se non è a un livello di adozione ampio. La tensione di questi livelli di guida autonoma e il rischio crescente mentre li attraversi - una versione di ciò probabilmente si applica a molte di queste cose, se ci pensi.

Molly: Sì, voglio dire, è esattamente quello che abbiamo già detto. È un suggerimento? C'è una recensione? C'è l'approvazione? Questa è solo la nostra versione dei cinque livelli di veicoli autonomi.

Gustavs: Un'altra cosa interessante è che, nel tempo, man mano che l'intelligenza artificiale migliora ed è in grado non solo di dare risposte ma anche di eseguire azioni per tuo conto, in modo simile a come potrebbe fare un collega, sarà un'interessante sfida di progettazione da capire un modo per far sembrare che qualcuno sia seduto accanto a te e ti aiuti, al contrario di un hacker che dirotta il tuo computer e fa clic sulle cose. Se riesci a farlo funzionare con il design, sembrerà magico. O potrebbe essere pazzesco spaventoso. Sarà un'interessante sfida di design.

Emmet: Ed è possibile che il percorso conversazionale sia il modo migliore per farlo. Anche il grado in cui è inquadrato come una persona amichevole e conversazionale rispetto al sistema con cui interagisci a distanza sarà interessante da vedere.

“La natura della produzione e del lavoro di ideazione cambierà molto? Dovremo apprendere nuove abilità come l'ingegneria rapida?

Un paio di anni fa, abbiamo avuto quello che, in retrospettiva, potresti pensare come un ciclo di hype dei bot. E in realtà, Intercom è stata piuttosto attivamente coinvolta nella sperimentazione e nello scoprire cosa potevamo fare. Naturalmente, abbiamo prodotti che ne hanno approfittato, come abbiamo già detto. Cose come il Resolution Bot e i Custom Bot. Ma abbiamo anche scoperto durante quel ciclo di hype che ci sono un sacco di applicazioni che non sono affatto buone per l'interfaccia utente conversazionale. C'era un robot meteorologico e tu dici: "In realtà, non ho bisogno di un bot per chiedere che tempo fa: ho un'app o una pagina web che va bene per quello". Vedremo inevitabilmente molte cose che accadranno anche qui. Probabilmente un'applicazione eccessiva dell'interfaccia utente conversazionale, ma poi i casi d'uso veramente utili vengono alla ribalta.

Un'altra cosa che aggiungerò che mi rende piuttosto fiducioso riguardo alla conversazione è un problema su cui lavoriamo da molto tempo. Il test di Turing non è nuovo. Ma a parte questo, ho lavorato in Google diversi anni fa. C'è stata un'enorme quantità di lavoro nella ricerca e orgoglio nel far sì che rispondesse a una domanda del tipo: "Quanto è alta la Torre Eiffel?" Qualcosa che sembra semplicemente super basilare rispetto a ciò che ora abbiamo a nostra disposizione. Anche gli assistenti vocali come Siri si sono improvvisamente svegliati una mattina di fine novembre per essere quasi obsoleti.

Anche la velocità con cui i sistemi migliorano determinerà gran parte di questo. Una delle cose interessanti e nuove per i designer è che siamo più avanti per il viaggio rispetto a quando lavoravamo con le tecnologie web o qualsiasi altra cosa in passato. Dove va la tecnologia da qui detterà le cose tanto quanto la nostra visione autoriale registica come designer.

"Penso che sarà davvero importante per i designer appoggiarsi a questo e giocare e armeggiare con questi modelli linguistici e vedere come puoi applicarli al tuo prodotto"

Un'ultima dimensione a cui penso in termini di design, in particolare, sono gli strumenti che utilizziamo e il fatto che hanno il potenziale per cambiare radicalmente. La natura della produzione e del lavoro di ideazione cambierà molto? Dovremo apprendere nuove abilità come l'ingegneria rapida? Gustavs, qualche idea di alto livello su cosa questo significhi per la natura mutevole del fare effettivamente design?

Gustavs: Sì. In termini di ingegneria tempestiva in particolare, penso che, nel tempo, vedremo emergere le migliori pratiche su come farlo nello stesso modo in cui lo facciamo per qualsiasi altra tecnologia. E ovviamente, si evolveranno e miglioreranno nel tempo, ma non credo che sarà un fattore di differenziazione chiave che modellerà fondamentalmente la tua attività. Difficile dire come cambierà il ruolo del designer, e dipende dai tempi. A breve termine, penso che sarà davvero importante per i designer appoggiarsi a questo e semplicemente giocare e armeggiare con questi modelli linguistici e vedere come puoi applicarli al tuo prodotto, come altre aziende lo stanno applicando al loro e cerca di trovare modelli e modi interessanti per fare cose nuove.

Ma a lungo termine, è molto più difficile dire quale sarà l'impatto sui designer dell'intero settore. Quindi, man mano che l'intelligenza artificiale migliora, e non solo nell'aumentare gli esseri umani, ma anche nella completa automazione della scrittura e dell'esecuzione di attività, penso che possa rivoluzionare fondamentalmente molti prodotti e settori e persino il ruolo che i designer svolgono nel plasmare quei prodotti. Immagino che vedremo. Molte domande aperte e sarà interessante vedere come andrà a finire.

Emmet: Sì. Una delle cose belle di fare ciò che facciamo è che occasionalmente la tecnologia ti offre un tipo completamente nuovo di strada che puoi perseguire. Sembra decisamente che sia una cosa che cambierà sostanzialmente il panorama in cui lavoriamo e creerà un sacco di nuove sfide e opportunità per i designer. Per noi di Intercom, è molto eccitante essere sulla buona strada e su quel percorso e impegnarci pienamente. Sarà senza dubbio un anno interessante per l'IA e la progettazione con l'IA. Non vedo l'ora di vedere dove arriviamo. Forse possiamo lasciar perdere. Molly, grazie mille. Gustavs, grazie mille. È stato fantastico chattare con te e imparare dalla tua precedente esperienza di lavoro con questa tecnologia. Forse lo rifaremo quando saremo tutti più grandi e più saggi, ma per ora, grazie mille.