Costruire un'intelligenza artificiale che funzioni: come navigare nella frontiera dell'IA come leader di prodotto

I leader di prodotto di Intercom discutono di come abbiamo creato Fin, il nostro nuovo chatbot AI, e di cosa abbiamo imparato sulla gestione dell'ambiguità, dell'incertezza e del rischio nel mondo in rapida evoluzione dell'intelligenza artificiale.

L'arrivo di ChatGPT ha completamente trasformato la percezione dei chatbot: addio scambi rigidi e prestabiliti; ciao conversazioni dinamiche e naturali.

Ovviamente, abbiamo colto al volo l'opportunità di creare un bot basato su GPT che potesse davvero interagire con i clienti, fornendo risposte e risoluzioni utili alle loro domande con una configurazione minima. Il risultato è Fin, basato su GPT-4 di OpenAI e sulla nostra tecnologia proprietaria. Siamo incredibilmente entusiasti dei risultati iniziali che i nostri clienti stanno vedendo: più di 400 clienti Intercom si stanno configurando con Fin, che ha già fornito oltre 250.000 risposte, e alcuni clienti hanno visto tassi di risoluzione migliori fino al 50%.

Arrivare a questo punto, tuttavia, ha richiesto un modo completamente nuovo di costruire il prodotto. Non è facile determinare il giusto adattamento del prodotto al mercato in un panorama tecnologico in cui le cose cambiano ogni giorno: è un atto di equilibrio di valutare costantemente come fare progressi sulla base di informazioni molto limitate e incerte.

Ma quell'incertezza è esattamente ciò che rende la costruzione di un prodotto AI così eccitante, snervante e, in definitiva, soddisfacente. Nell'episodio odierno del podcast Intercom, condividiamo ciò che abbiamo imparato finora, come abbiamo gestito la Fin beta, il nostro senso delle attuali dinamiche di mercato e le nostre previsioni per il futuro, nella misura in cui chiunque può prevedere il futuro in questo momento .

Nella puntata di oggi ascolterai:

• Des Traynor, co-fondatore e Chief Strategy Officer di Intercom
• Rati Zvirawa, Senior Group Product Manager di Intercom
• Brian Donohue, vicepresidente del prodotto presso Intercom

Poco tempo? Ecco alcuni punti chiave:

• Trovare un equilibrio tra velocità, precisione e prezzi rimane una sfida nello spazio. Quanto saranno disposte a pagare le aziende? Che tipo di aspettative avranno gli utenti finali nei confronti dei chatbot AI?
• Avendo un obiettivo condiviso, potenziando il processo decisionale e dando priorità alla velocità, siamo stati in grado di portare rapidamente Fin sul mercato, consolidando la nostra posizione di leader nell'AI per il supporto.
• I progressi nell'IA generativa hanno sbloccato un intero nuovo mondo di possibilità di prodotto. Le startup possono sfruttare questa opportunità concentrandosi sul valore a breve termine o scegliendo problemi esistenti su cui costruire.
• Nel panorama dell'IA in rapida evoluzione, è diventato sempre più difficile accertare il vantaggio competitivo di un prodotto e quale differenziazione avrà importanza a lungo termine.
• I clienti cercano marchi affidabili che navigheranno nel mutevole panorama dell'IA in modo da poter fare affidamento sulla loro esperienza mentre il mercato scopre dove si trova il valore.
• L'intelligenza artificiale detiene la capacità di democratizzare l'accesso a software complessi, consentendo potenzialmente agli utenti di utilizzare il linguaggio naturale per interagire con strumenti sofisticati, piuttosto che con le interfacce utente tradizionali.

Se ti piace la nostra discussione, dai un'occhiata ad altri episodi del nostro podcast. Puoi seguire su Apple Podcasts, Spotify, YouTube o prendere il feed RSS nel tuo lettore preferito. Quella che segue è una trascrizione leggermente modificata dell'episodio.

Dal concetto alla realtà

Des Traynor: Benvenuti al podcast di Intercom. Sono affiancato da due dei nostri leader di prodotto, Rati e Brian. Parleremo interamente dell'intelligenza artificiale, del nostro nuovo prodotto Fin e in generale di cosa vuol dire essere un leader di prodotto nell'era dell'IA. Rati, cominciamo da te. Dov'è Fin? È in diretta da qualche giorno.

Rati Zvirawa: Sì, è una settimana entusiasmante per noi. Abbiamo oltre 400 clienti che si stanno configurando con Fin. E guardando indietro ai numeri che abbiamo con i clienti, abbiamo fornito oltre 250.000 risposte. Questi sono alimentati dall'intelligenza artificiale e siamo davvero entusiasti di vedere i risultati. Per i clienti che iniziano, abbiamo riscontrato un tasso di risoluzione superiore fino al 50% all'istante, il che è davvero impressionante.

Des: Tasso di risoluzione, il che significa che probabilmente il cliente ha ottenuto ciò che voleva?

Ratio: Esattamente. Solo vedere le reazioni dei clienti e risolvere queste domande è entusiasmante per noi.

"Quello per cui abbiamo ottimizzato inizialmente era costruire qualcosa che prima non era possibile, ma volevamo farlo molto velocemente e sporcarci le mani"

Des: Brian, potresti raccontarci come è nato Fin?

Brian Donohue: Posso. Anche se sono successe così tante cose così in fretta, il motivo per cui siamo stati in grado di muoverci velocemente è che ci stiamo lavorando da anni.

Des: Quando dici veloce, quanto veloce?

Brian: Bene, quindi abbiamo lavorato su Resolution Bot, la vecchia versione di Fin, in un certo senso, perché è la stessa proposta di prodotto principale: rispondere automaticamente alle domande dei clienti. Ci lavoriamo da anni, così come altri prodotti ML. Ma poi ChatGPT ha aperto gli occhi a tutti, compresi i nostri esperti di ML, Fergal e il suo team, su ciò di cui era capace la nuova tecnologia. Quindi, dal 30 novembre, era lì che si trovava la squadra: “Convalidiamo. È davvero un problema così grande come pensiamo che sia? Nel giro di una settimana, hanno detto: "Questo è un cambiamento radicale". E da lì, stava andando a pieno regime. Ciò per cui inizialmente abbiamo ottimizzato era costruire qualcosa che in precedenza non era possibile, ma volevamo farlo molto velocemente e sporcarci le mani.

E quindi, ciò per cui abbiamo ottimizzato sono state le funzionalità della posta in arrivo assistita dall'intelligenza artificiale. E un gruppo di persone ha costruito cose simili qui. Riassumendo, rendendolo più educato, tutto quel genere di cose. Perché? Perché è facile da fare, e in parte è bello, e in parte è piuttosto utile. Il grosso problema erano, ovviamente, le allucinazioni. ChatGPT è fantastico, ma inventa cose, il che è un problema se stai costruendo un prodotto per il servizio clienti, giusto? Ed è stato un paio di settimane della convinzione del team building. Dall'inizio di febbraio, Fergal ha detto: "Penso che possiamo davvero superare questo problema di allucinazioni". E poi, abbiamo messo in pausa quelle funzionalità della posta in arrivo e ci siamo concentrati su quello che è diventato Fin. Cos'era quella metà di marzo?

Rati: Sì, metà marzo, 14 marzo.

Brian: Il 14 marzo abbiamo annunciato un prototipo con cui potevi giocare. Abbiamo detto che vogliamo credibilità. Non siamo solo prodotti per agitare le mani di cui puoi vedere le schermate. Puoi giocare con questo. E da lì, è passato da un piccolo team che ci lavorava a "Costruiamo effettivamente questo prodotto che possiamo vendere". Questo è stato più o meno ciò che l'ha portato a questa settimana.

Des: Cosa pensi che l'abbia fatto accadere velocemente? Era come le dita su una tastiera? Era la velocità del processo decisionale? Era semplicemente la chiarezza nel dire che questa è una priorità? Se dovessi ripetere quella velocità, cosa faresti?

“Il prodotto è legittimo? È davvero così buono? Quella era la prima fase"

Brian: Ci sono state due fasi. Nella prima fase, Fergal è stato davvero protettivo nei confronti del team perché questo team ha lavorato così bene insieme ed erano così efficienti sia nel testare la tecnologia che nel testare la proposta di prodotto. Era molto protettivo: "Siamo in grado di muoverci velocemente perché abbiamo questa squadra affiatata". E lui diceva: “Sono io il dittatore qui. A nessuno è permesso dire niente alla mia squadra”. Ho canalizzato Slack Rati, e sono tipo "Fergal probabilmente ti caccerà fuori domani, solo così lo sai."

Rati: Lo ha fatto.

Brian: Lo ha fatto. Presto sei stato invitato di nuovo e ok, eri ufficialmente il benvenuto all'ovile. Probabilmente sono stato espulso a quel punto o qualcosa del genere. Quindi, in realtà è stato piuttosto protettivo: "Se vogliamo muoverci così velocemente, dobbiamo essere quasi un muro attorno alla squadra". Il prodotto è legittimo? È davvero così buono? Quella era la prima fase. Lavorare lì è stato solo strappare il modo in cui lavoravi prima e come stavano andando i tuoi piani. Ogni giorno era: "Cosa è cambiato oggi nel mondo dell'IA nel nostro mondo ristretto e cosa stiamo imparando?" Ogni giorno inizi con quante cose sono cambiate da quando hai smesso di lavorare su quest'ultima notte. E poi c'è stata la fase due, che forse puoi articolare meglio perché sei passato da un piccolo team a quel punto di "Okay, lo produrremo, e questo richiede molte più persone che costruiscono".

Des: Il piccolo team stava convalidando: "Ehi, gli LLM possono effettivamente fare ciò che pensiamo possano fare". E poi, la seconda fase è: "Dato che questo bit è ora accertato, costruiamo un prodotto attorno ad esso".

Brian: Sì, e c'è una sfumatura, ma è importante. Non è, "Gli LLM possono fare la cosa", ma piuttosto, "Possiamo mettere il nostro sistema di controllo attorno a questo? E funzionerà per risolvere l'handicap fondamentale, che sono le allucinazioni? È qui che ci sono così tante chiamate di giudizio sui prodotti effettuate dai nostri esperti tecnici. E questo è, penso, il motivo per cui hai davvero bisogno dei tuoi ingegneri come ingegneri di prodotto in questo spazio. Perché ci sono così tante decisioni critiche che devono essere prese all'inizio per capire dove c'è un'effettiva opportunità rispetto allo stato della tecnologia che non è abbastanza buono dati questi handicap.

Ridefinire l'esperienza del bot

Des: Quando siamo passati alla beta e come funziona la beta?

Rati: Sì, una cosa che voglio sottolineare con la gente è che il prodotto funzionava il 14 marzo. Stavamo già testando internamente e se le persone visitavano il nostro sito, potevano giocarci. Subito dopo, sapevamo di voler entrare in beta per convalidare questo e per assicurarci che non avesse allucinazioni. Quindi, una settimana dopo, abbiamo iniziato a coinvolgere i clienti nella versione beta per verificare se faceva quello che pensavamo avrebbe fatto e se avrebbe risolto le conversazioni. Coinvolgere quei primi clienti nella beta mentre stavamo costruendo è stato fondamentale per questo processo.

Des: In che modo diresti che le beta sono più essenziali o diverse da una funzionalità SaaS standard di carne e due verdure, come il caricamento di foto o qualcosa del genere?

"E devi arrivare alla fine della beta con la certezza che il prodotto funziona, ma con la volontà di sapere che il panorama continuerà a cambiare"

Rati: Nel B2B, penso che ci siano molte funzionalità o capacità che porti. Ovviamente, stai partendo dal problema che stai cercando di convalidare. Potresti avere una solida ipotesi su quale sarà il risultato quando entrerai nella beta, ma quando stai costruendo e ci sono molti cambiamenti in atto nel mercato, ed è nuovo per i clienti, e sono entusiasti, hai non ho idea di quale sia la loro percezione. Esistono diversi modi in cui i clienti percepiscono la qualità. Devi capire, da un'azienda, sono disposti a metterlo di fronte agli utenti finali? Qual è la reazione degli utenti finali? E devi arrivare alla fine della beta con la certezza che il prodotto funziona ma con la volontà di sapere che il panorama continuerà a cambiare. Dove fai la chiamata che hai colpito il giusto mercato del prodotto adatto per iniziare a vendere? Quindi, la natura di quei beta è molto diversa da quella che facciamo tipicamente nei prodotti SaaS B2B.

Des: È anche interessante vedere come i clienti stanno imparando a valutare se la funzionalità funziona o meno in un certo senso. Ci sono compromessi tra quanto accurato, quanto affidabile, quanto degno di fiducia, quanto è veloce e quanto costa. Ed è davvero difficile capire la ponderazione di queste variabili da parte dei clienti. E poi, probabilmente cambia anche da B2B a B2C, un piccolo numero di clienti che sono molto importanti per un gran numero di clienti. Abbiamo imparato qualcosa su come la gente la pensa in generale? Cosa ci si aspetta da un chatbot AI?

Rati: Penso di sì. Una cosa interessante che abbiamo imparato molto rapidamente è che nel mondo dei bot abbiamo avuto molti di questi bot basati su parole chiave. E per i clienti in arrivo, penso che la percezione iniziale fosse l'utilizzo di parole chiave in arrivo e l'utilizzo di questo bot di intelligenza artificiale. Ma molto rapidamente, ciò che abbiamo promesso nel settore è questo modo conversazionale di interagire con i robot e vedere quel momento in cui i clienti sono entusiasti di vedere i loro utenti finali essere serviti da qualcosa di più conversazionale. Penso che sia stato un apprendimento chiave che abbiamo avuto.

“Chiedevamo loro: 'Qual è la domanda più comune che viene posta ai vostri team di supporto?' Vedere una risposta arrivare con i propri contenuti è stato l'immediato 'aha moment' per i clienti"

Des: Qual è stato il momento aha per i clienti? Cosa li ha fatti credere? Tutti sono stati scettici per buoni motivi, come in sì, se la frase contiene la parola chiave blah, "Oh, ha risposto blah". Sembra che abbiamo attraversato una scogliera percettiva con i nostri clienti in cui dicono: "Oh merda, questa cosa funziona davvero". Cos'è che causa questa realizzazione? È il tuo contenuto?

Rati: Sì, direi che è il nostro contenuto. È stato interessante, tutte le chiamate beta e le interchiamate con i clienti: entriamo, c'è entusiasmo. Ci sono molte grandi domande e tutti cercano di parlare del futuro dell'IA nelle chiamate. E poi, avremmo presentato loro Fin. Inizierebbero a fare domande. Chiedevamo loro: "Qual è la domanda più comune che viene posta ai vostri team di supporto?" Vedere quella risposta arrivare con i propri contenuti è stato l'immediato "momento aha" per i clienti. Ed è proprio questo che ci ha spinto. Questo è un momento chiave per i clienti per vedere che questa cosa funziona. Inserisci i tuoi contenuti e l'intelligenza artificiale può davvero rispondere e risolvere queste domande per i tuoi clienti.

Des: Brian, di cosa hai parlato?

Brian: Ciò che è interessante e ciò che penso sia convalidato attraverso alcuni test dell'utente finale è questo prima e dopo il senso dello stato dei bot, o forse sono bot vecchi e nuovi. In realtà abbiamo sentito, nei test degli utenti finali condotti dal nostro team, che le persone dicevano "Oh, aspetta, è un vecchio bot?" E siamo onesti. Anche questi sono i nostri robot, giusto? E molti utenti finali dicono: “Non ho un grande senso di quelli. Non sono così entusiasta di impegnarmi in questo. Probabilmente c'è una discreta quantità di attriti e cerchi che mi stai facendo saltare. Oh aspetta, è un bot di ChatGPT?" È diverso. Questo è qualcosa che, come utente finale, sono disposto a fare. Quindi penso che questo emergerà davvero.

È iniziato perché ChatGPT ha avuto un utilizzo così ampio, quindi c'è questa percezione della qualità da parte dell'utente finale. Non so se la gente dirà: "Mi sembra di parlare con un essere umano". Ma mi sento come se potessi avere una normale conversazione piuttosto che "Sto parlando con la tecnologia, usa parole chiave, fai clic su questi pulsanti". In realtà avere un dialogo naturale è un enorme cambiamento nella percezione della qualità che sta avvenendo dai nostri clienti e dagli utenti finali, nonché la proposta di prodotto principale, che è rispondere automaticamente alla tua domanda senza alcuna configurazione. C'è quella qualità colloquiale che dà quasi questa brillantezza, tutto questo splendore attorno alla cosa che cambia davvero il sapore di questa tecnologia.

Il bisogno di velocità

Des: È quasi come se l'avvento di ChatGPT avesse ri-legittimato i bot per la prima volta, tanto che tutti sono disposti a provarli di nuovo. Parliamo di costruire prodotti nell'era dell'intelligenza artificiale. Cosa sta cambiando, Brian? Com'è?

Brian: È stato un bel viaggio. Davvero da dicembre, è stato come, whoa, questo è tornato alla modalità di avvio. È stato un ritornello che suonava vero per tutti. E cosa significa? Penso che la prima cosa sia la velocità. Ci siamo allineati su questo a dicembre e abbiamo detto: "Vogliamo essere i leader nell'IA per il supporto". Affinché possiamo avere legittimamente tale affermazione, oltre ad avere il prodotto, dobbiamo avere la velocità di immettere effettivamente quel prodotto sul mercato. Pensiamo che, a questo punto, la velocità sia assolutamente fondamentale. E non è una verità lapalissiana. La velocità conta sempre. Qui dentro, parliamo sempre di come possiamo muoverci più velocemente, sfidandoci a muoverci più velocemente. Ma proprio la scorsa settimana, ho visto qualcuno twittare: “Ehi, Apple non è solo velocità. Sono felici di arrivare secondi sul mercato, ma vengono con il miglior prodotto, e poi ripuliranno. Non è una verità ovvia perché la velocità ha molti rischi in termini di qualità del prodotto, proposta di prodotto, in termini di spazio per la testa delle persone e salute sul lavoro e cose del genere. Ma siamo tutti allineati sul fatto che si tratti di velocità, di muoversi velocemente per il prodotto qui.

"Puoi effettivamente usare la velocità come scopo di ancoraggio: 'Vogliamo ottenere rapidamente quello che pensiamo sia un prodotto rivoluzionario'"

Se tutti sono in qualche modo allineati verso questo e verso l'essere davvero ambiziosi e aggressivi, e siamo in qualche modo disposti a fare a pezzi il modo in cui lavoriamo e come dovremmo lavorare, le cose saranno più complicate e tu in qualche modo rompi il processo. Abbiamo troppi canali Slack, ma abbiamo alcuni incredibili canali Slack che alla fine sono esplosi di dimensioni lì. Ora va bene, devi tornare indietro e ripulirlo. Ma penso che sia l'ottimizzazione per la velocità.

Un altro ingrediente fondamentale qui è l'assenza di politica. Un'assenza di persone che dicono: “Ehi, ho bisogno di avere una voce forte qui. Voglio avere un'opinione qui. Le persone si sono appena allineate dietro, "Ehi, cosa posso fare per aiutare?" E se questo significa scrivere un piccolo documento FAQ qui e poi togliersi di mezzo, okay, è quello che farò. È difficile sapere cosa puoi fare per aiutare, ma se hai quello spirito, puoi effettivamente usare la velocità come scopo di ancoraggio: "Vogliamo ottenere rapidamente quello che pensiamo sia un prodotto rivoluzionario". Questo può davvero galvanizzare le persone in un modo incredibilmente energizzante. È un modo davvero divertente di lavorare, ma per alcune persone è troppo caotico.

Rati: Abbiamo parlato un po' prima di come abbiamo avviato il core team ML. Abbiamo un nucleo di persone in cui c'è un decisore che sta convalidando il concetto di base di Fin. Ora siamo passati a “Okay, abbiamo un prodotto. Vogliamo portarlo in beta. Vogliamo portarlo sul mercato. Abbiamo persone di marketing che dobbiamo integrare e team di abilitazione di cui abbiamo bisogno per lavorare insieme. Ma vogliamo comunque mantenere lo stesso livello di velocità”. Quindi, ora siamo passati da un team principale, e come lo ridimensioni al resto del gruppo, al resto dell'attività affinché più persone possano andare avanti mantenendo la velocità? Quello che abbiamo affrontato lì è stato avere l'obiettivo comune che tutti capissero dove volevamo arrivare con Fin. Dare alle persone l'autonomia di prendere decisioni.

"Penso che sia importante quando stai costruendo in questo spazio con l'IA che è molto diverso da quello che abbiamo fatto prima - per consentire il disordine e stare bene con il disordine"

Des: Quando dici dove volevamo arrivare con Fin, era quell'ambito e la sequenza temporale, era come "queste caratteristiche, questa data"? Eravamo disposti a rinunciare a qualcosa?

Rati: Timeline è stato un buon punto di ancoraggio per noi. Puoi scegliere l'ambito e quindi lasciare che l'ambito determini la tua sequenza temporale, oppure puoi scegliere una sequenza temporale e questo determina il tuo ambito. Abbiamo scelto una sequenza temporale. Una tempistica era importante, perché come azienda volevamo muoverci velocemente e volevamo portare qualcosa sul mercato e metterlo nelle mani dei clienti. Quindi, abbiamo scelto una sequenza temporale e poi abbiamo convalidato ciò che potevamo inserire in quella sequenza temporale. E questo è stato davvero utile per noi per rimanere concentrati. Abbiamo questa sequenza temporale. Abbiamo questo ambito che riteniamo avrà un impatto davvero notevole per i clienti. Correre. Dare ai team l'autonomia per prendere decisioni e accettare il disordine che ne deriva. Penso che sia importante quando stai costruendo in questo spazio con l'IA che è molto diverso da quello che abbiamo fatto prima - per consentire il disordine e stare bene con il disordine.

Brian: C'è un altro punto critico che hai toccato, ovvero la velocità del processo decisionale. Tutti lo sanno, ma come tante cose, è facile da dire e difficile da fare. Quando tutti sono allineati, la velocità di accesso al mercato è fondamentale, quando siamo allineati con ciò che stiamo cercando di fare, allineati anche con gli obiettivi di go-to-market, cosa che penso abbiamo fatto meglio per Fin che altrove, quando tu può costruire quel muscolo di rapido processo decisionale, è sorprendente. Eoghan McCabe è stato in grado di dare chiarezza in cima, "Ecco cosa stiamo cercando di fare". Anche questo ha avuto un effetto a catena.

"Non c'è nulla di buono in me che vado in giro, dicendo alla gente che la velocità è importante se ci occorrono sei mesi per decidere quanto ci addebiteremo per la funzione"

Ci sono decisioni difficili e intricate da prendere e le persone entrano e si cimentano. E invece di girare avanti e indietro, ottenere più informazioni, ottenere più persone e non raggiungere un consenso, se diventi forte quel muscolo, è energizzante. Le persone possono non essere contente della decisione, ma spesso sono solo contente che ci stiamo muovendo a causa del senso del progresso. Quando sei su un autobus e senti che ti stai muovendo velocemente, è un posto molto eccitante dove stare. Sapevo che lunedì ci sarebbe stata una riunione e avrei volato lì. La mia unica possibilità era scrivere il documento, condividere tutto ciò che potevo e andare avanti perché non posso essere presente alla riunione e la decisione sarebbe stata presa lì. Ci ho provato e ho fallito. Ma comunque, ti limiti a dire: "Questo è il ritmo del processo decisionale che dobbiamo prendere, e il ritmo del processo decisionale di solito è più importante delle decisioni stesse".

Des: Sono totalmente d'accordo. Penso anche che valga la pena segnalare agli ascoltatori che Eoghan McCabe è il nostro CEO. La domenica sera, durante l'intero progetto, ho ricevuto chiamate con Eoghan in cui abbiamo appena parlato di quelle che erano le incognite e le note, tutte le domande di cui eravamo a conoscenza. Quanto presto dovremmo andare? Che modello useremmo? Cosa addebiteremo? Se siamo lenti, perché mai dovresti essere veloce? Se sei lento, perché mai i progettisti o gli ingegneri dovrebbero muoversi velocemente? È semplicemente impossibile. Non ha senso cercare di lavorare il più velocemente possibile se sai che "Ehi, ci vorranno altre due settimane prima che prendiamo la decisione". Anche se dico spesso che "la velocità è vita" e tutto il resto, questo progetto è stata davvero una buona prova che in realtà deve essere all'unisono. Non va bene che io vada in giro, dicendo alla gente che la velocità è importante se ci vogliono sei mesi per decidere quanto addebiteremo per la funzione o altro. Deve essere insieme al 100%.

Un atto di equilibrio

Brian: Le variabili qui sono prezzo, velocità, latenza, disponibilità e qualità. Quindi, hai tutte queste variabili dei modelli LLM in cima al nostro sistema, e come interagiamo e otteniamo la qualità del prodotto che vogliamo, e tutto sta cambiando molto velocemente. Quindi, quando OpenAI ha rilasciato ChatGPT con l'API, che è GPT Turbo, era 10 volte più economico di 3.5. Quindi, all'improvviso, l'intera dinamica viene spostata e, all'improvviso, caratteristiche che prima non erano realizzabili ora sono come "Whoa, whoa, whoa, whoa". L'intero mercato qui è cambiato radicalmente. Poi torni a “Aspetta, qual è la qualità? La qualità è abbastanza buona?" Ed è effettivamente veloce. Quindi, a volte, i modelli più economici sono super veloci. Quindi, non hai un chiaro uno a uno di più costoso necessariamente uguale a-

Des: Questa è una delle cose che impariamo in beta. Una delle domande che dobbiamo risolvere, e che probabilmente passeremo per sempre a risolvere, è: qual è il compromesso tra la velocità con cui l'utente finale ottiene la risposta e la necessità di estrema precisione? O anche solo un bel testo avvolto attorno alla risposta in un certo senso. La risposta giusta formulata male in 0,1 secondi potrebbe effettivamente battere una risposta molto elegante in 10 secondi in termini di ciò che rende felice l'utente finale.

"Come si costruisce con l'incertezza del prodotto su ciò che sta accadendo? Tutti cercano di capirlo"

Rati: Penso che sia una sfida che tutti in questo spazio dovranno risolvere perché è così nuovo per aziende e clienti. Inoltre, non ci sono molte opinioni forti perché i clienti stanno ancora imparando cosa vogliono nel mondo. Qualcosa di veramente interessante durante la beta, e anche adesso, sta cercando di estrapolare dalle persone come percepiscono e apprezzano la qualità. Tornando a quel punto di prezzo e non avendo quel separato all'interno dell'azienda mentre stiamo prendendo decisioni su Fin, stai pensando al prezzo. Devi pensare al prodotto perché diciamo: “Oh, vogliamo aumentare la qualità. Qual è il costo e qualcuno è disposto a pagarlo?" “Okay, passeremo a una qualità inferiore, ma sarà un po' più veloce. Sono disposti a pagare di più o di meno per questo?" E quindi, è un ciclo continuo su cui devi riflettere e controllare te stesso su ciò con cui vale la pena andare avanti. I clienti sono disposti a pagare? Lo valutano allo stesso modo di noi?

Des: E proprio data la quantità torrenziale di cambiamenti che si verificano, sembra che tutte queste decisioni, principi o linee guida siano quasi deperibili. Potremmo avere un'opinione davvero forte su dove utilizzare GPT-4 rispetto a Turbo e, due giorni dopo, potremmo cambiare tale opinione e rivisitare nuovamente le domande. Come gestisci un cambiamento piuttosto estremo?

Brian: Quando guardo indietro, penso: "Oh, ho sbagliato". Cercando di ottimizzare per la velocità, ma poi, quando abbiamo ricevuto nuove informazioni sulla disponibilità che avremo e su come questo avrebbe cambiato le cose, perché ti senti a tuo agio a lavorare in una piccola unità, in effetti, puoi andare tutti d'accordo bordo ogni giorno. E ora, siamo come centinaia di persone, quindi se apporti un cambiamento significativo in base alle informazioni di ieri, tutti devono dire "Tutto è cambiato, e poi cambia di nuovo la settimana successiva". È davvero difficile lavorare su larga scala quando il pavimento sotto di te può avere cambiamenti così drammatici.

Stavamo parlando del disordine e dell'incertezza, e tu hai parlato dei modelli come una parte fondamentale di questo perché molto sta cambiando e cambiando qui, ma il quadro più ampio è così incerto. E questo è anche qualcosa di cui abbiamo parlato: "Come si costruisce con l'incertezza del prodotto su ciò che sta accadendo?" Tutti stanno cercando di capirlo.

"Se vuoi lavorare alla definizione della prossima versione dei prodotti e dove sta andando questo settore, devi essere disposto a tuffarti nel caos e sperare che tutti i tuoi arti rimangano attaccati quando uscirai"

Ad esempio, il nostro messenger sarà irrilevante perché tutti andranno su Google e Google sarà il loro nuovo assistente per fare davvero tutto questo? O forse Google sarà irrilevante. "In realtà no, sono quelli che verranno interrotti." Le possibilità di un'interruzione aziendale plausibile e multimiliardaria... È anche oltre, credo, la portata di tutto ciò. È tutto ragionevolmente plausibile a cui pensare. Siamo in questo spazio in cui la macro incertezza per realtà di universi alternativi plausibili che potrebbero essere reali in sei mesi rispetto a ciò che possiamo costruire in questo momento e se possiamo costruirlo su un terreno traballante è una nuova sfida per tutti. Alla maggior parte delle persone piace lavorare con un po' di stabilità e penso che tutti debbano riconoscere che la stabilità non esiste più.

Des: Non è un bene.

Brian: Se vuoi lavorare in un prodotto stabile, significa che stai lavorando con team che in precedenza hanno gestito l'incertezza, e stai cavalcando le loro falde quasi come, "Okay, hai avuto successo, e ora hai più spazio morbido per svolgere il tuo lavoro iterativo. E questo è un posto valido in cui speri che arrivi la tua azienda. Ma penso che l'altro lato sia anche l'innovazione e l'incertezza. Non puoi estrarre l'uno dall'altro. Se vuoi lavorare alla definizione della prossima versione dei prodotti e dove sta andando questo settore, devi essere disposto a tuffarti nel caos e sperare che tutti i tuoi arti rimangano attaccati quando esci. Ma generalmente lo fanno, giusto? È solo un software.

Sbloccare il valore nell'era dell'IA

Des: Brian, se stai parlando con una startup in fase iniziale, diciamo 50-100 persone, e stanno per iniziare la loro prima avventura nell'IA, cosa consiglieresti loro? Se devi dare loro una direzione, sarebbe quella di abbracciare l'incertezza o di muoverti il ​​più velocemente possibile? Sarebbe sedersi e guardare e scegliere il tuo colpo?

Brian: Sono stato ad alcune delle nostre conferenze con i clienti e ho parlato con alcune persone che stanno anche cercando di costruire cose, e mi hanno chiesto: "Come gestisci tutta questa incertezza?" C'è così tanto valore su cui siamo seduti in termini di ciò che questa tecnologia sblocca che non era mai stato possibile prima, ed è costruibile ora. Mai prima d'ora qualcuno che costruiva un prodotto aveva così tante opzioni. Abbiamo troppo e stiamo cercando di concentrarci e capire come possiamo bilanciare il nostro investimento. Ci sono un centinaio di cose che vogliamo fare, e siamo abbastanza fiduciosi che 50 di esse verranno costruite e saranno preziose. C'è troppo che è disponibile ora.

"Cose che prima non erano possibili non lo sono solo adesso: molte di esse sono ragionevolmente semplici da costruire"

Quindi, se sei una startup, scegli il passaggio successivo. Per fare una grande scommessa su come cambieranno interi modelli di prodotto, è necessario un grande investimento. Ma c'è così tanto che è costruibile su cui un'azienda può fare trazione. Sento che ora è il momento migliore per essere una startup. Sei mesi fa, ricorda che Rob era a uno spettacolo e racconta, Rob del team ML, e lui, con la versione precedente di Tech, ha indagato: "Possiamo farlo?" Perché sapevamo che era prezioso e ha fatto un'esplorazione di due settimane. Lui dice: “No, non c'è niente qui. Mi dispiace gente. Ho cercato di trovare qualcosa, ma è venuto fuori che qui non c'è proprio niente.» Sei mesi dopo, penso sinceramente che sia passato meno di un giorno in cui ha appena messo l'involucro attorno a questa cosa per ottenere questa funzione. Ecco dove siamo.

Cose che prima non erano possibili non lo sono solo ora: molte di esse sono ragionevolmente semplici da costruire. Quindi, penso che questo sia un momento fantastico per qualsiasi costruttore di prodotti per cercare uno spazio. Scegli un valore a breve termine per andare avanti, perché ci vuole tempo per costruire un prodotto e commercializzarlo, trova quel valore a breve termine che puoi iniziare a pensare a dove sta andando in futuro, ma non lasciarti paralizzare dal fatto che noi abbiamo così tanti universi alternativi davanti a noi ora.

Rati: Direi anche che non è necessario scegliere una nuova cosa da fare. Anche se guardo a quello che abbiamo fatto in Intercom quando GPT è stato lanciato lo scorso anno, abbiamo guardato ai lavori e ai problemi che volevamo risolvere, e questo è fondamentale. Non è necessario costruire qualcosa di nuovo o trovare una nuova nicchia: puoi trovare problemi esistenti e utilizzare questa nuova tecnologia per risolverli. E poi scegline uno. Non scegliere un sacco di cose, scegli una cosa e seguila.

“Il modo in cui pensiamo è pensare a breve termine. Abbiamo differenziazione? Ehi, tre mesi andrebbero bene. Forse sei mesi andrebbero bene, e vedremo cosa ci farà guadagnare"

Des: Come pensate entrambi all'idea dei fossati negli affari? Se sei una startup, hai un elenco di cose da fare o una gestione del progetto e dici: "Ehi, ho pensato a una cosa interessante che penso che questi elementi facciano ancora, quindi vado e fallo. Se è stato facile per te, è facile per tutti”. Cosa ne pensi del grado in cui stai esternalizzando le fantastiche funzionalità? E poi, alla fine, potrebbe verificarsi la grande democratizzazione del SaaS in cui tutti possono costruire tutte le cose interessanti che stai costruendo anche tu. Forse è una domanda che va oltre lo scopo di ciò su cui trascorri effettivamente la giornata, ma qual è la tua reazione a questo? L'idea che queste funzionalità siano effettivamente realizzate da qualcun altro e che ci stiamo solo occupando di API?

Brian: Il fossato e il vantaggio competitivo sono una domanda difficile per questo motivo. We think of what Intercom as a system has and our competitive advantages within that, with data that we have, which is a huge source potentially there. We're not unique in having that, but we're, in a way, a smaller group of people who have some of those characteristics. So, how can we lean on that? It's super hard. How will it change? Will it matter or not? Will technology make that differentiation moot? Competitive differentiation is part of this as well because that will dissolve. The way we're thinking about is thinking short term. Do we have differentiation? Hey, three months would be good. Maybe six months would be good, and we'll see what that buys us. The reality is there's probably not a world where you can build something for a year and you're differentiated for a while. I don't know if that world ever really existed, but I think that's hard.

Des: There are still some types of moats, but I think, in general, simply building a lot of products might not be one, especially when you're not really building – you're just building API goals into it.

Brian: Another interesting thing, though, is that for us, as builders in this space, it's impossible to stay on top of all the stuff that's happening. It's actually incredibly hard to stay on top of all the stuff happening at the Intercom project. No one can really keep up with all this stuff that's happening. Never mind the macro industry.

“Are you betting on a product that's going to keep getting better or on a product that hopes the world never changes?”

And what about your customers? Their job is not to stay on top of all this stuff, even though they're now being asked to do it. I think brands will increase in importance. People say, “I need someone who's going to do the work for me, and I know this company will figure out the good stuff and make that available to me so that I don't have to figure it out.” So your customers can rely on you to figure out what matters from this and make sure that's in the product. Because I would be very happy if I could just offload that whole mental, “How the hell do I think about AI?” to you.

Des: I think that's totally true. Maybe it's just our industry, because people are not free to change help desk every few months. It's very messy. But I think when people are picking a tool, whether it's like, say, project management or communications or support, they're probably making a decision that's at least one year in length, but probably more cause migration's now a joke for a lot of these things. So, what they're looking for in a brand is like, “Am I picking the right horse?” If new shit drops, will these people be able to react to it and make the most of it, or are they going to be stuck forever doing press releases that don't amount to any software whatsoever? Are you betting on a product that's going to keep getting better or on a product that hopes the world never changes? I think the latter category will be a bad bet at a time like this.

Brian: One other thought that's circled around my head is like product builders. This is what you hope for. You say, “Oh, the world has changed, and we want it to be in this holy-changed space.” And it is. It's for real. It's a great time to be building product, and we're lucky to be working in this space. That's how I feel, even though it's head-wrecking, you can't keep up, and the ground beneath us is almost forever shaken up. But this is fun. This is why you want to build product.

“Companies who want to move in the space in AI are going to have to be okay with not knowing everything and making sure you have clear goals for your teams”

Des: What's it like on the ground, Rati? Do you end up having to just chase down Slack channels in the night?

Rati: Yeah, I'm in Slack a lot. That is true. But I also am okay. And I think companies who want to move in the space in AI are going to have to be okay with not knowing everything and making sure you have clear goals for your teams. For us, that's worked really well where the teams have clear goals they need to go after. I know 60% of the time what's going on, and any key decisions are usually surface that you'll catch. I'm sure there are things that drop, but generally, we're going in the same direction as a team. And on the AI piece, people are excited to work in this new space. It's a great opportunity for a lot of folks who you've been wanting to have this exciting new thing happen, learning how ML works, learning AI, as well as getting involved in that. So, it's quite good on the ground. Of course, there are pain points – I'm not going to paint it as a rosy thing, but it's exciting on the ground.

Des: I was talking to a friend, and we had this thought experiment. Imagine it all just went away. Imagine that, for whatever reason, someone deleted all of the LLMs, and we have to go back to the world of SaaS. It feels so much more boring looking back now. Because even the features that are pure SaaS 101 for us, even, let's say, ticketing in our help center, or whatever, we were still looking at them going, “At some point, we're going to come back to you with an AI perspective.” But if this wasn't here, in hindsight, it feels like we were getting towards the end of the SaaS cycle. We'd worked out how to build CRMs for farmers to keep track of their roosters. How many more tail-end sort of features could we build?

Philosophical musings

Des: Forgetting about Intercom, are you excited about AI in your own life as an employee of a tech company? Are there other areas or products you would like to see AI in? Are you seeing anything interesting?

Brian: I'll take this in a different direction, which you may want to shoot down. But for me, what's interesting, getting a little closer to the tech, is the language ability. There are so many philosophical questions that were good for college students to rattle on about with their professors. And you go on there, and it was all academic in that sense. And this has been going on from the '50s, actually, when it was a Touring test. What does it mean to learn? What is knowledge? What is reasoning? It's all relevant right now.

“You learn your second language quite deliberately, but with your first language, your brain was programmed to learn it in a way that evolution built”

Here's an example of this. Ask Fergal “Does GPT understand?” Well, no, it doesn't understand. But I saw, in a Slack thread, “Comprehension is actually kind of remarkable.” Does a robot understand things? It doesn't do language like we do because it just predicts blah blah blah – everyone vaguely knows how this works –, which makes no sense in our heads. But then, how did you learn your language? You had no idea. Your brain learned your language. I find myself thinking way more. I remember hearing neural networks, like programs were getting neural networks, “Yeah, right. Come on, you're not even close.” Now I'm starting to think of my brain more like the machine and I'm like, “I have no idea how I learned language. You learn your second language quite deliberately, but with your first language, your brain was programmed to learn it in a way that evolution built. It's all relevant now.

You could go into politics. There's all the fear of AI, which seems reasonable, but like, humans aren't so good at voting. I don't know, have we really earned the right that we think we have? Because I'd welcome a little more rational voting choices in the future. You can zoom up to that level. And actually, this AI makes you more reflective of our species. We always think we're amazing and wonderful whenever someone's competing against us. But damn, we've got to live up to the promise. My head goes a lot in those directions. And then with kids, seeing how they adapt to the technology as well. That for, me, are the juicy places to go. The academic questions are now front and center. It will be a fun time to go back to college now to be able to talk about this stuff.

“And all of a sudden, do you build relationships with machines?”

Rati: Continuing the tangent. For me, it's more the relationships. Normally, you build relationships by talking to people like this. And imagine, with the advancement of generative AI, being in conversations that you've had with a friend, a parent, or a partner, and then being able to have a conversation there. Can you have relationships with machines? That's, of course, not related to B2B SaaS, but I think it's interesting to start building the space around it.

Brian: Make the internet personal? We can productize that.

Rati: And all of a sudden, do you build relationships with machines? How does that change humans and how we interact in the world? I think that's going to be interesting to watch.

Des: I think the infinitely easier challenge, perhaps, is to build a model of yourself. Giving one of these things access to everything you've ever communicated digitally in any form, everything you've ever spoken, your voice, your look, et cetera. You can imagine having effectively a shadow bot that does your job for you 90% of the time. And that shadow bot just knows to escalate to you whenever it does not know how to do something. You know what I mean?

Rati: We're not far from that. I'm curious to see how open we are as a world to have this integrated into us. It's always been a theoretical conversation about machines and AI and what it could do. So, I'm curious to see, from a personal level and everyday life, how people will actually genuinely integrate this and how it changes how we relate to each other and create connections.

Democratizing UI

Brian: What about you, Des? What are you excited about?

Des: I believe in AI in so many ways. I'm actually not super excited by the sort of text generation features that everyone who has a text area has now got the ability to expand on. And yet, I think that's a reference to the “hello, world” of AI. You just throw this out to make sure all the endpoints are working. Where I get most excited from a future-facing point of view is that I think it'll be a great democratizer for UI. There are so many products we use on a regular basis. Workday is one of them. Kuba is another. There are plenty, honestly, where they're designed for the administrator in the company but not really for the end user who might be affected by the software.

“The idea is you know how to do that, and I don't. You and I could do it, and it might take us four hours, but Brian knows how to do it in 14 minutes”

So, I'm sure we employ people who think the Workday UI is great. I'm sure somebody in the world thinks it's the right UI. But I was in a tool yesterday to approve access for provisioning for something to somebody, and it's not that the UI is necessarily bad from a Jacob Nielsen one-on-one point of view – the drop-downs line up, the text areas line up, et cetera. It's more like this product is capable of so many things but my specific usage of it centers around one or two things, like requesting a day off or approving an expense or something like that, and yet it feels like I need to go on a training course to know how to do these things.

The example you'd both be familiar with is Google Analytics. You've both experienced it at some stage. You probably were once a certified GA or approved educator or something.

Brian: Yes, I was.

Des: You have a grant philosopher at Google or whatever. And the fact that you need a certification is almost part of my point. Because you get those certifications so you can answer questions, “Well, given this interface, tell me how to find the highest-performing referrals CPC ad word that worked for us in Norway between July and August or something like that.” The idea is you know how to do that, and I don't. You and I could do it, and it might take us four hours, but Brian knows how to do it in 14 minutes.

“The gap between being able to express what you want to do and being able to do it will narrow to zero”

What I think genuinely we'll see happen is a lot of these UIs will disappear for the regular folk, and they'll just type the thing they're trying to do. I see this all over the place today. An example is Equals, which is actually built by two former Intercomers. They're basically doing a next-generation spreadsheet with live connections to live data, et cetera. But one of the things they can do is press command+K and start typing the thing you're trying to do. And it will work out what you're trying to do and then generate the Excel commands that you needed to know that you never fucking knew because none of us know Excel codes or commands. It'll do all that for you, you hit return, and you're done.

That's an example of what I call democratization. Previously, all of this was only accessible to people who legit knew Excel or how to use Google Analytics. And now, all of a sudden, we're all going to have access to the same power. The gap between being able to express what you want to do and being able to do it will narrow to zero. Whereas before, there was a big clunky thing in the middle of becoming an expert at using blah. And that expertise is no longer needed. And now I think we can all say to the machine what we want to do, and the machine's going to do it.

Sono abbastanza certo che accadrà perché è molto meglio dell'attuale esperienza di schede, menu a discesa e clic del mouse. Succederà. E quando succede, è un cambiamento botola per la natura stessa del software. Ho parlato con molte persone e non credo che nessuno di noi sia pronto per questo. Non credo che sappiamo cosa significhi. È difficile immaginare un'interfaccia utente senza interfaccia utente. È difficile immaginare molte di queste cose. E non credo che l'interfaccia utente vada via. Penso che la gente voglia ancora vedere cosa sta succedendo. Ma la vera natura dell'interfaccia utente complicata svanirà. Basta scrivere in inglese quello che stai cercando di fare e il gioco è fatto. Questa è una nuova era del software e spero solo di essere in pensione prima che accada.

Brian: Il design dell'interazione è discutibile.

Des: Sì, esattamente. E sai chi dovrebbe essere in tutto questo e in qualche modo non lo è? Designer di contenuti. C'è un mondo enorme in arrivo per loro se possono capitalizzarlo.

Rati: Quanto velocemente o chi lo adotterebbe per primo? Quando avverrà quel cambiamento, accadrà con la nostra generazione, o saranno le persone a venire ora a cambiare la natura del software che attirerà?

Des: Penso che molto dipenda anche da quanto è accessibile. Se pensi alle interfacce basate su testo, sono equivalenti alle interfacce audio a causa di Whisper, la tecnologia OpenAI. E poi pensi al futuro di Siri, pensi ai dispositivi Echo di Amazon e Cortana e tutto il resto della banda. All'improvviso, qualcuno che non è nemmeno bravo con i computer seduto in una stanza può ora avere accesso ai comandi digitali dell'intera Internet. Ordinami un taxi, mandami una pizza, qualunque cosa. Tutto ciò diventa semplicemente banale. E questo cambia le cose. Non voglio capirlo, né voglio dire che ho la minima idea di come, ma penso solo che il mondo intero sarà diverso, ed è sicuramente un momento emozionante. Grazie mille per esserti unito a noi e per averci aiutato su Fin. Questa è stata una bella chiacchierata e ci rivedremo presto.

Brian: Grazie, Des.

Rati: Grazie.