Construirea AI care funcționează: Cum să navighezi la frontiera AI ca lider de produs

Liderii de produse ai Intercom discută despre modul în care am construit Fin, noul nostru chatbot AI și despre ce am învățat despre gestionarea ambiguității, incertitudinii și riscului în lumea în mișcare rapidă a inteligenței artificiale.

Apariția ChatGPT a transformat complet percepțiile despre chatbot – la revedere schimburi rigide, pre-scriptate; salut conversatii dinamice, naturale.

Desigur, am profitat de șansa de a construi un bot bazat pe GPT, care ar putea interacționa cu adevărat cu clienții, oferind răspunsuri utile și rezoluții la întrebările acestora cu o configurare minimă. Rezultatul este Fin, construit pe GPT-4 OpenAI și pe propria noastră tehnologie proprietară. Suntem incredibil de încântați de rezultatele inițiale pe care le văd clienții noștri – peste 400 de clienți Intercom se instalează cu Fin, care a oferit deja peste 250.000 de răspunsuri, iar unii clienți au văzut rate de rezoluție cu până la 50% mai bune.

A ajunge la acest punct, totuși, a necesitat un mod complet nou de a construi produsul. Nu este ușor să determinați potrivirea corectă a produsului-piață într-un peisaj tehnologic în care lucrurile se schimbă în fiecare zi – este un act de echilibru de evaluare constantă a modului de a face progrese pe baza unor informații foarte limitate și incerte.

Dar acea incertitudine este exact ceea ce face ca construirea unui produs AI să fie atât de incitantă, tulburătoare și, în cele din urmă, satisfăcătoare. În episodul de astăzi al podcastului Intercom, împărtășim ceea ce am învățat până acum, cum am rulat versiunea beta Fin, simțul nostru cu privire la dinamica actuală a pieței și previziunile noastre pentru viitor, în măsura în care oricine poate prezice viitorul chiar acum. .

În episodul de astăzi, veți auzi de la:

• Des Traynor, Co-fondator și Chief Strategy Officer la Intercom
• Rati Zvirawa, Senior Group Product Manager la Intercom
• Brian Donohue, VP de produse la Intercom

La scurt timp? Iată câteva concluzii cheie:

• Găsirea unui echilibru între viteză, precizie și prețuri rămâne o provocare în spațiu. Ce vor fi dispuse să plătească companiile? Ce fel de așteptări vor avea utilizatorii finali în jurul chatbot-urilor AI?
• Având un obiectiv comun, împuternicirea luării deciziilor și prioritizarea vitezei, am reușit să-l aducem pe Fin rapid pe piață, cimentându-ne poziția de lideri în AI pentru sprijin.
• Progresele în IA generativă au deblocat o lume cu totul nouă de posibilități de produse. Startup-urile pot valorifica această oportunitate concentrându-se pe valoarea pe termen scurt sau alegând problemele existente pe care să le construiască.
• În peisajul AI care evoluează rapid, a devenit din ce în ce mai dificil să se stabilească avantajul competitiv al unui produs și ce diferențiere va conta pe termen lung.
• Clienții caută mărci de încredere care vor naviga peisajul AI în schimbare, astfel încât să se poată baza pe expertiza lor, pe măsură ce piața descoperă unde se află valoarea.
• AI deține capacitatea de a democratiza accesul la software complexe, permițând posibil utilizatorilor să folosească limbajul natural pentru a interacționa cu instrumente sofisticate, mai degrabă decât cu interfețele de utilizator tradiționale.

Dacă îți place discuția noastră, vezi mai multe episoade din podcastul nostru. Puteți urmări pe Apple Podcasturi, Spotify, YouTube sau puteți accesa fluxul RSS în playerul dorit. Ceea ce urmează este o transcriere ușor editată a episodului.

De la concept la realitate

Des Traynor: Bun venit la podcastul Intercom. Mi se alătură doi dintre liderii noștri de produse, Rati și Brian. Vom vorbi în întregime despre AI, noul nostru produs Fin și, în general, despre cum este să fii lider de produs în era AI. Rati, să începem cu tine. Unde este Fin? E live de câteva zile.

Rati Zvirawa: Da, este o săptămână interesantă pentru noi. Avem peste 400 de clienți care se instalează acum cu Fin. Și privind înapoi la cifrele pe care le avem cu clienții, am oferit peste 250.000 de răspunsuri. Acestea sunt alimentate de AI și suntem foarte încântați să vedem rezultatele. Pentru clienții care au început, am văzut instantaneu o rată de rezoluție cu până la 50% mai bună, ceea ce este atât de impresionant.

Des: Rata de rezoluție înseamnă că clientul probabil a obținut ceea ce și-a dorit?

Rati: Exact. Doar să vedem reacțiile clienților și să rezolvăm aceste întrebări este interesant pentru noi.

„Ceea ce am optimizat inițial a fost să construim ceva care anterior nu era posibil, dar am vrut să o facem foarte repede și să ne murdărim mâinile”

Des: Brian, poți să ne spui cum a apărut Fin?

Brian Donohue: Pot. Chiar dacă atât de multe s-au întâmplat atât de repede, motivul pentru care am reușit să ne mișcăm rapid este că de fapt lucrăm la asta de ani de zile.

Des: Când spui repede, cât de repede?

Brian: Ei bine, așa că am lucrat la Resolution Bot, versiunea veche a Fin, într-un fel, pentru că este aceeași propunere de produs de bază – răspunde automat la întrebările clienților tăi. Lucrăm la asta de ani de zile, precum și la alte produse ML. Dar apoi ChatGPT a deschis ochii tuturor, inclusiv experților noștri ML, Fergal și echipa sa, asupra de ce era capabilă noua tehnologie. Deci, din 30 noiembrie, acolo era echipa, „Hai să validăm. Este chiar așa de mare lucru pe cât credem noi?” Într-o săptămână, au spus: „Aceasta este o schimbare rapidă”. Și de acolo, totul mergea din plin. Ceea ce am optimizat inițial a fost să construim ceva care anterior nu era posibil, dar am vrut să o facem foarte repede și să ne murdărim mâinile.

Și astfel, ceea ce am optimizat au fost funcțiile de inbox asistate de AI. Și o grămadă de oameni au construit lucruri similare aici. Rezumat, făcându-l mai politicos, tot felul de chestii. De ce? Pentru că este ușor de făcut, iar unele dintre ele sunt grozave, iar unele sunt de fapt destul de utile. Marea problemă au fost, desigur, halucinațiile. ChatGPT este uimitor, dar inventează lucruri, ceea ce este o problemă dacă construiți un produs de serviciu pentru clienți, nu? Și au fost câteva săptămâni de convingerea de team building. De la începutul lunii februarie, Fergal a spus: „Cred că de fapt putem trece peste această problemă cu halucinațiile”. Și apoi, am pus acele funcții ale căsuței de e-mail în pauză și am luat totul în ceea ce a devenit Fin. Ce a fost aia la mijlocul lunii martie?

Rati: Da, la mijlocul lunii martie, 14 martie.

Brian: Pe 14 martie, am anunțat un prototip cu care te poți juca. Am spus că vrem credibilitate. Nu suntem doar produse cu mâna pe care le puteți vedea imagini de ecran. Te poți juca cu asta. Și de acolo, a trecut de la o echipă mică care lucrează la ea la „Să construim de fapt acest produs pe care îl putem vinde”. Cam asta a adus totul în această săptămână.

Des: Ce crezi că a făcut să se întâmple repede? A fost ca degetele pe o tastatură? A fost viteza de luare a deciziilor? A fost pur și simplu claritatea de a spune că aceasta este o prioritate? Dacă ar trebui să repeți această viteză, ce ai face?

„Este produsul legal? Este chiar atât de bun? Asta a fost prima etapă”

Brian: Au fost două faze. În prima fază, Fergal a fost cu adevărat protector față de echipă, deoarece această echipă a lucrat atât de bine împreună și au fost atât de eficienți atât la testarea tehnologiei, cât și la testarea propunerii de produs. El a fost foarte protector, „Suntem capabili să ne mișcăm rapid pentru că avem această echipă strânsă.” Și el a spus: „Eu sunt dictatorul aici. Nimeni nu are voie să spună nimic echipei mele.” L-am canalizat pe Rati și i-am spus: „Probabil că Fergal te va da afară mâine, ca să știi.”

Rati: A făcut-o.

Brian: A făcut-o. Ai fost invitat înapoi în curând și, bine, ai fost oficial binevenit în grup. Probabil că am fost dat afară în acel moment sau ceva de genul ăsta. Deci, de fapt, a fost destul de protector, „Dacă ne vom mișca atât de repede, trebuie să fim aproape un zid în jurul echipei.” Este produsul legitim? Este chiar atât de bun? Asta a fost prima etapă. Să lucrezi acolo a fost doar să știi cum ai lucrat înainte și cum mergeau planurile tale. Fiecare zi a fost: „Ce s-a schimbat astăzi în lumea AI în lumea noastră îngustă și ce învățăm?” În fiecare zi, începi cu cât de mult s-au schimbat lucrurile de când ai încetat să lucrezi la asta aseară. Și apoi a fost faza a doua, pe care poate o poți articula mai bine pentru că ai trecut de la o echipă mică la acel punct de „Bine, vom produce asta și asta necesită mult mai mulți oameni”.

Des: Mica echipă valida: „Hei, LLM-urile pot face de fapt ceea ce credem noi că pot face.” Și apoi, etapa a doua este: „Având în vedere că acest bit este acum stabilit, să construim un produs în jurul lui.”

Brian: Da, și există o nuanță, dar este importantă. Nu este „Pot LLM-urile să facă treaba”, ci mai degrabă „Putem pune sistemul nostru de control în jurul acestui lucru? Și va funcționa asta pentru a rezolva handicapul fundamental, care sunt halucinațiile?” Aici există atât de multe apeluri de evaluare a produselor făcute de experții noștri tehnici. Și acesta este, cred, motivul pentru care aveți cu adevărat nevoie de inginerii dvs. ca ingineri de produs în acest spațiu. Pentru că există atât de multe decizii critice care trebuie luate devreme pentru a afla unde există o oportunitate reală față de starea tehnologiei care nu este suficient de bună având în vedere aceste handicapuri.

Redefinirea experienței bot

Des: Când am trecut la beta și cum funcționează beta?

Rati: Da, un lucru pe care vreau să-l subliniez cu oamenii este că produsul a funcționat pe 14 martie. Testam deja pe plan intern și, dacă oamenii au vizitat site-ul nostru, s-ar putea juca cu el. Curând după aceea, am știut că vrem să intrăm în versiune beta pentru a valida acest lucru și pentru a ne asigura că nu halucinează. Așa că, o săptămână mai târziu, am început să integrăm clienții în versiunea beta pentru a valida dacă a făcut ceea ce am crezut că va face și dacă va rezolva conversațiile. Introducerea acelor clienți timpurii în versiunea beta în timp ce construiam a fost cheia pentru acest proces.

Des: În ce fel ați spune că beta-urile sunt mai esențiale sau diferite de o funcție SaaS standard pentru carne și două legume, cum ar fi încărcarea fotografiilor sau ceva de genul acesta?

„Și trebuie să ajungi la sfârșitul beta cu încredere că produsul funcționează, dar cu dorința de a ști că peisajul se va schimba în continuare”

Rati: În B2B, cred că există o mulțime de caracteristici sau capabilități pe care le aduci. Desigur, pornești de la problema pe care încerci să o validezi. S-ar putea să aveți o ipoteză solidă despre care va fi rezultatul când intri în versiunea beta, dar când construiești și se întâmplă multe schimbări pe piață și este nou pentru clienți, iar aceștia sunt încântați, ai habar nu care este percepția lor. Există diferite moduri în care clienții percep calitatea. Trebuie să înțelegeți, de la o afacere, sunt dispuși să pună asta în fața utilizatorilor finali? Care este reacția utilizatorilor finali? Și trebuie să ajungeți la sfârșitul beta cu încredere că produsul funcționează, dar cu dorința de a ști că peisajul se va schimba în continuare. Unde apelați că ați ajuns la produsul potrivit pentru piața pentru a începe să vindeți? Deci, natura acelor beta este destul de diferită de ceea ce facem de obicei în produsele B2B SaaS.

Des: Este, de asemenea, interesant să vedem cum clienții învață cum să evalueze dacă funcția funcționează sau nu într-un anumit sens. Există compromisuri între cât de precis, cât de fiabil, cât de demn de încredere, cât de rapid este și cât costă. Și este foarte greu de înțeles ponderările acelor variabile ale clienților. Și apoi, probabil că se schimbă de la un B2B versus B2C, un număr mic de clienți care sunt foarte importanți pentru un număr mare de clienți. Am învățat ceva despre cum gândesc oamenii despre asta în general? Ce se așteaptă de la un chatbot AI?

Rati: Cred că da. Un lucru interesant pe care l-am învățat foarte repede este că, în lumea botului, am avut o mulțime de acești roboți bazați pe cuvinte cheie. Și pentru clienții care intră, cred că percepția inițială a fost folosirea cuvintelor cheie care intrau și utilizarea acestui bot AI. Dar foarte repede, ceea ce am promis în industrie este acest mod conversațional de a interacționa cu roboții și de a vedea acel moment în care clienții sunt încântați să-și vadă utilizatorii finali fiind serviți de ceva mai conversațional. Cred că a fost o învățare cheie pe care am avut-o.

„Le-am întreba: „Care este cea mai frecventă întrebare care vine în echipele tale de asistență?” Vederea unui răspuns cu propriul conținut a fost imediat „momentul aha” pentru clienți”

Des: Care a fost momentul aha pentru clienți? Ce i-a făcut să creadă? Toată lumea a fost sceptică din motive întemeiate, cum ar fi da, dacă propoziția conține cuvântul cheie bla, „Oh, a răspuns bla”. Se simte ca și cum am traversat o stâncă perceptivă cu clienții noștri, unde ei spun: „Oh, la naiba, chestia asta chiar funcționează”. Ce cauzează această realizare? Este propriul tău conținut?

Rati: Da, aș spune că este propriul nostru conținut. A fost interesant, toate apelurile beta și apelurile inter cu clienții – intrăm, e entuziasm. Există o mulțime de întrebări mari și toată lumea încearcă să vorbească despre viitorul AI în apeluri. Și apoi, le-am prezenta Fin lor. Ar începe să pună întrebări. Le-am întreba: „Care este cea mai frecventă întrebare care vine în echipele tale de asistență?” Văzând răspunsul venit cu propriul lor conținut a fost imediat „momentul aha” pentru clienți. Și asta ne-a determinat cu adevărat. Acesta este un moment cheie pentru ca clienții să vadă că acest lucru funcționează. Îți pui conținutul, iar AI poate răspunde și rezolva aceste întrebări pentru clienții tăi.

Des: Brian, despre ce te-ai gândit?

Brian: Ceea ce este interesant și ceea ce cred că este validat prin intermediul unor teste de utilizatori finali este sensul înainte și după starea roboților sau poate că este vorba despre roți vechi și noi. Am auzit, de fapt, în testarea utilizatorilor finali pe care le-a făcut echipa noastră, că oamenii au spus: „Oh, stai, acesta este un bot vechi?” Și să fim sinceri. Aceștia sunt și roboții noștri, nu? Și mulți utilizatori finali spun: „Nu am o idee prea mare despre acestea. Nu sunt atât de încântat să mă angajez în asta. Probabil că există o cantitate destul de mare de frecare și cercuri prin care mă faci să sar. Oh, stai, acesta este un bot ChatGPT?” Asta e diferit. Este ceva ce, în calitate de utilizator final, sunt dispus să îl fac. Deci cred că asta va apărea cu adevărat.

A început pentru că ChatGPT a avut o utilizare atât de largă, așa că există această percepție a calității de către utilizatorul final. Nu știu dacă oamenii vor spune: „Simt că vorbesc cu un om”. Dar simt că pot avea o conversație normală, mai degrabă decât „Vorbesc cu tehnologie, folosesc cuvinte cheie, dă clic pe aceste butoane”. De fapt, a avea un dialog natural este o schimbare uriașă în percepția asupra calității care are loc de la clienții noștri și de la utilizatorii finali, precum și propunerea principală a produsului, care este să vă răspundeți automat la întrebare, fără nicio configurare. Există acea calitate conversațională care dă aproape acest luciu, toată această strălucire în jurul lucrurilor care schimbă cu adevărat aroma acestei tehnologii.

Nevoia de viteză

Des: Este aproape ca și cum apariția ChatGPT a relegitimizat boții pentru prima dată, astfel încât toată lumea este dispusă să le dea o nouă încercare. Să vorbim despre construirea de produse în această eră a AI. Ce se schimbă, Brian? Cum este?

Brian: A fost destul de o plimbare. Într-adevăr, din decembrie, s-a întâmplat să se întoarcă la modul de pornire. Acesta a fost un refren care a sunat adevărat pentru toată lumea. Și ce înseamnă asta? Cred că primul lucru este viteza. Ne-am aliniat la acest lucru în decembrie și am spus: „Vrem să fim lideri în AI pentru sprijin.” Pentru ca noi să avem în mod legitim această revendicare, precum și să avem produsul, trebuie să avem viteza de a introduce efectiv acel produs pe piață. Credem că, acolo unde este acum, viteza este absolut critică. Și asta nu este un truism. Viteza contează întotdeauna. Aici vorbim mereu despre cum ne putem mișca mai repede, provocându-ne să ne mișcăm mai repede. Dar chiar săptămâna trecută, am văzut pe cineva pe Twitter despre: „Hei, Apple nu este doar despre viteză. Sunt fericiți să ajungă pe locul doi pe piață, dar vin cu cel mai bun produs și apoi vor curăța.” Nu este un truism, deoarece viteza are o mulțime de riscuri în ceea ce privește calitatea produsului, propunerea produsului, în ceea ce privește spațiul capului oamenilor și sănătatea în muncă și chestii de genul ăsta. Dar ne-am aliniat cu toții în privința vitezei, a mișcării rapide pentru produsul de aici.

„Puteți folosi viteza ca scop de ancorare: „Vrem să scoatem rapid ceea ce credem că este un produs care schimbă jocul””

Dacă toată lumea este aliniată cu asta și să fim cu adevărat ambițioși și agresivi și suntem oarecum dispuși să distrugem cum lucrăm și cum ar trebui să lucrăm, lucrurile vor fi mai dezordonate, iar tu strici procesul. Avem prea multe canale Slack, dar avem câteva canale Slack uimitoare care în cele din urmă au explodat acolo. Acum, bine, trebuie să te întorci și să cureți. Dar cred că este optimizarea pentru viteză.

Un alt ingredient critic aici este absența politicii. O absență de oameni care să spună: „Hei, trebuie să am o voce puternică aici. Vreau să am o părere aici.” Oamenii tocmai s-au aliniat în spatele: „Hei, ce pot să fac pentru a ajuta?” Și dacă asta înseamnă să scriu un mic document de întrebări frecvente aici și apoi să scapi dracului din drum, bine, asta voi face. Este greu să știi ce poți face pentru a ajuta, dar dacă ai acel spirit, poți folosi viteza ca scop de ancorare: „Vrem să obținem rapid ceea ce credem că este un produs care schimbă jocul.” Acest lucru poate galvaniza oamenii într-un mod care este de fapt incredibil de energizant. Este un mod cu adevărat distractiv de a lucra, dar pentru unii oameni, este prea haotic.

Rati: Am vorbit puțin mai devreme despre cum am început echipa de bază ML. Avem o echipă de bază de oameni în care există un decident care validează conceptul de bază al Fin. Acum am ajuns la „Ok, avem un produs. Vrem să-l ducem în versiune beta. Vrem să-l scoatem pe piață. Avem oameni de marketing pe care trebuie să îi integrăm și echipe de abilitare pe care trebuie să colaborăm unul cu celălalt. Dar încă vrem să menținem același nivel de viteză.” Deci, ne-am mutat acum de la o echipă de bază și cum o extindeți la restul grupului, la restul afacerii pentru ca mai mulți oameni să continue, menținând în același timp viteza? Ceea ce am abordat acolo a fost să avem un obiectiv comun ca toată lumea să înțeleagă unde vrem să ajungem cu Fin. Oferirea oamenilor autonomie de a lua decizii.

„Cred că acest lucru este important atunci când construiești în acest spațiu cu inteligență artificială, care este mult diferit de ceea ce am făcut înainte – pentru a permite dezordinea și a fi în regulă cu dezordinea”

Des: Când spui unde am vrut să ajungem cu Fin, a fost acel domeniu de aplicare și cronologie, a fost de genul „aceste caracteristici, această dată”? Eram noi dispuși să dăm pentru orice?

Rati: Cronologia a fost un bun punct de ancorare pentru noi. Puteți alege domeniul de aplicare și apoi lăsați domeniul să vă dicteze cronologia sau puteți alege o linie temporală, iar aceasta vă dictează domeniul de aplicare. Am ales o cronologie. O cronologie a fost importantă, pentru că, ca afacere, am vrut să ne mișcăm rapid și am vrut să aducem ceva pe piață și să-l punem în mâinile clienților. Așadar, am ales o cronologie și apoi am validat ceea ce am putea introduce în acea cronologie. Și asta a fost foarte util pentru noi să rămânem concentrați. Avem această cronologie. Avem acest domeniu de aplicare care credem că va avea un impact cu adevărat pentru clienți. Alerga. Oferirea echipelor autonomie de a lua decizii și acceptarea dezordinea care vine din aceasta. Cred că asta este important atunci când construiești în acest spațiu cu AI, care este mult diferit de ceea ce am făcut noi înainte – pentru a permite dezordinea și a fi în regulă cu dezordinea.

Brian: Mai este un punct critic pe care l-ai atins, și anume viteza de luare a deciziilor. Toată lumea știe asta, dar, ca atâtea lucruri, este ușor de spus și greu de făcut. Când toți sunt aliniați, viteza la piață este esențială, când suntem aliniați cu ceea ce încercăm să facem, chiar și aliniați cu obiectivele de introducere pe piață, ceea ce cred că am făcut mai bine pentru Fin decât în ​​altă parte, când poate construi acel mușchi al luării rapide a deciziilor, este uimitor. Eoghan McCabe a fost capabil să dea claritate în partea de sus: „Iată ce încercăm să facem”. Și asta a avut un efect de ondulare.

„Nu e nimic bun în mine să alerg, să le spun oamenilor că viteza este importantă dacă ne ia șase luni să decidem ce vom percepe pentru funcție”

Sunt decizii grele și complicate de luat, iar oamenii intră și se luptă cu ele. Și în loc să te întorci înapoi și în jur, să obții mai multe informații, să obții mai mulți oameni și să nu ajungi la un consens, dacă devii acel mușchi puternic, este energizant. Oamenii pot să nu fie mulțumiți de decizie, dar de multe ori sunt doar fericiți că ne mișcăm din cauza sentimentului de progres. Când ești într-un autobuz și simți că te miști repede, este un loc foarte interesant. Știam că e o întâlnire luni și voi zbura acolo. Singura mea șansă era să scriu documentul, să împărtășesc tot ce puteam și să trec înainte pentru că nu pot fi acolo la întâlnire și decizia urma să fie luată acolo. Am încercat din greu și am eșuat. Dar, oricum, te înțelegi cu: „Acesta este ritmul de luare a deciziilor pe care trebuie să-l luăm, iar ritmul de luare a deciziilor este de obicei mai important decât deciziile reale în sine.”

Des: Sunt total de acord. De asemenea, cred că merită să semnalăm pentru ascultători că Eoghan McCabe este CEO-ul nostru. Duminică seara, de-a lungul întregului proiect, am avut telefoane cu Eoghan în care tocmai am vorbit despre necunoscutele și cunoscutele, despre toate întrebările de care eram conștienți. Cât de devreme ar trebui să mergem? Ce model am folosi? Ce am percepe? Dacă suntem lenți, de ce naiba ai fi rapid? Dacă ești lent, de ce naiba s-ar mișca rapid designerii sau inginerii? Este doar imposibil. Nu are rost să încerci să lucrezi cât de repede poți dacă știi că „Hei, vor mai dura două săptămâni până să luăm decizia.” Chiar dacă spun mult că „viteza este viață” și toate astea, acest proiect a fost o dovadă foarte bună că de fapt trebuie să fie la unison. Nu e nimic bun în mine să alerg, să spun oamenilor că viteza este importantă dacă ne ia șase luni să decidem ce vom percepe pentru funcție sau orice altceva. Trebuie să fie 100% împreună.

Un act de echilibru

Brian: Variabilele aici sunt prețul, viteza, latența, disponibilitatea și calitatea. Deci, aveți toate aceste variabile ale modelelor LLM în partea de sus a sistemului nostru și modul în care interacționăm și obținem calitatea produsului pe care ne-o dorim și totul se schimbă foarte repede. Deci, când OpenAI a lansat ChatGPT cu API, care este GPT Turbo, a fost de 10 ori mai ieftin decât 3.5. Deci, dintr-o dată, întreaga dinamică se schimbă și, dintr-o dată, trăsăturile care înainte nu erau fezabile sunt acum ca „Woa, whoa, whoa, whoa”. Întreaga piață de aici s-a schimbat radical. Apoi te întorci la „Stai, care este calitatea? Este calitatea suficient de bună?” Și de fapt este rapid. Deci, uneori, modelele mai ieftine sunt super rapide. Deci, nu aveți un clar unu-la-unu dintre mai scumpe neapărat egale-

Des: Acesta este unul dintre lucrurile pe care le învățăm în versiunea beta. Una dintre întrebările pe care trebuie să le rezolvăm și probabil ne vom petrece pentru totdeauna lucrând este, care este compromisul între viteza cu care utilizatorul final primește răspunsul și nevoia de acuratețe extremă? Sau chiar un text frumos înfășurat în jurul răspunsului într-un fel. Răspunsul corect prost formulat în 0,1 secunde ar putea de fapt să bată un răspuns foarte elegant în 10 secunde în ceea ce privește ceea ce îl face pe utilizatorul final fericit.

„Cum construiești cu incertitudinea produsului despre ceea ce se întâmplă? Toată lumea încearcă să-și dea seama”

Rati: Cred că aceasta este o provocare pe care toată lumea din acest spațiu va trebui să o rezolve, deoarece este atât de nouă pentru companii și clienți. De asemenea, nu există foarte multe opinii puternice, deoarece clienții încă învață ce își doresc în lume. Ceva care a fost cu adevărat interesant pe tot parcursul beta și chiar și acum, încearcă să extrapoleze de la oameni modul în care percep și prețuiesc calitatea. Revenind la acel punct al prețului și fără a avea acest lucru separat în cadrul companiei în timp ce luăm decizii cu privire la Fin, vă gândiți la prețuri. Trebuie să vă gândiți la produs pentru că spunem: „O, vrem să creștem calitatea. Care este costul asta și este cineva dispus să plătească pentru asta?” „Bine, vom merge la o calitate mai scăzută, dar va fi puțin mai rapid. Sunt dispuși să plătească mai mult sau mai puțin pentru asta?” Așadar, este un ciclu continuu la care trebuie să te gândești și să te verifici cu privire la ceea ce merită să mergi mai departe. Sunt clienții dispuși să plătească? Îl prețuiesc la fel ca noi?

Des: Și doar având în vedere cantitatea torențială de schimbări care se întâmplă, se simte că toate aceste decizii sau principii sau linii directoare aproape că sunt destul de perisabile. S-ar putea să avem o părere foarte puternică despre unde trebuie să folosim GPT-4 versus Turbo și, două zile mai târziu, s-ar putea să schimbăm acea opinie și să revizuim întrebările din nou. Cum gestionați schimbarea destul de extremă?

Brian: Când mă uit înapoi, mă gândesc: „Oh, am greșit.” Încercăm să optimizăm pentru viteză, dar apoi, când am primit noi informații despre disponibilitatea pe care o vom avea și despre modul în care acest lucru avea să schimbe lucrurile, pentru că vă simțiți confortabil să lucrați într-o unitate mică, în mod eficient, puteți continua cu toții. îmbarcă în fiecare zi. Și acum suntem ca sute de oameni, așa că dacă faci o schimbare semnificativă pe baza informațiilor de ieri, toată lumea trebuie să spună: „Totul s-a schimbat și apoi se va schimba din nou săptămâna viitoare”. Este foarte greu să lucrezi la scară atunci când podeaua de dedesubt pot avea schimbări atât de dramatice.

Vorbeam despre dezordine și incertitudine, iar tu ai vorbit despre modele ca o parte esențială a acestui lucru, deoarece aici se schimbă atât de multe, dar imaginea mai largă este atât de incertă. Și acesta este, de asemenea, ceva despre care am vorbit: „Cum construiți cu incertitudinea produsului despre ceea ce se întâmplă?” Toată lumea încearcă să-și dea seama.

„Dacă vrei să lucrezi la definirea următoarei versiuni de produse și în care se îndreaptă această industrie, trebuie să fii dispus să sari în haos și să speri că toate membrele tale vor rămâne atașate când ieși”

De exemplu, mesagerul nostru va fi irelevant pentru că toată lumea va merge la Google și Google va fi noul lor asistent pentru a face cu adevărat toate acestea? Sau poate că Google va fi irelevant. „De fapt, nu, ei sunt cei care vor fi perturbați.” Posibilitățile de întrerupere plauzibilă a companiilor de mai multe miliarde... Cred că este chiar dincolo de amploarea acesteia. Totul este rezonabil de plauzibil de gândit. Ne aflăm în acest spațiu în care incertitudinea macro pentru realități plauzibile ale universului alternativ care ar putea fi reale în șase luni față de ceea ce putem construi chiar acum și dacă putem construi asta pe un teren instabil este o nouă provocare pentru toată lumea. Majoritatea oamenilor le place puțină stabilitate din care să lucreze și cred că toată lumea trebuie să recunoască că stabilitatea nu mai este un lucru.

Des: Nu este un atu.

Brian: Dacă vrei să lucrezi într-un produs stabil, înseamnă că lucrezi în echipe care anterior s-au ocupat de incertitudine și că le faci aproape de genul: „Bine, ai avut succes, iar acum ai mai mult. spațiu confortabil pentru a-ți face munca iterativă.” Și acesta este un loc valid în care sperați să ajungă compania dvs. Dar cred că cealaltă parte este și inovația și incertitudinea. Nu poți extrage unul din celălalt. Dacă vrei să lucrezi la definirea următoarei versiuni de produse și în care se îndreaptă această industrie, trebuie să fii dispus să sari în haos și să speri că toate membrele tale vor rămâne atașate când ieși. Dar în general o fac, nu? Este doar software.

Deblocarea valorii în era AI

Des: Brian, dacă vorbești cu un startup aflat într-o etapă anterioară, să spunem 50-100 de oameni și ei sunt pe cale să înceapă prima lor aventură în AI, ce i-ai sfătui? Dacă trebuie să le dai o direcție, ar fi să îmbrățișezi incertitudinea sau ar fi să te miști cât de repede poți? Ar fi să stai pe spate și să privești și să-ți alegi lovitura?

Brian: Am fost la unele dintre conferințele noastre cu clienții și am vorbit cu câțiva oameni care se uită, de asemenea, la construirea de lucruri, și ei au spus: „Cum gestionați toată această incertitudine?” Există atât de multă valoare pe care ne bazăm în ceea ce privește ceea ce deblochează această tehnologie, ceea ce nu a fost niciodată posibil până acum și poate fi construită acum. Niciodată până acum cineva care construiește un produs nu a avut atâtea opțiuni. Avem mult prea multe și încercăm să ne concentrăm și să ne dăm seama cum ne putem echilibra investiția. Sunt o sută de lucruri pe care vrem să le facem și suntem destul de încrezători că 50 dintre ele vor fi construite și vor fi valoroase. Sunt prea multe disponibile acum.

„Lucruri care nu erau posibile înainte nu sunt posibile doar acum – multe dintre ele sunt destul de ușor de construit”

Deci, dacă sunteți un startup, alegeți următorul pas. Pentru a face un pariu mare asupra modului în care modelele întregi de produse se vor schimba, aveți nevoie de o investiție mare. Dar există atât de multe lucruri care pot fi construite pe care o companie poate face tracțiune. Simt că acum este cel mai bun moment pentru a fi un startup. Acum șase luni, amintiți-vă că Rob a fost la o emisiune și spuneți-i lui Rob de la echipa ML, iar el, cu versiunea anterioară de Tech, a investigat: „Putem face asta?” Pentru că știam că acest lucru este valoros și a făcut o explorare de două săptămâni. El spune: „Nu, nu e nimic aici. Scuze oameni buni. Am încercat să găsesc ceva, dar s-a dovedit că nu este nimic aici. Șase luni mai târziu, cred cu adevărat că a trecut în mai puțin de o zi în care a pus învelișul în jurul acestui lucru pentru a obține această funcție. Acolo suntem.

Lucruri care nu erau posibile înainte nu sunt posibile doar acum – multe dintre ele sunt destul de ușor de construit. Deci, cred că acesta este un moment uimitor pentru orice constructor de produse să caute un spațiu. Alegeți o valoare pe termen scurt pentru a continua, pentru că este nevoie de timp pentru a construi produsul și a-l comercializa, găsiți acea valoare pe termen scurt la care puteți începe să vă gândiți la ce va merge în viitor, dar să nu vă paralizați de faptul că noi Avem atât de multe universuri alternative în fața noastră acum.

Rati: De asemenea, aș spune că nu trebuie să alegi un lucru nou de făcut. Chiar dacă mă uit la ceea ce am făcut la Intercom când GPT a fost lansat anul trecut, ne-am uitat la locurile de muncă și la problemele pe care am vrut să le rezolvăm, iar asta este foarte important. Nu trebuie să construiți un lucru nou sau să găsiți o nouă nișă – puteți găsi probleme existente și puteți utiliza această nouă tehnologie pentru a le rezolva. Și apoi alege unul. Nu alege o mulțime de lucruri, alege unul și mergi după el.

„Modul la care ne gândim este să gândim pe termen scurt. Avem diferențiere? Hei, trei luni ar fi bine. Poate șase luni ar fi bine și vom vedea ce ne cumpără.”

Des: Cum credeți amândoi despre ideea de șanțuri în afaceri? Dacă ești un startup, ai o listă de lucruri de făcut sau un management de proiect și spui: „Hei, m-am gândit la un lucru grozav pe care cred că aceste elemente încă mai fac, așa că o să merg și Fă-o. Dacă ți-a fost ușor, este ușor pentru toată lumea”. Ce părere aveți despre gradul în care externalizați funcțiile interesante? Și apoi, în cele din urmă, s-ar putea întâmpla marea democratizare a SaaS, unde toată lumea poate construi toate lucrurile interesante pe care le construiești și tu. Poate că este o întrebare care depășește scopul pentru care îți petreci de fapt ziua, dar care este reacția ta la asta? Ideea că aceste funcții sunt de fapt realizate de altcineva și doar le introducem prin API?

Brian: Şanţul de şanţ şi avantajul competitiv sunt o întrebare dificilă din cauza asta. We think of what Intercom as a system has and our competitive advantages within that, with data that we have, which is a huge source potentially there. We're not unique in having that, but we're, in a way, a smaller group of people who have some of those characteristics. So, how can we lean on that? It's super hard. How will it change? Will it matter or not? Will technology make that differentiation moot? Competitive differentiation is part of this as well because that will dissolve. The way we're thinking about is thinking short term. Do we have differentiation? Hey, three months would be good. Maybe six months would be good, and we'll see what that buys us. The reality is there's probably not a world where you can build something for a year and you're differentiated for a while. I don't know if that world ever really existed, but I think that's hard.

Des: There are still some types of moats, but I think, in general, simply building a lot of products might not be one, especially when you're not really building – you're just building API goals into it.

Brian: Another interesting thing, though, is that for us, as builders in this space, it's impossible to stay on top of all the stuff that's happening. It's actually incredibly hard to stay on top of all the stuff happening at the Intercom project. No one can really keep up with all this stuff that's happening. Never mind the macro industry.

“Are you betting on a product that's going to keep getting better or on a product that hopes the world never changes?”

And what about your customers? Their job is not to stay on top of all this stuff, even though they're now being asked to do it. I think brands will increase in importance. People say, “I need someone who's going to do the work for me, and I know this company will figure out the good stuff and make that available to me so that I don't have to figure it out.” So your customers can rely on you to figure out what matters from this and make sure that's in the product. Because I would be very happy if I could just offload that whole mental, “How the hell do I think about AI?” to you.

Des: I think that's totally true. Maybe it's just our industry, because people are not free to change help desk every few months. It's very messy. But I think when people are picking a tool, whether it's like, say, project management or communications or support, they're probably making a decision that's at least one year in length, but probably more cause migration's now a joke for a lot of these things. So, what they're looking for in a brand is like, “Am I picking the right horse?” If new shit drops, will these people be able to react to it and make the most of it, or are they going to be stuck forever doing press releases that don't amount to any software whatsoever? Are you betting on a product that's going to keep getting better or on a product that hopes the world never changes? I think the latter category will be a bad bet at a time like this.

Brian: One other thought that's circled around my head is like product builders. This is what you hope for. You say, “Oh, the world has changed, and we want it to be in this holy-changed space.” And it is. It's for real. It's a great time to be building product, and we're lucky to be working in this space. That's how I feel, even though it's head-wrecking, you can't keep up, and the ground beneath us is almost forever shaken up. But this is fun. This is why you want to build product.

“Companies who want to move in the space in AI are going to have to be okay with not knowing everything and making sure you have clear goals for your teams”

Des: What's it like on the ground, Rati? Do you end up having to just chase down Slack channels in the night?

Rati: Yeah, I'm in Slack a lot. That is true. But I also am okay. And I think companies who want to move in the space in AI are going to have to be okay with not knowing everything and making sure you have clear goals for your teams. For us, that's worked really well where the teams have clear goals they need to go after. I know 60% of the time what's going on, and any key decisions are usually surface that you'll catch. I'm sure there are things that drop, but generally, we're going in the same direction as a team. And on the AI piece, people are excited to work in this new space. It's a great opportunity for a lot of folks who you've been wanting to have this exciting new thing happen, learning how ML works, learning AI, as well as getting involved in that. So, it's quite good on the ground. Of course, there are pain points – I'm not going to paint it as a rosy thing, but it's exciting on the ground.

Des: I was talking to a friend, and we had this thought experiment. Imagine it all just went away. Imagine that, for whatever reason, someone deleted all of the LLMs, and we have to go back to the world of SaaS. It feels so much more boring looking back now. Because even the features that are pure SaaS 101 for us, even, let's say, ticketing in our help center, or whatever, we were still looking at them going, “At some point, we're going to come back to you with an AI perspective.” But if this wasn't here, in hindsight, it feels like we were getting towards the end of the SaaS cycle. We'd worked out how to build CRMs for farmers to keep track of their roosters. How many more tail-end sort of features could we build?

Philosophical musings

Des: Forgetting about Intercom, are you excited about AI in your own life as an employee of a tech company? Are there other areas or products you would like to see AI in? Are you seeing anything interesting?

Brian: I'll take this in a different direction, which you may want to shoot down. But for me, what's interesting, getting a little closer to the tech, is the language ability. There are so many philosophical questions that were good for college students to rattle on about with their professors. And you go on there, and it was all academic in that sense. And this has been going on from the '50s, actually, when it was a Touring test. What does it mean to learn? What is knowledge? What is reasoning? It's all relevant right now.

“You learn your second language quite deliberately, but with your first language, your brain was programmed to learn it in a way that evolution built”

Here's an example of this. Ask Fergal “Does GPT understand?” Well, no, it doesn't understand. But I saw, in a Slack thread, “Comprehension is actually kind of remarkable.” Does a robot understand things? It doesn't do language like we do because it just predicts blah blah blah – everyone vaguely knows how this works –, which makes no sense in our heads. But then, how did you learn your language? You had no idea. Your brain learned your language. I find myself thinking way more. I remember hearing neural networks, like programs were getting neural networks, “Yeah, right. Come on, you're not even close.” Now I'm starting to think of my brain more like the machine and I'm like, “I have no idea how I learned language. You learn your second language quite deliberately, but with your first language, your brain was programmed to learn it in a way that evolution built. It's all relevant now.

You could go into politics. There's all the fear of AI, which seems reasonable, but like, humans aren't so good at voting. I don't know, have we really earned the right that we think we have? Because I'd welcome a little more rational voting choices in the future. You can zoom up to that level. And actually, this AI makes you more reflective of our species. We always think we're amazing and wonderful whenever someone's competing against us. But damn, we've got to live up to the promise. My head goes a lot in those directions. And then with kids, seeing how they adapt to the technology as well. That for, me, are the juicy places to go. The academic questions are now front and center. It will be a fun time to go back to college now to be able to talk about this stuff.

“And all of a sudden, do you build relationships with machines?”

Rati: Continuing the tangent. For me, it's more the relationships. Normally, you build relationships by talking to people like this. And imagine, with the advancement of generative AI, being in conversations that you've had with a friend, a parent, or a partner, and then being able to have a conversation there. Can you have relationships with machines? That's, of course, not related to B2B SaaS, but I think it's interesting to start building the space around it.

Brian: Make the internet personal? We can productize that.

Rati: And all of a sudden, do you build relationships with machines? How does that change humans and how we interact in the world? I think that's going to be interesting to watch.

Des: I think the infinitely easier challenge, perhaps, is to build a model of yourself. Giving one of these things access to everything you've ever communicated digitally in any form, everything you've ever spoken, your voice, your look, et cetera. You can imagine having effectively a shadow bot that does your job for you 90% of the time. And that shadow bot just knows to escalate to you whenever it does not know how to do something. You know what I mean?

Rati: We're not far from that. I'm curious to see how open we are as a world to have this integrated into us. It's always been a theoretical conversation about machines and AI and what it could do. So, I'm curious to see, from a personal level and everyday life, how people will actually genuinely integrate this and how it changes how we relate to each other and create connections.

Democratizing UI

Brian: What about you, Des? What are you excited about?

Des: I believe in AI in so many ways. I'm actually not super excited by the sort of text generation features that everyone who has a text area has now got the ability to expand on. And yet, I think that's a reference to the “hello, world” of AI. You just throw this out to make sure all the endpoints are working. Where I get most excited from a future-facing point of view is that I think it'll be a great democratizer for UI. There are so many products we use on a regular basis. Workday is one of them. Kuba is another. There are plenty, honestly, where they're designed for the administrator in the company but not really for the end user who might be affected by the software.

“The idea is you know how to do that, and I don't. You and I could do it, and it might take us four hours, but Brian knows how to do it in 14 minutes”

So, I'm sure we employ people who think the Workday UI is great. I'm sure somebody in the world thinks it's the right UI. But I was in a tool yesterday to approve access for provisioning for something to somebody, and it's not that the UI is necessarily bad from a Jacob Nielsen one-on-one point of view – the drop-downs line up, the text areas line up, et cetera. It's more like this product is capable of so many things but my specific usage of it centers around one or two things, like requesting a day off or approving an expense or something like that, and yet it feels like I need to go on a training course to know how to do these things.

The example you'd both be familiar with is Google Analytics. You've both experienced it at some stage. You probably were once a certified GA or approved educator or something.

Brian: Yes, I was.

Des: You have a grant philosopher at Google or whatever. And the fact that you need a certification is almost part of my point. Because you get those certifications so you can answer questions, “Well, given this interface, tell me how to find the highest-performing referrals CPC ad word that worked for us in Norway between July and August or something like that.” The idea is you know how to do that, and I don't. You and I could do it, and it might take us four hours, but Brian knows how to do it in 14 minutes.

“The gap between being able to express what you want to do and being able to do it will narrow to zero”

What I think genuinely we'll see happen is a lot of these UIs will disappear for the regular folk, and they'll just type the thing they're trying to do. I see this all over the place today. An example is Equals, which is actually built by two former Intercomers. They're basically doing a next-generation spreadsheet with live connections to live data, et cetera. But one of the things they can do is press command+K and start typing the thing you're trying to do. And it will work out what you're trying to do and then generate the Excel commands that you needed to know that you never fucking knew because none of us know Excel codes or commands. It'll do all that for you, you hit return, and you're done.

That's an example of what I call democratization. Previously, all of this was only accessible to people who legit knew Excel or how to use Google Analytics. And now, all of a sudden, we're all going to have access to the same power. The gap between being able to express what you want to do and being able to do it will narrow to zero. Whereas before, there was a big clunky thing in the middle of becoming an expert at using blah. And that expertise is no longer needed. And now I think we can all say to the machine what we want to do, and the machine's going to do it.

Sunt destul de sigur că se va întâmpla, deoarece este mult mai bună decât experiența actuală a filelor, listelor drop-down și clicurilor de mouse. Se va intampla. Și atunci când se întâmplă, este o schimbare de trapă pentru natura însăși a software-ului. Am vorbit cu mulți oameni și nu cred că niciunul dintre noi este pregătit pentru asta. Nu cred că știm ce înseamnă. Este greu de imaginat UI fără UI. Este greu de imaginat multe dintre aceste lucruri. Și nu cred că UI dispare. Cred că oamenii încă vor să vadă ce se întâmplă. Dar natura reală a UI complicată va dispărea. Doar scrieți în engleză ceea ce încercați să faceți și ați terminat. Aceasta este o nouă eră a software-ului și sper doar să mă retrag înainte să se întâmple.

Brian: Designul de interacțiune este discutabil.

Des: Da, exact. Și știi cine ar trebui să fie peste tot și cumva nu? Designeri de conținut. Există o lume uriașă care vine pentru ei dacă o pot valorifica.

Rati: Cât de repede sau cine l-ar adopta primul? Când se va întâmpla această schimbare, se va întâmpla cu generația noastră sau vor fi oamenii care vor veni acum cei care vor schimba natura software-ului pe care îl va atrage?

Des: Cred că foarte mult depinde și de cât de accesibil este. Dacă vă gândiți la interfețele bazate pe text, acestea sunt echivalente cu interfețele audio datorită Whisper, tehnologia OpenAI. Și apoi te gândești la viitorul lui Siri, te gândești la dispozitivele Amazon Echo și la Cortana și la restul găștii. Dintr-o dată, cineva care nici măcar nu se pricepe la calculatoare care stau într-o cameră poate avea acum acces la comenzile digitale ale întregului internet. Comandă-mi un taxi, trimite-mi o pizza, orice. Toate acestea devin pur și simplu banale. Și asta schimbă lucrurile. Nu vreau să înțeleg și nici nu vreau să spun că am habar cum, dar cred că întreaga lume va fi diferită și, cu siguranță, este o perioadă interesantă. Vă mulțumim foarte mult pentru că ne-ați alăturat și ne-ați ajutat pe Fin. A fost o conversație bună și ne vom revedea cu toții în curând.

Brian: Mulțumesc, Des.

Rati: Mulțumesc.