O nouă eră a UX: Evoluția abordării de design pentru produsele AI

Înainte ca ChatGPT să apară acum un an, inteligența artificială (AI) și învățarea automată (ML) erau instrumentele misterioase ale experților și oamenilor de știință în date - echipe cu multă experiență de nișă și cunoștințe de domeniu specializate. Acum, lucrurile stau altfel.

Probabil că citiți acest lucru deoarece compania dvs. a decis să folosească GPT OpenAI sau un alt LLM (model de limbă mare) pentru a construi caracteristici AI generative în produsul dvs. Dacă acesta este cazul, s-ar putea să te simți entuziasmat („Este atât de ușor să faci o nouă funcție grozavă!”) sau copleșit („De ce obțin rezultate diferite de fiecare dată și cum îl fac să facă ceea ce vreau?”)Sau poate le simți pe amândouă!

Lucrul cu AI ar putea fi o nouă provocare, dar nu trebuie să fie intimidant. Această postare redă experiența mea din anii petrecuți proiectând pentru abordări ML „tradiționale” într-un set simplu de întrebări pentru a vă ajuta să mergeți mai departe cu încredere pe măsură ce începeți să proiectați pentru AI.

Un alt tip de design UX

În primul rând, câteva informații despre modul în care designul AI UX este diferit de ceea ce obișnuiești să faci. (Notă: voi folosi AI și ML în mod interschimbabil în această postare.) S-ar putea să fiți familiarizați cu modelul de design UX în 5 straturi al lui Jesse James Garrett.

Diagrama Elementelor experienței utilizatorului a lui Jesse James Garrett

Modelul lui Garrett funcționează bine pentru sistemele deterministe, dar nu surprinde elementele suplimentare ale proiectelor de învățare automată care vor afecta considerațiile UX în aval. Lucrul cu ML înseamnă adăugarea unui număr de straturi suplimentare în model, în și în jurul stratului de strategie. Acum, pe lângă ceea ce ați obișnuit să proiectați, aveți nevoie și de o înțelegere mai profundă a:

• Cum este construit sistemul.
• Ce date sunt disponibile pentru caracteristica dvs., ce include aceasta, cât de bună și de fiabilă este.
• Modelele ML pe care le veți folosi, precum și punctele lor forte și punctele slabe.
• Ieșirile pe care le va genera caracteristica dvs., cum vor varia și când vor eșua.
• Cum ar putea reacționa oamenii la această caracteristică diferit decât v-ați aștepta sau doriți.

În loc să te întrebi „Cum am putea face asta?” ca răspuns la o problemă cunoscută, s-ar putea să vă întrebați „Putem face asta?”

Mai ales dacă utilizați LLM-uri, probabil că veți lucra înapoi de la o tehnologie care deblochează capabilități complet noi și trebuie să determinați dacă acestea sunt adecvate pentru rezolvarea problemelor despre care știți sau chiar a problemelor pe care nu le-ați considerat niciodată rezolvabile. inainte de. S-ar putea să trebuiască să gândiți la un nivel mai înalt decât de obicei – în loc să afișați unități de informații, este posibil să doriți să sintetizați cantități mari de informații și să prezentați tendințe, modele și predicții.

„Proiectați un sistem probabilistic care este dinamic și care reacționează la intrări în timp real”

Cel mai important, în loc să proiectați un sistem determinist care face ceea ce îi spuneți să facă, proiectați un sistem probabilistic care este dinamic și care reacționează la intrări în timp real - cu rezultate și comportamente care vor fi neașteptate sau inexplicabile uneori, și unde cântărirea compromisurilor ar putea fi un exercițiu tulbure. Aici intră în joc setul meu de cinci întrebări cheie – nu pentru a vă oferi răspunsuri, ci pentru a vă ajuta să faceți următorul pas în fața incertitudinii. Să ne scufundăm.

1. Cum veți asigura date bune?

Oamenii de știință le place să spună „Gunoi în, gunoi afară”. Dacă începeți cu date proaste, în general, nu veți ajunge cu o funcție AI bună.

De exemplu, dacă construiți un chatbot care generează răspunsuri pe baza unei colecții de surse de informații, cum ar fi articole dintr-un centru de ajutor online, articolele de calitate scăzută vor asigura un chatbot de calitate scăzută.

Când echipa de la Intercom a lansat Fin la începutul anului 2023, ne-am dat seama că mulți dintre clienții noștri nu aveau o idee exactă a calității conținutului lor de ajutor până când nu au început să folosească Fin și au descoperit ce informații erau sau nu prezente sau clare în continutul lor. Dorința unei funcții AI utile poate fi o funcție excelentă de forțare pentru echipe să își îmbunătățească calitatea datelor.

Deci, ce sunt datele bune? Date bune sunt:

• Acurate: datele reprezintă corect realitatea. Adică dacă am 1,7 m înălțime, asta scrie în fișa mea de sănătate. Nu spune că am 1,9 m înălțime.
• Complete: Datele includ valorile necesare. Dacă avem nevoie de măsurarea înălțimii pentru a face o predicție, acea valoare este prezentă în toate fișele de sănătate ale pacienților.
• Consecventă: datele nu contrazic alte date. Nu avem două câmpuri pentru înălțime, unul spunând 1,7m și celălalt spunând 1,9m.
• Actual: datele sunt recente și actualizate. Dosarul tău de sănătate nu ar trebui să reflecte înălțimea ta ca un copil de 10 ani dacă acum ești adult – dacă s-a schimbat, înregistrarea ar trebui să se schimbe pentru a o reflecta.
• Unic: datele nu sunt duplicate. Medicul meu nu ar trebui să aibă două fișe ale pacienților pentru mine, altfel nu vor ști care dintre ele este cea potrivită.

Este rar să ai o mulțime de date cu adevărat de înaltă calitate, așa că s-ar putea să trebuiască să faci un compromis calitate/cantitate atunci când vă dezvoltați produsul AI. Este posibil să puteți crea manual un eșantion mai mic (dar, sperăm, încă reprezentativ) de date sau să filtrați datele vechi și inexacte pentru a crea un set de încredere.

Încercați să începeți procesul de proiectare cu o idee exactă a cât de bune sunt datele dvs. și un plan de îmbunătățire a acestora dacă nu este grozav la început.

2. Cum vă veți ajusta procesul de proiectare?

Ca de obicei, este util să începeți cu o explorare cu fidelitate scăzută pentru a determina experiența dvs. ideală de utilizator pentru problema pe care sperați să o rezolvați. Probabil că nu o veți vedea niciodată în producție, dar această stea nordică vă poate ajuta să vă aliniați pe tine și pe echipa ta, să-i entuziasmeze și, de asemenea, să ofere un punct de plecare concret pentru a investiga cât de fezabil este de fapt.

„Petreceți ceva timp pentru a înțelege cum funcționează sistemul, cum sunt colectate și utilizate datele și dacă designul dvs. surprinde variația pe care ați putea-o vedea în rezultatele modelului”

Odată ce aveți acest lucru, este timpul să proiectați sistemul, datele și ieșirile de conținut. Întoarce-te la steaua ta nordică și întreabă „Este cu adevărat posibil ceea ce am proiectat? Care sunt unele variații în cazul în care X sau Y nu funcționează bine?”

Petreceți ceva timp pentru a înțelege cum funcționează sistemul, cum sunt colectate și utilizate datele și dacă designul dvs. surprinde variația pe care ați putea-o vedea în rezultatele modelului. Cu AI, o ieșire slabă este o experiență slabă. În exemplul chatbot, acesta ar putea părea ca un răspuns care nu oferă suficiente detalii, răspunde la o întrebare tangențială sau nu clarifică întrebarea când ar trebui.

Două exemple despre cum poate fi afișată rezultatul unui chatbot AI

În ilustrația de mai sus, exemplul din stânga este similar cu multe rezultate timpurii pe care le-am văzut la dezvoltarea chatbot-ului nostru Fin, care au fost precise, dar nu foarte informative sau utile, deoarece s-au referit la articolul original în loc să spună răspunsul în linie. Designul vă ajută să ajungeți la exemplul din dreapta, care are un răspuns mai complet, cu pași clari și formatare.

Nu lăsați conținutul rezultatului în seama inginerilor dvs. – experiența acesteia ar trebui proiectată. Dacă lucrați la un produs bazat pe LLM, aceasta înseamnă că ar trebui să experimentați cu inginerie promptă și să vă dezvoltați propriul punct de vedere cu privire la forma și scopul rezultatului.

De asemenea, va trebui să luați în considerare modul de proiectare pentru un nou set de stări de eroare potențiale, riscuri și constrângeri:

Stări de eroare

• Problemă cu pornirea la rece: clienții ar putea avea puține date sau deloc atunci când vă folosesc pentru prima dată funcția. Cum vor obține valoare chiar de la început?
• Nicio predicție: sistemul nu are un răspuns. Ce se întâmplă atunci?
• Predicție proastă: sistemul a dat o ieșire slabă. Va ști utilizatorul că este greșit? O pot repara?

Riscuri

• False pozitive , cum ar fi atunci când prognoza meteo anunță ploi, dar nu plouă. Va exista un rezultat negativ dacă acest lucru se întâmplă cu produsul dvs.?
• False negative , cum ar fi atunci când prognoza meteo nu anunță ploaie, dar este o ploaie. Care va fi rezultatul dacă acest lucru se va întâmpla cu caracteristica dvs.?
• Riscurile din lumea reală , cum ar fi atunci când rezultatele ML influențează sau influențează direct viața, mijloacele de trai și oportunitățile oamenilor. Acestea sunt aplicabile produsului dvs.?

Noi constrângeri

• Constrângerile utilizatorilor , cum ar fi modele mentale incorecte despre modul în care funcționează sistemul, așteptări sau temeri nerealiste cu privire la produsul dvs. sau șansa de mulțumire în timp.
• Constrângeri tehnice , cum ar fi API-ul sau costul de stocare și de calcul, latența, timpul de funcționare, disponibilitatea datelor, confidențialitatea datelor și securitatea. Acestea sunt în primul rând o problemă pentru inginerii dvs., dar pot avea și un impact direct asupra experienței utilizatorului, așa că ar trebui să înțelegeți limitările și posibilitățile.

3. Cum va funcționa când ML eșuează?

Când, nudacă. Dacă sunteți surprins de modurile în care produsul dvs. AI eșuează în producție, nu ați făcut suficiente teste în prealabil. Echipa dvs. ar trebui să vă testeze produsul și rezultatele pe parcursul întregului proces de construire, fără să aștepte până când sunteți pe cale să livrați caracteristica clienților. Testarea riguroasă vă va oferi o idee solidă despre cum și când produsul dvs. ar putea eșua, astfel încât să puteți construi experiențe pentru utilizatori pentru a atenua aceste defecțiuni. Iată câteva dintre modalitățile prin care vă puteți testa eficient produsul.

Începeți cu prototipurile dvs. de design

Prototip cu date reale pe cât posibil. „Lorem ipsum” este inamicul tău aici – folosește exemple reale pentru a-ți testa produsul. De exemplu, atunci când dezvoltam chatbot-ul nostru AI Fin, a fost important să testăm calitatea răspunsurilor oferite la întrebările clienților reali, folosind ca material sursă articolele reale din centrul de ajutor.

Un exemplu despre modul în care doi designeri ar putea aborda proiectarea unui chatbot care oferă răspunsuri generate de AI

În această comparație, putem vedea că exemplul colorat din stânga este mai atrăgător din punct de vedere vizual, dar nu oferă detalii despre calitatea experienței de generare a răspunsurilor. Are fidelitate vizuală mare, dar fidelitate scăzută a conținutului. Exemplul din dreapta este mai informativ pentru testarea și validarea faptului că răspunsurile AI sunt de fapt de bună calitate, deoarece are o fidelitate ridicată a conținutului.

Designerii sunt adesea mai familiari lucrând de-a lungul intervalului de fidelitate vizuală. Dacă proiectați pentru ML, ar trebui să urmăriți să lucrați de-a lungul spectrului de fidelitate a conținutului până când ați validat pe deplin că rezultatele sunt de o calitate suficientă pentru utilizatorii dvs.

Designul colorat Fin nu te va ajuta să judeci dacă chatbot-ul poate răspunde la întrebări suficient de bine încât clienții să plătească pentru el. Veți obține un feedback mai bun arătându-le clienților un prototip, oricât de simplu, care le arată rezultate reale din datele lor reale.

Testați pe scară largă

Când credeți că ați obținut rezultate constant de bună calitate,backtest pentru a valida calitatea ieșirii la o scară mai mare.Aceasta înseamnă că inginerii dvs. revin și rulează algoritmul pe mai multe date istorice, unde cunoașteți sau puteți judeca în mod fiabil calitatea rezultatelor. Ar trebui să revizuiți rezultatele pentru calitate și consecvență - și să scoateți la suprafață orice surprize.

Abordați produsul minim viabil (MVP) ca un test

MVP sau versiunea beta ar trebui să vă ajute să rezolvați orice întrebări rămase și să găsiți alte surprize potențiale. Gândește-te în afara cutiei pentru MVP-ul tău – s-ar putea să îl construiești în produs sau ar putea fi doar o foaie de calcul.

„Fă ca rezultatele să funcționeze, apoi construiește pachetul de produs în jurul lui”

De exemplu, dacă creați o caracteristică care grupează grupuri de articole în zone tematice și apoi definiți subiectele, veți dori să vă asigurați că ați obținut gruparea chiar înainte de a crea interfața de utilizare completă. Dacă clusterele dvs. sunt proaste, poate fi necesar să abordați problema diferit sau să permiteți diferite interacțiuni pentru a ajusta dimensiunile clusterului.

S-ar putea să doriți să „construiți” un MVP care este doar o foaie de calcul a rezultatelor și a subiectelor denumite și să vedeți dacă clienții dvs. găsesc valoare în modul în care ați făcut-o. Faceți ieșirile să funcționeze, apoi construiți plicul produsului în jurul acestuia.

Rulați un test A/B când vă lansați MVP

Veți dori să măsurați impactul pozitiv sau negativ al funcției dvs. În calitate de designer, probabil că nu veți fi responsabil cu configurarea acestui lucru, dar ar trebui să căutați să înțelegeți rezultatele. Valorile indică faptul că produsul dvs. este valoros? Există factori de confuzie în UI sau UX pe care ar putea fi necesar să îi modificați în funcție de ceea ce vedeți?

„Puteți folosi telemetria din utilizarea produsului dvs. combinată cu feedback-ul calitativ al utilizatorilor pentru a înțelege mai bine cum interacționează utilizatorii cu caracteristica dvs. și valoarea pe care o obțin din aceasta.”

În echipa Intercom AI, rulăm teste A/B ori de câte ori lansăm o nouă caracteristică cu un volum suficient de mare de interacțiuni pentru a determina semnificația statistică în câteva săptămâni. Pentru unele funcții, totuși, pur și simplu nu veți avea volumul - în acest caz, puteți utiliza telemetria din utilizarea produsului dvs. combinată cu feedback-ul calitativ al utilizatorilor pentru a înțelege mai bine cum interacționează utilizatorii cu caracteristica dvs. și valoarea din care derivă. aceasta.

4. Cum se vor integra oamenii în sistem?

Există trei etape majore ale ciclului de viață de utilizare a produsului pe care ar trebui să le luați în considerare atunci când construiți un produs AI:

1. Configurarea funcției înainte de utilizare .Aceasta ar putea include alegerea unui nivel de autonomie în care produsul va funcționa, curatarea și filtrarea datelor care vor fi utilizate pentru predicții și setarea controalelor de acces. Un exemplu în acest sens este cadrul SAE International pentru automatizarea vehiculelor autonome, care subliniază ce poate face vehiculul singur și cât de multă intervenție umană este permisă sau necesară.
2. Monitorizarea funcției în timp ce este în funcțiune.Are sistemul nevoie de un om care să-l țină pe drumul cel bun în timp ce funcționează? Aveți nevoie de un pas de aprobare pentru a asigura calitatea? Acest lucru ar putea însemna verificări operaționale, îndrumări umane sau aprobări live înainte ca o ieșire AI să fie trimisă utilizatorului final. Un exemplu în acest sens ar putea fi un asistent de scriere a articolelor AI, care sugerează modificări ale unui articol de ajutor nefinalizat pe care un scriitor trebuie să îl aprobe înainte de a le pune live.
3. Evaluarea funcției după lansare.Aceasta înseamnă, de obicei, raportarea, furnizarea sau acționarea feedback-ului și gestionarea schimburilor de date în timp. În această etapă, utilizatorul se uită înapoi la modul în care a funcționat sistemul automatizat, comparându-l cu datele istorice sau analizând calitatea și decide cum să o îmbunătățească (prin formarea modelului, actualizări de date sau alte metode). Un exemplu în acest sens ar putea fi un raport care detaliază ce întrebări le-au adresat utilizatorii finali chatbot-ului tău AI, care au fost răspunsurile și sugerează modificări pe care le poți face pentru a îmbunătăți răspunsurile chatbot-ului la întrebările viitoare.

Puteți folosi aceste trei faze pentru a vă informa și pe foaia de parcurs de dezvoltare a produsului. Puteți avea mai multe produse și mai multe interfețe de utilizare bazate pe aceeași tehnologie backend ML sau foarte asemănătoare și doar să schimbați locul în care este implicat omul. Implicarea umană în diferite puncte ale ciclului de viață poate schimba complet propunerea produsului.

De asemenea, puteți aborda designul de produse AI în termeni de timp: construiți ceva acum care ar putea avea nevoie de un om la un anumit moment, dar cu un plan de a le elimina sau de a le muta într-o etapă diferită, odată ce utilizatorii finali se obișnuiesc cu rezultatele și calitatea. a caracteristicii AI.

5. Cum veți construi încrederea utilizatorilor în sistem?

Când introduci AI într-un produs, introduci un model cu agenție care să acționeze în sistem, când anterior doar utilizatorii înșiși aveau acea agenție. Acest lucru adaugă risc și incertitudine pentru clienții dvs. Nivelul de control pe care îl primește produsul tău va crește în mod înțeles și va trebui să câștigi încrederea utilizatorilor tăi.

Puteți încerca să faceți asta în câteva moduri:

• Oferiți o „lansare întunecată” sau o experiență alăturată în care clienții pot compara rezultatele sau pot vedea rezultate fără a le expune utilizatorilor finali. Gândiți-vă la asta ca la o versiune orientată către utilizator a backtesting-ului pe care l-ați făcut mai devreme în acest proces - ideea aici este să oferiți clienților încredere în gama și calitatea rezultatelor pe care le va oferi caracteristica sau produsul dvs. De exemplu, când am lansat chatbot-ul Fin AI al lui Intercom, am oferit o pagină în care clienții puteau încărca și testa botul pe propriile lor date.
• Lansați mai întâi funcția sub supraveghere umană. După ceva timp cu performanțe bune, clienții dvs. vor avea probabil încredere că funcționează fără monitorizare umană.
• Dezactivați ușor funcția dacă nu funcționează. Este mai ușor pentru utilizatori să adopte o funcție AI în fluxul lor de lucru (în special un flux de lucru de afaceri) dacă nu există niciun risc ca ei să încurce ceva și să nu poată opri.
• Construiți un mecanism de feedback , astfel încât utilizatorii să poată raporta rezultate slabe și, în mod ideal, aveți sistemul dvs. să acționeze în baza acestor rapoarte pentru a aduce îmbunătățiri sistemului. Cu toate acestea, asigurați-vă că stabiliți așteptări realiste cu privire la momentul și modul în care feedback-ul va fi acționat, astfel încât clienții să nu se aștepte la îmbunătățiri instantanee.
• Creați mecanisme de raportare robuste pentru a vă ajuta clienții să înțeleagă cum funcționează IA și ce rentabilitate a investiției obțin din aceasta.

În funcție de produsul dvs., este posibil să doriți să încercați mai multe dintre acestea pentru a încuraja utilizatorii să câștige experiență și să se simtă confortabil cu produsul dvs.

Răbdarea este o virtute când vine vorba de AI

Sper că aceste cinci întrebări vă vor ajuta să vă ghidați pe măsură ce călătoriți în noua lume, în mișcare rapidă, a dezvoltării de produse AI. Un ultim sfat: aveți răbdare în timp ce vă lansați produsul. Poate fi nevoie de un efort semnificativ pentru a pune în funcțiune o funcție ML și adaptată la felul în care unei companii îi place să lucreze, astfel încât curba de adoptare poate arăta diferit decât v-ați aștepta.

„După ce ați creat câteva funcții AI, veți începe să vă înțelegeți mai bine cum vor reacționa clienții tăi la noile lansări”

Este probabil că va dura ceva timp până când clienții dvs. vor vedea cea mai mare valoare sau înainte ca aceștia să-și convingă părțile interesate că AI merită costul și ar trebui să fie lansat mai larg utilizatorilor lor.

Chiar și clienții care sunt cu adevărat încântați de caracteristica dvs. ar putea avea nevoie de timp pentru ao implementa, fie pentru că trebuie să facă lucrări de pregătire, cum ar fi curățarea datelor, fie pentru că lucrează pentru a dezvolta încredere înainte de a o lansa. Ar putea fi greu să anticipați la ce adoptare ar trebui să vă așteptați, dar după ce ați creat câteva funcții AI, veți începe să vă înțelegeți mai bine cum vor reacționa clienții tăi la noile lansări.