Una nuova era di UX: evolvere il tuo approccio progettuale per i prodotti AI

Prima che ChatGPT entrasse in scena un anno fa, l’intelligenza artificiale (AI) e l’apprendimento automatico (ML) erano gli strumenti misteriosi di esperti e data scientist: team con molta esperienza di nicchia e conoscenza specializzata del settore. Ora le cose sono diverse.

Probabilmente stai leggendo questo articolo perché la tua azienda ha deciso di utilizzare GPT di OpenAI o un altro LLM (modello linguistico di grandi dimensioni) per integrare funzionalità di intelligenza artificiale generativa nel tuo prodotto. Se è così, potresti sentirti eccitato (“È così facile creare una nuova fantastica funzionalità!”) o sopraffatto (“Perché ottengo risultati diversi ogni volta e come faccio a fargli fare quello che voglio?”)Oppure forse ti senti entrambi!

Lavorare con l'intelligenza artificiale potrebbe essere una nuova sfida, ma non deve intimidire. Questo post distilla la mia esperienza di anni trascorsi a progettare approcci ML "tradizionali" in una semplice serie di domande per aiutarti ad andare avanti con sicurezza quando inizi a progettare per l'intelligenza artificiale.

Un diverso tipo di design UX

Innanzitutto, alcune informazioni su come la progettazione AI UX è diversa da ciò a cui sei abituato. (Nota: in questo post utilizzerò AI e ML in modo intercambiabile.) Potresti avere familiarità con il modello a 5 livelli di progettazione UX di Jesse James Garrett.

Diagramma degli elementi dell'esperienza utente di Jesse James Garrett

Il modello di Garrett funziona bene per i sistemi deterministici, ma non cattura gli elementi aggiuntivi dei progetti di machine learning che influenzeranno le considerazioni sulla UX a valle. Lavorare con il ML significa aggiungere una serie di livelli aggiuntivi al modello, all'interno e attorno al livello della strategia. Ora, oltre a ciò che sei abituato a progettare, hai anche bisogno di una comprensione più approfondita di:

• Come è costruito il sistema.
• Quali dati sono disponibili per la tua funzionalità, cosa include, quanto sono validi e affidabili.
• I modelli ML che utilizzerai, nonché i relativi punti di forza e di debolezza.
• Gli output che la tua funzionalità genererà, come varieranno e quando falliranno.
• Come gli esseri umani potrebbero reagire a questa caratteristica in modo diverso da quanto ti aspetteresti o desideri.

Invece di chiederti “Come potremmo farlo?” in risposta a un problema noto e circoscritto, potresti trovarti a chiedere: "Possiamo farlo?"

Soprattutto se utilizzi LLM, probabilmente lavorerai a ritroso da una tecnologia che sblocca funzionalità completamente nuove e dovrai determinare se sono appropriate per risolvere problemi che conosci o anche problemi che non hai mai considerato risolvibili Prima. Potrebbe essere necessario pensare a un livello più elevato del solito: invece di visualizzare unità di informazioni, potresti voler sintetizzare grandi quantità di informazioni e presentare tendenze, modelli e previsioni.

"Stai progettando un sistema probabilistico dinamico e che reagisce agli input in tempo reale"

Ancora più importante, invece di progettare un sistema deterministico che fa quello che gli viene detto di fare, stai progettando un sistema probabilistico che è dinamico e che reagisce agli input in tempo reale – con risultati e comportamenti che a volte saranno inaspettati o inspiegabili, e dove valutare i compromessi potrebbe essere un esercizio oscuro. È qui che entra in gioco la mia serie di cinque domande chiave: non per fornirti risposte, ma per aiutarti a fare il passo successivo di fronte all’incertezza. Immergiamoci.

1. Come garantirai la validità dei dati?

I data scientist amano dire “Garbage in, garbage out”. Se inizi con dati errati, generalmente non è possibile che ti ritroverai con una buona funzionalità di intelligenza artificiale.

Ad esempio, se stai creando un chatbot che genera risposte basate su una raccolta di fonti di informazione, come articoli in un centro assistenza online, articoli di bassa qualità garantiranno un chatbot di bassa qualità.

Quando il team di Intercom ha lanciato Fin all'inizio del 2023, ci siamo resi conto che molti dei nostri clienti non avevano un'idea precisa della qualità dei contenuti della guida finché non hanno iniziato a utilizzare Fin e hanno scoperto quali informazioni erano o non erano presenti o chiare in il loro contenuto. Il desiderio di una funzionalità AI utile può essere un'eccellente funzione forzante per i team a migliorare la qualità dei propri dati.

Quindi, quali sono i dati validi? I dati validi sono:

• Accurato: i dati rappresentano correttamente la realtà. Cioè, se sono alto 1,7 m, questo è quello che dice nella mia cartella clinica. Non dice che sono alto 1,9 m.
• Completo: i dati includono i valori richiesti. Se abbiamo bisogno della misurazione dell'altezza per fare una previsione, quel valore è presente nella cartella clinica di tutti i pazienti.
• Coerente: i dati non contraddicono altri dati. Non abbiamo due campi per l'altezza, uno dice 1,7 me l'altro dice 1,9 m.
• Fresco: i dati sono recenti e aggiornati. La tua cartella clinica non dovrebbe riflettere la tua altezza di quando avevi 10 anni se ora sei un adulto: se è cambiata, la cartella clinica dovrebbe cambiare per rifletterla.
• Unico: i dati non vengono duplicati. Il mio medico non dovrebbe avere due cartelle cliniche per me, altrimenti non sapranno qual è quella giusta.

È raro avere moltissimi dati di altissima qualità, quindi potresti dover fare un compromesso qualità/quantità quando sviluppi il tuo prodotto AI. Potresti essere in grado di creare manualmente un campione di dati più piccolo (ma si spera comunque rappresentativo) o filtrare dati vecchi e imprecisi per creare un set affidabile.

Prova a iniziare il processo di progettazione con un'idea precisa della qualità dei tuoi dati e un piano per migliorarli se non sono eccezionali all'inizio.

2. Come adatterai il tuo processo di progettazione?

Come al solito, è utile iniziare con un'esplorazione a bassa fedeltà per determinare la tua esperienza utente ideale per il problema che speri di risolvere. Probabilmente non lo vedrai mai in produzione, ma questa stella polare può aiutare ad allineare te e il tuo team, entusiasmarli e anche fornire un punto di partenza concreto per indagare su quanto sia effettivamente fattibile.

"Dedica un po' di tempo a capire come funziona il sistema, come vengono raccolti e utilizzati i dati e se il tuo progetto cattura la varianza che potresti vedere negli output del modello"

Una volta ottenuto questo, è il momento di progettare il sistema, i dati e gli output dei contenuti. Torna alla tua stella polare e chiediti “Ciò che ho progettato è effettivamente possibile? Quali sono alcune variazioni nel caso in cui X o Y non funzionino bene?"

Dedica un po' di tempo a capire come funziona il sistema, come vengono raccolti e utilizzati i dati e se il tuo progetto cattura la varianza che potresti vedere negli output del modello. Con l’intelligenza artificiale, un risultato scadente è una brutta esperienza. Nell'esempio del chatbot, questa potrebbe sembrare una risposta che non fornisce abbastanza dettagli, risponde a una domanda tangenziale o non chiarisce la domanda quando dovrebbe.

Due esempi di come può essere visualizzato l'output di un chatbot AI

Nell'illustrazione sopra, l'esempio a sinistra è simile a molti dei primi risultati che abbiamo visto durante lo sviluppo del nostro chatbot Fin, che erano accurati ma non molto informativi o utili perché si riferivano all'articolo originale invece di indicare la risposta in linea. La progettazione ti aiuta ad arrivare all'esempio a destra, che contiene una risposta più completa con passaggi e formattazione chiari.

Non lasciare il contenuto dell'output ai tuoi ingegneri: la sua esperienza dovrebbe essere progettata. Se stai lavorando su un prodotto basato su LLM, ciò significa che dovresti sperimentare un'ingegneria tempestiva e sviluppare il tuo punto di vista su quale dovrebbero essere la forma e la portata dell'output.

Dovrai anche considerare come progettare una nuova serie di potenziali stati di errore, rischi e vincoli:

Stati di errore

• Problema dell'avvio a freddo: i clienti potrebbero avere pochi o nessun dato quando utilizzano la tua funzionalità per la prima volta. Come otterranno valore fin dall'inizio?
• Nessuna previsione: il sistema non ha una risposta. Cosa succede allora?
• Cattiva previsione: il sistema ha dato un risultato scarso. L'utente saprà che è sbagliato? Possono aggiustarlo?

Rischi

• Falsi positivi , come quando le previsioni del tempo danno pioggia, ma non piove. Ci sarà un risultato negativo se ciò accade con il tuo prodotto?
• Falsi negativi , come quando le previsioni del tempo non danno pioggia, ma c'è un acquazzone. Quale sarà il risultato se ciò accade con la tua funzionalità?
• Rischi del mondo reale , come quando i risultati del machine learning influenzano o influiscono direttamente sulla vita, sui mezzi di sussistenza e sulle opportunità delle persone. Sono applicabili al tuo prodotto?

Nuovi vincoli

• Vincoli dell'utente , come modelli mentali errati su come funziona il sistema, aspettative o paure irrealistiche nei confronti del tuo prodotto o possibilità di autocompiacimento nel tempo.
• Vincoli tecnici , come API o costi di archiviazione e calcolo, latenza, tempo di attività, disponibilità dei dati, privacy dei dati e sicurezza. Questi sono principalmente un problema per i tuoi ingegneri, ma possono anche avere un impatto diretto sull'esperienza dell'utente, quindi dovresti comprenderne i limiti e le possibilità.

3. Come funzionerà quando il ML fallisce?

Quando, nonse. Se sei sorpreso dal modo in cui il tuo prodotto AI fallisce in produzione, significa che non hai effettuato abbastanza test in anticipo. Il tuo team dovrebbe testare il tuo prodotto e i tuoi risultati durante l'intero processo di creazione, senza aspettare fino al momento della spedizione della funzionalità ai clienti. Test rigorosi ti daranno un'idea chiara di come e quando il tuo prodotto potrebbe fallire, così potrai creare esperienze utente per mitigare tali fallimenti. Ecco alcuni modi in cui puoi testare efficacemente il tuo prodotto.

Inizia con i tuoi prototipi di design

Prototipa il più possibile con dati reali. “Lorem ipsum” è il tuo nemico in questo caso: utilizza esempi reali per sottoporre a stress test il tuo prodotto. Ad esempio, durante lo sviluppo del nostro chatbot AI Fin, era importante testare la qualità delle risposte fornite alle domande dei clienti reali, utilizzando articoli reali del centro assistenza come materiale di partenza.

Un esempio di come due designer potrebbero avvicinarsi alla progettazione di un chatbot che fornisce risposte generate dall'intelligenza artificiale

In questo confronto, possiamo vedere che l'esempio colorato a sinistra è visivamente più accattivante, ma non fornisce dettagli sulla qualità dell'esperienza di generazione della risposta. Ha un'elevata fedeltà visiva ma una bassa fedeltà dei contenuti. L'esempio a destra è più informativo per testare e verificare che le risposte dell'IA siano effettivamente di buona qualità, perché ha un'elevata fedeltà dei contenuti.

I designer hanno spesso più familiarità con il lavoro nell'ambito della fedeltà visiva. Se stai progettando per il machine learning, dovresti mirare a lavorare lungo lo spettro della fedeltà dei contenuti finché non avrai pienamente verificato che gli output siano di qualità sufficiente per i tuoi utenti.

Il design colorato di Fin non ti aiuterà a giudicare se il chatbot può rispondere alle domande abbastanza bene da far sì che i clienti paghino per questo. Otterrai un feedback migliore mostrando ai clienti un prototipo, per quanto elementare, che mostri risultati reali dai loro dati effettivi.

Prova su larga scala

Quando ritieni di aver ottenuto risultati di qualità costantemente buona,esegui il backtest per convalidare la qualità del tuo output su scala più ampia.Ciò significa che i tuoi ingegneri tornano indietro ed eseguono l'algoritmo rispetto a più dati storici in cui conosci o puoi giudicare in modo affidabile la qualità dell'output. Dovresti rivedere i risultati per verificarne la qualità e la coerenza e per far emergere eventuali sorprese.

Avvicinati al tuo prodotto minimo vitale (MVP) come test

La tua versione MVP o beta dovrebbe aiutarti a risolvere eventuali domande rimanenti e a trovare altre potenziali sorprese. Pensa fuori dagli schemi per il tuo MVP: potresti crearlo nel prodotto o potrebbe essere semplicemente un foglio di calcolo.

“Fai in modo che gli output funzionino, quindi costruisci attorno ad essi l’involucro del prodotto”

Ad esempio, se stai creando una funzionalità che raggruppa gruppi di articoli in aree tematiche e quindi definisce gli argomenti, ti consigliamo di assicurarti di aver ottenuto il clustering correttamente prima di creare l'interfaccia utente completa. Se i tuoi cluster non sono validi, potrebbe essere necessario affrontare il problema in modo diverso o consentire interazioni diverse per regolare le dimensioni dei cluster.

Potresti voler "costruire" un MVP che sia semplicemente un foglio di calcolo degli output e degli argomenti denominati, e vedere se i tuoi clienti trovano valore nel modo in cui lo hai fatto. Fai funzionare gli output, quindi costruisci l'involucro del prodotto attorno ad essi.

Esegui un test A/B quando avvii il tuo MVP

Ti consigliamo di misurare l'impatto positivo o negativo della tua funzione. Come designer, probabilmente non sarai responsabile della configurazione, ma dovresti cercare di comprenderne i risultati. Le metriche indicano che il tuo prodotto è prezioso? Ci sono fattori di confusione nell'interfaccia utente o nella UX che potresti dover modificare in base a ciò che vedi?

"Puoi utilizzare la telemetria derivante dall'utilizzo del tuo prodotto combinata con il feedback qualitativo degli utenti per comprendere meglio il modo in cui i tuoi utenti interagiscono con la tua funzionalità e il valore che ne traggono"

Nel team Intercom AI, eseguiamo test A/B ogni volta che rilasciamo una nuova funzionalità con un volume di interazioni sufficientemente elevato da determinare la significatività statistica entro poche settimane. Per alcune funzionalità, tuttavia, semplicemente non avrai il volume necessario: in tal caso, puoi utilizzare la telemetria dall'utilizzo del tuo prodotto combinata con il feedback qualitativo degli utenti per comprendere meglio il modo in cui i tuoi utenti interagiscono con la tua funzionalità e il valore da cui traggono Esso.

4. Come si inseriranno gli esseri umani nel sistema?

Esistono tre fasi principali del ciclo di vita di utilizzo del prodotto che dovresti considerare quando crei un prodotto AI:

1. Impostazione della funzione prima dell'uso .Ciò potrebbe includere la scelta del livello di autonomia con cui funzionerà il prodotto, la cura e il filtraggio dei dati che verranno utilizzati per le previsioni e l'impostazione dei controlli di accesso. Un esempio di ciò è il quadro di automazione dei veicoli autonomi di SAE International, che delinea cosa può fare il veicolo da solo e quanto intervento umano è consentito o richiesto.
2. Monitoraggio della funzionalità mentre è in funzione.Il sistema ha bisogno di un essere umano che lo mantenga in carreggiata mentre funziona? Hai bisogno di una fase di approvazione per garantire la qualità? Ciò potrebbe significare controlli operativi, guida umana o approvazioni in tempo reale prima che un output dell'intelligenza artificiale venga inviato all'utente finale. Un esempio di ciò potrebbe essere un assistente alla scrittura di articoli basato sull'intelligenza artificiale, che suggerisce modifiche a una bozza di articolo di aiuto che uno scrittore deve approvare prima di pubblicarle.
3. Valutazione della funzionalità dopo il lancio.Ciò di solito significa riferire, fornire o mettere in atto feedback e gestire i cambiamenti di dati nel tempo. In questa fase, l'utente guarda indietro alle prestazioni del sistema automatizzato, confrontandolo con i dati storici o osservando la qualità e decidendo come migliorarla (attraverso l'addestramento del modello, gli aggiornamenti dei dati o altri metodi). Un esempio di ciò potrebbe essere un report che descrive in dettaglio quali domande gli utenti finali hanno posto al tuo chatbot AI, quali sono state le risposte e le modifiche suggerite che puoi apportare per migliorare le risposte del chatbot alle domande future.

Puoi utilizzare queste tre fasi anche per definire la roadmap di sviluppo del prodotto. Potresti avere più prodotti e più interfacce utente basate sulla stessa tecnologia ML di backend o molto simile e cambiare semplicemente dove è coinvolto l'essere umano. Il coinvolgimento umano in diversi punti del ciclo di vita può cambiare completamente la proposta del prodotto.

Puoi anche affrontare la progettazione del prodotto AI in termini di tempo: costruisci qualcosa adesso che potrebbe aver bisogno di un essere umano a un certo punto, ma con un piano per rimuoverli o spostarli in una fase diversa una volta che gli utenti finali si saranno abituati ai risultati e alla qualità della funzionalità IA.

5. Come costruirete la fiducia degli utenti nel sistema?

Quando introduci l'intelligenza artificiale in un prodotto, stai introducendo un modello con un'agenzia per agire nel sistema, quando in precedenza solo gli utenti stessi avevano quell'agenzia. Ciò aggiunge rischio e incertezza per i tuoi clienti. Il livello di controllo che riceve il tuo prodotto aumenterà comprensibilmente e dovrai guadagnare la fiducia dei tuoi utenti.

Puoi provare a farlo in alcuni modi:

• Offri un "lancio oscuro" o un'esperienza affiancata in cui i clienti possono confrontare gli output o vedere gli output senza esporli agli utenti finali. Pensa a questo come a una versione rivolta all'utente del backtesting che hai eseguito in precedenza nel processo: il punto qui è dare ai tuoi clienti fiducia nella gamma e nella qualità dei risultati che la tua funzionalità o prodotto fornirà. Ad esempio, quando abbiamo lanciato il chatbot Fin AI di Intercom, abbiamo offerto una pagina in cui i clienti potevano caricare e testare il bot sui propri dati.
• Avvia prima la funzione sotto la supervisione umana. Dopo un po' di tempo con buone prestazioni, i tuoi clienti probabilmente si fideranno del fatto che funzioni senza monitoraggio umano.
• Semplifica la disattivazione della funzione se non funziona. È più facile per gli utenti adottare una funzionalità di intelligenza artificiale nel proprio flusso di lavoro (soprattutto in un flusso di lavoro aziendale) se non c'è il rischio di rovinare qualcosa e non essere in grado di fermarlo.
• Costruisci un meccanismo di feedback in modo che gli utenti possano segnalare risultati scadenti e, idealmente, fare in modo che il tuo sistema agisca su tali rapporti per apportare miglioramenti al sistema. Tuttavia, assicurati di stabilire aspettative realistiche su quando e come verrà messo in atto il feedback in modo che i clienti non si aspettino miglioramenti immediati.
• Costruisci solidi meccanismi di reporting per aiutare i tuoi clienti a capire come sta funzionando l'intelligenza artificiale e quale ROI ne stanno ottenendo.

A seconda del prodotto, potresti provare più di uno di questi per incoraggiare gli utenti ad acquisire esperienza e sentirsi a proprio agio con il tuo prodotto.

La pazienza è una virtù quando si parla di intelligenza artificiale

Spero che queste cinque domande ti aiutino a guidarti nel tuo viaggio nel nuovo mondo in rapida evoluzione dello sviluppo di prodotti IA. Un ultimo consiglio: sii paziente mentre lanci il tuo prodotto. Può essere necessario uno sforzo significativo per rendere operativa una funzionalità di machine learning e adattarla al modo in cui un'azienda preferisce lavorare, pertanto la curva di adozione può apparire diversa da quanto ci si potrebbe aspettare.

"Dopo aver creato alcune funzionalità di intelligenza artificiale, inizierai ad avere un'idea migliore di come i tuoi clienti particolari reagiranno ai nuovi lanci"

È probabile che ci vorrà un po' di tempo prima che i tuoi clienti vedano il massimo valore, o prima che possano convincere i loro stakeholder che l'intelligenza artificiale vale il costo e dovrebbe essere lanciata in modo più ampio ai loro utenti.

Anche i clienti che sono davvero entusiasti della tua funzionalità potrebbero comunque impiegare del tempo per implementarla, sia perché devono svolgere un lavoro di preparazione come la pulizia dei propri dati, sia perché stanno lavorando per sviluppare la fiducia prima di lanciarla. Potrebbe essere difficile prevedere quale adozione dovresti aspettarti, ma dopo aver creato alcune funzionalità di intelligenza artificiale inizierai ad avere un'idea migliore di come i tuoi clienti particolari reagiranno ai nuovi lanci.