Une nouvelle ère de l'UX : faire évoluer votre approche de conception pour les produits d'IA

Avant que ChatGPT n'entre en scène il y a un an, l'intelligence artificielle (IA) et l'apprentissage automatique (ML) étaient les outils mystérieux d'experts et de data scientists – des équipes possédant une grande expérience de niche et une connaissance spécialisée du domaine. Maintenant, les choses sont différentes.

Vous lisez probablement ceci parce que votre entreprise a décidé d'utiliser le GPT d'OpenAI ou un autre LLM (grand modèle de langage) pour intégrer des fonctionnalités d'IA générative dans votre produit. Si tel est le cas, vous pourriez vous sentir excité (« C'est si simple de créer une nouvelle fonctionnalité géniale ! ») ou dépassé (« Pourquoi ai-je des résultats différents à chaque fois et comment puis-je lui faire faire ce que je veux ? »). peut-être que vous ressentez les deux !

Travailler avec l'IA peut être un nouveau défi, mais il n'est pas nécessaire que ce soit intimidant. Cet article distille mon expérience d'années passées à concevoir des approches de ML « traditionnelles » en une série de questions simples pour vous aider à avancer en toute confiance lorsque vous commencez à concevoir pour l'IA.

Un autre type de conception UX

Tout d’abord, quelques informations sur la façon dont la conception AI UX est différente de ce que vous avez l’habitude de faire. (Remarque : j'utiliserai l'IA et le ML de manière interchangeable dans cet article.) Vous connaissez peut-être le modèle de conception UX à 5 couches de Jesse James Garrett.

Diagramme des éléments de l'expérience utilisateur de Jesse James Garrett

Le modèle de Garrett fonctionne bien pour les systèmes déterministes, mais ne capture pas les éléments supplémentaires des projets d'apprentissage automatique qui affecteront les considérations UX en aval. Travailler avec le ML signifie ajouter un certain nombre de couches supplémentaires dans le modèle, dans et autour de la couche stratégique. Désormais, en plus de ce que vous êtes habitué à concevoir, vous avez également besoin d’une compréhension plus approfondie de :

• Comment le système est construit.
• Quelles données sont disponibles pour votre fonctionnalité, ce qu'elles incluent, leur qualité et leur fiabilité.
• Les modèles ML que vous utiliserez, ainsi que leurs forces et faiblesses.
• Les sorties que votre fonctionnalité générera, comment elles varieront et quand elles échoueront.
• Comment les humains pourraient réagir différemment à cette fonctionnalité que ce à quoi vous vous attendriez ou voudriez.

Au lieu de vous demander « Comment pourrions-nous faire cela ? » En réponse à un problème connu et ciblé, vous pourriez vous demander : « Pouvons-nous faire cela ? »

Surtout si vous utilisez des LLM, vous travaillerez probablement à rebours à partir d'une technologie qui ouvre des capacités entièrement nouvelles, et vous devrez déterminer si elles sont appropriées pour résoudre des problèmes que vous connaissez, ou même des problèmes que vous n'avez jamais considéré comme pouvant être résolus. avant. Vous devrez peut-être réfléchir à un niveau plus élevé que d’habitude – plutôt que d’afficher des unités d’information, vous souhaiterez peut-être synthétiser de grandes quantités d’informations et présenter des tendances, des modèles et des prédictions.

"Vous concevez un système probabiliste dynamique et qui réagit aux entrées en temps réel"

Plus important encore, au lieu de concevoir un système déterministe qui fait ce que vous lui dites de faire, vous concevez un système probabiliste qui est dynamique et qui réagit aux entrées en temps réel – avec des résultats et des comportements qui seront parfois inattendus ou inexplicables. et où peser les compromis pourrait être un exercice trouble. C’est là que ma série de cinq questions clés entre en jeu – non pas pour vous fournir des réponses, mais pour vous aider à franchir la prochaine étape face à l’incertitude. Allons-y.

1. Comment garantirez-vous la qualité des données ?

Les data scientists adorent dire « Garbage in, garbage out ». Si vous commencez avec de mauvaises données, il est généralement impossible que vous obteniez une bonne fonctionnalité d'IA.

Par exemple, si vous créez un chatbot qui génère des réponses basées sur un ensemble de sources d'informations, comme des articles dans un centre d'aide en ligne, des articles de mauvaise qualité garantiront un chatbot de mauvaise qualité.

Lorsque l'équipe d'Intercom a lancé Fin début 2023, nous avons réalisé que beaucoup de nos clients n'avaient pas une idée précise de la qualité de leur contenu d'aide jusqu'à ce qu'ils commencent à utiliser Fin et découvrent quelles informations étaient ou non présentes ou claires dans leur contenu. Le désir d’une fonctionnalité d’IA utile peut être un excellent moyen de forcer les équipes à améliorer la qualité de leurs données.

Alors, qu’est-ce qu’une bonne donnée ? Les bonnes données sont :

• Précis : les données représentent correctement la réalité. Autrement dit, si je mesure 1,7 m, c'est ce qui est indiqué dans mon carnet de santé. Il n'est pas dit que je mesure 1,9 m.
• Complète : les données incluent les valeurs requises. Si nous avons besoin de mesurer la taille pour faire une prédiction, cette valeur est présente dans le dossier médical de tous les patients.
• Cohérent : les données ne contredisent pas les autres données. Nous n'avons pas deux champs pour la hauteur, l'un indiquant 1,7 m et l'autre 1,9 m.
• Fraîche : les données sont récentes et à jour. Votre dossier de santé ne devrait pas refléter votre taille à l'âge de 10 ans si vous êtes maintenant adulte – si elle a changé, le dossier devrait changer pour le refléter.
• Unique : les données ne sont pas dupliquées. Mon médecin ne devrait pas avoir deux dossiers de patients pour moi, sinon il ne saura pas lequel est le bon.

Il est rare de disposer d'une tonne de données de très haute qualité, vous devrez donc peut-être faire un compromis qualité/quantité lors du développement de votre produit d'IA. Vous pourrez peut-être créer manuellement un échantillon de données plus petit (mais, espérons-le, toujours représentatif), ou filtrer les données anciennes et inexactes pour créer un ensemble fiable.

Essayez de démarrer votre processus de conception avec une idée précise de la qualité de vos données et un plan pour les améliorer si elles ne sont pas excellentes au départ.

2. Comment allez-vous ajuster votre processus de conception ?

Comme d'habitude, il est utile de commencer par une exploration basse fidélité afin de déterminer votre expérience utilisateur idéale pour le problème que vous espérez résoudre. Vous ne le verrez probablement jamais en production, mais cette étoile polaire peut vous aider, vous et votre équipe, à les enthousiasmer et également fournir un point de départ concret pour étudier dans quelle mesure cela est réellement réalisable.

« Prenez le temps de comprendre comment fonctionne le système, comment les données sont collectées et utilisées, et si votre conception capture la variance que vous pourriez constater dans les résultats du modèle »

Une fois que vous avez cela, il est temps de concevoir les sorties du système, des données et du contenu. Retournez à votre étoile polaire et demandez : « Ce que j'ai conçu est-il réellement possible ? Quelles sont les variantes au cas où X ou Y ne fonctionneraient pas bien ? »

Passez du temps à comprendre comment fonctionne le système, comment les données sont collectées et utilisées, et si votre conception capture la variance que vous pourriez constater dans les résultats du modèle. Avec l’IA, un mauvais résultat est une mauvaise expérience. Dans l’exemple du chatbot, cela peut ressembler à une réponse qui ne donne pas suffisamment de détails, qui répond à une question tangentielle ou qui ne clarifie pas la question alors qu’elle le devrait.

Deux exemples de la façon dont le résultat d'un chatbot IA peut être affiché

Dans l'illustration ci-dessus, l'exemple de gauche est similaire à de nombreux premiers résultats que nous avons vus lors du développement de notre chatbot Fin, qui étaient précis mais peu informatifs ou utiles car ils renvoyaient à l'article original au lieu d'indiquer la réponse en ligne. La conception vous aide à arriver à l’exemple de droite, qui contient une réponse plus complète avec des étapes et un formatage clairs.

Ne laissez pas le contenu du résultat à vos ingénieurs : l'expérience doit être conçue. Si vous travaillez sur un produit basé sur LLM, cela signifie que vous devez expérimenter une ingénierie rapide et développer votre propre point de vue sur la forme et la portée du résultat.

Vous devrez également réfléchir à la manière de concevoir un nouvel ensemble d'états d'erreur, de risques et de contraintes potentiels :

États d'erreur

• Problème de démarrage à froid : les clients peuvent disposer de peu ou pas de données lorsqu'ils utilisent votre fonctionnalité pour la première fois. Comment obtiendront-ils de la valeur dès le début ?
• Aucune prédiction : le système n’a pas de réponse. Que se passe-t-il alors ?
• Mauvaise prédiction : le système a donné un résultat médiocre. L'utilisateur saura-t-il que c'est faux ? Peuvent-ils le réparer ?

Des risques

• Des faux positifs , comme lorsque les prévisions météorologiques annoncent de la pluie, mais qu'il ne pleut pas. Y aura-t-il un résultat négatif si cela se produit avec votre produit ?
• Faux négatifs , comme lorsque les prévisions météorologiques ne prévoient pas de pluie, mais qu'il y a une averse. Quel sera le résultat si cela se produit avec votre fonctionnalité ?
• Risques du monde réel , comme lorsque les résultats du ML influencent ou ont un impact direct sur la vie, les moyens de subsistance et les opportunités des gens. Sont-ils applicables à votre produit ?

De nouvelles contraintes

• Contraintes des utilisateurs , comme des modèles mentaux incorrects sur le fonctionnement du système, des attentes ou des craintes irréalistes à l'égard de votre produit, ou le risque de complaisance au fil du temps.
• Contraintes techniques , telles que les coûts d'API ou de stockage et de calcul, la latence, la disponibilité, la disponibilité des données, la confidentialité des données et la sécurité. Ces problèmes concernent principalement vos ingénieurs, mais ils peuvent également avoir un impact direct sur l’expérience utilisateur. Vous devez donc en comprendre les limites et les possibilités.

3. Comment cela fonctionnera-t-il en cas d'échec du ML ?

Quand, passi. Si vous êtes surpris par la manière dont votre produit d’IA échoue en production, c’est que vous n’avez pas effectué suffisamment de tests au préalable. Votre équipe doit tester votre produit et vos résultats pendant tout le processus de création, sans attendre que vous soyez sur le point de livrer la fonctionnalité aux clients. Des tests rigoureux vous donneront une idée précise de la manière et du moment où votre produit pourrait échouer, afin que vous puissiez créer des expériences utilisateur pour atténuer ces échecs. Voici quelques façons de tester efficacement votre produit.

Commencez par vos prototypes de conception

Prototype avec des données réelles autant que possible. « Lorem ipsum » est votre ennemi ici – utilisez des exemples réels pour tester votre produit. Par exemple, lors du développement de notre chatbot IA Fin, il était important de tester la qualité des réponses données aux questions réelles des clients, en utilisant de vrais articles du centre d'aide comme source.

Un exemple de la manière dont deux concepteurs pourraient aborder la conception d'un chatbot fournissant des réponses générées par l'IA

Dans cette comparaison, nous pouvons voir que l’exemple coloré de gauche est visuellement plus attrayant, mais ne donne aucun détail sur la qualité de l’expérience de génération de réponses. Il a une haute fidélité visuelle mais une faible fidélité du contenu. L'exemple de droite est plus informatif pour tester et valider que les réponses de l'IA sont réellement de bonne qualité, car elles ont une fidélité de contenu élevée.

Les concepteurs sont souvent plus familiers avec la gamme de fidélité visuelle. Si vous concevez pour le ML, vous devez vous efforcer de travailler sur tout le spectre de la fidélité du contenu jusqu'à ce que vous ayez pleinement validé que les sorties sont de qualité suffisante pour vos utilisateurs.

Le design coloré de Fin ne vous aidera pas à juger si le chatbot peut répondre suffisamment bien aux questions pour que les clients paient pour cela. Vous obtiendrez de meilleurs retours en montrant aux clients un prototype, aussi basique soit-il, qui leur montre les résultats réels de leurs données réelles.

Tester à grande échelle

Lorsque vous pensez avoir obtenu des résultats constamment de bonne qualité,effectuez un back-test pour valider la qualité de vos résultats à plus grande échelle.Cela signifie que vos ingénieurs doivent revenir en arrière et exécuter l'algorithme sur des données plus historiques dont vous connaissez ou pouvez juger de manière fiable la qualité du résultat. Vous devriez examiner les résultats pour en vérifier la qualité et la cohérence – et faire apparaître toute surprise.

Abordez votre produit minimum viable (MVP) comme un test

Votre version MVP ou bêta devrait vous aider à résoudre toutes les questions restantes et à trouver d'autres surprises potentielles. Sortez des sentiers battus pour votre MVP : vous pouvez le créer dans le produit, ou il peut s'agir simplement d'une feuille de calcul.

« Faites fonctionner les résultats, puis construisez l'enveloppe du produit autour de ceux-ci »

Par exemple, si vous créez une fonctionnalité qui regroupe des groupes d'articles en domaines thématiques, puis définit les sujets, vous devez vous assurer que vous avez bien effectué le regroupement avant de créer l'interface utilisateur complète. Si vos clusters sont défectueux, vous devrez peut-être aborder le problème différemment ou autoriser différentes interactions pour ajuster la taille des clusters.

Vous souhaiterez peut-être « créer » un MVP qui n'est qu'une feuille de calcul des résultats et des sujets nommés, et voir si vos clients trouvent de la valeur dans la façon dont vous l'avez fait. Faites fonctionner les résultats, puis construisez l’enveloppe du produit autour d’eux.

Exécutez un test A/B lorsque vous lancez votre MVP

Vous souhaiterez mesurer l’impact positif ou négatif de votre fonctionnalité. En tant que concepteur, vous ne serez probablement pas chargé de mettre cela en place, mais vous devriez chercher à comprendre les résultats. Les mesures indiquent-elles que votre produit a de la valeur ? Y a-t-il des facteurs de confusion dans l'UI ou l'UX que vous devrez peut-être modifier en fonction de ce que vous voyez ?

"Vous pouvez utiliser la télémétrie de l'utilisation de votre produit combinée aux commentaires qualitatifs des utilisateurs pour mieux comprendre comment vos utilisateurs interagissent avec votre fonctionnalité et la valeur qu'ils en tirent"

Au sein de l'équipe Intercom AI, nous effectuons des tests A/B chaque fois que nous publions une nouvelle fonctionnalité avec un volume d'interactions suffisamment élevé pour déterminer la signification statistique en quelques semaines. Cependant, pour certaines fonctionnalités, vous n'aurez tout simplement pas le volume. Dans ce cas, vous pouvez utiliser la télémétrie de l'utilisation de votre produit combinée aux commentaires qualitatifs des utilisateurs pour mieux comprendre comment vos utilisateurs interagissent avec votre fonctionnalité et la valeur qu'ils en tirent. il.

4. Comment les humains s’intégreront-ils dans le système ?

Il existe trois étapes principales du cycle de vie d'utilisation du produit que vous devez prendre en compte lorsque vous créez un produit d'IA :

1. Configuration de la fonctionnalité avant utilisation .Cela peut inclure le choix d'un niveau d'autonomie dans lequel le produit fonctionnera, la conservation et le filtrage des données qui seront utilisées pour les prédictions et la définition de contrôles d'accès. Un exemple en est le cadre d’automatisation des véhicules autonomes de SAE International, qui décrit ce que le véhicule peut faire tout seul et le degré d’intervention humaine autorisé ou requis.
2. Surveillance de la fonctionnalité pendant son fonctionnement.Le système a-t-il besoin d’un humain pour le maintenir sur la bonne voie pendant qu’il fonctionne ? Avez-vous besoin d’une étape d’approbation pour garantir la qualité ? Cela peut impliquer des contrôles opérationnels, des conseils humains ou des approbations en direct avant qu'un résultat de l'IA ne soit envoyé à l'utilisateur final. Un exemple de ceci pourrait être un assistant de rédaction d'articles IA, qui suggère des modifications à un brouillon d'article d'aide qu'un rédacteur doit approuver avant de les mettre en ligne.
3. Évaluation de la fonctionnalité après le lancement.Cela signifie généralement créer des rapports, fournir ou donner suite à des commentaires et gérer les changements de données au fil du temps. À ce stade, l'utilisateur examine les performances du système automatisé, le compare aux données historiques ou examine la qualité et décide comment l'améliorer (par le biais de la formation du modèle, des mises à jour des données ou d'autres méthodes). Un exemple de ceci pourrait être un rapport détaillant les questions que les utilisateurs finaux ont posées à votre chatbot IA, quelles ont été les réponses et les modifications suggérées que vous pouvez apporter pour améliorer les réponses du chatbot aux questions futures.

Vous pouvez également utiliser ces trois phases pour éclairer votre feuille de route de développement de produits. Vous pouvez avoir plusieurs produits et plusieurs interfaces utilisateur basés sur une technologie ML backend identique ou très similaire, et simplement changer l'endroit où l'humain est impliqué. L’implication humaine à différents moments du cycle de vie peut complètement changer la proposition de produit.

Vous pouvez également aborder la conception de produits IA en termes de temps : créez maintenant quelque chose qui pourrait nécessiter un humain à un moment donné, mais avec un plan pour le supprimer ou le déplacer vers une étape différente une fois que vos utilisateurs finaux se seront habitués aux résultats et à la qualité. de la fonctionnalité IA.

5. Comment allez-vous renforcer la confiance des utilisateurs dans le système ?

Lorsque vous introduisez l'IA dans un produit, vous introduisez un modèle avec une agence pour agir dans le système, alors qu'auparavant seuls les utilisateurs eux-mêmes disposaient de cette agence. Cela ajoute du risque et de l'incertitude pour vos clients. Le niveau d’examen minutieux accordé à votre produit augmentera naturellement et vous devrez gagner la confiance de vos utilisateurs.

Vous pouvez essayer de le faire de plusieurs manières :

• Offrez un « lancement sombre » ou une expérience côte à côte où les clients peuvent comparer les résultats ou voir les résultats sans les exposer aux utilisateurs finaux. Considérez cela comme une version destinée à l'utilisateur du backtesting que vous avez effectué plus tôt dans le processus : le but ici est de donner à vos clients confiance dans la gamme et la qualité des résultats que votre fonctionnalité ou produit fournira. Par exemple, lorsque nous avons lancé le chatbot Fin AI d'Intercom, nous avons proposé une page sur laquelle les clients pouvaient télécharger et tester le bot sur leurs propres données.
• Lancez d’abord la fonctionnalité sous supervision humaine. Après un certain temps avec de bonnes performances, vos clients lui feront probablement confiance pour fonctionner sans surveillance humaine.
• Facilitez la désactivation de la fonctionnalité si elle ne fonctionne pas. Il est plus facile pour les utilisateurs d'adopter une fonctionnalité d'IA dans leur flux de travail (en particulier un flux de travail professionnel) s'il n'y a aucun risque qu'ils gâchent quelque chose et ne puissent pas l'arrêter.
• Créez un mécanisme de retour d'information afin que les utilisateurs puissent signaler de mauvais résultats et, idéalement, demandez à votre système d'agir sur ces rapports pour apporter des améliorations au système. Cependant, veillez à définir des attentes réalistes quant au moment et à la manière dont les commentaires seront traités afin que les clients ne s'attendent pas à des améliorations instantanées.
• Créez des mécanismes de reporting robustes pour aider vos clients à comprendre les performances de l'IA et le retour sur investissement qu'ils en tirent.

En fonction de votre produit, vous souhaiterez peut-être en essayer plusieurs pour encourager les utilisateurs à acquérir de l'expérience et à se sentir à l'aise avec votre produit.

La patience est une vertu en matière d'IA

J'espère que ces cinq questions vous guideront dans votre voyage dans le nouveau monde en évolution rapide du développement de produits d'IA. Un dernier conseil : soyez patient lors du lancement de votre produit. La mise en place d'une fonctionnalité ML et son adaptation à la manière dont une entreprise aime travailler peut nécessiter des efforts considérables. La courbe d'adoption peut donc être différente de celle à laquelle vous pourriez vous attendre.

"Après avoir créé quelques fonctionnalités d'IA, vous commencerez à avoir une meilleure idée de la façon dont vos clients particuliers réagiront aux nouveaux lancements"

Il faudra probablement un peu de temps avant que vos clients en voient la valeur la plus élevée, ou avant qu'ils puissent convaincre leurs parties prenantes que l'IA en vaut le coût et devrait être lancée plus largement auprès de leurs utilisateurs.

Même les clients qui sont vraiment enthousiasmés par votre fonctionnalité peuvent encore mettre du temps à la mettre en œuvre, soit parce qu'ils doivent effectuer un travail de préparation comme nettoyer leurs données, soit parce qu'ils s'efforcent de développer la confiance avant de la lancer. Il peut être difficile d'anticiper l'adoption à laquelle vous devez vous attendre, mais après avoir créé quelques fonctionnalités d'IA, vous commencerez à avoir une meilleure idée de la façon dont vos clients particuliers réagiront aux nouveaux lancements.