Era baru UX: Mengembangkan pendekatan desain Anda untuk produk AI

Sebelum ChatGPT diperkenalkan setahun yang lalu, kecerdasan buatan (AI) dan pembelajaran mesin (ML) adalah alat misterius yang digunakan oleh para ahli dan ilmuwan data – tim dengan banyak pengalaman khusus dan pengetahuan domain khusus. Sekarang, segalanya berbeda.

Anda mungkin membaca ini karena perusahaan Anda telah memutuskan untuk menggunakan GPT OpenAI atau LLM (model bahasa besar) lainnya untuk memasukkan fitur AI generatif ke dalam produk Anda. Jika demikian, Anda mungkin merasa bersemangat (“Sangat mudah untuk membuat fitur baru yang hebat!”) atau kewalahan (“Mengapa saya mendapatkan keluaran yang berbeda setiap saat dan bagaimana cara membuatnya sesuai keinginan saya?”)Atau mungkin kamu merasakan keduanya!

Bekerja dengan AI mungkin merupakan tantangan baru, namun hal ini tidak perlu menjadi hal yang menakutkan. Postingan ini menyaring pengalaman saya selama bertahun-tahun merancang pendekatan ML “tradisional” menjadi serangkaian pertanyaan sederhana untuk membantu Anda bergerak maju dengan percaya diri saat mulai mendesain untuk AI.

Jenis desain UX yang berbeda

Pertama, beberapa latar belakang tentang perbedaan desain AI UX dari apa yang biasa Anda lakukan. (Catatan: Saya akan menggunakan AI dan ML secara bergantian dalam postingan ini.) Anda mungkin familiar dengan model desain UX 5 lapis Jesse James Garrett.

Diagram Elemen Pengalaman Pengguna Jesse James Garrett

Model Garrett berfungsi dengan baik untuk sistem deterministik, tetapi tidak mencakup elemen tambahan proyek pembelajaran mesin yang akan memengaruhi pertimbangan UX di bagian hilir. Bekerja dengan ML berarti menambahkan sejumlah lapisan tambahan ke dalam model, di dalam dan di sekitar lapisan strategi. Nah, selain apa yang biasa Anda desain, Anda juga memerlukan pemahaman lebih dalam tentang:

• Bagaimana sistem dibangun.
• Data apa yang tersedia untuk fitur Anda, apa saja yang tercakup di dalamnya, seberapa bagus dan andal fitur tersebut.
• Model ML yang akan Anda gunakan, serta kelebihan dan kelemahannya.
• Output yang akan dihasilkan fitur Anda, variasinya, dan kapan kegagalannya.
• Reaksi manusia terhadap fitur ini mungkin berbeda dari yang Anda harapkan atau inginkan.

Daripada bertanya pada diri sendiri, “Bagaimana kita bisa melakukan ini?” sebagai respons terhadap masalah yang diketahui dan tercakup, Anda mungkin bertanya, “Bisakah kita melakukan ini?”

Terutama jika Anda menggunakan LLM, kemungkinan besar Anda akan bekerja mundur dari teknologi yang membuka kemampuan yang sepenuhnya baru, dan Anda harus menentukan apakah teknologi tersebut sesuai untuk memecahkan masalah yang Anda ketahui, atau bahkan masalah yang tidak pernah Anda anggap dapat dipecahkan. sebelum. Anda mungkin perlu berpikir pada tingkat yang lebih tinggi dari biasanya – daripada menampilkan unit informasi, Anda mungkin ingin mensintesis sejumlah besar informasi dan menyajikan tren, pola, dan prediksi.

“Anda sedang merancang sistem probabilistik yang dinamis dan bereaksi terhadap masukan secara real-time”

Yang paling penting, alih-alih merancang sistem deterministik yang melakukan apa yang Anda perintahkan, Anda merancang sistem probabilistik yang dinamis dan bereaksi terhadap masukan secara real-time – dengan hasil dan perilaku yang terkadang tidak terduga atau tidak dapat dijelaskan. dan di mana mempertimbangkan pengorbanan mungkin merupakan hal yang sulit dilakukan. Di sinilah lima pertanyaan kunci saya berperan – bukan untuk memberi Anda jawaban, namun untuk membantu Anda mengambil langkah selanjutnya dalam menghadapi ketidakpastian. Mari selami.

1. Bagaimana Anda memastikan data yang baik?

Para ilmuwan data sering mengatakan, “Sampah masuk, sampah keluar.” Jika Anda memulai dengan data yang buruk, biasanya Anda tidak akan mendapatkan fitur AI yang bagus.

Misalnya, jika Anda membuat chatbot yang menghasilkan jawaban berdasarkan kumpulan sumber informasi, seperti artikel di pusat bantuan online, artikel berkualitas rendah akan memastikan chatbot berkualitas rendah.

Ketika tim di Intercom meluncurkan Fin pada awal tahun 2023, kami menyadari bahwa banyak pelanggan kami tidak memiliki pemahaman yang akurat tentang kualitas konten bantuan mereka sampai mereka mulai menggunakan Fin dan menemukan informasi apa yang ada atau tidak ada atau jelas di dalamnya. konten mereka. Keinginan akan fitur AI yang berguna dapat menjadi fungsi pendorong yang sangat baik bagi tim untuk meningkatkan kualitas data mereka.

Jadi, data apa yang bagus? Data yang baik adalah:

• Akurat: Data mewakili kenyataan dengan benar. Artinya, jika tinggi saya 1,7 m, itulah yang tertulis dalam catatan kesehatan saya. Tidak disebutkan tinggi saya 1,9m.
• Lengkap: Data mencakup nilai yang diperlukan. Jika kita memerlukan pengukuran tinggi badan untuk membuat prediksi, nilai tersebut ada di semua catatan kesehatan pasien.
• Konsisten: Data tidak bertentangan dengan data lainnya. Kami tidak memiliki dua bidang untuk ketinggian, yang satu menyatakan 1,7 m dan yang lainnya menyatakan 1,9 m.
• Fresh: Data terkini dan terkini. Catatan kesehatan Anda tidak boleh mencerminkan tinggi badan Anda saat berusia 10 tahun jika Anda sekarang sudah dewasa – jika sudah berubah, catatan tersebut harus diubah untuk mencerminkan hal tersebut.
• Unik: Data tidak terduplikasi. Dokter saya seharusnya tidak memiliki dua catatan pasien untuk saya, atau mereka tidak akan tahu mana yang benar.

Jarang sekali ada banyak data berkualitas tinggi, jadi Anda mungkin harus mempertimbangkan kualitas/kuantitas saat mengembangkan produk AI Anda. Anda mungkin dapat secara manual membuat data yang lebih kecil (namun semoga tetap mewakili sampel) data, atau memfilter data lama yang tidak akurat untuk membuat kumpulan data yang andal.

Cobalah untuk memulai proses desain Anda dengan gambaran akurat tentang seberapa bagus data Anda, dan rencana untuk memperbaikinya jika pada awalnya tidak bagus.

2. Bagaimana Anda menyesuaikan proses desain Anda?

Seperti biasa, ada gunanya memulai dengan eksplorasi dengan fidelitas rendah guna menentukan pengalaman pengguna ideal untuk masalah yang ingin Anda pecahkan. Anda mungkin tidak akan pernah melihatnya dalam produksi, namun bintang utara ini dapat membantu menyelaraskan Anda dan tim Anda, membuat mereka bersemangat, dan juga memberikan titik awal yang konkrit untuk menyelidiki seberapa layak hal tersebut sebenarnya.

“Luangkan waktu untuk memahami cara kerja sistem, cara data dikumpulkan dan digunakan, dan apakah desain Anda menangkap varians yang mungkin Anda lihat dalam keluaran model”

Setelah Anda memilikinya, saatnya merancang keluaran sistem, data, dan konten. Kembalilah ke bintang utara Anda dan tanyakan, “Apakah yang saya rancang benar-benar mungkin? Apa sajakah variasi jika X atau Y tidak bekerja dengan baik?”

Luangkan waktu untuk memahami cara kerja sistem, cara data dikumpulkan dan digunakan, dan apakah desain Anda menangkap varians yang mungkin Anda lihat dalam keluaran model. Dengan AI, hasil yang buruk adalah pengalaman yang buruk. Dalam contoh chatbot, ini mungkin terlihat seperti jawaban yang tidak memberikan cukup detail, menjawab pertanyaan tangensial, atau tidak memperjelas pertanyaan pada saat yang seharusnya.

Dua contoh bagaimana keluaran chatbot AI dapat ditampilkan

Dalam ilustrasi di atas, contoh di sebelah kiri mirip dengan banyak keluaran awal yang kami lihat saat mengembangkan chatbot Fin kami, yang akurat namun tidak terlalu informatif atau berguna karena merujuk kembali ke artikel asli alih-alih menyatakan jawabannya secara sebaris. Desain membantu Anda sampai pada contoh di sebelah kanan, yang memiliki jawaban lebih lengkap dengan langkah dan format yang jelas.

Jangan serahkan isi keluarannya kepada teknisi Anda – pengalaman mengenai keluaran tersebut harus dirancang. Jika Anda sedang mengerjakan produk berbasis LLM, ini berarti Anda harus bereksperimen dengan rekayasa cepat dan mengembangkan sudut pandang Anda sendiri tentang bentuk dan cakupan keluaran yang seharusnya.

Anda juga harus mempertimbangkan cara merancang serangkaian status kesalahan, risiko, dan kendala potensial yang baru:

Status kesalahan

• Masalah cold start: Pelanggan mungkin memiliki sedikit atau tidak ada data saat pertama kali menggunakan fitur Anda. Bagaimana mereka mendapatkan nilai sejak awal?
• Tidak ada prediksi: Sistem tidak memiliki jawaban. Lalu apa yang terjadi?
• Prediksi buruk: Sistem memberikan keluaran yang buruk. Akankah pengguna mengetahui bahwa itu salah? Bisakah mereka memperbaikinya?

Resiko

• Positif palsu , misalnya prakiraan cuaca memperkirakan akan turun hujan, namun ternyata tidak turun hujan. Apakah akan ada dampak negatifnya jika hal ini terjadi pada produk Anda?
• Negatif palsu , misalnya prakiraan cuaca memperkirakan tidak akan turun hujan, namun akan turun hujan. Apa akibatnya jika hal ini terjadi pada fitur Anda?
• Risiko di dunia nyata , seperti ketika keluaran ML secara langsung memengaruhi atau berdampak pada kehidupan, mata pencaharian, dan peluang masyarakat. Apakah ini berlaku untuk produk Anda?

Kendala baru

• Kendala pengguna , seperti model mental yang salah tentang cara kerja sistem, ekspektasi atau ketakutan yang tidak realistis terhadap produk Anda, atau kemungkinan berpuas diri seiring berjalannya waktu.
• Batasan teknis , seperti biaya API atau penyimpanan dan komputasi, latensi, waktu aktif, ketersediaan data, privasi data, dan keamanan. Masalah ini terutama merupakan masalah bagi teknisi Anda, namun masalah ini juga dapat berdampak langsung pada pengalaman pengguna, jadi Anda harus memahami keterbatasan dan kemungkinannya.

3. Bagaimana cara kerjanya jika ML gagal?

Kapan, bukanjika. Jika Anda terkejut dengan kegagalan produksi produk AI Anda, Anda tidak melakukan cukup pengujian sebelumnya. Tim Anda harus menguji produk dan keluaran Anda selama keseluruhan proses pembuatan, bukan menunggu hingga Anda akan mengirimkan fitur tersebut ke pelanggan. Pengujian yang ketat akan memberi Anda gambaran yang kuat tentang bagaimana dan kapan produk Anda mungkin gagal, sehingga Anda dapat membangun pengalaman pengguna untuk memitigasi kegagalan tersebut. Berikut adalah beberapa cara Anda dapat menguji produk Anda secara efektif.

Mulailah dengan prototipe desain Anda

Prototipe dengan data nyata sebanyak mungkin. “Lorem ipsum” adalah musuh Anda di sini – gunakan contoh nyata untuk menguji produk Anda. Misalnya, saat mengembangkan AI chatbot Fin, penting untuk menguji kualitas jawaban yang diberikan atas pertanyaan pelanggan sebenarnya, dengan menggunakan artikel pusat bantuan nyata sebagai bahan sumber.

Contoh bagaimana dua desainer melakukan pendekatan merancang chatbot yang memberikan jawaban yang dihasilkan AI

Dalam perbandingan ini, kita dapat melihat bahwa contoh berwarna di sebelah kiri lebih menarik secara visual, namun tidak memberikan detail tentang kualitas pengalaman pembuatan jawaban. Ini memiliki fidelitas visual yang tinggi tetapi fidelitas konten rendah. Contoh di sebelah kanan lebih informatif untuk menguji dan memvalidasi bahwa respons AI sebenarnya berkualitas baik, karena memiliki fidelitas konten yang tinggi.

Desainer sering kali lebih terbiasa bekerja dalam rentang fidelitas visual. Jika Anda mendesain untuk ML, Anda harus berupaya untuk bekerja sepanjang spektrum fidelitas konten hingga Anda benar-benar memvalidasi bahwa output memiliki kualitas yang memadai bagi pengguna Anda.

Desain Fin yang berwarna-warni tidak akan membantu Anda menilai apakah chatbot dapat menjawab pertanyaan dengan cukup baik sehingga pelanggan bersedia membayarnya. Anda akan mendapatkan umpan balik yang lebih baik dengan menunjukkan kepada pelanggan sebuah prototipe, betapapun mendasarnya, yang menunjukkan kepada mereka keluaran nyata dari data aktual mereka.

Uji dalam skala besar

Ketika Anda merasa telah mencapai keluaran berkualitas baik secara konsisten,lakukan pengujian ulang untuk memvalidasi kualitas keluaran Anda pada skala yang lebih besar.Ini berarti meminta teknisi Anda kembali dan menjalankan algoritme berdasarkan lebih banyak data historis sehingga Anda mengetahui atau dapat menilai kualitas keluarannya dengan andal. Anda harus meninjau keluaran untuk mengetahui kualitas dan konsistensi – dan untuk memunculkan kejutan apa pun.

Dekati produk minimum yang layak (MVP) Anda sebagai ujian

Rilis MVP atau beta Anda akan membantu Anda menyelesaikan pertanyaan yang tersisa dan menemukan potensi kejutan lainnya. Berpikirlah di luar kebiasaan untuk MVP Anda – Anda mungkin membuatnya dalam produk, atau bisa juga hanya berupa spreadsheet.

“Buat keluarannya berfungsi, lalu bangun selubung produk di sekelilingnya”

Misalnya, jika Anda membuat fitur yang mengelompokkan grup artikel ke dalam area topik dan kemudian menentukan topiknya, pastikan Anda telah melakukan pengelompokan dengan benar sebelum membuat UI lengkap. Jika klaster Anda buruk, Anda mungkin perlu melakukan pendekatan terhadap masalah secara berbeda, atau mengizinkan interaksi yang berbeda untuk menyesuaikan ukuran klaster.

Anda mungkin ingin "membangun" MVP yang hanya berupa spreadsheet keluaran dan topik yang diberi nama, dan melihat apakah pelanggan Anda menemukan nilai dari cara Anda melakukannya. Jadikan keluarannya berfungsi, lalu bangun selubung produk di sekitarnya.

Jalankan pengujian A/B saat Anda meluncurkan MVP

Anda sebaiknya mengukur dampak positif atau negatif dari fitur Anda. Sebagai seorang desainer, Anda mungkin tidak bertanggung jawab untuk menyiapkannya, namun Anda harus berusaha memahami hasilnya. Apakah metrik menunjukkan bahwa produk Anda berharga? Apakah ada faktor perancu dalam UI atau UX yang mungkin perlu Anda ubah berdasarkan apa yang Anda lihat?

“Anda dapat menggunakan telemetri dari penggunaan produk Anda yang dikombinasikan dengan masukan pengguna kualitatif untuk lebih memahami bagaimana pengguna berinteraksi dengan fitur Anda dan nilai yang mereka peroleh dari fitur tersebut”

Di tim Intercom AI, kami menjalankan pengujian A/B setiap kali kami merilis fitur baru dengan volume interaksi yang cukup tinggi untuk menentukan signifikansi statistik dalam beberapa minggu. Namun, untuk beberapa fitur, Anda tidak akan mengetahui volumenya – dalam hal ini, Anda dapat menggunakan telemetri dari penggunaan produk Anda yang dikombinasikan dengan umpan balik pengguna kualitatif untuk lebih memahami bagaimana pengguna berinteraksi dengan fitur Anda dan nilai yang mereka peroleh darinya. dia.

4. Bagaimana manusia bisa masuk ke dalam sistem?

Ada tiga tahap utama siklus hidup penggunaan produk yang harus Anda pertimbangkan saat membuat produk AI:

1. Menyiapkan fitur sebelum digunakan .Hal ini mungkin termasuk memilih tingkat otonomi di mana produk akan beroperasi, melakukan kurasi dan memfilter data yang akan digunakan untuk prediksi, dan mengatur kontrol akses. Contohnya adalah kerangka otomatisasi kendaraan otonom SAE International, yang menguraikan apa yang dapat dilakukan kendaraan sendiri, dan seberapa banyak campur tangan manusia diperbolehkan atau diperlukan.
2. Memantau fitur saat sedang beroperasi.Apakah sistem memerlukan manusia untuk menjaganya tetap pada jalurnya saat berfungsi? Apakah Anda memerlukan langkah persetujuan untuk memastikan kualitas? Ini mungkin berarti pemeriksaan operasional, panduan manusia, atau persetujuan langsung sebelum keluaran AI dikirim ke pengguna akhir. Contohnya adalah asisten penulisan artikel AI, yang menyarankan pengeditan draf artikel bantuan yang harus disetujui penulis sebelum menerbitkannya.
3. Mengevaluasi fitur setelah peluncuran.Hal ini biasanya berarti melaporkan, memberikan atau menindaklanjuti masukan, dan mengelola perubahan data dari waktu ke waktu. Pada tahap ini, pengguna melihat kembali kinerja sistem otomatis, membandingkannya dengan data historis atau melihat kualitas dan memutuskan cara memperbaikinya (melalui pelatihan model, pembaruan data, atau metode lainnya). Contohnya adalah laporan yang merinci pertanyaan apa saja yang diajukan pengguna akhir pada chatbot AI Anda, apa tanggapannya, dan saran perubahan yang dapat Anda lakukan untuk menyempurnakan jawaban chatbot terhadap pertanyaan di masa mendatang.

Anda juga dapat menggunakan ketiga fase ini untuk membantu menginformasikan peta jalan pengembangan produk Anda. Anda dapat memiliki beberapa produk dan beberapa UI berdasarkan teknologi ML backend yang sama atau sangat mirip, dan cukup mengubah keterlibatan manusianya. Keterlibatan manusia di berbagai titik dalam siklus hidup dapat mengubah proposisi produk sepenuhnya.

Anda juga dapat melakukan pendekatan terhadap desain produk AI dari segi waktu: buatlah sesuatu sekarang yang mungkin memerlukan manusia pada titik tertentu, namun dengan rencana untuk menghapusnya atau memindahkannya ke tahap lain setelah pengguna akhir Anda terbiasa dengan keluaran dan kualitasnya. dari fitur AI.

5. Bagaimana Anda membangun kepercayaan pengguna terhadap sistem?

Saat Anda memperkenalkan AI ke dalam suatu produk, Anda memperkenalkan model dengan agensi untuk bertindak dalam sistem, padahal sebelumnya hanya pengguna sendiri yang memiliki agensi tersebut. Hal ini menambah risiko dan ketidakpastian bagi pelanggan Anda. Dapat dimengerti bahwa tingkat pengawasan yang diterima produk Anda akan meningkat, dan Anda perlu mendapatkan kepercayaan pengguna.

Anda dapat mencoba melakukannya dengan beberapa cara:

• Menawarkan “peluncuran gelap” atau pengalaman berdampingan di mana pelanggan dapat membandingkan keluaran atau melihat keluaran tanpa memaparkannya kepada pengguna akhir. Anggap saja ini seperti versi backtesting yang Anda lakukan sebelumnya dalam proses – intinya di sini adalah untuk memberikan kepercayaan kepada pelanggan Anda terhadap jangkauan dan kualitas keluaran yang akan diberikan oleh fitur atau produk Anda. Misalnya, saat kami meluncurkan chatbot Fin AI Intercom, kami menawarkan halaman tempat pelanggan dapat mengunggah dan menguji bot tersebut pada data mereka sendiri.
• Luncurkan fitur tersebut di bawah pengawasan manusia terlebih dahulu. Setelah beberapa waktu dengan kinerja yang baik, pelanggan Anda kemungkinan besar akan mempercayainya untuk beroperasi tanpa pengawasan manusia.
• Permudah untuk mematikan fitur jika tidak berfungsi. Lebih mudah bagi pengguna untuk mengadopsi fitur AI ke dalam alur kerja mereka (terutama alur kerja bisnis) jika tidak ada risiko bahwa mereka akan mengacaukan sesuatu dan tidak dapat menghentikannya.
• Bangun mekanisme umpan balik sehingga pengguna dapat melaporkan hasil yang buruk, dan idealnya sistem Anda bertindak berdasarkan laporan tersebut untuk melakukan perbaikan pada sistem. Namun, pastikan untuk menetapkan harapan yang realistis mengenai kapan dan bagaimana umpan balik akan ditindaklanjuti sehingga pelanggan tidak mengharapkan perbaikan secara instan.
• Bangun mekanisme pelaporan yang kuat untuk membantu pelanggan Anda memahami kinerja AI dan ROI yang mereka peroleh dari AI.

Tergantung pada produk Anda, Anda mungkin ingin mencoba lebih dari satu cara berikut untuk mendorong pengguna mendapatkan pengalaman dan merasa nyaman dengan produk Anda.

Kesabaran adalah suatu kebajikan dalam hal AI

Saya harap lima pertanyaan ini akan membantu memandu Anda saat Anda memasuki dunia pengembangan produk AI yang baru dan bergerak cepat. Satu nasihat terakhir: bersabarlah saat meluncurkan produk Anda. Dibutuhkan upaya yang signifikan untuk mengaktifkan dan menjalankan fitur ML serta menyesuaikannya dengan cara kerja perusahaan, sehingga kurva adopsi dapat terlihat berbeda dari yang Anda harapkan.

“Setelah Anda membangun beberapa fitur AI, Anda akan mulai mendapatkan pemahaman yang lebih baik tentang bagaimana reaksi pelanggan Anda terhadap peluncuran produk baru”

Tampaknya akan memerlukan sedikit waktu sebelum pelanggan Anda melihat nilai tertinggi, atau sebelum mereka dapat meyakinkan pemangku kepentingan bahwa AI sepadan dengan biayanya dan harus diluncurkan secara lebih luas kepada penggunanya.

Bahkan pelanggan yang sangat tertarik dengan fitur Anda mungkin masih memerlukan waktu untuk menerapkannya, baik karena mereka perlu melakukan pekerjaan persiapan seperti membersihkan data, atau karena mereka berupaya mengembangkan kepercayaan sebelum meluncurkannya. Mungkin sulit untuk mengantisipasi adopsi apa yang Anda harapkan, namun setelah Anda membangun beberapa fitur AI, Anda akan mulai mendapatkan pemahaman yang lebih baik tentang bagaimana reaksi pelanggan Anda terhadap peluncuran baru.