Etika dalam Pengujian A/B. Yang Baik, Yang Buruk, Masa Depan

Pernahkah Anda berpikir tentang etika dalam pengujian A/B?

Kita semua memiliki kompas etika kita sendiri yang membimbing kita pada apa yang benar dan salah. Dan sebagai bisnis digital, kita harus mengutamakan kepentingan pengguna kita, bukan?

Nah, di situlah air menjadi sedikit keruh. Pengujian A/B adalah tentang pertumbuhan, kami berdua tahu ini. Dan dengan demikian, mudah untuk mengabaikan efek pengujian kami terhadap pengguna akhir. Kami mungkin hanya ingin meningkatkan pendapatan kami dan menghasilkan keuntungan.

Tentu, kami tidak bermaksud melakukan sesuatu yang tidak etis.

Kami bahkan mungkin mencoba untuk menjauh dari hal-hal yang kami yakini tidak disukai, seperti penghitung waktu mundur yang tidak nyata, atau jumlah stok yang tidak terkait dengan bagian belakang.

Tapi bagaimana jika produk kita benar-benar bisa mengubah hidup orang? Bagaimana jika produk kita dapat membuat orang lebih bahagia, lebih sehat, atau lebih kaya? Kami dapat berargumen bahwa jika produk kami melakukan salah satu dari ini, kami harus melakukan apa pun dengan kekuatan kami – menggunakan taktik pemasaran atau penjualan apa pun – untuk membawa produk kami ke tangan pengguna akhir.

Seperti yang saya katakan, kita sedang berenang di perairan keruh. KPI bisnis dan kepentingan pengguna tidak selalu selaras. Bahkan, saya berani menebak untuk mengatakan bahwa mereka jelas tidak cocok untuk sebagian besar perusahaan.

Jadi mari kita lihat lebih dalam bagaimana kita dapat menavigasi perairan etis ini, membuat pelanggan kita senang, dan meningkatkan pendapatan kita.

Bagaimana Etika Cocok dengan Pengujian A/B?

Saya baru-baru ini berbicara dengan Bart Schutz, seorang psikolog perilaku dan ahli dalam pengujian A/B. Pada panggilan kami, dia memberikan contoh sempurna dari tes A/B yang di permukaan tampak seperti pemenang tetapi memiliki implikasi etis yang sangat besar bagi pengguna akhir.

Bayangkan pergi ke situs web pemesanan dan melihat kebersihan hostel ditekankan. Anda mungkin akan berpikir itu adalah ide yang bagus. Seperti yang bisa Anda bayangkan, hostel dengan skor kebersihan terbaik akan mendapatkan klik terbanyak. Dan mereka melakukannya. Penjualan meningkat, semua orang senang, dan tidak ada masalah etika yang terlihat.

Itu sampai psikolog utama mereka menemukan sebuah artikel yang meneliti hubungan antara kebersihan dan perasaan aman, terutama di kalangan wanita. Dan dengan menekankan kebersihan asrama, mereka dapat menimbulkan perasaan aman yang tersirat, mungkin mendorong lebih banyak wanita ke asrama yang sebenarnya tidak aman.

Di permukaan, pengujian A/B ini tampaknya menguntungkan bisnis dan pelanggan. Bisnis diuntungkan dengan peningkatan pemesanan, dan pelanggan tampak diuntungkan dengan melihat kebersihan kamar.

Namun setelah melakukan eksperimen dan menganalisis data, ternyata menimbulkan dilema etika yang besar. Apa yang menjadi kepentingan terbaik bisnis belum tentu pada pelanggan, terutama pelanggan wanita mereka, kepentingan terbaik.

Ini adalah contoh yang sangat spesifik dan mungkin tidak berhubungan dengan bisnis Anda sama sekali, tetapi ini menunjukkan bagaimana pengujian A/B dapat berdampak besar pada pengguna akhir.

Dan bagaimana tanpa analisis data dan penelitian yang tepat oleh para psikolog, tautan ini mungkin tidak akan pernah ditemukan.

Jadi Seperti Apa Pengujian A/B yang Etis?

Kami dapat menebak semua yang kami inginkan tentang hasil prediksi percobaan pengujian A/B kami.

Tetapi sampai kami melakukan eksperimen, mendapatkan kembali data yang akurat, dan melakukan analisis yang benar… kami tidak tahu implikasi etisnya.

Tentu terkadang sudah jelas, dan jika ya, maka tugas kita sebagai manusia untuk berbicara dan membiarkan suara kita didengar. Entah itu dari klien, agensi, atau siapa pun yang melakukan pengujian. Namun seperti yang telah kita lihat dari contoh situs pemesanan, terkadang implikasi etis dari eksperimen sangat sulit untuk dilihat.

Dan itu benar-benar pesan di sini.

Perilaku manusia begitu kompleks sehingga kita sering mengabaikan efek yang dapat ditimbulkan oleh eksperimen kita. Karena ketika kita tidak menyadarinya, kita tidak menganalisisnya. Dan jika kita tidak menganalisisnya, kita bisa mendorong ujian yang merugikan kekayaan, kesehatan, dan kebahagiaan orang.

Apa yang Harus Anda Pertimbangkan Saat Mendekati Pengujian A/B?

Langkah pertama adalah memastikan bahwa data kami benar-benar dapat dipercaya, kemudian mulai bereksperimen dan menganalisis berdasarkan data yang dapat dipercaya ini, memastikan hasil yang dapat dipercaya.

Dan satu-satunya hal nyata yang dapat kita lakukan untuk menjadi etis, adalah menjadi teliti dalam analisis kita tentang kemungkinan efek negatif atau berbahaya dari pengujian kita.

Lain kali Anda melakukan tes A/B, tanyakan pada diri Anda pertanyaan etis. Saat ini, dengan semua data dan pengetahuan tepercaya yang Anda miliki, dapatkah tes ini memiliki implikasi negatif bagi pengguna akhir Anda? Dan jika Anda memilih untuk bereksperimen, pastikan minat perusahaan dan minat pengguna selaras.

Meskipun ini adalah hal yang sulit untuk dilakukan. Kita harus menimbang keuntungan jangka pendek dengan KPI jangka panjang, dengan mempertimbangkan pengguna akhir kita.

Faktanya adalah, bisnis mendorong lebih banyak pendapatan, nilai seumur hidup pelanggan, dan margin, dan mereka melakukannya lebih cepat saat bereksperimen .

Terdorong oleh eksperimen juga dapat menghemat banyak waktu dan uang dengan memvalidasi cara untuk memprioritaskan sumber daya TI terbaik berdasarkan nilai yang mereka bawa

Kami hanya perlu memastikan bahwa metrik keberhasilan kami mencakup minat bisnis dan pengguna. Dan kita harus selalu berusaha untuk meneliti dan menganalisis implikasi etis dari tindakan kita.

Masa Depan Etika Dan Minat Pengguna Sebagai Metrik Bisnis

Semakin banyak perusahaan yang melihat pentingnya mengajukan pertanyaan etis kepada diri mereka sendiri dan menyelaraskan kepentingan bisnis dengan kepentingan dan kebahagiaan pengguna dan pelanggan mereka.

Tentu saja Ini tidak pernah hitam dan putih, terutama di perairan keruh pengujian A/B etis dan mendorong pertumbuhan bisnis.

Dan bukan taktik yang tidak etis, tetapi niat dan analisis biaya/manfaat bagi mereka yang pada akhirnya menjadi sasaran pengujian.

Faktanya adalah, pertama-tama kita membutuhkan data yang dapat dipercaya – berdasarkan penelitian yang tepat, dengan kumpulan data yang besar.

Langkah selanjutnya adalah memastikan bahwa eksperimen dan analisis hasil kami dilakukan secara akurat.

Selain itu, ketika kami mempertimbangkan pengguna akhir dan mendasarkan beberapa metrik kami pada apakah tes itu baik atau buruk bagi mereka, kami membantu menciptakan bisnis yang berhasil di dunia dan bertahan untuk jangka panjang.

Mari kita selesaikan ini dengan beberapa item tindakan yang dapat Anda kerjakan segera. Apa yang dapat Anda lakukan untuk memastikan Anda bersikap etis dengan pengujian Anda dan selaras dengan kepentingan terbaik pelanggan Anda? Berikut adalah beberapa poin yang dapat memberi Anda arah yang lebih baik:

1. Dalam situasi yang ideal Anda akan memiliki psikolog perilaku mencari melalui penelitian -menganalisis dan mengidentifikasi korelasi dalam data. Tetapi jika ini tidak mungkin, maka selidiki lebih dalam data dan kemungkinan efek eksperimen pada pengguna akhir Anda dengan kemampuan terbaik Anda. Ini adalah bagaimana Anda akan menangkap tes yang di permukaan tampak etis tetapi sebenarnya dapat menyebabkan bahaya.
2. Ajukan pertanyaan etis kepada diri sendiri sebelum tes dimulai dan dorong anggota tim untuk berbicara jika mereka memiliki masalah dengan pengujian. Kita semua manusia dan memiliki tingkat kepekaan etis yang berbeda. Jadi apa yang melewati batas untuk satu orang mungkin tidak untuk orang lain. Itulah mengapa lingkungan diskusi terbuka dan kebebasan untuk berbicara bisa menjadi kuncinya.
3. Menebak dan berpendapat hanya bisa membawa kita sejauh ini. Satu-satunya cara untuk mengetahui hasil tes a/b dan implikasi etisnya adalah dengan menjalankan eksperimen dan mengumpulkan data yang akurat. Dalam kata-kata Nike, "Lakukan saja."
4. Tentu kami dapat meminta pengguna kami untuk memberikan izin dalam beberapa cara untuk pengujian, atau bahkan meminta pendapat mereka tentang pengujian dan apakah mereka merasa dimanipulasi oleh mereka. Namun perlu diingat bahwa cara orang memandang etika dalam kaitannya dengan perdagangan dapat sangat bervariasi dari satu negara ke negara lain.
5. Lihat KPI Anda dan lihat bagaimana Anda dapat menyelaraskan tujuan bisnis dengan kesehatan, kekayaan, dan kebahagiaan pengguna akhir Anda. 'Waktu yang dihabiskan di situs' adalah metrik yang bagus untuk perusahaan media yang ingin memonetisasi platform mereka. Namun 'waktu yang dihabiskan dengan baik' adalah cara yang jauh lebih baik untuk melihat monetisasi dalam konteks pengalaman yang dimiliki pengguna akhir dengan merek Anda. Pengguna yang bahagia dan sehat serta memperoleh nilai dari produk Anda dalam jangka panjang akan selalu mengarah pada peningkatan nilai umur dan pengurangan churn.

Sebagai pengguna akhir, kami akan selalu tertarik pada bisnis yang mengutamakan kepentingan terbaik kami. Dan bisnis inilah yang menjadi merek yang berkembang di dunia modern dengan akuntabilitas dan transparansi yang meningkat.

Jadi izinkan saya mengajukan pertanyaan kepada Anda, bagaimana metrik bisnis Anda mempertimbangkan kepentingan terbaik pelanggan Anda? Dan jika tidak, bagaimana Anda bisa memastikan mereka bergerak maju?