“Uji Segalanya” — Dari Di Atas Kertas hingga Dalam Praktik

Mari kita menjadi jelas.

Tidak pernah salah untuk menjalankan lebih banyak pengujian A/B, meskipun pengujian tersebut tidak berdampak langsung pada penjualan dan pendapatan, selama Anda menjalankannya dengan baik dan belajar dari prosesnya.

Tetapi…

Setiap tes memerlukan investasi waktu, tenaga, sumber daya manusia, dan banyak lagi .

Jadi mengapa beberapa ahli menganjurkan pengujian segalanya? Dan apa jalan tengahnya… khusus untuk Anda… yup… Anda yang membaca artikel ini.

Sekarang Anda mungkin memiliki banyak ide pengujian yang bagus dan ingin tahu apakah Anda harus menguji semuanya. Tapi bukan itu intinya! Seperti yang disebutkan Natalia dalam sebuah wawancara dengan Ben Labay dari Speero:

Ada ratusan ide hebat di luar sana, tapi bukan itu intinya. Intinya adalah menemukan yang tepat untuk dikerjakan pada waktu yang tepat .

Mungkin terdengar menggoda untuk mulai menguji semuanya secara acak, tetapi memprioritaskan pengujian hipotesis yang tepat pada waktu yang tepat adalah kuncinya .

Dengan prioritas yang tepat, Anda dapat menumbuhkan mentalitas "menguji segalanya" . Namun, sebagian besar model prioritas hipotesis gagal.

Mari kita gali lebih dalam untuk memahami apakah Anda harus menguji semuanya dengan A/B, bagaimana prioritas membantu Anda membuat keputusan, dan bagaimana membuat model prioritas Anda sendiri yang mengatasi keterbatasan opsi tradisional.

Uji Semuanya: Mengapa Direkomendasikan?

Mari kita mulai dengan memeriksa pendekatan kontroversial ini: Apakah menguji semuanya masuk akal?

Ayo, pilih satu sisi.

Apa tindakan default Anda?

Apa yang "menyenangkan" bagi Anda tanpa membaca sisa artikel ini dan mengumpulkan lebih banyak data?

Selesai?

Sekarang mari kita lihat apakah alasan kami sejalan dengan Anda.

Sebelum kita mengatasi teka-teki "menguji segalanya", kita perlu memahami apa yang tersirat dari pengujian A/B dan hasilnya.

Validitas Statistik

Pengujian A/B adalah cara yang valid secara statistik untuk melihat apakah perubahan yang Anda pikirkan memengaruhi Indikator Kinerja Utama (KPI) Anda.

Misalnya, jika tujuan Anda adalah mendapatkan lebih banyak kunjungan ke blog Anda, Anda dapat menambahkannya ke menu navigasi utama. Menu baru bukan lagi salinan dari menu lama . Namun perubahan ini tidak ada gunanya jika tidak berdampak positif terhadap perilaku pengunjung situs Anda.

Fakta sederhana bahwa kedua versi secara struktural berbeda tidak masalah. Secara keseluruhan, yang penting adalah realisasi dari hasil yang Anda inginkan dan antisipasi. Apakah orang-orang lebih cenderung mengunjungi blog ketika mereka melihatnya di menu utama daripada ketika terselip di footer ?

Akal sehat mungkin mengatakan YA , harus ada efek (positif) . Namun pengujian Anda mungkin tidak menunjukkan perubahan apa pun dalam metrik yang Anda pilih untuk dipantau sebagai ukuran dampak.

Jika ini benar, maka pengujian A/B juga mengurangi risiko.

Mitigasi risiko

Menerapkan perubahan di seluruh situs adalah kompleks dan permainan bola yang sangat berbeda.

Anda akhirnya dapat membuat perubahan dan mengambil risiko membuang-buang sumber daya dengan membangun fitur yang tidak diinginkan pengguna dan menyesuaikan elemen situs web yang tidak memberikan hasil yang diharapkan. Ini adalah salah satu alasan utama mengapa pengujian A/B diperlukan, karena ini adalah uji asam untuk solusi yang diusulkan sebelum benar-benar diimplementasikan.

Build-out pengujian A/B (terutama build sisi klien) kurang intensif sumber daya daripada perubahan situs web hard-coded dan fitur fidelitas tinggi. Ini memberi Anda lampu hijau untuk tidak mengambil rute tertentu, terutama ketika hasilnya menunjukkan bahwa KPI utama tidak bergerak ke arah yang benar.

Tanpa pengujian, Anda berinvestasi dalam pengalaman yang sama sekali tidak berfungsi. Ini adalah risiko buta yang Anda ambil, tanpa mengetahui bahwa Anda mungkin harus kembali ke desain sebelumnya untuk melindungi pendapatan dan kinerja.

Georgi, pencipta Analytics-toolkit.com, bahkan berpendapat bahwa pengujian A/B pada dasarnya adalah alat manajemen risiko:

Mengapa mengambil risiko ketika Anda bisa menguji?

(—Lebih lanjut tentang itu nanti di blog. Teruslah membaca!—)

Analisis Tren

Ketika Anda secara konsisten menjalankan pengujian yang Anda pelajari dari , Anda mulai melihat tren dalam respons audiens Anda terhadap masukan tertentu. Sebaiknya jangan berasumsi bahwa Anda dapat memperoleh sesuatu yang bernilai dari satu iterasi. Tetapi meta-analisis (dalam lingkungan pengujian A/B variabel tunggal) dari waktu ke waktu dapat memberi Anda kepercayaan diri untuk berpotensi memprioritaskan pengujian hipotesis tertentu di atas yang lain.

Beberapa ahli mendukung pengujian segalanya, mengingat eksperimen memiliki banyak manfaat.

Di sisi lain, banyak ahli menganjurkan setidaknya mendapatkan inspirasi dari hasil berulang dari eksperimen sebelumnya untuk menjawab pertanyaan besar .

Pemimpin Redaksi GoodUI, Jakub Linowski, adalah salah satu yang paling terkenal. Dia berpendapat bahwa eksperimen menghasilkan pengetahuan yang memungkinkan prediksi. Dia berpikir mengejar pengetahuan, taktik, pola, praktik terbaik, dan heuristik adalah penting.

Pengetahuan yang Anda peroleh dari eksperimen membantu Anda membuat prediksi yang lebih andal. Ini, pada gilirannya, memungkinkan Anda untuk membuat hipotesis yang lebih akurat dan memprioritaskannya dengan lebih baik.

Sepintas, perspektif ini mungkin tampak kontradiktif. Tetapi mereka memperkuat argumen yang sama, " eksperimen membawa kepastian di dunia yang tidak pasti ."

Anda membuat asumsi pada kumpulan data Anda, atau Anda membawa keyakinan dari pengujian yang dijalankan untuk hasil akhir yang diinginkan serupa, di berbagai vertikal dan industri.

Di Convert, kami mengambil inspirasi dari kedua pandangan dan melihat bagaimana satu segi membangun yang berikutnya dengan dua cara sederhana berikut.

Pembelajaran & Pengujian: Duo Praktis Untuk Pengujian Terinspirasi

Pertanyaan Semuanya

Ini adalah ajaran abadi dari para guru Stoa .

Ketika Anda mempertanyakan segala sesuatu di sekitar Anda, Anda menyadari bahwa Anda adalah gabungan dari apa yang Anda ambil dari orang-orang yang Anda temui, budaya tempat Anda tinggal, dan heuristik yang dipilih otak Anda untuk diikuti.

"Naluri" yang biasanya mendorong kita ini biasanya bukan milik kita.

Misalnya, banyak dari kita bermimpi menjalani gaya hidup mewah yang berpusat pada konsumsi. Tapi apakah ini benar-benar datang dari kita? Ataukah kita adalah korban iklan, media, dan Hollywood?

Media dan iklan mulai memainkan peran utama dalam membentuk mimpi dan keinginan individu untuk menjadi konsumen utama… dan menjadi mungkin untuk merayu individu dan membuatnya percaya bahwa apa yang diinginkannya adalah keputusan bebas yang berasal dari dalam. dia (tetapi pada kenyataannya, dia terjerat oleh ratusan iklan yang menghasilkan keinginan yang katanya subjektif dan menciptakan keinginan otomatis untuknya .

Abdel Wahab El-Messiri

Membuat perubahan dan keputusan bisnis menggunakan HANYA "insting" Anda sendiri adalah tidak bijaksana. Jika kita tidak yakin bahwa perubahan yang ingin kita buat dan keputusan yang ingin kita terapkan dalam bisnis kita berasal dari diri kita sendiri, mengapa kita bahkan terikat padanya?

Mempertanyakan segala sesuatu adalah penting . Nyali Anda, praktik terbaik, model prioritas, dan sebagainya.

Dan jika kita mempertanyakan semuanya, langkah selanjutnya adalah melakukan verifikasi matematis melalui eksperimen. Karena berhenti pada pertanyaan tidak menutup lingkaran dari ketidakpastian menuju kepastian.

Belajar Dari Eksperimen

Anda tidak dapat belajar jika Anda tidak menguji.

Pastikan Anda mengukur wawasan Anda dengan benar. Anda perlu memanfaatkan data kualitatif dan kuantitatif dalam tes A/B untuk menerjemahkan pembelajaran Anda menjadi sesuatu yang bermakna. Misalnya, kelompokkan dampak rata-rata berdasarkan konteks, jenis tes, lokasi tes, KPI yang dipantau, hasil tes, dan sebagainya.

Contoh yang bagus dari pendekatan metodis ini adalah database GOODUI .

Ini mengidentifikasi pola yang berulang kali tampil dalam pengujian A/B, membantu bisnis mencapai konversi yang lebih baik dan lebih cepat.

GOODUI menampilkan 124 pola berdasarkan 366 tes (khusus anggota) dan menambahkan lebih dari 5 tes andal baru setiap bulan. Dengan belajar dari eksperimen dan mengkuantifikasi pembelajaran tersebut ke dalam pola, database GOODUI mempersingkat proses pengujian A/B yang membosankan dan memungkinkan pelanggan mendapatkan lebih banyak kemenangan!

Dapatkan beberapa inspirasi dari pola-pola ini:

Pola #2: Label Ikon: https://goodui.org/patterns/2/

Pola #20: Tanggapan Kalengan: https://goodui.org/patterns/20/

Pola #43: Judul Panjang: https://goodui.org/patterns/43/

Tapi Fokus pada… Memprioritaskan Ide

Prioritaskan ide yang selaras dengan tujuan bisnis menyeluruh Anda sambil mempertimbangkan hasil spesifik perusahaan.

Gambar ini.

Anda menjalankan bisnis dengan basis pelanggan yang layak. Namun, tingkat retensi pelanggan ini di bawah 15% . Tujuan utama Anda adalah membangun bisnis berkelanjutan yang mempertahankan pelanggan pada tingkat yang jauh lebih tinggi. Tujuan ini harus memengaruhi prioritas Anda.

Katakanlah Anda memiliki dua ide dan ingin tahu mana yang harus diuji terlebih dahulu – satu yang cenderung meningkatkan tingkat retensi dan yang lainnya cenderung meningkatkan penjualan dari pelanggan baru . Anda mungkin harus memprioritaskan ide pertama meskipun yang terakhir memiliki potensi peningkatan yang jauh lebih tinggi.

Itu karena tingkat retensi pelanggan yang lebih tinggi berarti bisnis yang lebih stabil dalam jangka panjang. Ini sangat selaras dengan tujuan dan strategi bisnis Anda yang menyeluruh.

Ide lain mungkin memberi Anda lebih banyak penjualan baru. Namun pada akhirnya, bisnis Anda akan tetap membocorkan lebih dari 85% pelanggannya.

Model prioritas untuk eksperimen selalu gagal mempertimbangkan kepentingan strategis dari apa yang sedang diuji. Mereka melihat kemungkinan dampak, upaya, dll., dari berbagai ide yang berbeda, tetapi mereka tidak mempertimbangkan ide mana yang paling sesuai dengan strategi dan arah bisnis .

Jonny Longden, melalui Uji Segalanya

Dimana Kebanyakan Model Prioritas Gagal?

Jika Anda seorang pengoptimal yang tajam, Anda mungkin memiliki daftar panjang ide pengujian A/B. Namun Anda tidak dapat menguji semuanya sekaligus, meskipun Anda memutuskan untuk menguji semuanya, karena lalu lintas dan sumber daya yang terbatas .

Ini seperti memiliki daftar tugas yang panjang dan mengetahui bahwa Anda tidak dapat menangani semuanya pada saat yang bersamaan. Jadi Anda memprioritaskan dan mulai dengan yang memiliki PRIORITAS TERTINGGI. Ini berlaku untuk mendorong keuntungan dengan eksperimen. Dengan prioritas yang tepat, program pengujian Anda akan jauh lebih berhasil.

Tetapi memprioritaskan dalam pengujian A/B, seperti yang ditulis David Mannheim dalam artikelnya, sangat sulit. Ini terutama karena

• Anda sering menghasilkan ide yang tidak terfokus dan selaras dengan tujuan bisnis.
• Jangan mempertimbangkan iterasi dan belajar dari eksperimen sebelumnya.
• Gunakan model prioritas disfungsional dan coba tambahkan kerangka kerja arbitrer ke masalah.

Dan ini juga beberapa area yang bahkan model prioritas paling populer pun cenderung mengabaikannya dan membuat kesalahan. Tapi kenapa begitu? Berikut adalah beberapa elemen penting yang berkontribusi pada kurangnya prioritas yang tepat.

• Faktor menyesatkan: Faktor yang mereka gunakan untuk memilih tes sangat menyesatkan. Yang pertama adalah usaha, memberikan kesan bahwa ide-ide dengan usaha yang rendah pantas untuk diprioritaskan dengan cepat.
• Fungsi bobot: Sebagian besar model menetapkan bobot sewenang-wenang untuk faktor. Anda tidak bisa hanya memprioritaskan secara acak; kamu butuh alasan untuk itu.
• Iterasi kompleks: Mereka tidak dapat membedakan iterasi pengujian yang ada (didorong oleh pembelajaran) dari ide-ide baru untuk tujuan prioritas.

Sebagai permulaan, kerangka prioritas PIE memberi peringkat hipotesis berdasarkan:

• Potensi Peningkatan
• Pentingnya
• Meredakan

Tetapi bagaimana Anda secara objektif menentukan potensi ide pengujian? Jika kita bisa mengetahui ini sebelumnya, sebagai Peep Laja, Pendiri CXL, menjelaskan, kami tidak membutuhkan model prioritas.

Model PIE sangat subjektif. Ini juga tidak selaras dengan tujuan bisnis dan mempromosikan solusi berisiko rendah. Kemudahan menyesatkan karena menyarankan bahwa ide-ide dengan upaya rendah harus diprioritaskan.

Semakin besar risikonya, semakin besar imbalannya .

Dan ini hanya berlaku jika Anda menantang diri sendiri dengan ide-ide yang lebih canggih.

Model populer lainnya, model penilaian ICE (Impact, Confidence, and Ease), sangat mirip dengan PIE dan memiliki kekurangan yang sama dengan PIE .

Kerangka kerja PXL merupakan peningkatan dari keduanya dan membuat evaluasi "potensial" atau "dampak" menjadi lebih objektif. Namun, masih memiliki kekurangan.

Pertama, tidak mempertimbangkan untuk menyelaraskan dengan tujuan bisnis . Kedua, itu tidak membedakan iterasi pengujian saat ini dari ide-ide baru.

David Mannheim, Wakil Presiden Global Pengoptimalan Tingkat Konversi, Brainlabs, mengungkapkan bahwa 50% dari 200+ eksperimen yang mereka buat untuk klien di konsultan sebelumnya, Konversi Pengguna, adalah iterasi satu sama lain. Mereka juga pernah menciptakan nilai peningkatan 80% dari hipotesis asli dan menyatakan:

Kami tahu "konsep" berfungsi, tetapi dengan mengubah eksekusi, lebih dari 6 iterasi yang berbeda dapat saya tambahkan, kami melihat peningkatan tambahan lebih dari 80% pada yang asli .

Dalam laporan “Running Experience Informed Experiments ”, Convert menemukan bahwa hampir semua ahli yang diwawancarai setuju bahwa pembelajaran mendorong ide yang sukses. Hal ini dapat didukung lebih lanjut dengan pola pembelajaran H&M .

Hampir setiap eksperimen lain yang kami jalankan di H&M dalam tim produk kami didukung oleh pembelajaran terdokumentasi dari eksperimen sebelumnya atau metodologi penelitian lainnya .

Matthias Mandiau

Bagaimana Cara Membuat Model Prioritas Pengujian A/B Anda Sendiri?

Prioritas mendorong pola pikir "uji segalanya". Ini menanamkan kepercayaan diri untuk menguji (pertama) ide dan hipotesis yang membuat penyok terbesar pada masalah yang paling mendesak.

Tetapi setiap bisnis berbeda. Jadi tidak mungkin ada pendekatan prioritas eksperimen satu ukuran untuk semua . Konteks, seperti yang ditunjukkan Daud, adalah raja .

Pada dasarnya, semua model salah, tetapi ada juga yang berguna .

George EP Box, seorang ahli statistik

Dari contoh di atas, kita dapat mengatakan bahwa semua model cacat, tetapi beberapa berguna. Rahasianya adalah menciptakan model yang paling berguna dan berdampak untuk bisnis Anda.

Berikut adalah empat langkah untuk membangun model:

1. Dapatkan Inspirasi dari Contoh

Salah satu cara yang paling bermanfaat untuk mengembangkan model prioritas yang baik adalah dengan memilih kemampuan dari model yang berbeda, mencampur dan mencocokkan, dan menghasilkan campuran dengan nitpicking terbatas.

Misalnya, Anda dapat mengambil inspirasi dari pendekatan penilaian yang lebih objektif dari PXL , yang mengajukan pertanyaan seperti “Tambah atau hapus item?” . Pada saat yang sama, Anda dapat mempertimbangkan sudut benturan ICE dan menambahkannya.

2. Beri Ruang untuk Faktor-Faktor yang Menghitung

Sertakan faktor-faktor yang selaras dengan tujuan bisnis Anda . Ini akan membantu Anda lebih fokus pada pendorong pertumbuhan inti dan KPI seperti nilai umur pelanggan (LTV) dan tingkat retensi pelanggan, bukan hanya metrik dan hasil tingkat permukaan.

Seperti disebutkan sebelumnya, pembelajaran khusus perusahaan juga penting ketika memprioritaskan eksperimen. Apakah solusi tertentu secara konsisten dan historis mengungguli yang lain untuk audiens Anda?

Juga, pertimbangkan potensi iterasi . Iterasi dapat membantu membuat lebih banyak kemajuan menuju pemecahan masalah bisnis tertentu dan lebih berhasil. Jika benar, hipotesis dengan potensi iterasi dapat dan harus diprioritaskan daripada pengujian yang berdiri sendiri. Selain itu, eksperimen tidak ada artinya jika bukan roda gila di mana upaya saling memberi makan.

Terakhir, faktor dalam investasi sumber daya , termasuk kompleksitas, waktu, biaya, dan langkah-langkah tradisional yang digunakan untuk memprioritaskan eksperimen.

3. Bobot Sangat Penting

Putuskan apa yang ingin Anda dapatkan dari tes yang Anda jalankan. Apakah itu mengeksplorasi ide-ide baru yang inovatif ? Atau mengeksploitasi area masalah sampai Anda menemukan solusi?

Sesuaikan sistem penilaian sesuai dengan kebutuhan Anda. Mari kita pertimbangkan dua jenis eksperimen yang berbeda untuk memahami hal ini dengan lebih baik.

1. Menambahkan blog ke menu navigasi akan meningkatkan kunjungan ke blog.
2. Mengurangi pengisian formulir di halaman checkout akan mengurangi tingkat pengabaian keranjang.

Untuk contoh ini, mari kita asumsikan kita hanya memilih dua faktor untuk model prioritas kita. Salah satunya adalah potensi iterasi, dan yang lainnya adalah potensi dampak dan menilai setiap hipotesis pada skala 1-5 untuk setiap faktor.

Tujuan utama kami untuk pengujian sekarang adalah untuk memperbaiki masalah pengabaian kartu untuk situs e-niaga . Kami harus memberi bobot lebih pada potensi iterasi karena kami mungkin tidak akan memperbaikinya dengan tes. Dan kami cenderung mengulangi berkali-kali dalam satu hipotesis sebelum secara nyata mengurangi pengabaian keranjang.

Kita dapat menimbang faktor potensial iterasi dengan menggandakan skornya.

Mari kita beri hipotesis pertama "4" untuk faktor potensial dampak. Dan “2” untuk potensi iterasi. Kemudian, untuk hipotesis pengisian formulir, “3” untuk faktor potensial dampak dan iterasi.

Tanpa penekanan pada potensi iterasi, itu akan menjadi seri: "4 + 2 = 3 + 3"

Tetapi setelah menggandakan skor pada faktor ini , hipotesis nomor dua menang:

Skor akhir untuk hipotesis pertama : “4 + 2(2) = 8 ”

Skor akhir untuk hipotesis kedua : “3 + 3(2) = 9 ”

Intinya adalah bahwa keluaran prioritas kerangka kerja yang sama harus berubah seiring dengan perubahan pertimbangan eksternal dan internal.

4. Bilas dan Ulangi Sampai Anda Menekan Akronim yang Tepat

Cobalah untuk tidak mengharapkan hasil yang baik dengan satu iterasi. Terus modifikasi sampai Anda mendapatkan model prioritas yang tepat untuk bisnis Anda.

Misalnya, ConversionAdvocates membuat kerangka kerja mereka sendiri, IIEA , yang merupakan singkatan dari:

• Wawasan
• Membuat ide
• Percobaan
• Analisis

IIEA mencoba memecahkan dua masalah utama dari kebanyakan model dengan membuat daftar pembelajaran setiap eksperimen dan tujuan bisnis sebelum diluncurkan.

Apa pun akronim yang akhirnya Anda buat, tinjau dan evaluasi ulang terus-menerus. Sina Fak, Head of Optimization di ConversionAdvocates, menyebutkan bahwa mereka telah menyempurnakan IIEA selama lima tahun terakhir.

Sejak 2013, mereka telah menggunakan kerangka kerja khusus ini untuk membantu beberapa bisnis memecahkan masalah kritis, seperti mengurangi biaya dan meningkatkan konversi.

Anda mungkin bukan ICE atau PIE yang nyaman, tetapi hasilnya akan lezat.

Dengan model prioritas baru yang sangat berguna, Anda dapat meminjam dari pembelajaran lama DAN berpotensi "menguji segalanya" .

Menang-menang dalam buku kami!