Menguji Seri Peta Pikiran: Cara Berpikir Seperti CRO Pro (Bagian 11)

Wawancara dengan Ruben de Boer

Apakah Anda seseorang yang ingin mendapatkan lebih banyak dari eksperimen?

Tamu kami hari ini telah melakukan ini selama bertahun-tahun dan dapat membantu Anda memulai perjalanan eksperimen Anda sendiri. Selain itu, ia memiliki beberapa saran bagus tentang cara memastikan eksperimen Anda memberi Anda ROI yang tepat.

Setelah Anda mengetahui semua itu, Anda pasti ingin melacak semua pembelajaran sehingga Anda dapat menerapkannya di seluruh perusahaan Anda. Pakar kami memiliki banyak saran tentang cara melakukan hal itu.

Mari selami.

Ruben, ceritakan tentang dirimu. Apa yang menginspirasi Anda untuk melakukan pengujian & pengoptimalan?

Pada tahun 2009, saya membantu sebuah perusahaan yang mengajarkan orang untuk menjadi lebih bahagia dan lebih percaya diri dengan peningkatan keterampilan sosial. Pada saat itu, saya sangat menyadari pentingnya mendukung dan menginspirasi orang lain melalui apa yang Anda sukai. Saya juga menjadi terpesona dengan pertanyaan:

Jika kita bisa mengubah perilaku orang secara offline, bagaimana kita bisa melakukannya secara online?

Ini adalah bagaimana saya masuk ke penelitian perilaku manusia dan psikologi. Data selalu menjadi hal saya. Saya senang menemukan pola dan solusi dalam data (di sekolah, saya jauh lebih baik dalam topik data daripada topik lainnya).

Dan saya suka pengoptimalan dan mendapatkan hasil. Tidak hanya dalam pekerjaan saya tetapi juga dalam kehidupan pribadi saya.

Kombinasi minat dan hasrat ini secara alami mendorong saya untuk bekerja dalam pengujian & pengoptimalan.

Sudah berapa tahun Anda mengoptimalkannya? Apa satu-satunya sumber daya yang Anda rekomendasikan untuk calon penguji & pengoptimal?

Pada tahun 2009, saya mulai mengoptimalkan situs web dan menganalisis data bisnis dan online. Baru pada tahun 2011 saya melakukan tes A/B pertama saya. Tentu saja, saya membuat semua kesalahan yang dapat dilakukan ketika memulai dengan Pengoptimalan Tingkat Konversi.

Sumber daya nomor satu saya adalah bertemu dengan spesialis lain di bidang ini. Berbagi ide dan pengalaman dan belajar dari satu sama lain. Pada acara, tidak hanya mendapatkan ide dari pembicara, tetapi juga orang-orang yang hadir. Dengan saling membantu dan belajar bersama, kita dapat membawa diri kita dan pekerjaan kita ke tingkat berikutnya.

Jawab dalam 5 kata atau kurang: Apa disiplin pengoptimalan bagi Anda?

Perbaikan terus-menerus pola pikir, pembelajaran, dan eksperimen.

Apa 3 hal teratas yang HARUS dipahami orang sebelum mereka mulai mengoptimalkan?

Pertama, dapatkan dasar-dasarnya dengan benar . Spesialis akan sering menjalankan eksperimen berdasarkan praktik umum. Namun, praktik ini telah diuji di situs web yang berbeda (jika diuji sama sekali) dan mungkin tidak berfungsi untuk situs web atau produk (digital) Anda sama sekali.

Dapatkan ide pengujian Anda dari data, pengguna, dan penelitian ilmiah Anda. Dan ketika Anda menyelesaikan eksperimen, pikirkan tentang apa yang Anda pelajari dan ide tes baru apa yang dapat Anda temukan berdasarkan pembelajaran tersebut. Sumber-sumber ini akan membantu Anda menyusun ide pengujian yang solid dengan peluang lebih besar untuk menemukan variasi pemenang.

Proses dasar lainnya, di mana saya melihat banyak spesialis yang salah, adalah statistik. Untuk setiap eksperimen, lakukan analisis pra-tes Anda . Hitung ukuran sampel minimum dan durasi pengujian, dan hentikan pengujian hanya setelah Anda mencapainya.

Jika Anda mengetahui bahwa Anda memiliki lalu lintas yang tidak mencukupi untuk pengujian A/B dalam perhitungan pra-pengujian Anda, temukan cara lain untuk memvalidasi ide pengujian Anda, misalnya, melalui pengujian kegunaan.

Kedua, proses adalah kuncinya . Tanpa proses yang tepat, Anda tidak akan berhasil. Untuk mengoptimalkan proses Anda, Anda harus memahami Pengembalian Investasi (ROI) dari eksperimen:

ROI = (Kuantitas * Kualitas) / Biaya

Kuantitas adalah jumlah eksperimen yang Anda jalankan. Kualitas adalah tingkat kemenangan dan nilai per pemenang. Biaya adalah waktu dan uang, jadi efisiensi Anda.

Dengan proses yang tepat (termasuk alat untuk melacak proses, kemajuan, dan wawasan Anda!), Anda dapat mengoptimalkan ROI dan kesuksesan eksperimen Anda.

Dan ketiga, pahami bahwa tugas Anda bukan hanya menjalankan pengujian A/B. Sebagian besar pekerjaan Anda harus didedikasikan untuk manajemen perubahan . Untuk berkembang dan bekerja menuju budaya eksperimen, pengujian A/B tidak cukup. Anda perlu mengubah budaya, pola pikir, dan cara kerja seluruh organisasi Anda. Mulailah dengan melibatkan orang, terutama manajemen yang lebih tinggi.

Bagaimana Anda memperlakukan data kualitatif & kuantitatif sehingga dapat menceritakan kisah yang tidak bias?

Pendeknya:

Langkah pertama adalah melakukan penelitian menyeluruh menggunakan berbagai sumber, seperti data web, layanan pelanggan, survei, jajak pendapat, dan artikel ilmiah.

Langkah kedua dalam proses ini adalah mengubah wawasan penelitian Anda menjadi hipotesis menyeluruh yang solid . Bidik lima hingga sepuluh hipotesis yang menyatakan sesuatu tentang (calon) pelanggan Anda, tidak terkait dengan satu elemen atau halaman web.

Sebagai contoh:

• Pelanggan menganggap produk kami terlalu mahal
• Orang-orang membutuhkan informasi lebih lanjut tentang layanan kami sebelum mendaftar
• Orang-orang menjadi pelanggan kami karena mereka memiliki kebutuhan untuk dimiliki

Anda kemudian dapat memvalidasi hipotesis ini melalui beberapa eksperimen terkait, juga berdasarkan penelitian Anda. Ini disebut meta-analisis .

Mengapa? Pengujian A/B tunggal rentan terhadap kesalahan. Eksperimen Anda dapat menghasilkan positif palsu, atau alasan eksperimen yang menang dapat berbeda dari yang dinyatakan dalam hipotesis Anda. Dengan meta-analisis, kita mendekati kebenaran. Oleh karena itu, wawasan kami lebih dapat diandalkan dan kami membuat eksperimen tindak lanjut yang lebih baik.

Meta-analisis adalah kualitas bukti tertinggi yang bisa Anda dapatkan, berdasarkan hierarki bukti.

Langkah terakhir dalam proses ini melibatkan melacak hipotesis menyeluruh mana yang berfungsi dan di mana dalam perjalanan pelanggan (di halaman mana), dan memprioritaskan ide pengujian Anda berdasarkan itu, untuk memaksimalkan tingkat kemenangan dan pembelajaran Anda.

Program pembelajaran seperti apa yang telah Anda siapkan untuk tim pengoptimalan Anda? Dan mengapa Anda mengambil pendekatan khusus ini?

Proses yang diuraikan di atas akan membantu Anda mengumpulkan wawasan andal yang dapat Anda dan organisasi Anda pelajari.

Ketika Anda mendokumentasikan meta-analisis tersebut dengan baik (dalam alat seperti Airtable), menjadi lebih mudah untuk melihat di mana letak kesuksesan Anda. Dengan menandai setiap eksperimen dengan hipotesis menyeluruh dan arahan psikologis, Anda mendapatkan pengetahuan yang luar biasa tentang kebutuhan (dan masalah) pelanggan potensial Anda, sekaligus mengetahui di mana dalam perjalanan pelanggan untuk mengatasinya, dan melalui jenis eksperimen apa.

Setelah Anda melakukan banyak eksperimen dan mulai mendapatkan gambaran yang jelas, Anda dapat membagikan wawasan ini dan seluruh organisasi dapat belajar dan mendapat manfaat.

Mitos pengoptimalan apa yang paling mengganggu yang Anda harap akan hilang?

Saya akan menyebutkan dua

Eksperimen peningkatan yang luar biasa dapat dicapai (dengan satu pengujian A/B). Terutama beberapa vendor yang harus disalahkan untuk ini, seperti dalam kasus mereka dan di halaman arahan mereka, mereka beriklan dengan peningkatan besar, menghasilkan harapan yang salah.

Organisasi yang menggunakan eksperimen untuk pengambilan keputusan yang lebih baik seringkali merupakan organisasi yang berkembang. Bukan mereka yang fokus pada uang semata.

Dan kedua, yang namanya Conversion Rate Optimization secara umum. Ini memberikan kesan yang salah dan terlalu sempit untuk apa yang dapat dicapai oleh spesialis dalam eksperimen.

Semoga wawancara kami dengan Ruben akan membantu memandu strategi eksperimen Anda ke arah yang benar! Nasihat apa yang paling sesuai dengan Anda?

Pastikan untuk menantikan wawancara kami berikutnya dengan pakar CRO yang membawa kami melalui strategi yang lebih maju! Dan jika Anda belum melakukannya, lihat wawancara kami dengan Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Andra Baragan , dan yang terbaru dengan Rich Page .