Menguji Seri Peta Pikiran: Cara Berpikir Seperti CRO Pro (Bagian 22)

Wawancara dengan Nils Koppelmann

Nils Koppelmann adalah advokat yang bersemangat untuk manfaat eksperimen dan pengambilan keputusan berdasarkan data. Dia memahami bahwa pengujian A/B yang sukses bukan hanya tentang mencari tahu apakah sesuatu berhasil, tetapi mengapa itu berhasil – dan dia di sini untuk menghilangkan dua mitos umum tentang praktik ini.

Pengujian A/B itu menimbulkan risiko dan bahwa perusahaan kecil tidak dapat menguji secara efektif. Sebaliknya, Nils percaya bahwa pengujian A/B dapat membantu mengurangi risiko dengan memberikan wawasan tentang apa yang berhasil dan apa yang tidak. Dan sementara perusahaan kecil mungkin memiliki lebih sedikit lalu lintas daripada perusahaan besar, mereka sebenarnya dapat menguji lebih berani karena lebih sedikit yang dipertaruhkan.

Jadi, lain kali Anda merasa pengujian A/B terdengar terlalu berisiko atau mahal, baca wawancara dengan Nils ini untuk mendapatkan kiat tentang cara menguji secara efektif di situs Anda tanpa menimbulkan risiko yang tidak perlu.

Nils, ceritakan tentang dirimu. Apa yang menginspirasi Anda untuk melakukan pengujian & pengoptimalan?

Selama 8+ tahun terakhir, saya telah membangun situs web dan toko online untuk membantu klien besar dan kecil “mengoptimalkan” kehadiran online mereka.

Beberapa waktu yang lalu, pikiran saya beralih ke bagaimana memastikan bahwa desain kami benar-benar memiliki dampak yang diinginkan.

Ketika saya pertama kali menemukan istilah Pengoptimalan Tingkat Konversi sekitar 3 1/2 tahun yang lalu, saya bertanya-tanya mengapa itu bukan sesuatu yang sudah kami fokuskan. Sejak saat itu, saya mengalihkan fokus saya dari memberikan desain dan teknologi menjadi memberikan wawasan dan hasil.

Dunia pengoptimalan memiliki begitu banyak potensi yang sebagian besar masih belum dijelajahi oleh sebagian besar perusahaan online. Kita harus memanfaatkan sejumlah besar data yang tersedia serta belajar darinya sehingga kita dapat terus meningkatkannya.

Salah satu hal yang paling mencolok bagi saya adalah betapa menyenangkannya untuk belajar lagi. Saya tidak pernah berpikir bahwa saya akan secara sukarela membuka buku tentang statistik (berteriak kepada Georgi Georgiev dan bukunya yang hebat Metode Statistik Pengujian A/B Online) dan benar-benar membacanya. Ini dan banyak aspek lainnya terus menginspirasi saya untuk menguji untuk belajar.

Sudah berapa tahun Anda mengoptimalkannya?

Keinginan untuk mengoptimalkan berasal dari rasa tidak puas dengan status quo, rasa ingin tahu tentang apa yang lebih, dan kepastian bahwa segala sesuatu dapat diperbaiki.

Dalam konteks profesional, saya telah mengoptimalkan selama sekitar 8 tahun sekarang. Awalnya, membangun dan mengoptimalkan proyek sampingan dan membantu perusahaan meningkatkan situs web dan toko online. Sekarang kami membantu perusahaan baru dan mapan menciptakan budaya eksperimen dan menggunakan kekuatan eksperimen untuk menambah pertumbuhan mereka.

Memikirkan kembali, saya tidak ingat pernah tidak mengoptimalkan. Sudah sebagai seorang anak, saya selalu mempertanyakan cara melakukan sesuatu. Saya ingat ayah saya mengatakan bahwa saya mengajukan pertanyaan "terlalu banyak", sesuatu yang dalam retrospeksi saya sangat senang saya lakukan dan masih lakukan.

Bahkan dalam kehidupan pribadi saya, saya dikenal untuk melacak dan mengoptimalkan sebagian besar aspek kehidupan saya.

Apa satu-satunya sumber daya yang Anda rekomendasikan untuk calon penguji & pengoptimal?

Ada banyak sumber yang saya rekomendasikan untuk seseorang yang baru memulai, tetapi mari kita buat ini sedikit lebih praktis.

Untuk memulai, berikut adalah beberapa saran:

1. Lebih penasaran, dan mulai mempertanyakan mengapa sesuatu dilakukan seperti itu. Ini saja akan membuka pandangan baru tentang dunia.
2. Luangkan lebih banyak waktu untuk memikirkan masalah daripada mencari solusi. Anda harus benar-benar memahami masalahnya terlebih dahulu, maka solusi akan datang dengan lebih mudah.
   
   Seperti yang dikatakan Albert Einstein, "Jika saya punya satu jam untuk memecahkan masalah, saya akan menghabiskan 55 menit untuk memikirkan masalah itu dan 5 menit untuk memikirkan solusi."
   
   Yang mengatakan, penting untuk berpikir di luar kotak, yang berarti tidak hanya berpikir dalam parameter masalah tetapi juga mempertimbangkan sudut dan kemungkinan di luar.
   
   Kuncinya adalah menemukan keseimbangan di antara keduanya.
3. Belajarlah untuk mengajukan pertanyaan yang lebih baik. Ini adalah salah satu alat paling bermanfaat yang dapat dimiliki pengoptimal mana pun di gudang senjata mereka karena memungkinkan dan menyentuh rasa ingin tahu.

Juga, saya membagikan artikel, sumber daya, dan alat yang menarik di buletin eksperimen mingguan saya, yang ditujukan untuk pemula dan veteran eksperimen.

Jawab dalam 5 kata atau kurang: Apa disiplin pengoptimalan bagi Anda?

Tes untuk belajar. Perbaikan terus-menerus. Percobaan. Sistem bangunan.

Apa 3 hal teratas yang HARUS dipahami orang sebelum mereka mulai mengoptimalkan?

Riset dulu, baru tes. Sebelum Anda mulai mengoptimalkan, pastikan Anda mendukung asumsi Anda dengan data, kualitatif dan kuantitatif. Kemudian buat hipotesis yang kuat berdasarkan itu.

Jangan hanya mengoptimalkan peningkatan jangka pendek – meskipun sangat penting bagi program untuk memiliki ROI yang positif, program ini tidak boleh hanya berfokus pada hal itu tetapi juga mempertimbangkan bandwidth yang besar dari peluang pembelajaran dan pembatasan risiko yang dihasilkan oleh eksperimen.

Upaya pengoptimalan seharusnya tidak bertujuan untuk membuktikan bahwa Anda benar atau salah, tetapi untuk menentukan alasannya – dalam kedua kasus tersebut. Tidak ada gunanya mengoptimalkan apa pun jika Anda tidak mengerti bagaimana Anda sampai di sana dan bagaimana mereplikasi sampai di sana. Untuk kesuksesan jangka panjang dalam pengujian A/B, sangat penting untuk memiliki sistem yang baik.

Bagaimana Anda memperlakukan data kualitatif & kuantitatif sehingga menceritakan kisah yang tidak bias?

Tidak ada data yang tidak bias, tetapi untuk meminimalkan bias terhadap jenis data apa pun, penting untuk memahami bagaimana data dikumpulkan, bagaimana interpretasinya, dan kesimpulan apa yang diambil darinya.

Untuk mengklasifikasikan seberapa andal data yang Anda bicarakan, Anda harus memeriksa Hirarki Bukti.

Kami menggunakan data kuantitatif untuk pra-filter, kemudian menggunakan data kualitatif dan sumber daya ilmiah untuk masuk lebih dalam, dan sekali lagi data kuantitatif untuk membuktikan atau menyangkal asumsi dan hipotesis awal.

Di bagian atas upaya kami adalah apa yang disebut analisis meta, memungkinkan kami untuk mencari pola di seluruh eksperimen sebelumnya dan menyelaraskan upaya penelitian dan eksperimen lebih lanjut.

Cara lain yang baik untuk menghilangkan bias adalah dengan membuat pemutusan antara orang yang membuat eksperimen dan orang yang mengevaluasi hasilnya. Ini meminimalkan bias terhadap keberhasilan percobaan.

Mitos pengoptimalan apa yang paling mengganggu yang Anda harap akan hilang?

Saya ingin menghilangkan dua mitos:

1. Pengujian itu menimbulkan risiko, padahal sebenarnya itu mengurangi risiko bila dilakukan dengan benar
2. Bahwa perusahaan kecil tidak dapat menguji, padahal sebenarnya perusahaan kecil dengan sedikit lalu lintas dapat menguji dengan lebih berani karena risiko yang terkait/kurang dipertaruhkan lebih kecil.

Mudah-mudahan, wawancara kami dengan Nils akan membantu memandu strategi eksperimen Anda ke arah yang benar!

Nasihat apa yang paling sesuai dengan Anda?

Dan jika Anda belum melakukannya, lihat wawancara kami sebelumnya dengan legenda CRO Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Deborah O'Malley , Andra Baragan , Rich Page , Ruben de Boer , Abi Hough , Alex Birkett , John Ostrowski , Ryan Levander , Ryan Thomas , Bhavik Patel , Siobhan Solberg , Tim Mehta , Rommil Santiago , dan yang terbaru dengan Steph Le Prevost .