Menguji Seri Peta Pikiran: Cara Berpikir Seperti CRO Pro (Bagian 6)

Wawancara dengan Jakub Linowski dari GoodUI

Pernahkah Anda bertanya-tanya mengapa beberapa orang sepertinya memiliki bakat untuk CRO?

Bukan hanya karena mereka pandai mengatur eksperimen. Mereka juga tahu bagaimana memikirkan berbagai hal dengan cara yang berbeda, yang juga akan membantu Anda melakukannya dengan seri ini. Kami akan melihat dari dekat pola pikir yang membentuk CRO yang sukses dan bagaimana Anda dapat menerapkannya pada strategi Anda.

Jika Anda dapat menempatkan diri Anda ke dalam kerangka berpikir yang benar, maka kesuksesan akan datang jauh lebih mudah daripada jika Anda mencoba tanpa terlebih dahulu memahami di mana letak titik-titik buta Anda. Pada akhirnya, Seri Peta Pikiran Pengujian dimaksudkan untuk membantu Anda merencanakan strategi pengoptimalan dengan lebih baik dan menjalankan pengujian dengan lebih percaya diri!

Dalam artikel ini, Jakub Linowski dari GoodUI berbagi bahwa kekuatan eksperimen tidak hanya terletak pada kemampuannya sebagai metode yang berguna tetapi juga untuk menghasilkan wawasan yang kuat yang dapat menginformasikan keputusan yang lebih baik.

Jakub, ceritakan tentang diri Anda. Apa yang menginspirasi Anda untuk melakukan pengujian & pengoptimalan?

Saya tertarik pada dunia eksperimen sekitar tahun 2014 ketika latar belakang desain saya membawa saya ke jalan ini. Ketika orang-orang mulai berbagi contoh UI yang baik dan daftar “praktik terbaik”, saya pun demikian, dan itulah bagaimana GoodUI.org muncul. Namun, tidak butuh waktu lama bagi saya untuk menyadari bahwa semua saran dan pola UI saya lebih dekat dengan hipotesis visual daripada apa pun yang didukung oleh bukti. Saya benar-benar ingin mendapatkan lebih banyak kepercayaan diri dan melakukan pekerjaan yang lebih baik dalam menyaring ide-ide bagus dari yang buruk.

Jadi ketika saya mendengar tentang pengujian A/B, itu membuat saya cukup bersemangat (meskipun saya tidak tahu apa itu interval kepercayaan). Saya menyewa pengembang front-end dan kami memulai agensi pengoptimalan kecil. Kami mulai menguji ide apa pun yang kami baca di blog, yang didengar dari klien kami, serta dari perpustakaan pola GoodUI kami yang baru muncul. Dengan sebagian besar klien kami mengizinkan kami untuk memublikasikan pengujian a/b secara terbuka, mulai terlihat bahwa beberapa pola lebih baik daripada yang lain. Beberapa tidak berbuat banyak. Lainnya direplikasi dengan baik. Dan lainnya menghasilkan hasil negatif.

Kami sekarang perlu menimbang eksperimen ini.

Maka GoodUI.org dengan cepat mulai berubah menjadi gudang eksperimen serupa dan sebanding dengan lingkaran umpan balik lingkaran penuh. Hal-hal yang berkinerja lebih baik dengan frekuensi dan dampak yang lebih tinggi muncul ke atas (menggunakan data agregat median). Sementara hasil pengujian untuk pola serupa dimasukkan kembali ke database kami, mengoreksi prediksi kami dan meningkatkan akurasi.

Jadi ya, saya menikmati eksperimen untuk kedua metode yang luar biasa itu, tetapi juga sebagai sumber pengetahuan profesional yang kuat yang memungkinkan kita membuat prediksi yang lebih baik.

Sudah berapa tahun Anda mengoptimalkannya? Apa satu-satunya sumber daya yang Anda rekomendasikan untuk calon penguji & pengoptimal?

Kami menjalankan uji lompatan a/b pertama kami pada bulan Mei 2014 di halaman arahan kutipan untuk perusahaan asuransi besar. Variasinya mencakup semua yang kami ketahui saat itu tentang penyempurnaan formulir, salinan, dan formulir prospek berdasarkan pengalaman kami yang terbatas. Hasilnya adalah peningkatan relatif +53% pada lead (±28, p-val 0,0002). Ini adalah eksperimen pertama saya yang membuat saya ketagihan.

Sejauh sumber daya, saya suka belajar dari apa yang orang lain uji. Sangat menarik dan berharga untuk melihat eksperimen dari pemain besar seperti Netflix, Airbnb, dan Amazon yang kami tahu memiliki ukuran sampel yang baik dan menjalankan banyak pengujian. Secara keseluruhan, saya pikir itu selalu ide yang baik untuk belajar dari orang-orang beberapa langkah di depan kita (seperti yang disarankan oleh banyak orang, termasuk dalam Penguasaan oleh Robert Greene).

Jawab dalam 5 kata atau kurang: Apa disiplin pengoptimalan bagi Anda?

Pengoptimalan berarti kami meningkatkan banyak hal.

(Hasil sangat penting untuk pengoptimalan. Misalnya, seratus hasil eksperimen datar atau tidak diinginkan tidak cukup baik. Anda mungkin belajar satu ton, ya. Tapi agar kita bisa mengoptimalkan sesuatu, kita perlu menggerakkan jarum ke arah yang kita inginkan .)

Apa 3 hal teratas yang HARUS dipahami orang sebelum mereka mulai mengoptimalkan?

EKSPLORASI – menghasilkan ide sebanyak mungkin.

EKSPLOITASI – memprioritaskan ide dengan hasil masa lalu untuk kecepatan yang lebih besar.

EKSPERIMENTASI – membuka ide kita untuk dipalsukan atau divalidasi.

Bagaimana Anda memperlakukan data kualitatif & kuantitatif sehingga dapat menceritakan kisah yang tidak bias?

Saya setuju dengan gagasan untuk memvalidasi hasil tes a/b. Secara umum, semakin banyak ukuran yang kita miliki yang koheren, semakin andal dan tepercaya eksperimen kita.

Dalam hal membandingkan hasil, ada beberapa cara yang dapat kita lakukan:

• Membandingkan Beberapa Metrik Dari Eksperimen yang Sama (misalnya konsistensi efek di seluruh: menambah keranjang, penjualan, pendapatan, pembelian kembali, dll.)
• Membandingkan Data Historis di Eksperimen Terpisah (misalnya konsistensi efek antara dua eksperimen terpisah yang dijalankan di 2 situs web terpisah)

Program pembelajaran seperti apa yang telah Anda siapkan untuk tim pengoptimalan Anda? Dan mengapa Anda mengambil pendekatan khusus ini?

Saya sangat percaya bahwa replikasi eksperimen adalah elemen penting untuk menjadi lebih baik dalam memprediksi hasil tes (menghasilkan pengetahuan profesional).

Oleh karena itu, di platform kami sendiri, kami mengelompokkan eksperimen serupa dan menggabungkan metrik serupa.

Saat membangun basis pengetahuan dari eksperimen, hal penting lainnya adalah meminimalkan bias publikasi . Artinya, menyimpan catatan semua eksperimen terlepas dari hasilnya (termasuk yang positif, negatif, signifikan, dan tidak signifikan).

Mitos pengoptimalan apa yang paling mengganggu yang Anda harap akan hilang?

Baru-baru ini, saya merasa terganggu oleh orang-orang yang mengklaim bahwa eksperimen tidak memiliki kerugian (ditangkap dengan baik oleh utas LinkedIn yang luar biasa ini). Cara halus yang terkadang keluar adalah melalui pernyataan yang terdengar mirip dengan "tidak ada tes yang kalah, hanya pembelajaran".

Ini mungkin benar di dunia menara gading di mana pembelajaran adalah tujuan utama dan di mana eksperimen dilindungi dari biaya.

Namun, sebagai sebuah profesi, ketika kami menggunakan eksperimen sebagai alat untuk mengoptimalkan situs web klien, tidak ada makan siang gratis. Menjalankan eksperimen disertai dengan biaya, risiko, kerugian, dan kelebihannya. Dari sudut ini, saya pikir sangat sehat untuk melacak dan mengakui hasil apa adanya (termasuk merasa nyaman mengakui garis-garis tes negatif dan tidak menutupinya). Semua profesi membutuhkan umpan balik positif dan negatif untuk terus menjadi lebih baik.

Semoga wawancara kami dengan Jakub akan membantu memandu strategi konversi Anda ke arah yang benar! Nasihat apa yang paling sesuai dengan Anda?

Pastikan untuk menantikan wawancara kami berikutnya dengan pakar CRO yang membawa kami melalui strategi yang lebih maju! Dan jika Anda belum melakukannya, lihat wawancara kami dengan Gursimran Gujral dari OptiPhoenix , Haley Carpenter dari Speero , Rishi Rawat dari Frictionless Commerce , Sina Fak dari ConversionAdvocates , dan Eden Bidani dari Green Light Copy !