Bagaimana Memperlakukan Data Kualitatif & Data Kuantitatif untuk Memenangkan Tes A/B?

Jika kami memecahnya menjadi konsep intinya, CRO kurang tentang konversi dan lebih banyak tentang memahami audiens Anda dan bagaimana mereka berinteraksi dengan situs web Anda.

Semakin Anda memahami mereka, apa yang mereka inginkan, dan bagaimana mereka bertindak di situs Anda, semakin baik pengalaman pelanggan dan penawaran yang dapat Anda berikan.

Artinya, tujuan utama kami sebagai penguji adalah mencari informasi sebanyak mungkin . Semakin banyak data yang kami miliki, semakin baik kami dapat merencanakan pengujian dan mencoba melihat peningkatan hasil.

Masalah?

Kami tidak selalu hebat dalam mengumpulkan atau memahami data itu. Mungkin kita tidak tahu alat yang digunakan, proses untuk menemukan informasi, atau mungkin kita tidak menganalisis dan mendapatkan wawasan yang akurat, baik karena kurangnya pengalaman atau lebih buruk, menambahkan bias kita sendiri yang merusak hasil.

Itulah yang akan kita bahas dalam panduan hari ini: Bagaimana mengumpulkan informasi tentang audiens Anda, memahaminya, dan menggunakannya. Kami bahkan akan mempelajari lebih dalam dan melihat penguji lain dan prosesnya sehingga Anda dapat mengumpulkan lebih banyak ide dan wawasan untuk pengujian baru Anda.

Teruslah membaca untuk mengetahui lebih lanjut, atau klik di sini untuk mempelajari "cara menggunakan data untuk mendorong pengujian A/B yang menang".

Dalam hal pengujian dan pencarian informasi untuk situs atau aplikasi Anda, ada dua jenis data yang ingin kami lihat.

Contoh analisis data kuantitatif dapat berupa:

• Mengukur lalu lintas ke halaman
• Rasio pentalan lalu lintas itu
• RKPT
• Tarif pelanggan
• Tingkat penjualan
• Nilai jual rata-rata.

Sebagian besar program pengujian akan dimulai dengan analisis teknis untuk mendapatkan data tentang apa yang berfungsi atau rusak di situs web, dan kemudian analisis kuantitatif untuk mendapatkan dasar tentang kinerja situs saat ini, sebelum beralih ke analisis kualitatif.

Contoh data kualitatif adalah

• Riset pengguna
• Gulir peta
• Pelacakan klik
• Pemetaan panas
• Survei.

Tujuannya adalah untuk mendapatkan pemahaman yang lebih baik tentang audiens dan bagaimana mereka berinteraksi, sehingga kami dapat menemukan potensi masalah pada penggunaan situs, atau mempelajari masalah eksternal apa pun yang dapat memengaruhi tindakan mereka di situs.

Misalnya, meskipun kami tahu CTA tidak mendapatkan banyak klik, hanya melalui wawancara pelanggan kami mengetahui bahwa bahasanya tidak jelas atau tidak sesuai dengan audiens.

Apa Cara yang Benar untuk Menggunakan Data dalam Pengujian A/B?

Meskipun sepertinya kami hanya melacak peristiwa konversi tertentu atau memantau perilaku pengguna, tujuannya adalah untuk menggabungkan data kuantitatif dan kualitatif . Mungkin untuk menemukan kesalahan teknis atau masalah umum, tetapi idealnya, kami menggabungkannya sehingga kami dapat mendidik diri sendiri dan mendapatkan wawasan yang lebih holistik tentang audiens kami.

Kami juga tidak hanya ingin informasi langsung. Kami ingin mencari tahu mengapa sesuatu terjadi dan kemudian melangkah lebih jauh untuk menemukan akar masalahnya.

Katakanlah kita melakukan penelitian kuantitatif dan kita melihat bahwa tingkat konversi pada halaman rendah. Apakah penawaran atau produk tidak diinginkan? Atau apakah kita perlu memperbaiki prosesnya?

Kami kemudian menjalankan peta panas di halaman arahan dan melihat bahwa mayoritas audiens tidak mengklik CTA tertentu, sehingga kami dapat berhipotesis mengapa. Mungkin bahasanya kurang jelas?

Tetapi kemudian pada pemeriksaan yang lebih dalam, kami melihat bahwa untuk beberapa perangkat itu hanya di luar layar, sementara pada yang lain, itu tidak cukup menonjol bahkan untuk menjadi jelas bahwa itu adalah tombol yang harus ditekan.

• Jika semua yang kita lihat adalah data kualitatif, maka kita hanya akan berpikir itu RKPT rendah.
• Jika semua yang kita lihat adalah data kualitatif, maka kita mungkin menganggap orang tidak mengklik.

Tapi dengan menggabungkannya, kita bisa melihat lebih dalam. (Beginilah cara kami benar-benar memahami data dalam pengujian A/B.)

Ungkapan lama benar bahwa "apa yang diukur akan dikelola". Kuncinya, tentu saja, adalah memastikan bahwa kita tidak membuat keputusan berdasarkan kumpulan data yang terbatas atau cacat sehingga SELALU melihat berbagai sumber data.

Belajar untuk memperlambat, bertanya mengapa, dan membiarkan data meresap akan membantu Anda menjadi penguji dan pemecah masalah yang jauh lebih baik.

Daripada mencoba menemukan jawabannya segera, tanyakan pada diri Anda apakah Anda memiliki informasi yang cukup:

• Apakah pengguna Anda memiliki masalah yang mudah diperbaiki (tombol rusak atau CTA lemah) atau mungkinkah ada lebih dari ini yang juga dapat diperbaiki?
• Apakah Anda memiliki bias bawaan atau pengalaman sebelumnya yang memengaruhi ide awal Anda?
• Bisakah Anda mengetahui lebih banyak tentang audiens Anda terlebih dahulu?

Bagaimana jika dengan melihat lebih dalam pada masalah CTA dan tata letak ini, Anda menemukan bahwa sebagian besar audiens Anda menggunakan perangkat seluler usang dengan resolusi layar dan kecepatan pemuatan yang berbeda? Bisa jadi mereka kehilangan sebagian besar konten dan interaksi Anda dan bukan hanya CTA dan halaman penjualan Anda. Bahkan media sosial dan konten blog Anda bisa terpengaruh!

Masuk lebih dalam lagi. Mengapa mereka memiliki perangkat ini? Bisakah mereka tidak membeli perangkat yang lebih mahal? Apakah itu tidak penting bagi mereka? Jika tidak, lalu apa?

Jangan hanya mencoba membuat semua keputusan berdasarkan apa yang Anda miliki sejauh ini. Luangkan waktu Anda, pikirkan dan selami lebih dalam dengan hasil apa pun yang Anda dapatkan. Temukan alasannya.

Kesalahan Besar yang Harus Dihindari saat Mengumpulkan & Menganalisis Data

Sekarang, jangan khawatir jika Anda adalah tipe penguji yang mencoba menemukan wawasan langsung dari penelitian awal mereka karena Anda tidak sendirian dalam hal ini.

Ini hanyalah salah satu dari beberapa masalah berulang yang dilakukan kebanyakan orang ketika mencoba mengumpulkan atau memahami data mereka…

Masalah #1: Mengumpulkan Data untuk Membuktikan Pendapat

Apakah Anda menggunakan data untuk menemukan wawasan baru? Atau apakah Anda menggunakan data untuk memvalidasi ide-ide saat ini?

Tidak apa-apa menggunakan data untuk memvalidasi sebuah ide. Itulah tujuan hipotesis. Kami memiliki gagasan tentang apa yang salah dan bagaimana memperbaikinya, jadi kami mencoba membuktikannya dengan tes dan hasilnya.

Tapi jangan lupa metode ilmiahnya! Kita tidak bisa terikat pada ide dan pendapat kita. Kita perlu memercayai data dan menemukan alasan sebenarnya. Itu yang kami pedulikan. Tidak apa-apa untuk 'salah' dengan hipotesis. Menemukan wawasan yang berbeda dari tes yang gagal hanya mengajarkan Anda lebih banyak tentang audiens Anda!

Berhati-hatilah dengan data yang memberi tahu Anda satu hal, tetapi Anda mencondongkannya untuk mencoba dan membuktikan sesuatu yang lain.

Masalah #2: Mensponsori Analisis tanpa Mengartikulasikan Masalah dengan Jelas

Masalah umum dalam pengujian (dan bahkan sebagian besar bisnis) adalah bahwa orang yang menganalisis data tidak selalu analis.

Sebaliknya, analis digunakan sebagai media untuk menarik informasi ke dalam laporan untuk pihak ketiga yang mencoba memecahkan masalah. (Mereka hampir menjadi dasbor yang dimuliakan.)

Berikut ini contohnya:

• Bos Anda memiliki tujuan dan masalah.
• Mereka memiliki gambaran kasar tentang solusi dan penyebabnya, sehingga meminta analis data tentang XYZ, tetapi tanpa konteks. Mereka mencoba mencari tahu apakah masalah dan solusi ini mungkin berhasil.
• Biasanya, ada bolak-balik untuk meminta lebih banyak data. Permintaan ini salah mendukung gagasan tersebut, atau tidak ada pemahaman lebih lanjut yang terjadi.
• Jadi tes atau ide baru diajukan, dan masalahnya tetap tidak terpecahkan.

Tidak bagus, kan?

Tapi bayangkan jika bos datang ke analis dengan konteks masalah tertentu dan mereka bekerja sama untuk mengartikulasikan masalah dan menemukan akar masalahnya?

Ini bisa mempercepat pemahaman dan tes baru untuk menyelesaikannya.

Masalah #3: Mengandalkan Satu Sumber Data tanpa Membenamkan Diri dalam Perspektif yang Berbeda

Kami telah mengisyaratkan hal ini sebelumnya, tetapi sangat penting untuk tidak terpaku pada satu sumber data saja, karena Anda sangat membatasi pemahaman dan solusi serta ide pengujian potensial Anda.

Semakin banyak sumber yang Anda miliki, semakin baik Anda dapat melukiskan gambaran tentang apa yang terjadi dan mengapa.

Ya, itu membutuhkan waktu tetapi pengoptimalan tingkat konversi adalah tentang memahami audiens itu. Kerjakan dan pelajari sebanyak mungkin.

Semakin banyak Anda tahu semakin baik!

melalui GIPHY

Masalah #4: Tidak Memprioritaskan Berpikir Kritis sebagai Keterampilan

Otak kita aneh. Kami berfungsi pada sistem impuls dasar, pendorong emosional, dan pengalaman sebelumnya. Tujuannya adalah untuk membuat kita tetap hidup, berkembang biak, dan membuat keputusan tanpa membuang terlalu banyak energi.

Mengetahui hal ini, selalu cerdas bagi penguji (dan pemilik bisnis mana pun) untuk menyadari proses Pemikiran Kritis dan Bias Kognitif dan bagaimana keduanya memengaruhi pemahaman dan keputusan kita…

Apa Itu Berpikir Kritis?

Berpikir kritis adalah kemampuan menganalisis fakta dan data untuk membentuk penilaian tanpa bias .

Ada ratusan hal berbeda yang masuk ke dalam pengambilan keputusan kita, salah satunya adalah bias keputusan berdasarkan pengalaman atau situasi hidup sebelumnya. Kami menyebutnya bias kognitif .

Mereka yang berlatih berpikir kritis memahami hal ini, jadi mereka menggunakan proses khusus untuk membantu mereka membuat penilaian yang tidak bias:

• Identifikasi . Temukan masalahnya.
• Mengumpulkan Data . Pastikan untuk menggunakan banyak sumber. Pastikan untuk tidak menambahkan bias pada pemilihan sumber.
• Analisis . Bisakah Anda mempercayai sumber-sumber ini? Apakah mereka dapat diandalkan? Apakah kumpulan data cukup besar untuk menjadi kenyataan?
• Interpretasi + Inferensi. Pola apa yang dapat Anda lihat dari data ini? Apa yang dikatakannya sejauh ini? Apa yang paling signifikan? Apakah Anda melihat sebab akibat atau korelasi?
• Penjelasan . Menurut Anda mengapa ini terjadi?
• Regulasi Diri . Apakah Anda memiliki bias kognitif yang memengaruhi analisis ini dan menguji hipotesis? Apakah Anda membuat asumsi yang salah? Bekerja melalui mereka untuk memastikan.
• Pikiran Terbuka, dan Pemecahan Masalah. Dengan pemahaman Anda saat ini, bagaimana Anda dapat mengatasi masalah ini? Apakah Anda perlu belajar lebih banyak terlebih dahulu?

Seperti yang Anda lihat, memiliki proses untuk menganalisis informasi ini sangat penting. Meskipun demikian, Anda harus melihat bias bawah sadar apa pun yang dapat memengaruhi cara Anda membuat keputusan dan menganalisis data ini.

Apa itu Bias Kognitif?

Bias kognitif adalah kode curang bagi otak kita untuk menghemat energi pada keputusan dengan menggunakan pengenalan pola. Masalahnya tentu saja adalah bahwa bias kita tidak selalu benar dan bias tersebut dapat mempengaruhi keputusan dan tindakan kita, secara positif atau negatif. Ik Hal ini terutama terlihat dalam hal pengujian.

Berikut beberapa contohnya:

• Bias Tindakan : Kecenderungan untuk ingin mengambil tindakan bahkan ketika data menunjukkan tidak ada perbaikan yang dapat dilakukan?
• Bias Penahan: Kecenderungan untuk mendasarkan keputusan pada informasi yang diperoleh sebelumnya.
• Bias Otoritas: Kecenderungan untuk menempatkan nilai yang lebih tinggi pada opini dari posisi otoritas.

Dapatkah Anda melihat bagaimana hal ini dapat memengaruhi analisis data dan ide pengujian Anda?

Ada terlalu banyak untuk saya bahas di sini (beberapa memperkirakan sekitar 150 total). Saya sangat menyarankan Anda membuat daftar Anda sendiri. Kemudian Anda dapat mencoba membangun proses berpikir kritis untuk menganalisis data Anda seperti yang telah kami jelaskan sebelumnya dan 'memeriksa' setiap potensi bias yang mungkin memengaruhi analisis Anda.

Masalah #5: Mengambil Korelasi Sebagai Penyebab

Ini hampir mengikat kembali ke bias kognitif, di mana kita melihat pola dalam data yang mungkin ada, tetapi mungkin bukan penyebab hasilnya.

Mereka hanya sering terjadi bersama sebagai produk sampingan atau kebetulan sederhana.

Misalnya, sebagian besar peselancar tidak bekerja di pagi hari dan akan berselancar sebagai gantinya. (Saat itulah Anda memiliki angin lepas pantai terbaik untuk ombak).

Bagi orang yang menonton di pantai, Anda akan berasumsi bahwa mungkin orang-orang ini tidak memiliki pekerjaan atau sedang sakit. Namun, setelah melakukan beberapa percakapan di laut, menjadi jelas bahwa hampir semua orang di luar sana berselancar bekerja untuk diri mereka sendiri sehingga dapat memilih dan memilih jam mereka.

Sekarang beberapa dari mereka mulai berselancar karena mereka memiliki fleksibilitas dan waktu luang (Korelasi), tetapi yang lain memilih profesi di mana mereka dapat memiliki fleksibilitas ini sehingga mereka dapat pergi berselancar (Penyebab).

Cukup keren, bukan?

Faktanya adalah, bahkan setelah penelitian awal dan 'wawancara', akan mudah untuk mendapatkan pandangan yang tidak akurat dari kumpulan data. Pastikan untuk melihat data Anda dengan pikiran terbuka dan menyelam lebih dalam untuk menemukan penyebab sebenarnya.

Berbagai Metode Pengumpulan Data Kualitatif & Kuantitatif

Apa yang bisa kita gunakan untuk mengumpulkan data ini?

Untuk pengumpulan data kuantitatif, kami biasanya melihat dua jenis alat:

• Alat analitik seperti Google Analytics atau penyedia pihak ketiga untuk mendapatkan hasil terkini.
• Alat pengujian A/B seperti Konversi Pengalaman sehingga Anda dapat mengukur perubahan numerik dalam kinerja antara variasi dan kontrol.

Keduanya akan memberi kita data numerik mentah.

(Lihat panduan perbandingan kami untuk alat pengujian A/B di sini sehingga Anda dapat melihat mana yang paling cocok untuk Anda.)

Untuk penelitian kualitatif, kami melihat pilihan yang lebih luas, karena kami menguji beberapa elemen berbeda:

• Pemetaan panas
• Pelacakan klik
• Pelacakan mata
• Rekaman pengguna
• Survei di tempat, dan
• Survei pelanggan langsung.

Pelacakan mata cenderung menjadi alat dengan biaya tertinggi karena persyaratan perangkat kerasnya. Ada beberapa opsi perangkat lunak yang tersedia untuk dipasang dan digunakan sendiri, sementara opsi lainnya adalah menyewa perusahaan eksternal yang memasang kacamata atau kamera pelacak mata untuk memeriksa pergerakan mata dan lokasi yang diminati.

Untuk pemetaan panas, pelacakan klik, perekaman pengguna dasar, dan survei, Anda dapat menggunakan alat murah seperti Hotjar yang menggabungkan semua fitur ini. Ini membantu Anda untuk menemukan masalah umum dan mendapatkan wawasan hampir seketika tanpa harus mendapatkan bantuan pihak ketiga, dan *hampir* melakukan fungsi yang sama seperti pelacakan mata.

Terakhir, Anda juga dapat mengambil rekaman pengguna selangkah lebih maju dan mempekerjakan agensi yang akan membawa pengguna independen untuk menggunakan halaman web Anda, membuat mereka melakukan tugas yang ditetapkan, dan kemudian merekam interaksi mereka dan meneruskan informasi tersebut kepada Anda.

Catatan sampingan:

Meskipun kami tidak mencantumkan ini di bagian Alat Kuantitatif, terkadang ada tumpang tindih di mana alat Kualitatif dapat digunakan untuk akuisisi data Kuantitatif.

Anda dapat menggunakan alat survei dan mengukur jawaban dari X jumlah peserta untuk mendapatkan nilai numerik dari pemikiran mereka tentang salinan penjualan dan bagaimana mereka pikir mereka akan menanggapinya.

Namun… Ini masih subjektif karena apa yang orang katakan tidak selalu apa yang mereka lakukan .

Itu selalu merupakan ide yang baik untuk mengukur umpan balik mereka untuk suatu tindakan (apa yang mereka katakan) dan kemudian mengukur respons tindakan yang sebenarnya juga (tindakan yang mereka ambil). Terkadang ini bisa memberi Anda ide yang lebih dalam tentang apa yang harus diberikan dan bagaimana membingkainya.

Bagaimana Eksperimen Pro Mendekati Data Kualitatif & Kuantitatif?

Ingin tahu bagaimana para profesional mengumpulkan dan menggunakan data? Kami baru-baru ini mewawancarai 7 profesional CRO sebagai bagian dari seri “Think like a CRO pro' kami.

Saya tidak akan merusak wawancara mereka karena saya sangat menyarankan Anda membacanya, namun, saya telah menarik beberapa informasi menarik tentang bagaimana mereka berpikir tentang data di bawah ini, serta pemikiran saya tentang metode mereka…

Gursimran Gurjal – OptiPhoenix

Data kuantitatif umumnya baik untuk mengungkap lubang konversi dasar untuk memahami di mana pengguna turun, bagaimana kinerja saluran yang berbeda, CR dari perangkat yang berbeda, di mana pengguna keluar dari situs web, dll, sedangkan data kualitatif membantu kami mengungkap detail mengapa pengguna berhenti atau mengambil tindakan tertentu .

Menggabungkan "Di mana + Mengapa" bersama dengan eksperimen memberikan gambaran lengkap tentang perilaku pengguna.

Mempelajari data kualitatif seperti peta panas, rekaman sesi, hasil survei, atau melakukan pengujian kegunaan menuntut lebih banyak waktu untuk membuat pola yang signifikan secara statistik sedangkan data kuantitatif lebih mudah dianalisis. untuk tidak hanya mengandalkan GA atau Hotjar untuk mengumpulkan data, tetapi juga mendorong peristiwa khusus Anda sendiri untuk membuat data lebih bermakna seperti menandai rekaman untuk semua pengguna yang mendapatkan kesalahan dalam proses checkout, mengirim peristiwa ke GA untuk filter mana atau opsi penyortiran yang paling sering digunakan, dll., sehingga Anda dapat memanfaatkan data yang tersedia semaksimal mungkin .

Menambahkan tag khusus untuk mendapatkan garis besar data adalah ide yang fantastis. Dengan cara ini Anda tidak hanya dapat melihat masalah dan ke mana arahnya, tetapi juga dari mana asalnya dan sumber lalu lintasnya.

Haley Carpenter, Pakar Strategi Senior CRO

Selalu ingatkan diri Anda bahwa kita semua memiliki bias. Ketahuilah bahwa adalah tugas Anda untuk melaporkan sejujur ​​dan seakurat mungkin. Integritas adalah nilai kunci yang harus dipegang teguh.

Juga, periksa kembali pekerjaan Anda atau minta orang lain untuk meninjaunya jika Anda tidak yakin akan sesuatu. Sepasang mata kedua terkadang bisa sangat bermanfaat, terutama jika Anda telah menatap sesuatu selama berjam-jam, berhari-hari, atau berminggu-minggu.

Saya pernah mengambil kursus antropologi di mana kami harus menyalin rekaman. Profesor itu menekankan bahwa sangat penting untuk menjaga transkripsi tetap benar bagi orang yang mengucapkan kata-kata itu. Kami bahkan tidak boleh melakukan sesuatu seperti memotong satu kata dua huruf atau memperbaiki kesalahan tata bahasa yang kecil.

Saya telah memegang pelajaran ini sampai hari ini dan saya menerapkannya pada analisis data… terutama rekaman pengujian pengguna. Sangat penting untuk menjaga analisis Anda sebenar mungkin dengan data asli

Mengamati banyak penelitian dan hasil adalah cara yang bagus untuk tidak melewatkan masalah apa pun, menghilangkan potensi bias, dan mendapatkan sudut pandang yang berbeda. Hal ini sering kali dapat mengarah pada wawasan yang mungkin terlewatkan oleh satu penguji.

Rishi Rawat – Perdagangan Tanpa Gesekan

Pandangan saya tentang data kuantitatif:

Datanya adalah datanya. Jangan menyipitkan mata untuk memahaminya. Jangan terikat secara emosional dengannya. Nyatakan hipotesis Anda sebelum pengumpulan data dimulai. Jika data menyangkal naluri Anda, rancang ulang tes baru dan luncurkan. Datanya adalah datanya. Hormati itu.

Pandangan saya tentang data kualitatif:

Kami memiliki pandangan kontroversial tentang topik ini. Kami tidak percaya pada penelitian pengguna akhir, artinya, saya tidak berbicara dengan orang yang membeli produk. Bukannya menurut saya jenis penelitian ini tidak penting, melainkan; itu hanya mahal. Saya lebih suka mendapatkan semua data kualitatif saya dari pendiri atau penemu produk yang sedang saya kerjakan.

Di mana pengalaman pengguna pembeli akhir hanyalah cuplikan dari satu pembelian yang dilakukan pada saat itu, penemu memiliki konteks tentang keseluruhan perjalanan. Saya ingin mendapatkan 'rasa' kuantitatif saya dari pendiri. Pendiri/penemu memiliki begitu banyak pengetahuan kelembagaan yang akan membuat Anda pusing. Hanya saja mereka sudah berada di 'tengah' begitu lama sehingga mereka tidak tahu harus mulai dari mana. Di sinilah keterampilan bertanya-tanya dari pengoptimal ikut bermain. Pengoptimal membantu pembuat konten dengan tampilan luar. Saya sangat menghargai jenis data kualitatif ini

Nah, ini ide yang menarik…

Di CRO, kami cenderung berfokus pada pengguna untuk memahami perjalanan pelanggan. Masalahnya adalah pelanggan terkadang tidak tahu apa yang salah atau bagaimana mengartikulasikannya.

Demikian juga, bagaimanapun, pemilik bisnis dapat mengetahui produk luar dalam tetapi buruk dalam mengkomunikasikannya. Bagi mereka, itu jelas karena mereka memiliki semua pengalaman, tetapi bagi pelanggan, pesan itu mungkin kehilangan sesuatu. Di dunia yang ideal, jika Anda menjalankan tes untuk perusahaan lain, Anda ingin berbicara dengan audiens dan pemiliknya.

Jika Anda tidak punya waktu atau sumber daya, bicaralah dengan pemilik bisnis. Seperti yang dikatakan Rishi, mereka sering memiliki semua wawasan yang dapat ditarik keluar. Tugas kami sebagai penguji kemudian adalah menemukan di mana hal itu hilang dan bagaimana hal itu dapat terhubung dengan pelanggan.

Sina Fak – Pendukung Konversi

Kenyataannya adalah bahwa semua data memiliki bias yang tertanam di dalamnya.

Segala sesuatu mulai dari bagaimana data dikumpulkan, hingga sampel data yang digunakan untuk analisis, hingga orang yang meninjau data dan menjalankan analisis – ada unsur bias yang tidak dapat kita kendalikan sepenuhnya.

Data saja tidak akan memberi Anda keseluruhan cerita. Ini hanya akan memberi Anda titik awal untuk memahami bagian dari cerita dan menarik wawasan. Satu-satunya cara untuk memperlakukan data dengan cara yang menceritakan kisah yang tidak bias adalah dengan mengujinya dan menjalankan eksperimen dengannya

Ini terkait dengan apa yang kami katakan sebelumnya.

Setiap tes dan penelitian memiliki bias. Kita dapat mencoba untuk meniadakan sebagian dari itu dengan proses berpikir kritis dan analisis, tetapi itu masih dapat menyusup.

Uji idenya, cari tahu dan uji lagi. Jangan lupakan metode ilmiah. Kita bisa 'gagal maju' dan menemukan jawaban yang kita cari juga.

Jakub Linowski – GoodUI

Secara umum, semakin banyak ukuran yang kita miliki yang koheren, semakin andal dan tepercaya eksperimen kita.

Saat membandingkan hasil pengujian A/B, ada beberapa cara yang dapat kita lakukan:

● Membandingkan Beberapa Metrik Dari Eksperimen yang Sama (misalnya konsistensi efek di seluruh penambahan ke keranjang, penjualan, pendapatan, pembelian kembali, dll.)

● Membandingkan Data Historis di Eksperimen Terpisah (misalnya konsistensi efek antara dua eksperimen terpisah yang dijalankan di 2 situs web terpisah

Jangan lupa bahwa analisis data Quant dan Qual sama pentingnya dengan POST TEST seperti dalam perencanaan awal kami.

Memiliki proses di tempat untuk checklist melalui potensi masalah dan lokasi untuk 'aha moment' dapat memberikan hasil yang jauh lebih baik daripada pandangan awal.

(Terkadang data ada di sana dan kami melewatkannya.)

Eden Bidani – Salinan Lampu Hijau

Saya mencoba untuk bekerja sebanyak mungkin dengan kedua jenis data berdampingan di depan saya. Bagi saya, itu membantu menyeimbangkan gambaran penuh.

Data qual memberikan kedalaman dan makna pada quant, dan data quant memberikan arahan umum mengenai elemen data qual mana yang harus diberikan lebih banyak w delapan.

Menggabungkan kedua kumpulan data sehingga Anda dapat membandingkan dan membedakan adalah cara terbaik untuk menganalisis dan memahami apa yang terjadi.

Ini terkait dengan apa yang kami katakan sebelumnya tentang memiliki satu kumpulan data untuk menemukan masalah dan solusi. Jika semua yang kita miliki adalah satu maka kita akan sampai pada kesimpulan yang berbeda. Gunakan keduanya untuk mencoba dan menemukan korelasi itu.

Shiva Manjunath – Speero

Cara saya mencoba mendekati analisis Quant + Qual seperti interogasi polisi. Ada motif atau hipotesis, tetapi Anda tidak dapat berasumsi bahwa orang yang Anda bawa untuk ditanyai tidak bersalah atau bersalah. Orang yang dibawa (data eksperimen) dianggap tidak bersalah, dan adalah tugas Anda untuk membuktikan bahwa mereka bersalah tanpa keraguan (signifikansi statistik).

Jadi Anda bisa melihat sendiri datanya, mewawancarai orang lain (data kualitatif), dan mungkin melihat laporan bank atau melihat catatan kapan seseorang masuk/keluar untuk bekerja untuk melihat apakah alibi mereka keluar (data kuantitatif).

Mungkin bukan contoh terbaik, tetapi Anda harus selalu mendekatinya secara objektif. Dan menguatkan sumber data (misalnya peta panas dengan jajak pendapat di situs dengan data kuantitatif) untuk menghasilkan sebuah cerita, dan lihat apakah itu mendukung, atau tidak mendukung, hipotesis. Dengan ketelitian statistik, jelas y!

Saya suka analogi ini dan itu mengingatkan saya pada Sherlock Holmes dan langsung menuju pengujian.

Saya belum punya datanya. (Atau tidak cukup). Ini adalah kesalahan besar untuk berteori sebelum seseorang memiliki data. Tanpa disadari seseorang mulai memutarbalikkan fakta agar sesuai dengan teori, bukannya teori yang sesuai dengan fakta.

Sebagai peneliti, kita perlu menghilangkan semua bias. Entah berpengalaman atau hanya karena kami datang dengan hipotesis. Sebaliknya, kita perlu memperlakukan hasil secara adil dan menemukan kebenaran.

Tujuan kita bukan untuk menjadi benar. Ini untuk menemukan apa yang berhasil sehingga kita dapat membangunnya!

Apa Cara Terbaik Menggunakan Data untuk Merancang Pengujian yang Menang?

Jika Anda telah menguji beberapa saat, maka Anda tahu bahwa sebagian besar pengujian tidak menghasilkan pemenang. Faktanya, hanya sekitar 3/10 yang akan menang, sementara yang lain dianggap gagal.

Terminologi menang atau gagal tidak bagus. Ya, pengujian tidak memberikan peningkatan, tetapi memberikan data yang dapat kami gunakan untuk meningkatkan dan mencari tahu alasannya.

Ingat:

Kami tidak fokus pada satu tes. Bahkan jika menang, kami masih menggunakan proses pembelajaran dan perbaikan yang berulang. Kami menguji, belajar, berhipotesis dan menguji lagi.

Ini membantu kami membuat lingkaran umpan balik data baru untuk mendukung atau menyangkal ide.

• Kami menguji dan gagal tetapi kami belajar.
• Kami mengambil pembelajaran itu dan mengujinya sampai kami menang dan mendapatkan peningkatan.
• Dan kemudian kami terus menguji sampai kami mencapai maxima lokal dan tidak dapat meningkatkan lebih jauh.

Jangan langsung fokus berusaha mendapatkan pemenang. Ini adalah jalan cepat untuk mengklaim bahwa CRO tidak bekerja untuk Anda. Alih-alih, ubah data menjadi wawasan dan pelajari lebih lanjut setiap saat.

Anda mungkin dekat dengan pemenang tetapi itu hanya membutuhkan eksekusi yang lebih baik.

Atau Anda mungkin mendekati momen aha yang secara mendasar dapat mengubah seluruh pesan Anda. Tetap melakukannya dan terus belajar dengan setiap tes!

Bangun loop umpan balik itu ke dalam proses pemrosesan dan pengujian data Anda.

Tapi yang paling penting? Pastikan Anda dapat mengakses dan memahami data yang Anda kumpulkan, bahwa Anda menggunakan data tersebut dengan benar, dan bahwa Anda dapat mempercayainya!…

Cara Meningkatkan Aksesibilitas Data di Organisasi

Semuanya sangat baik memiliki data untuk digunakan, tetapi tidak ada gunanya jika Anda tidak dapat mengaksesnya untuk belajar!

Beberapa perusahaan akan sering mengalami hambatan dalam aliran data mereka dengan hanya memiliki akses ke data mereka melalui ilmuwan data mereka. Jika Anda memerlukan informasi, maka Anda memerlukan akses atau bekerja dengan mereka secara langsung, menyebabkan masalah.

Cara yang bagus untuk melewati ini adalah dengan mendemokratisasikan akses data:

• Izinkan akses data untuk alat peran tunggal tradisional (GA dll) ke tim yang membutuhkannya,
• Lihatlah penggunaan alat swalayan yang memiliki kemampuan pelaporan data yang dapat digunakan oleh seluruh tim,
• Membangun repositori pembelajaran terpusat dari hasil data. Ini memungkinkan seluruh organisasi mendapatkan wawasan data, bukan hanya tim pengujian langsung.

Mengapa peduli dengan akses data?

Karena akses ke data meningkatkan jumlah keputusan yang dapat dibuat yang dapat memengaruhi ROI bisnis Anda.

Triknya tentu saja adalah memastikan bahwa setelah Anda memiliki akses, Anda dapat menemukan apa yang Anda inginkan…

Cara Meningkatkan Kegunaan Data dengan Mengumpulkan Data yang Dapat Dipercaya

Kegunaan Data mengacu pada kemudahan di mana data dapat digunakan untuk menjawab pertanyaan.

Jika kita melihatnya dari ikhtisar, sasaran dengan data Anda seharusnya:

• Untuk menemukan wawasan yang memengaruhi ROI bisnis . Tanpa itu, hanya data info tanpa tujuan.
• Untuk menemukannya dengan cepat dan tidak perlu bersusah payah untuk mendapatkan informasinya.
• Dan menggunakan wawasan tersebut untuk membuat keputusan yang cepat dan tepercaya . Entah karena datanya dipercaya atau karena Anda mengerti dan tidak memanipulasi hasil atau diberi informasi positif palsu.

Seperti yang dapat Anda tebak, mungkin ada beberapa masalah di sini, tergantung pada sistem dan proses yang Anda miliki.

Kami telah membahas betapa pentingnya untuk dapat mengakses informasi tersebut dan manfaat memiliki alat atau proses yang memiliki kemampuan layanan mandiri untuk membuka laporan data di seluruh perusahaan.

Tetapi sekarang kita memiliki akses ke data itu, kita perlu memastikan bahwa kita dapat menemukan informasi yang kita inginkan, dan dapat mempercayainya.

Idealnya, Anda harus menjalankan proses secara proaktif untuk mengatur kumpulan data Anda:

• Buat metrik yang paling penting mudah ditemukan.
• Gunakan model dan sasaran referensi untuk menemukan kumpulan data spesifik yang mungkin tidak dilacak oleh alat tradisional.
• Pastikan sinkronisasi antar sumber data sehingga pembaruan dan pengeditan serta informasi baru tidak hilang.
• Dan izinkan tim ilmu data Anda untuk mengolah data besar Anda sehingga Anda dapat dengan mudah menemukan semua informasi ini dan mempercayainya!

Setelah Anda memiliki tujuan akhir ini dalam pikiran untuk data Anda, maka menjadi lebih mudah untuk mulai membangun proses persiapan terlebih dahulu untuk kumpulan data baru yang masuk (Jauh lebih mudah untuk mengingat untuk menandai tindakan tertentu terlebih dahulu ketika Anda tahu Anda ingin dapat menemukannya nanti).

Bagaimana Melakukan Analisis Data yang Tidak Bias untuk Menghasilkan Wawasan yang Menginformasikan Hipotesis

Jadi bagaimana kita menggunakan data ini untuk mendapatkan wawasan dan ide?

Nah, peringatan spoiler, sejauh ini kami telah membahas ini semua melalui panduan ini.

• Bertujuan untuk menggunakan beberapa sumber data untuk gambaran yang lebih luas.
• Cobalah untuk menggunakan proses yang tidak bias untuk mengumpulkan data tersebut. Jangan membatasi demografi atau perangkat tertentu jika memungkinkan.
• Gunakan pemikiran kritis untuk menilai informasi.
• Lihatlah bias kognitif dan bagaimana bias mempengaruhi analisis Anda.
• Pastikan untuk menyelidiki setiap gabungan sumber data. (Teknis, Kuantitatif, dan Kualitatif secara bersama-sama).

Izinkan Belajar dari Tes untuk Menginspirasi Lebih Banyak Tes

Anda harus memperlakukan tes Anda sebagai umpan balik untuk perbaikan lebih lanjut. Hal ini dapat dilakukan pada pengujian Anda saat ini untuk terus meningkatkan dan mendapatkan lebih banyak peningkatan, atau Anda bahkan dapat menerapkannya pada pengujian lama di mana wawasan baru Anda dapat membantu lebih jauh.

Apa pun itu, tujuannya adalah untuk menguji, mempelajari, meningkatkan, dan mengulangi sampai Anda tidak bisa mendapatkan peningkatan lagi.

Tapi… Bagaimana sebenarnya kita belajar dari hasil tes itu?

Nah, kabar baiknya adalah kami telah menulis panduan 7 langkah untuk belajar dari hasil pengujian A/B Anda yang dapat Anda lihat di sini.

Jika Anda tidak punya waktu sekarang, berikut rekap singkatnya:

• Mulailah dengan memastikan Anda dapat memercayai hasil Anda. Apakah mereka akurat? Apakah mereka signifikan? Apakah Anda yakin dengan mereka? Apakah tes berjalan cukup lama? Apakah ada faktor eksternal yang mempengaruhinya?
• Pergi mikro dan makro. Hanya karena tes menang atau gagal, Anda perlu melihat bagaimana hal itu memengaruhi metrik pagar pembatas Anda. Ironisnya, peningkatan RKT dapat berarti penjualan yang lebih rendah jika menarik audiens yang salah. Demikian juga, penurunan RKT dapat meningkatkan penjualan, karena mungkin hanya menarik bagi pemirsa terbaik sekarang. Jadi periksa metrik Anda, bukan hanya hasil tes Anda.
• Masuk lebih dalam dan segmentasikan hasil Anda. Tidak semua pemirsa, saluran lalu lintas, dan perangkat akan berkinerja sama. Beberapa saluran mungkin rusak. Ini kemudian dapat mengubah hasil di tempat yang tampaknya baik atau buruk, karena Anda tidak memiliki gambaran mendetail. (Ini juga dapat memberi Anda wawasan tentang varian yang akan berperforma terbaik untuk saluran tertentu, membantu Anda mengelompokkan penayangan untuk peningkatan yang lebih tinggi).
• Periksa kinerja dan perilaku pengguna. Just because we ran a qualitative and quantitative data analysis before, doesn't mean you should skip it after the test. In fact, this is the best way to understand what happened and how you got these results.
• Learn from the failures. Apa yang salah? How can you fix this?
• Learn from the winners and improve further. Did you get a new aha moment? Do you have more ideas of how to improve the page again after the QA and Qual analysis? Keep pushing for more lift!
• Don't forget what you did! Get in the habit of creating and using a learning repository. This way you can see past tests, learn from them, train new staff and even go back and apply new insights to old ideas.

Kesimpulan

Jadi di sana Anda memilikinya. Our entire guide to using technical, quantitative, and qualitative data to create winning tests.

It doesn't matter if it's A/B, split URL, or multivariate testing. You can use this same methodology to learn more from every test you run, so go ahead. Run those tests, learn from those mistakes, analyze that data and then let us know how much lift you got!