7 Langkah Kunci untuk Belajar & Meningkatkan Dari Hasil Pengujian A/B Anda

Pengujian A/B Anda baru saja selesai tetapi Anda tidak melihat hasil yang diharapkan.

Semua orang berbagi studi kasus di mana mereka melihat peningkatan besar hanya dengan perubahan warna tombol atau perubahan kecil, tetapi pengujian Anda tidak mendapatkan peningkatan dalam konversi, atau lebih buruk lagi, tampaknya telah kehilangan uang, dan sekarang Anda perlu melakukannya tunjukkan ini pada bosmu.

Nah, bagaimana jika ujian Anda sebenarnya bukan pecundang?

Bagaimana jika itu adalah pemenang yang menyamar?

Dan jika itu adalah pecundang, bagaimana jika ujian yang kalah sebenarnya adalah hal yang baik?

Dalam panduan ini, kami akan membantu Anda mendapatkan perspektif yang lebih dalam tentang hasil pengujian A/B sehingga Anda dapat menganalisis dan memecahnya untuk menemukan emas.

Kami akan membahas mengapa belajar dari pengujian A/B Anda sangat penting dan mengapa pecundang bisa memberi Anda penjualan. Kami membagikan proses yang dapat Anda ikuti sehingga Anda dapat sepenuhnya menganalisis tes Anda langkah demi langkah dan merasa yakin tentang apa yang Anda lihat, menang atau gagal.

Lebih baik lagi, kami akan membantu Anda beralih dari data yang cemas dan tidak ingin memeriksa analitik Anda, menjadi percaya diri dalam membagikan hasil Anda dengan rekan-rekan Anda.

Jadi mari selami…

Mengapa Anda Perlu Belajar Dari Tes A/B?

Sebagai permulaan, ada biaya yang jelas terlibat. Setiap tes membutuhkan biaya untuk menyiapkannya. Jika Anda kehilangan varian, maka Anda juga akan melihat penurunan penjualan untuk varian tersebut.

Inilah masalahnya:

Pengujian A/B (dan CRO secara umum) bukan hanya tentang menghasilkan lebih banyak uang. Ini tentang membeli data . Data tentang audiens Anda dapat membantu Anda memahami mereka dengan lebih baik dan menyediakan produk dan layanan yang lebih baik. Ini kemudian menghasilkan lebih banyak penjualan dan pengalaman pelanggan yang lebih baik, dan bahkan wawasan tentang penawaran produk baru.

Semakin banyak Anda belajar tentang orang-orang yang Anda layani, semakin baik Anda melakukannya. Itulah mengapa sangat penting untuk sering menguji dan menguji — bahkan ketika sebagian besar pengujian gagal.

Kami juga tidak sendirian dalam pemikiran ini.

Faktanya, ketika kami melihat data internal kami dari 28.304 pengujian dengan alat kami, bersama dengan percakapan dengan agen pengujian ahli, kami menemukan bahwa sebagian besar perusahaan hanya menemukan 1 pemenang dari setiap 10 tes, sementara agensi biasanya akan melihat 1 pemenang dari setiap 4.

Dan saya tahu apa yang Anda pikirkan,

Tentunya itu berarti saya kehilangan uang 90% dari waktu dengan setiap tes?

Ya, tetapi hanya untuk setengah dari audiens pengujian Anda. Setengah lainnya masih melihat situs Anda dan melakukan konversi seperti biasa.

Selain itu, data yang Anda peroleh membantu Anda menemukan apa yang tidak berfungsi, sehingga Anda dapat mempelajari apa yang berhasil. Anda menguji, belajar, menguji lagi dan terus berjalan sampai Anda menemukan apa yang berhasil.

Dan 10% tes yang menang?

Mereka dapat memberikan peningkatan inkremental berkelanjutan yang dapat ditingkatkan lagi dan lagi, sebelum diskalakan di seluruh situs Anda pada setiap halaman serupa untuk dampak yang lebih besar.

Itulah indahnya melihat peningkatan konversi di platform digital. Skala peningkatan hanya 1% dapat berdampak besar pada bisnis Anda, baik sekarang maupun dengan semua lalu lintas di masa mendatang. Faktanya, Jeff Bezos berpikir seperti itu, menyebut Amazon dan tujuan mereka untuk menguji dan meningkatkan "tempat terbaik di dunia untuk gagal" selama laporan pemegang saham tahunan mereka:

Diberi peluang 10 persen dari hasil 100 kali, Anda harus mengambil taruhan itu setiap saat. Tapi Anda masih akan salah sembilan dari sepuluh .

Jeff Bezos, Amazon

Lebih banyak penjualan dan wawasan yang lebih baik bukanlah satu-satunya manfaat untuk pengujian A/B.

Menjalankan tes memungkinkan Anda menjauh dari topik penghalang jalan dan teori grup. Alih-alih menghabiskan waktu berbulan-bulan untuk mendiskusikan kemungkinan perubahan desain web dan tidak melakukan apa-apa, ambil tindakan dan ujilah, membebaskan tim Anda untuk fokus pada hal-hal lain. (Pastikan untuk menguji efeknya sebelum mendorongnya secara langsung!)

Tidak hanya itu, Anda dapat mempelajari sesuatu yang baru tentang audiens yang HANYA dapat diketahui oleh pengujian A/B.

Penyusunan teori dan survei pelanggan sangat bagus, tetapi apa yang sebenarnya dilakukan audiens Anda di situs Anda yang paling penting, bukan hanya apa yang mereka katakan. Memahami tes Anda membantu Anda membuktikan atau menyangkal ide dan umpan balik tersebut.

Semakin Anda memahami hasil Anda, semakin percaya diri Anda dalam pengujian Anda, memungkinkan Anda untuk 'mematangkan' upaya CRO Anda dan menjalankan pengujian lebih sering, dan bahkan mungkin mulai membangun tim pengujian internal.

Sekarang setelah Anda melihat manfaat belajar dari setiap pengujian A/B, mari memandu Anda melalui proses sederhana untuk menganalisis setiap pengujian baru yang Anda jalankan…

Proses 7 Langkah untuk Belajar Dari Pengujian A/B Anda (Bersama Dengan Sistem yang Dapat Anda Gunakan untuk Meningkatkan Pengujian di Masa Mendatang)

Kami telah memecah ini menjadi 7 langkah utama untuk diikuti.

Anda mungkin tidak memiliki semua metode atau alat yang kami rekomendasikan di sini, tetapi, dengan melihat kesesuaiannya, Anda kemudian dapat mengukur nilainya dan memutuskan apakah Anda ingin mengintegrasikannya ke dalam pengujian mendatang.

Langkah #1: Pastikan Data Anda Akurat, Valid + Signifikan

Ini adalah bagian terpenting dari keseluruhan proses ini. Pastikan informasi yang Anda miliki tentang tes Anda akurat dan valid sehingga Anda dapat yakin dengan hasilnya.

Jadi bagaimana Anda memastikan hasil tes Anda memberi Anda data yang dapat Anda percayai?

Nah, ada beberapa hal yang bisa kamu lakukan…

Verifikasi Akurasi Alat Anda

Sekarang, kebanyakan orang merindukan ini. Jangan ragu untuk melewatinya jika situs Anda tidak mendapatkan lebih dari 10.000 pengunjung per bulan. Secara teknis, tidak diperlukan untuk memulai dengan CRO dan bekerja paling baik dengan situs dengan volume lalu lintas yang besar, tetapi saya akan lalai untuk tidak memasukkannya di sini karena situs besar benar-benar dapat melihat perbedaannya.

Idealnya, Anda sudah menjalankan pengujian A/A pada alat pengujian Anda saat ini untuk melihat seberapa akuratnya dan apakah ada masalah.

Bagaimana?

Anda menjalankan pengujian terpisah sederhana dengan 2 salinan halaman web yang identik dan kemudian melacak hasilnya di 2 halaman yang identik tersebut.

Karena tidak ada perbedaan di antara keduanya, hasil Anda harus sama untuk setiap halaman. Namun, mungkin ada beberapa perbedaan yang disebabkan oleh alat tersebut dan cara alat mengukur atau melacak data Anda.

Mengetahui hal ini sebelumnya dapat membantu Anda mendapatkan toleransi untuk keakuratan hasil pengujian Anda dan menggunakannya sebagai pedoman untuk semua pengujian di masa mendatang.

Contoh

Jika Anda melihat bahwa pengujian A/A Anda menunjukkan perbedaan 0,5% dalam rasio konversi antara dua halaman yang identik, maka Anda mungkin mewaspadai setiap hasil pengujian yang menunjukkan pemenang jika hanya selisih 0,5% antara kontrol dan varian.

Anda dapat menyiapkan pedoman internal yang mengatakan bahwa tes harus menunjukkan peningkatan 1% atau lebih tinggi sebelum Anda memercayai hasilnya. Sekali lagi, Anda hanya benar-benar perlu menjalankan pengujian A/A sekali ketika Anda mencoba alat baru atau jika menurut Anda alat Anda saat ini mungkin memiliki beberapa masalah dengan pelaporan atau tidak disiapkan dengan benar.

Tes A/A bekerja paling baik dengan situs lalu lintas besar karena data sampel yang diperlukan untuk memeriksa secara akurat bisa sangat besar, tetapi perbedaan dalam kesalahan 1% bisa sangat besar.

Jalankan Pengujian Anda Cukup Lama untuk Mendapatkan Pandangan Valid tentang Bagaimana Pelanggan Anda Berinteraksi Dengan Situs Anda

Jadi sekarang setelah Anda memercayai alat Anda, Anda ingin menjalankan pengujian selama 2-4 minggu, bahkan jika Anda mendapatkan cukup konversi untuk secara statistik dapat mematikannya sebelumnya.

Mengapa?

Karena audiens Anda akan sering berinteraksi dengan situs Anda secara berbeda tergantung pada hari dalam seminggu atau tahapan tertentu dalam sebulan.

Contoh

Jika orang-orang di audiens Anda dibayar pada hari Kamis, Anda akan melihat kenaikan yang mungkin Anda lewatkan jika tes Anda hanya berjalan dari Senin hingga Rabu, bukan?

Demikian juga, pengguna lain mungkin dibayar setiap dua minggu atau setiap bulan, lagi-lagi mengubah hasil Anda jika pengujian Anda tidak berjalan cukup lama untuk memasukkan mereka ke dalamnya. Anda hanya akan mengasumsikan penjualan atau lalu lintas yang lebih rendah untuk waktu yang Anda lewatkan.

Waspadai Faktor Internal atau Eksternal yang Dapat Mempengaruhi Hasil Anda

Ini adalah peristiwa unik atau terjadwal yang mungkin mendistorsi data Anda.

Misalnya, jika CEO atau perusahaan Anda ada di berita atau jika Anda menjalankan kampanye atau promosi pemasaran apa pun saat ini, serta faktor eksternal apa pun seperti hari libur nasional atau bahkan lonjakan lalu lintas acak.

Semua ini dapat memengaruhi lalu lintas situs Anda dan kemudian mengubah seberapa akurat hasil Anda selama periode tersebut.

Kisah nyata:

Sekitar 6 tahun yang lalu, saya dulu memiliki perusahaan pakaian selancar.

Suatu hari, lalu lintas kami melonjak sekitar 800% entah dari mana dan rasio pentalan kami melonjak. Kami belum menjalankan kampanye pemasaran baru, jadi saya melakukan sedikit penyelidikan untuk mencari tahu dari mana lalu lintas itu berasal.

Ternyata salah satu t-shirt kami memiliki nama produk yang sama dengan nama lagu baru sebuah band pop Korea, dan selama 2 hari kami memeringkatnya dan mendapatkan pengunjung mereka.

Tentu saja, audiens baru ini sama sekali tidak tertarik dengan produk kami dan mereka segera pergi.

Gila, kan?

Di lain waktu, blog pemasaran saya mulai memberi peringkat untuk nama merek perusahaan TV dan hal yang sama terjadi. Kami mendapat lonjakan lalu lintas dari pemirsa yang salah.

Meski acak, hal-hal semacam ini bisa terjadi, jadi waspadalah terhadap peristiwa eksternal atau internal seperti ini. Anda selalu dapat memeriksa analitik Anda untuk melihat dari mana lalu lintas berasal dan kemudian memulai kembali pengujian Anda ketika semuanya kembali normal.

Pastikan Mendapatkan Data yang Cukup

Anda ingin memastikan bahwa pengujian Anda memiliki konversi yang cukup untuk mendapatkan gambaran yang valid tentang kinerjanya.

Memiliki kontrol dan varian dengan hanya 50 konversi total dan hanya sedikit perbedaan di antara keduanya tidak cukup untuk mendapatkan wawasan tentang audiens Anda — bahkan jika hasil pengujian entah bagaimana signifikan secara statistik. Sebagian besar pakar setuju bahwa sekitar 300+ konversi per varian biasanya merupakan aturan praktis yang baik (bahkan lebih jika Anda ingin menyegmentasikan nanti).

Semakin besar kumpulan data, semakin mudah untuk menemukan wawasan dalam analisis pasca-tes Anda.

Gunakan kalkulator signifikansi pengujian A/B kami untuk mendapatkan gambaran tentang seberapa akurat pengujian Anda, berdasarkan siklus penjualan 4 minggu dan informasi halaman 'kontrol' Anda saat ini.

Cukup atur parameter pengujian Anda:

Kemudian, masukkan berapa banyak lalu lintas yang harus diperoleh pengujian Anda per minggu, bersama dengan jumlah konversi halaman Anda saat ini, lalu cari tahu akurasi dan peningkatan % yang dapat dihitung oleh pengujian Anda.

Dalam contoh di atas, kita dapat mengukur sedikit peningkatan 1,2% setelah 4 minggu. (Jika kita ingin mendapatkan akurasi yang lebih tinggi, cukup jalankan pengujian lebih lama atau tingkatkan volume lalu lintas dalam pengujian.)

Dapatkan Hasil yang Signifikan Secara Statistik

Inilah mengapa signifikansi statistik penting tetapi bukan faktor terpenting saat pengujian.

Ya, Anda ingin memastikan pengujian Anda berjalan cukup lama untuk melihat peringkat kepercayaan 95-99% dalam hasil, tetapi Anda juga ingin memastikan setiap faktor lain yang kami bahas di atas tercapai.

Mengapa?

Bahkan tes A/A dapat menunjukkan kepercayaan 95% dalam satu versi yang lebih baik daripada salinan identiknya jika tidak dijalankan cukup lama.

(Itu bisa secara acak melihat semua konversi pada satu versi satu hari dan tidak ada yang lain.)

Terlalu banyak penguji baru akan menghentikan kampanye setelah mencapai 'stat sig' yang menyebabkan mereka mendapatkan data palsu. Itulah mengapa kami menyarankan Anda mendapatkan signifikansi statistik 95% atau lebih tinggi, tetapi JUGA menjalankan pengujian selama 2-4 siklus penjualan, dengan 300+ konversi, dan dengan ukuran sampel yang cukup besar.

Jika Anda melakukan semua ini maka Anda dapat yakin bahwa Anda dapat mempercayai tes Anda akan memberi Anda hasil yang valid dan akurat.

Saya tidak bisa cukup menekankan betapa pentingnya membiarkan tes berjalan sehingga Anda memenuhi kriteria ini.

Memanggil tes terlalu dini dapat memberi Anda informasi palsu yang dapat menyebabkan:

• Tidak menemukan calon pemenang karena Anda tidak memiliki informasi yang cukup,
• Menjalankan kampanye berperforma lebih rendah karena menurut Anda mereka adalah pemenang tetapi sebenarnya memiliki rasio konversi yang lebih rendah,
• Atau lebih buruk lagi, Anda bisa mendapatkan kepercayaan palsu pada hasil tersebut dan kemudian menggunakan apa yang Anda pelajari untuk meningkatkannya ke bagian lain dari situs Anda, sehingga meningkatkan efek negatif tersebut.

Catatan sampingan:

Anda dapat mengaturnya sebagai parameter sebelum pengujian Anda berjalan di bagian Statistik & Pengaturan dari eksperimen Anda di aplikasi Konversi Pengalaman.

Anda kemudian dapat mengatur tingkat kepercayaan yang diinginkan, waktu berjalan minimum, dan jumlah konversi yang harus dicapai sebelum pengujian dapat dipanggil.

Setelah Anda yakin data Anda akurat, saatnya untuk menganalisisnya…

Langkah #2: Periksa Metrik Mikro, Makro, dan Pagar Pembatas Anda

Kebanyakan orang akan melihat tes dan menerima pemenang atau pecundang pada nilai nominal dari apa pun yang dikatakan alat itu kepada mereka.

Masalahnya tentu saja adalah bahwa alat tersebut hanya dapat memberi tahu Anda bagaimana kinerja pengujian Anda berdasarkan kriteria yang Anda tetapkan untuknya. Sebagai penguji CRO, kami selalu ingin memahami "bagaimana" dan "mengapa" yang menyebabkan hasil ini terjadi sehingga kami dapat belajar darinya.

Sekarang ada beberapa pemeriksaan yang akan kita lakukan, tetapi, pertama-tama saya akan membahas tiga yang paling penting. Di situlah pelacakan hasil mikro dan makro masuk.

Mari saya jelaskan:

• Pelacakan mikro mengacu pada pelacakan sasaran yang Anda optimalkan untuk pengujian, yang mungkin berupa lebih banyak klik, pendaftaran, dll.
• Pelacakan makro melihat efek pada metrik Northstar untuk bisnis Anda, yang biasanya berupa penjualan.

Mengapa ini penting?

Terkadang, peningkatan peristiwa mikro di halaman pengujian Anda tidak memengaruhi makro seperti yang mungkin Anda pikirkan.

Contoh

Katakanlah Anda menguji CTA pada halaman pengambilan prospek dan yang kalah mendapat lebih sedikit prospek daripada kontrol.

Tampaknya jelas tes mana yang menang, bukan?

Tetapi pada pemeriksaan lebih lanjut dalam analitik Anda, Anda melihat bahwa prospek yang muncul pada tes 'kalah' itu, sebenarnya dikonversi jauh lebih tinggi di backend dan menciptakan ROI yang jauh lebih besar.

Mengapa ini bisa terjadi?

Mungkin halaman Anda saat ini menarik bagi audiens yang lebih luas dan mengonversi lebih banyak prospek, tetapi varian 'kalah' baru Anda sebenarnya menarik bagi orang-orang yang siap membeli sekarang.

Dalam contoh, kampanye yang kalah sebenarnya adalah halaman yang ingin Anda jalankan karena konversinya jauh lebih baik dengan metrik Northstar Anda.

Ingat tujuan akhir Anda dan fokuskan upaya Anda pada apa pun yang paling memengaruhinya.

Hasil mikro dan makro tidak semua yang perlu Anda cari.

Jika Anda belum melakukannya, pertimbangkan untuk menambahkan 'Metrik pagar pembatas' ke kampanye Anda.

Ini adalah metrik inti yang ingin Anda perhatikan saat membuat perubahan lain sehingga jika mulai menurun, Anda dapat memutar kembali atau menghentikan metode pengujian tertentu karena kinerjanya terlalu penting.

Di Uber, kami menjalankan 100-an eksperimen pada waktu tertentu. Tujuan dari eksperimen ini adalah untuk terus meningkatkan produk dan pengalaman pengguna kami. Namun, terkadang seorang pelaku eksperimen mungkin memikirkan beberapa metrik utama, dan mungkin tidak menyadari dampaknya pada beberapa metrik lain yang penting bagi tim dan perusahaan secara keseluruhan, dan saat eksperimen dijalankan, metrik yang tidak dipantau ini dapat mundur.

Untuk mendeteksi dan mengurangi skenario seperti itu, kami telah membangun platform pemantauan eksperimen kami. Tujuannya adalah untuk mengidentifikasi dan memantau beberapa metrik pagar pembatas yang tidak ingin kami turunkan selama percobaan berjalan. Kami menerapkan variasi metodologi A/B sekuensial untuk terus memantau metrik pagar pembatas ini dan mendeteksi regresi apa pun antara perlakuan dan kelompok kontrol eksperimen. Jika regresi terdeteksi, kami mengirimkan peringatan kepada pemilik eksperimen .

Suman Bhattacharya, Ilmuwan Data Senior, Uber

Contoh

Katakanlah Anda ingin mengumpulkan lebih banyak prospek menggunakan pop-up layar penuh.

Untuk beberapa situs, ini berfungsi dengan baik, tetapi tidak selalu. (Itulah sebabnya kami menguji!)

Mungkin Anda memasang pop-up layar penuh dan mulai mendapatkan lebih banyak prospek di halaman itu, tetapi email selamat datang Anda ke pelanggan baru itu terpental dan tidak terkirim.

Ternyata orang-orang memilih menggunakan email palsu hanya agar pop-up berhenti ditampilkan.

Anda tidak ingin prospek palsu di daftar email Anda karena mereka dapat menurunkan hasil pengiriman email Anda ke pelanggan yang sebenarnya. Anda juga tidak ingin terlalu menurunkan pengalaman pengguna sehingga audiens Anda merasa perlu memalsukan email mereka.

Karena pemasaran email adalah bagian inti dari proses penjualan Anda, Anda memutuskan untuk menyiapkan peringatan untuk memberi tahu Anda jika rasio pentalan email naik melewati titik yang ditentukan saat menjalankan pengujian A/B pada halaman pengambilan prospek Anda.

Ini akan menjadi metrik pagar pembatas Anda. Dalam contoh ini, Anda dapat melihatnya rusak dan Anda memutuskan untuk menggunakan metode penangkapan prospek yang tidak terlalu mengganggu.

Apakah itu masuk akal?

Metrik pagar pembatas bukan hanya tangkapan prospek dan rasio pentalan. Mereka adalah metrik utama yang Anda tidak ingin melihat penurunan yang memengaruhi pengalaman pengguna.

Untuk mencegah penurunan pengalaman pengguna sambil memastikan Anda juga meningkatkan metrik yang penting, tentukan beberapa metrik pagar pembatas yang, jika turun hingga batas tertentu, itu akan mencegah Anda bergerak maju dengan meluncurkan yang seharusnya “ varian menang”. Ini juga membantu mengakhiri perdebatan antara pengoptimalan konversi dan UX atau pedoman merek .

Alex Birkett, Digital Mahatahu

Terserah Anda untuk memutuskan apa metrik tersebut untuk bisnis Anda. Gunakan mereka untuk melihat apakah Anda memiliki pemenang yang sebenarnya, atau jika Anda hanya memperdagangkan kenaikan satu hasil untuk kerugian di area yang lebih penting.

Jika Anda membutuhkan inspirasi, lihat daftar metrik pagar pembatas umum Ben Labay dalam eksperimen dan pengujian:

Kemudian, buat perubahan itu sesuai.

Selama Anda memiliki aplikasi Konversi Pengalaman yang disiapkan dengan analitik dan segmen lanjutan, Anda seharusnya dapat menemukan informasi ini dengan melihat-lihat sekilas. Periksa efek setiap variasi pada metrik Northstar Anda, serta 'pagar pembatas' Anda sehingga Anda tidak hanya memilih pemenang alat pengujian.

Sekarang setelah metrik inti Anda tercakup, mari kita lihat hasil Anda sedikit lebih dalam…

Langkah #3: Lakukan Lebih Dalam dan Segmentasikan Hasil Anda

Ingatlah bahwa dalam hal pengujian, rata-rata adalah bohong .

Hasil rata-rata hanya dapat memberi Anda informasi luas berdasarkan kombinasi beberapa titik data. Terserah Anda untuk memahami mengapa hasil itu terjadi dan kemudian melihat lebih dalam karena tidak selalu seperti yang terlihat.

Kami telah melihat ini dengan hasil makro yang dipengaruhi oleh perubahan uji mikro, tetapi segmen analitik Anda dapat memberikan wawasan yang lebih dalam.

Contoh

Katakanlah Anda menjalankan pengujian untuk mendapatkan lebih banyak prospek. Sepintas, kontrol dan variannya memiliki tingkat konversi pengunjung ke pelanggan yang sama.

Namun, pada pemeriksaan lebih dalam, Anda melihat bahwa di desktop, variasi baru hampir dua kali lipat tingkat konversi kontrol, tetapi di seluler nol, menyebabkan rata-rata halaman tampak identik dengan kontrol.

Jelas, ada sesuatu yang salah, tetapi mengapa ini terjadi?

Bisa jadi varian baru tidak dimuat dengan benar di seluler, atau mungkin formulir tidak berfungsi di perangkat tertentu sehingga tidak ada pengguna seluler yang ingin berlangganan yang benar-benar dapat melakukannya. Dan jika Anda memperbaiki masalah ini, bisa jadi varian 'hasil yang sama' Anda sebenarnya mampu jauh mengungguli kontrol.

Anda hanya dapat menemukan hal-hal ini ketika Anda bekerja untuk mendapatkan lebih banyak informasi di balik hasil Anda.

Dengan setiap pengujian, Anda akan bereksperimen untuk mendapatkan wawasan, yang akan menginformasikan segmentasi yang lebih cerdas, yang akan menghasilkan wawasan baru, yang pada akhirnya akan mengarahkan Anda ke strategi yang lebih bermakna .

Shanelle Mullins, Shopify

Segmentasi bukan hanya tentang menemukan kesalahan tetapi juga menemukan wawasan pengguna lainnya.

Mungkin halaman dan kontrol semuanya berfungsi dengan baik, tetapi ketika Anda melihat lebih dalam, Anda melihat bahwa saluran lalu lintas tertentu berkonversi jauh lebih tinggi pada pengujian baru ini daripada yang lain?

Sering kali Anda akan memiliki beberapa segmen yang berkinerja buruk dan yang lainnya berkinerja tinggi. Ini kemudian dapat menginformasikan kampanye personalisasi baru atau strategi lalu lintas berbayar atau organik.

Mungkin kontrol berkonversi terbaik di desktop, tetapi varian baru mengonversi lebih tinggi di seluler. Katakanlah, misalnya, Anda ingin memilih versi mana yang ditampilkan berdasarkan cara pemirsa melihat situs Anda.

Dengan menggunakan fitur personalisasi Convert, Anda dapat menyiapkan variasi pemenang seluler itu sebagai personalisasi hanya untuk audiens tersebut.

Kemudian, Anda dapat menampilkan versi baru saat pengunjung datang dari perangkat seluler apa pun.

Tetapi jika mereka menemukan dari desktop, mereka akan melihat versi desktop sebagai gantinya.

Ada banyak sekali metode personalisasi berbeda yang dapat Anda gunakan, tetapi hanya sekali Anda mendapatkan beberapa wawasan dari kampanye Anda.

Kunci untuk menganalisis segmen adalah selalu melihat hasil Anda untuk mempelajari MENGAPA sesuatu terjadi.

Melihat:

• Audiens Baru Vs Kembali . Apakah satu variasi membawa orang kembali lebih sering? Apakah seseorang mengubah lebih banyak anggota audiens yang dingin/baru?
• Sumber Lalu Lintas. Apakah satu saluran bekerja lebih baik daripada yang lain? Bisakah Anda lebih fokus di sini?
• Tampilan Halaman. Terutama jika halaman pengujian Anda mencoba mengarahkan lalu lintas ke halaman penjualan Anda. Kurangnya klik pada satu versi dapat berarti Anda memiliki tombol yang rusak atau masalah CTA.
• Tingkat bouncing. Ini dapat menunjukkan tautan rusak/muatan lambat/pengalaman UX yang buruk, atau bahkan menargetkan audiens yang salah.
• Sistem operasi,
• Seluler Vs Desktop.
• Perangkat yang digunakan.

Penafian sedikit:

Untuk mendapatkan refleksi akurat dari setiap saluran saat melakukan segmentasi seperti ini, Anda membutuhkan BANYAK data. Aturan praktis yang baik adalah melakukan pengujian dengan sekitar 10x volume konversi seperti yang biasanya Anda jalankan (atau 300 konversi per saluran, bukan hanya per laman varian).

Anda mungkin berpikir, “Tidak mungkin kami mendapatkan lalu lintas yang cukup untuk menjalankan pengujian seperti ini ”. Atau jika Anda melakukannya, itu bisa memakan waktu berbulan-bulan untuk itu terjadi.

Bahkan jika itu masalahnya, jangan lewatkan begitu saja melihat analisis segmen Anda.

Mengapa?

Meskipun Anda mungkin tidak memiliki cukup konversi di setiap segmen untuk menarik kesimpulan yang didukung data, ini dapat memberi Anda beberapa wawasan yang mencolok jika Anda mulai melihat masalah seperti tampilan laman dengan nol klik, atau rasio pentalan langsung .

Ini semua adalah hal yang dapat menunjukkan tes yang rusak dan membantu Anda menemukan pemenang yang berpotensi terlewatkan. Silakan dan cari penurunan dan masalah besar. Apakah semuanya berfungsi di setiap platform dan perangkat?

Idealnya, Anda memeriksa semuanya sebelum ujian, tetapi hal-hal dapat merusak ujian tengah jadi periksa lagi.

Saya pribadi telah memperbarui WordPress sendiri secara otomatis di tengah kampanye yang kemudian menyebabkan formulir penangkapan prospek tiba-tiba berhenti berfungsi selama pertengahan pengujian. Selalu periksa, dan jika Anda melihat sesuatu yang merusak keakuratan hasil Anda, hentikan pengujian, perbaiki masalah, lalu jalankan lagi.

Dan jika semuanya bekerja ok?

Mari kita lihat dan cari tahu MENGAPA orang tidak mengambil tindakan Anda…

Langkah #4: Periksa Perilaku Pengguna untuk Wawasan Lebih Lanjut

Idealnya, Anda harus memiliki pelacakan kualitatif di atas alat pengujian Anda.

Mengapa?

Karena ini sering kali dapat memberi Anda wawasan tentang varian yang akan Anda lewatkan hanya dengan pengujian biasa.

Ingat:

Alat pengujian kuantitatif seperti Convert memberi tahu Anda apa yang terjadi. Kami dapat memberi Anda data numerik mentah antara berapa banyak orang yang mengeklik atau tidak mengeklik dan membantu Anda menyiapkan setiap pengujian A/B.

Tetapi menambahkan alat kualitatif membantu Anda memahami MENGAPA suatu tindakan terjadi. Mereka memungkinkan Anda untuk melihat apa yang dilakukan pengguna dan mendapatkan lebih banyak wawasan tentang tindakan mereka.

(Pengujian biasanya akan gagal karena eksekusi yang buruk atau pemahaman audiens dan hanya dengan melihat apa yang salah kami dapat menyelesaikannya.)

Untuk mendapatkan wawasan yang lebih dalam, siapkan Hotjar – Konversikan integrasi dan coba taktik di bawah ini.

Lacak Seberapa Jauh Pengguna Membaca

Tambahkan alat peta panas ke halaman Anda untuk melihat apakah audiens Anda mencapai CTA Anda. Jika tidak, Anda dapat menjalankan pengujian lagi dan memindahkan CTA ke atas halaman.

Lacak Apa yang Diklik Pengguna, Tapi Seharusnya Tidak

Apakah mereka mengklik CTA strategis atau apakah itu teks acak yang menurut mereka mungkin tautan?

Tonton Rekaman Layar untuk Melihat Apa yang Tidak Mereka Klik, Tapi Seharusnya

Apakah mereka tidak mengklik tombol CTA Anda meskipun mereka menggulir cukup jauh untuk melihatnya? Apakah mereka mengklik tetapi tidak terbuka? Apakah mereka melihatnya tetapi tidak menyadari bahwa itu adalah tombol yang harus diklik?

Anda dapat menonton semua ini dan bahkan menambahkan catatan ketika hal-hal ini muncul.

Bukan hanya alat pemetaan panas dan pelacakan klik yang dapat membantu.

Jalankan Survei ke Audiens Anda

Survei membantu Anda tidak hanya mendapatkan umpan balik tentang apa yang menyebabkan audiens Anda mengambil tindakan (atau menghentikan mereka), tetapi juga memberi Anda bahasa yang digunakan untuk menjelaskan hal ini.

Dalam copywriting, kami menyebutnya 'bahasa cermin' dan ini sangat efektif untuk terhubung dengan pengguna. Rasanya seperti Anda tidak hanya mengenali masalah mereka tetapi memahaminya lebih baik daripada orang lain, saat Anda menggambarkannya dengan kata-kata yang sama yang mereka gunakan.

Dua cara hebat untuk menggunakan survei bersama alat pengujian A/B Anda adalah:

• Keluar dari jajak pendapat niat . Identifikasi mereka yang tidak menggunakan versi baru, sehingga Anda dapat mengetahui apa yang menghentikan mereka.
  
  Apakah ada alasan Anda tidak memilih/membeli hari ini?

• Jajak pendapat pascapembelian/konversi. Temukan orang-orang yang mengambil varian dan lihat apakah ada poin yang menempel dan faktor pendorong.
  
  Apa yang membuatmu memutuskan untuk mengambil tindakan hari ini?” Apakah ada sesuatu yang hampir menghentikan Anda untuk memutuskan?

Anda bahkan dapat menjalankan survei serupa pada kontrol jika Anda menginginkan informasi lebih lanjut. Semua ini akan membantu Anda memahami bagaimana pengujian dilakukan sehingga Anda dapat mengulangi dan meningkatkan.

Ngomong-ngomong soal…

Langkah #5: Belajar dari Kehilangan Ujian

Hal terpenting dalam menghadapi ujian yang kalah adalah belajar sesuatu dari hasilnya. Tidak ada ujian yang buruk selama Anda dapat mengambil wawasan darinya untuk meningkatkan atau memahami audiens Anda dengan lebih baik.

Pengujian A/B adalah proses interaktif. Kami gagal maju sambil mendapatkan pemahaman. Anda sering dapat belajar jauh lebih banyak dari mengambil tes kalah menjadi pemenang daripada hanya mendapatkan pemenang langsung.

Sejauh ini kami telah melakukan 3 hal:

• Memastikan data uji akurat,
• Melihat hasil mentah untuk masalah apa pun, dan
• Mencoba memahami pengguna kami dan tindakan mereka.

Langkah ini lebih merupakan pendekatan heuristik untuk membantu Anda memahami masalah umum yang dapat menyebabkan kegagalan (dengan asumsi data pengujian akurat dan semua tombol CTA berfungsi) dan menganalisis pendekatan dan hipotesis Anda.

Apakah Hipotesis Anda Salah atau Apakah Tes Anda Tidak Sejajar?

Ini adalah masalah umum, terutama di kalangan penguji baru.

Apakah Anda menjalankan pengujian dari beberapa metrik atau ide 'woo woo' yang tidak selaras dengan KPI yang sebenarnya?

Contoh

Katakanlah Anda menginginkan lebih banyak penjualan dari sebuah halaman, tetapi untuk beberapa alasan, Anda memutuskan untuk menguji tweak ke tombol berbagi sosial Anda. (Meskipun Anda tidak memiliki data untuk menunjukkan bahwa lebih banyak pembagian sosial memengaruhi penjualan Anda.)

Kedengarannya gila tetapi Anda akan terkejut betapa seringnya hal seperti ini terjadi.

Bertanya pada diri sendiri:

Apakah tujuan pengujian saya selaras dengan KPI inti dan dengan cara yang dapat memengaruhinya?

Jika tidak, maka tidak apa-apa, tetapi pastikan tes berikutnya lebih baik.

Kita gagal, kita belajar, kita coba lagi.

Dengan pengujian Anda berikutnya, pastikan untuk fokus pada metrik KPI inti Anda dan bagaimana Anda dapat memengaruhinya, dan juga berikan pengujian skenario menang/gagal yang jelas.

Kami ingin halaman ini mendapatkan lebih banyak prospek, jadi kami menguji hal yang membuat mereka ikut serta, yang berarti kami ingin membuat CTA yang lebih baik.

atau

Kami ingin halaman ini mendapatkan lebih banyak prospek, dan kami menemukan bahwa pengguna tidak menggulir sejauh CTA kami, jadi kami menguji menaikkannya ke halaman.

Menyelaraskan pengujian dengan sasaran akan membuat Anda berada di jalur yang benar, tetapi meskipun demikian, konversi mungkin masih belum terlihat…

Hipotesis Benar dan Tes Sejajar, Tetapi Masih Tidak Ada Perubahan Hasil

Ini bisa terjadi 90% dari waktu dan itulah sebabnya sebagian besar tes gagal.

Contoh 1

Data pengguna Anda menunjukkan bahwa pengguna tidak cukup mempercayai situs Anda. Anda menambahkan faktor kepercayaan seperti bukti sosial, testimoni pengguna, sertifikat SSL, tetapi konversi masih belum meningkat.

Apakah itu berarti Anda harus berhenti dan mencoba tes atau sudut baru?

Sama sekali tidak…

Hipotesis awal Anda mungkin benar, tetapi pengujian Anda hanya perlu ditingkatkan atau dijalankan lebih baik sebelum Anda dapat melihat efek apa pun.

Anda dapat mencoba menambahkan lebih banyak faktor kepercayaan atau bahkan beralih dari yang Anda miliki sehingga lebih menonjol. Mungkin kata ulang bahasa yang digunakan di dalamnya untuk membantu mereka terhubung dengan audiens Anda lebih baik.

Semua hal ini masih sejalan dengan hipotesis awal, Anda hanya perlu menguji lebih banyak versi untuk menemukan pemenangnya.

Contoh #2

CXL menjalankan 6 kampanye pengujian berbeda di halaman arahan ini untuk mendapatkan lebih banyak prospek untuk sertifikasi pengemudi truk.

Mereka menaikkan tingkat keikutsertaan dari 12,1% menjadi 79,3% semuanya dari terus meningkatkan halaman.

(Hampir semua kampanye pengujian tersebut melakukan beberapa kali percobaan menggunakan hipotesis yang sama sebelum mereka melihat peningkatan. Baru kemudian, kampanye tersebut melanjutkan dan menguji untuk meningkatkan elemen lain di halaman.)

Pengujian A/B adalah proses berulang. Anda harus terus menguji dan menyesuaikan untuk menemukan peningkatan, dan bahkan yang terbaik dalam bisnis ini hanya dapat menemukan pemenang 10% dari waktu.

Jika secara hipotetis Anda adalah sebuah organisasi dan setiap tes yang Anda jalankan berhasil, maka itu sebenarnya akan menjadi bendera merah menurut saya.

Kedengarannya berlawanan dengan intuisi tetapi itu menunjukkan kepada saya bahwa Anda hanya menguji hal-hal yang jelas dan tidak cukup mengambil risiko untuk benar-benar menggerakkan jarum .

Deborah O'Malley, Tebak Tesnya

Belajar dari yang terbaik selalu menyenangkan dan kami senang berbagi wawancara yang kami lakukan dengan Deborah. Kami berbicara tentang mengapa tes tidak pernah gagal dan pentingnya memiliki mentalitas yang tepat dalam pengujian. Untuk membantu Anda memulai dengan langkah yang benar, dengarkan wawancara kami di sini.

Itu berarti Anda mungkin memerlukan 9 tes sebelum Anda melihat peningkatan positif, jadi tetaplah melakukannya.

Pengujian Anda harus mengikuti sistem prioritas dari dampak paling besar hingga terendah. Dengan menjalankan lebih banyak pengujian dan perubahan untuk meningkatkan kampanye Anda saat ini, Anda akan melihat dampak yang jauh lebih besar daripada melompat ke pengujian tingkat kepentingan yang lebih rendah karena Anda tidak melihat hasil langsung dengan kampanye Anda saat ini.

Dan jika masih tidak melihat peningkatan dengan perubahan yang lebih kecil, pertimbangkan untuk menjalankan pengujian inovatif di mana Anda menjalankan desain yang berbeda.

Ini bisa menjadi ayunan untuk pagar tetapi terkadang itu bisa menjadi perubahan yang perlu Anda lakukan.

Bagaimana Jika Setelah Semua Tes dan Tweak Ini, Variannya Masih Merugi?

Jadi datanya benar dan Anda telah mencoba setiap tweak dan bahkan melakukan perubahan besar yang inovatif ke seluruh halaman dan tetap tidak akan berkinerja lebih baik daripada kontrol.

Ini mungkin tidak terlihat, tapi ini sebenarnya HAL BAIK.

Mengapa?

Karena Anda telah menemukan apa yang tidak sesuai dengan audiens Anda!

Begitu banyak situs web membuat perubahan besar tanpa menguji apa pun dan meluncurkannya begitu saja.

Tanyakan pada diri Anda ini:

Jika varian halaman itu berkonversi hanya 1% lebih buruk daripada kontrol Anda saat ini, berapa banyak uang yang telah Anda hemat dengan menguji ini terlebih dahulu dan tidak meluncurkannya?

Back in 2014, Marks and Spencer decided to update their entire website without testing it with a sample audience first.

Hasil?

Their online sales dropped by 8.1% in 3 months, causing a loss of $55 million.

This is why testing and finding losers is a really good thing because even losing tests can save you money.

What if the Test and the Variant Have Identical Results?

You checked everything, it all works, you've segmented down and gone into the nitty-gritty, but there's just no discernible difference between your current page and your new variant.

You've even tried complete page overhauls but through some fluke of math, your new page still converts at the same rate as the old one.

In this case, it's simply the dealer's choice.

Does the new variation more actively represent your brand and style?

If so, choose whichever you wish to use. The results are still the same but you are happier with the design.

Note: This should be the only time that you do this. Branding should not sacrifice results; it should aid them, as seen in the previous example.

Step #6: Double Down on Winners and Continue to Improve Them

So far we've been covering losing campaigns, but what if you got a winner right out of the gate?

First off, congratulations!

Second, let's make sure you actually have a winner. Oftentimes, things can happen to affect your results and give you a false positive (ie we think it's a winner but we implement it and nothing happens.)

Go ahead and run the test again with just your control and the winning variant and prove the lift in results first before you make any changes to your site.

Then if it really is a winner? Don't stop there, continue to improve it!

Iterative improvements of a new winning campaign are the easiest new test to run. With each new improvement, you'll see more ongoing ROI. You can even take what you learned with your winning test and then roll it out across similar pages on your site for further tests and see if it also adds lift there too.

Step #7: Create a Learning Repository for Future Tests

This step is relevant to both winning and losing tests.

Not only will it help you with future tests, but it will also help your QA team diagnose any broken campaigns faster, as they can see where issues have appeared in the past.

Better still?

It will help you document your results for clients or your boss, while also standardizing your reporting processes and ramping up your test velocity.

Berikut cara kerjanya:

You're going to create a master archive or learning repository of all past tests. A place to document your previous wins and losses that you can use to both reference for new campaigns and share with stakeholders or customers.

You can use a folder on your computer for this, but, if you really want to get organized, there's a great tool called GrowthHackers experiments.

Its main goal is to help marketing growth teams communicate and organize campaigns, but you can easily use it to manage your CRO testing and learnings. It will even pull in results from your test tool and allows you to archive each test. (You can simply tag and then add them to the repository.)

Whatever you decide to use, here are some best practices:

Organizing Your Tests

You probably have your own naming conventions but if you're just starting, I recommend naming each test like so:

“Goal – Campaign – Test Date”

Sebagai contoh:

“CTR lift test – XYZ client – March 1st-14th 2021”

This way, you can organize tests by goals to get inspiration for future tests, search through and find them for client campaigns, or look back on your experiments month by month.

Then, if you wanted to run a CTR test later on, you can swipe through them and see what ideas worked or failed in the past.

How Do We Create Documents for the Learning Repository?

Feel free to add screenshots of your testing tools graphs, confidence, and power level or any data that you think is relevant.

However, I highly recommend creating a slide with the following information:

• The hypothesis and how you came up with the idea (any survey data or information).
• A headline with the test goal.
• A screenshot of the control, the winning variant, and any other failed versions/tests that got some lift but not as much. (Highlight the key elements so you can spot what changed without having to look too hard.)
• Add the micro goal and its percentage lift. (Perhaps 3.2% CTR)
• Then add the macro goal and its percentage lift. (AVG order value up 2.2%, etc.)

Berikut ini contohnya:

You can use these slides to present the test information to anyone else who needs them, while also having a simple file to understand the test at a moment's notice.

Pretty handy, right?

Now that you've analyzed your test and recorded the results, let's walk you through how to present this to your boss in a way that even if the test failed, they're still happy to see your findings…

How To Present This Information To Your Boss (Even When Your Campaigns Failed)

Don't worry if you feel anxious about this, you're not alone. In fact, according to CXL's state of the industry report, presenting test information or getting buy-in from your stakeholders is consistently one of the biggest struggles CROs face.

We've covered the best ways to communicate this information before, but I want to give you a few extra tips on how to get your test results across (even if your test failed).

Tip #1: Get Everyone On Board With CRO and Its Realities as Soon as Possible

Ideally, you covered this when you first broached the topic of running A/B tests but it never hurts to recap.

Make sure they understand that A/B testing is a continual learning process that's more about understanding your audience and improving their experience. The lift in ROI is simply a byproduct of taking action on each test and implementing what you learn, regardless of if it wins or fails.

Winners give lift and losers give insight into where to improve.

No test is ever wasted but the majority of them do fail. You're looking at roughly 1/10 winners for most people's tests and agencies are around 1/4.

Be clear on how many tests fail and the need to run more tests to find winners.

Tip #2: Present the Information as Simply as You Can

Not everyone can read graphs easily. Even if they can, it still means that it takes effort to understand the context of what they are seeing.

The more effort it takes to understand something, the more frustrating it can be and can cause you to lose the other person's attention.

(Top tip for landing pages btw ^^)

Break it down nice and simple by using the slides from your learning repository.

It should already include:

• Apa yang Anda pelajari sebelumnya dan bagaimana Anda sampai pada ide tes.
• Apa yang Anda uji. Tunjukkan kontrol, variasi, dan pemenangnya.
• Bagaimana itu berhasil di tingkat mikro dan makro. Sertakan hasilnya.

Finally, add any insights you drew from tests to decide on your next important action to take. (Improve execution, test new variations, new hypothesis, etc.)

Providing insight into what happened is HUGE.

Bos Anda lebih peduli dengan apa yang Anda pelajari daripada hasilnya, karena itu bisa ditindaklanjuti. Berbagi itu dan memberikan ide tentang apa yang harus dilakukan selanjutnya akan membantu mereka melihat bahwa Anda mengendalikan situasi dan membantu mereka merasa percaya diri tentang tes lebih lanjut.

Tip #3: Buat Mereka Terlihat Bagus

Ambil langkah lebih jauh dan tambahkan data yang mereka pedulikan:

• Jika tes gagal, berikan wawasan mengapa menurut Anda tes itu gagal . Tambahkan ROI yang disimpan dengan tidak meluncurkan pengujian yang gagal dan pengaruhnya terhadap MRR dan ARR.
• Jika menang, berikan wawasan tentang ROI yang dibuat dan bagaimana hal ini memengaruhi pendapatan / MRR dan ARR dari tahun ke tahun , bersama dengan peluang apa pun untuk meningkatkannya lebih jauh dan mendapatkan lebih banyak peningkatan ROI. (yaitu Anda mungkin telah menguji halaman pengambilan prospek dan melihat peningkatan saat mengubah tata letak. Anda mungkin memiliki 30 halaman serupa lainnya yang dapat Anda terapkan pengujian ini yang dapat melihat potensi peningkatan.)
• Jika tesnya datar, maka bagikan wawasan tentang apa yang menurut Anda terjadi dan apa yang harus dilakukan selanjutnya. (Eksekusi yang lebih baik, varian baru, perubahan total, atau pengujian yang lebih selaras, dll.)

Tentu, dampak ARR + MRR, atau YOY adalah perkiraan kasar, tetapi ini menunjukkan potensi dampak dan nilai pengujian Anda. Itulah yang dipedulikan bos Anda dan apa yang mungkin mereka pikirkan ketika mereka melihat hasil Anda.

Percayalah, ketika Anda menyajikan informasi Anda seperti ini, Anda akan melihat bahwa itu jauh lebih mudah. Anda beralih dari membingkai tes sebagai 'uang hilang' atau membuang-buang waktu untuk berfokus pada penghematan potensial, pendapatan aktual, dan potensi pertumbuhan lebih lanjut.

Tidak hanya itu, Anda juga dapat membuktikan nilai dalam menjalankan lebih banyak pengujian, mematangkan upaya CRO Anda, dan meningkatkan kecepatan pengujian Anda.

Kesimpulan

Di sana Anda memilikinya.

Sekarang, Anda seharusnya merasa jauh lebih percaya diri tentang cara menganalisis dan belajar dari hasil pengujian A/B Anda dan dapat menyajikan informasi ini kepada atasan Anda atau siapa pun, terlepas dari bagaimana kinerja pengujian Anda.

Cukup ikuti panduan ini untuk menyederhanakan analisis pasca-pengujian dari setiap pengujian A/B baru yang Anda jalankan!