57 Kesalahan Umum Pengujian A/B & Cara Menghindarinya

Apakah Anda menjalankan pengujian A/B tetapi tidak yakin apakah pengujian tersebut berfungsi dengan baik?

Apakah Anda ingin mempelajari kesalahan umum saat pengujian A/B sehingga Anda tidak kehilangan waktu berharga pada kampanye yang rusak?

Nah, kabar baik! Dalam artikel ini, kami akan memandu Anda melalui 57 kesalahan pengujian A/B yang umum (dan terkadang tidak umum) yang kami lihat, sehingga Anda dapat menghindarinya atau menyadarinya saat itu terjadi dan memperbaikinya dengan cepat.

Kami telah membaginya menjadi 3 bagian utama:

• Kesalahan sebelum Anda mulai menguji,
• Masalah yang dapat terjadi selama pengujian,
• Dan kesalahan yang dapat Anda buat setelah tes selesai.

Anda cukup membaca dan melihat apakah Anda membuatnya sendiri.

Dan ingatlah:

Setiap kegagalan adalah pelajaran berharga, baik dalam pengujian maupun dalam mengatur kesalahan. Kuncinya adalah belajar dari mereka!

Jadi mari selami…

Kesalahan Umum Pengujian A/B Yang Dapat Dilakukan Bahkan Sebelum Anda Menjalankan Pengujian

#1. Mendorong sesuatu secara langsung sebelum pengujian!

Anda mungkin memiliki halaman atau desain situs web baru yang fantastis dan Anda benar-benar ingin meluncurkannya secara langsung tanpa mengujinya.

Bertahan!

Jalankan tes cepat untuk melihat cara kerjanya terlebih dahulu. Anda tidak ingin mendorong perubahan radikal secara langsung tanpa mendapatkan beberapa data, atau Anda bisa kehilangan penjualan dan konversi.

Terkadang perubahan baru itu bisa menjadi penurunan kinerja yang substansial. Jadi beri tes cepat dulu.

#2. Tidak menjalankan pengujian A/B yang sebenarnya

Pengujian A/B bekerja dengan menjalankan satu sumber lalu lintas ke halaman kontrol dan variasi halaman tersebut. Tujuannya adalah untuk mengetahui apakah perubahan yang Anda terapkan membuat audiens berkonversi lebih baik dan mengambil tindakan.

Masalahnya, untuk memastikan tes ini terkontrol dan adil, kita perlu menjalankan tes itu dengan parameter tertentu. Kami memerlukan sumber lalu lintas yang sama untuk melihat kampanye selama periode waktu yang sama sehingga kami tidak memiliki faktor eksternal yang memengaruhi satu pengujian dan bukan pengujian lainnya.

Beberapa orang membuat kesalahan dengan menjalankan tes secara berurutan. Mereka menjalankan halaman mereka saat ini selama X jumlah waktu, lalu versi baru untuk X waktu setelah itu, dan kemudian mengukur perbedaannya.

Hasil ini tidak sepenuhnya akurat karena banyak hal dapat terjadi selama jendela pengujian tersebut. Anda bisa mendapatkan ledakan lalu lintas baru, menjalankan acara, menyebabkan 2 halaman memiliki audiens dan hasil yang sangat berbeda.

Jadi, pastikan Anda menjalankan pengujian A/B yang sebenarnya di mana Anda membagi lalu lintas antara 2 versi dan mengujinya pada waktu yang sama persis.

#3. Tidak menguji untuk melihat apakah alat tersebut berfungsi

Tidak ada alat pengujian yang 100% akurat. Hal terbaik yang dapat Anda lakukan saat memulai adalah menjalankan tes A/A untuk melihat seberapa presisi alat Anda.

Bagaimana? Cukup jalankan pengujian di mana Anda membagi lalu lintas 50:50 antara satu halaman. (Pastikan itu adalah halaman tempat audiens Anda dapat mengonversi sehingga Anda dapat mengukur hasil tertentu.)

Mengapa?

Karena kedua kelompok audiens Anda melihat halaman yang sama persis, hasil konversi harus sama di kedua sisi pengujian, bukan?

Terkadang tidak, yang berarti alat Anda mungkin tidak diatur dengan benar. Jadi, lanjutkan dan periksa alat pengujian Anda sebelum menjalankan kampanye apa pun.

#4. Menggunakan alat berkualitas rendah dan konten berkedip

Beberapa alat tidak sebagus yang lain. Mereka melakukan pekerjaan tetapi berjuang di bawah beban lalu lintas atau 'berkedip' dan berkedip.

Ini sebenarnya dapat menyebabkan pengujian Anda gagal, bahkan jika Anda memiliki varian pemenang yang potensial.

Katakanlah Anda membagi pengujian gambar di halaman Anda. Halaman kontrol dimuat dengan baik, tetapi variasi berkedip antara gambar uji baru dan yang asli hanya dalam sepersekian detik. (Atau mungkin setiap kali pengguna menggulir ke atas dan ke bawah halaman.)

Ini dapat mengganggu dan menyebabkan masalah kepercayaan, menurunkan tingkat konversi Anda.

Faktanya, gambar baru Anda bahkan dapat mengonversi lebih baik secara teori, tetapi alat yang berkedip-kedip menurunkan hasilnya, memberi Anda tes yang tidak akurat untuk gambar itu.

Pastikan Anda memiliki alat yang cukup baik untuk diuji.

(Ini adalah faktor pengalaman pengguna yang sangat penting sehingga Google saat ini menyesuaikan peringkatnya untuk situs yang tidak memiliki elemen yang berkedip atau bergerak).

#5. Tidak ada tes QA

Kesalahan yang sangat sederhana, tetapi apakah Anda sudah memeriksa bahwa semuanya berfungsi?

• Apakah Anda sudah melalui proses penjualan?
• Punya yang lain? (Dan pada perangkat yang tidak di-cache karena terkadang apa yang disimpan di browser Anda tidak seperti tampilan halamannya.)
• Apakah halaman dimuat dengan baik? Apakah mereka lambat? Apakah desainnya kacau?
• Apakah semua tombol berfungsi?
• Apakah pelacakan pendapatan berfungsi?
• Sudahkah Anda memeriksa bahwa halaman berfungsi di banyak perangkat?
• Apakah Anda memiliki pelaporan kesalahan di tempat jika ada yang rusak?

Ini semua layak untuk dicoba SEBELUM Anda mulai menjalankan lalu lintas ke kampanye apa pun.

#6. Apakah perawatan/variasi baru berhasil?

Demikian juga, apakah Anda telah melalui dan menguji bahwa variasi baru Anda berfungsi sebelum Anda menjalankan pengujian?

Ini mungkin merupakan bagian yang diabaikan dari pengujian QA, tetapi kampanye sering kali dapat berjalan dengan tombol rusak, tautan lama, dan banyak lagi. Cek dulu, baru tes.

#7. Tidak mengikuti hipotesis dan hanya menguji hal lama apa pun

Beberapa orang hanya menguji apa pun tanpa benar-benar memikirkannya.

Mereka mendapatkan ide untuk perubahan dan ingin mengujinya, tetapi tanpa analisis nyata tentang bagaimana halaman saat ini mengonversi, atau bahkan mengapa perubahan yang mereka uji dapat membuat perbedaan. (Bisa jadi mereka menurunkan konversi tetapi bahkan tidak mengetahuinya, karena mereka belum memiliki hasil dasar yang dilacak).

Membentuk hipotesis di mana letak masalah, penyebabnya, dan bagaimana Anda dapat menyelesaikannya akan membuat perbedaan besar pada program pengujian Anda.

#8. Memiliki hipotesis yang tidak dapat diuji

Tidak semua hipotesis benar. Ini baik-baik saja. Sebenarnya, kata itu secara harfiah berarti 'Saya punya ide berdasarkan informasi X dan saya pikir Y mungkin terjadi dalam situasi Z'.

Tetapi Anda memerlukan hipotesis yang dapat diuji, artinya dapat dibuktikan atau disangkal melalui pengujian. Hipotesis yang dapat diuji menggerakkan inovasi dan mempromosikan eksperimen aktif. Mereka bisa menghasilkan kesuksesan (dalam hal ini firasat Anda benar) atau kegagalan - menunjukkan bahwa Anda salah selama ini. Tapi mereka akan memberi Anda wawasan. Ini mungkin berarti pengujian Anda perlu dijalankan dengan lebih baik, data Anda salah/salah baca, atau Anda menemukan sesuatu yang tidak berfungsi yang seringkali memberikan wawasan tentang pengujian baru yang mungkin bekerja jauh lebih baik.

#9. Tidak menetapkan tujuan yang jelas untuk tes Anda sebelumnya

Setelah Anda memiliki hipotesis, Anda dapat menggunakan ini untuk menyelaraskan dengan hasil spesifik yang ingin Anda capai.

Terkadang orang hanya menjalankan kampanye dan melihat apa yang berubah, tetapi Anda pasti akan mendapatkan lebih banyak prospek/konversi atau penjualan jika Anda memiliki kejelasan tentang elemen spesifik mana yang ingin Anda lihat peningkatannya.

(Ini juga menghentikan Anda dari melihat penurunan elemen penting tetapi menganggap pengujian sebagai kemenangan karena 'mendapat lebih banyak bagian'.)

Ngomong-ngomong soal…

# 10. Berfokus pada metrik yang dangkal

Pengujian Anda harus selalu dikaitkan dengan metrik Pagar Pembatas atau beberapa elemen yang secara langsung memengaruhi penjualan Anda. Jika lebih banyak prospek, maka Anda harus tahu hingga dolar berapa nilai prospek dan nilai peningkatan tingkat konversi itu.

Pada saat yang sama, metrik yang tidak terhubung ke atau mendorong hasil yang terukur biasanya harus dihindari. Lebih banyak suka Facebook tidak selalu berarti lebih banyak penjualan. Hapus tombol berbagi sosial itu dan lihat saja berapa banyak lagi prospek yang Anda dapatkan. Berhati-hatilah dengan metrik kesombongan dan ingat bahwa hanya karena satu kebocoran diperbaiki tidak berarti tidak ada kebocoran lain yang harus diatasi juga!

Berikut daftar metrik pagar pembatas umum Ben Labay untuk program eksperimen:

#11. Hanya menggunakan data kuantitatif untuk membentuk ide tes

Menggunakan data kuantitatif untuk mendapatkan ide memang bagus, tetapi juga sedikit cacat. Apalagi jika satu-satunya data yang kami gunakan adalah dari analytics kami.

Mengapa?

Kami dapat mengetahui dari data kami bahwa X jumlah orang tidak mengklik, tetapi kami mungkin tidak tahu mengapa.

• Apakah tombol terlalu rendah di bawah halaman?
• Apakah tidak jelas?
• Apakah itu sesuai dengan apa yang diinginkan pemirsa?
• Apakah itu bahkan bekerja?

Penguji terbaik juga mendengarkan audiens mereka. Mereka menemukan apa yang mereka butuhkan, apa yang mendorong mereka maju, apa yang menahan mereka, dan kemudian menggunakannya untuk merumuskan ide-ide baru, tes, dan salinan tertulis.

Terkadang pengguna Anda terhambat oleh masalah kepercayaan dan keraguan diri. Di lain waktu, itu adalah kejelasan dan bentuk yang rusak atau desain yang buruk. Kuncinya adalah ini adalah hal-hal yang data kuantitatif tidak selalu dapat memberitahu Anda, jadi selalu tanyakan audiens Anda dan gunakan untuk membantu Anda merencanakan.

# 12. Menyalin pesaing Anda

Siap untuk sebuah rahasia?

Seringkali pesaing Anda hanya mengayunkannya. Kecuali jika mereka memiliki seseorang yang telah menjalankan kampanye peningkatan jangka panjang, mereka mungkin hanya mencoba berbagai hal untuk melihat apa yang berhasil, terkadang tanpa menggunakan data apa pun untuk ide mereka.

Dan bahkan kemudian, apa yang berhasil untuk mereka, mungkin tidak berhasil untuk Anda. Jadi ya, gunakan mereka untuk inspirasi tetapi jangan batasi ide pengujian Anda hanya pada apa yang Anda lihat mereka lakukan. Anda bahkan dapat keluar dari industri Anda untuk mendapatkan inspirasi dan melihat apakah itu memicu beberapa hipotesis.

# 13. Hanya menguji 'praktik terbaik industri'

Sekali lagi, apa yang berhasil untuk satu orang tidak selalu berhasil untuk orang lain.

Misalnya, gambar slider biasanya memiliki kinerja yang buruk, tetapi di beberapa situs, gambar tersebut sebenarnya dapat mendorong lebih banyak konversi. Uji semuanya. Anda tidak akan rugi apa-apa dan segala sesuatu untuk diperoleh.

# 14. Berfokus pada tugas berdampak kecil terlebih dahulu, ketika hadiah besar berdampak tinggi/buah gantung rendah tersedia

Kita semua bisa bersalah karena berfokus pada hal-hal kecil. Kami mungkin memiliki halaman yang ingin kami tampilkan lebih baik dan menguji desain dan gambar tata letak dan bahkan warna tombol. (Saya pribadi memiliki halaman penjualan yang ada di iterasi ke-5.)

Masalahnya, mungkin ada halaman yang jauh lebih penting untuk Anda uji sekarang.

Prioritaskan dampak yang paling penting:

• Apakah halaman ini akan mempengaruhi penjualan secara langsung?
• Apakah ada halaman lain dalam proses penjualan yang kinerjanya sangat buruk?

Jika demikian, fokuslah pada yang pertama.

Peningkatan 1% pada halaman penjualan memang bagus, tetapi peningkatan 20% pada halaman yang membawa mereka ke sana mungkin jauh lebih penting. (Terutama jika halaman tertentu adalah tempat Anda kehilangan sebagian besar audiens Anda.)

Terkadang kita tidak hanya mencari lebih banyak tumpangan tetapi juga memperbaiki sesuatu yang menjadi hambatan.

Uji dan tingkatkan dampak terbesar, buah gantung terendah terlebih dahulu. Itulah yang dilakukan agensi dan itulah sebabnya mereka melakukan jumlah pengujian yang sama dengan tim internal, tetapi dengan ROI yang lebih tinggi. Agen mendapatkan 21% lebih banyak kemenangan untuk volume tes yang sama!

#15. Menguji banyak hal sekaligus dan tidak mengetahui perubahan mana yang menyebabkan hasilnya

Tidak ada salahnya melakukan tes radikal di mana Anda mengubah banyak hal sekaligus dan mendesain ulang seluruh halaman.

Faktanya, desain ulang radikal ini terkadang memiliki dampak terbesar pada ROI Anda, bahkan jika Anda adalah situs dengan lalu lintas rendah, dan terutama jika Anda berada di dataran tinggi dan sepertinya tidak bisa mendapatkan peningkatan lagi.

Namun perlu diingat, tidak setiap pengujian A/B harus untuk perubahan radikal seperti ini. 99% dari waktu kami hanya menguji perubahan satu hal, seperti

• Judul baru
• gambar baru
• Tata letak baru dari konten yang sama
• Harga baru, dll.

Kuncinya saat melakukan tes elemen tunggal hanyalah itu. Pertahankan pengujian Anda hanya pada SATU perubahan elemen sehingga Anda dapat melihat apa yang membuat perbedaan dan belajar darinya. Terlalu banyak perubahan dan Anda tidak tahu apa yang berhasil.

#16. Tidak menjalankan analisis pra-tes yang tepat

Apakah Anda memiliki cukup pengunjung di grup pengujian Anda? Apakah tes itu layak untuk Anda?

Lakukan matematika! Pastikan Anda memiliki lalu lintas yang cukup sebelum menjalankan tes – jika tidak, itu hanya membuang-buang waktu dan uang. Banyak tes gagal karena lalu lintas yang tidak mencukupi atau sensitivitas yang buruk (atau keduanya).

Lakukan analisis pra-pengujian untuk menentukan Ukuran Sampel dan Efek Minimum yang Dapat Dideteksi untuk eksperimen Anda. Kalkulator Signifikansi Pengujian A/B seperti Convert akan memberi tahu Anda Ukuran Sampel dan MDE untuk pengujian Anda, yang akan membantu Anda memutuskan apakah pengujian tersebut layak dijalankan. Anda juga dapat menggunakan informasi ini untuk menentukan berapa lama pengujian harus dijalankan dan seberapa kecil peningkatan yang tidak ingin Anda lewatkan sebelum menyimpulkan bahwa pengujian berhasil atau tidak.

#17. Salah memberi label tes

Sebuah kesalahan super sederhana tapi itu terjadi. Anda salah memberi label tes dan kemudian mendapatkan hasil yang salah. Variasi menang tapi itu bernama kontrol, dan kemudian Anda tidak pernah menerapkan kemenangan dan tetap bersama yang kalah!

Selalu periksa ulang!

#18. Menjalankan tes ke URL yang salah

Kesalahan sederhana lainnya. Entah URL halaman yang dimasukkan salah, atau pengujian sedang berjalan ke 'situs pengujian' tempat Anda membuat perubahan dan bukan ke versi langsung.

Ini mungkin terlihat baik untuk Anda, tetapi itu tidak akan benar-benar dimuat untuk audiens Anda.

#19. Menambahkan aturan tampilan sewenang-wenang ke pengujian Anda

Sekali lagi, Anda perlu menguji satu hal dengan perawatan Anda dan tidak ada yang lain.

Jika itu sebuah gambar, maka ujilah gambar tersebut. Segala sesuatu yang lain harus sama, termasuk waktu ketika orang dapat melihat kedua halaman!

Beberapa alat memungkinkan Anda menguji waktu yang berbeda dalam sehari untuk melihat bagaimana kinerja lalu lintas dalam kerangka waktu yang berbeda. Ini berguna jika Anda ingin melihat kapan lalu lintas terbaik Anda ada di situs Anda, tetapi tidak membantu jika halaman dibagi berdasarkan siapa yang melihatnya DAN memiliki variasi yang berbeda.

Misalnya, lalu lintas blog kita sendiri turun di akhir pekan (seperti kebanyakan blog bisnis).

Bayangkan jika kita menjalankan tes pada Senin-Rabu di halaman kontrol, dan kemudian menunjukkan lalu lintas dari Jumat-Minggu pada perawatan? Itu akan memiliki lalu lintas yang jauh lebih rendah untuk diuji, dan mungkin hasil yang berbeda.

#20. Menguji lalu lintas yang salah untuk tujuan Anda

Idealnya, saat menjalankan pengujian, Anda ingin memastikan bahwa Anda hanya menguji satu segmen audiens Anda. Biasanya, ini adalah pengunjung organik baru, untuk melihat bagaimana mereka merespons pertama kali di situs Anda.

Terkadang Anda mungkin ingin menguji pengunjung berulang, pelanggan email, atau bahkan lalu lintas berbayar. Triknya adalah hanya menguji salah satu dari mereka pada satu waktu sehingga Anda bisa mendapatkan representasi akurat tentang bagaimana kinerja grup itu dengan halaman itu.

Saat Anda menyiapkan pengujian, pilih audiens yang ingin Anda ajak bekerja sama dan hapus audiens lain yang mungkin mencemari hasil, seperti pengunjung yang kembali.

#21. Gagal mengecualikan pengunjung yang kembali ke dalam pengujian dan mengubah hasil

Kami menyebutnya polusi sampel.

Pada dasarnya, jika pengunjung melihat halaman situs Anda, kembali dan melihat variasi Anda, maka mereka akan merespons dengan sangat berbeda dibandingkan jika mereka hanya melihat salah satunya.

Mereka bisa bingung, terpental, atau bahkan berkonversi lebih tinggi, hanya karena interaksi ekstra itu.

Masalahnya, itu menyebabkan data Anda menjadi tercemar dan kurang akurat. Idealnya, Anda ingin menggunakan alat yang mengacak halaman mana yang mereka lihat tetapi kemudian selalu menunjukkan versi yang sama hingga pengujian selesai.

#22. Tidak menghapus IP Anda dari tes

Berbicara tentang polusi sampel, inilah cara lain untuk mencemari data Anda (dan ini adalah praktik yang baik untuk analitik).

Pastikan untuk memblokir Anda dan alamat IP staf Anda dari alat analisis dan pengujian Anda. Hal terakhir yang Anda inginkan adalah Anda atau anggota tim 'check in' di halaman dan diberi tag dalam pengujian Anda.

#23. Tidak menyegmentasikan variasi grup kontrol (Efek Jaringan)

Opsi polusi lain yang jarang tetapi bisa terjadi, terutama jika Anda memiliki jaringan untuk audiens Anda.

Berikut adalah contoh.

Katakanlah Anda memiliki platform di mana audiens Anda dapat berkomunikasi. Mungkin halaman Facebook atau bagian komentar, tetapi SEMUA ORANG dapat mengaksesnya.

Dalam situasi ini, Anda mungkin melihat orang-orang melihat satu halaman dan orang lain melihat variasi, tetapi semuanya berada di jejaring sosial yang sama. Ini sebenarnya dapat mendistorsi data Anda karena dapat memengaruhi pilihan dan interaksi satu sama lain dengan halaman. Linkedin telah menyegmentasikan audiensnya saat menguji fitur baru untuk mencegah masalah efek jaringan.

Idealnya, Anda ingin memisahkan komunikasi antara 2 kelompok pengujian hingga pengujian selesai.

#24. Menjalankan tes selama acara musiman atau acara situs/platform utama

Kecuali jika Anda menguji acara musiman, Anda tidak pernah ingin menjalankan kampanye pengujian selama liburan atau acara besar lainnya, seperti obral khusus atau acara dunia yang sedang berlangsung.

Terkadang Anda tidak bisa menahannya. Anda akan menjalani uji coba dan Google hanya menerapkan pembaruan inti baru dan mengacaukan sumber lalu lintas Anda di tengah kampanye * batuk *.

Hal terbaik untuk dilakukan adalah menjalankan kembali setelah itu semua mereda.

#25. Mengabaikan perbedaan budaya

Anda mungkin memiliki sasaran untuk sebuah halaman, tetapi juga menjalankan kampanye global dengan beberapa variasi yang ditampilkan dalam berbagai bahasa dan negara yang berbeda.

Anda perlu mempertimbangkan hal ini saat menjalankan pengujian. Beberapa perubahan dapat dilakukan secara global, seperti perubahan tata letak sederhana atau menambahkan sinyal kepercayaan, dll.

Di lain waktu, Anda perlu mempertimbangkan poin perbedaan budaya. Bagaimana orang melihat tata letak, bagaimana mereka melihat gambar, dan avatar di halaman Anda.

Netflix melakukan ini dengan thumbnail dari semua acara mereka, menguji elemen berbeda yang mungkin menarik bagi audiens yang berbeda (sebagai gantinya menampilkan aktor tertentu yang terkenal di negara itu).

Apa yang mendapat klik di satu negara bisa sangat berbeda di negara lain. Anda tidak tahu sampai Anda mengujinya!

#26. Menjalankan beberapa kampanye yang terhubung secara bersamaan

Sangat mudah untuk bersemangat dan ingin menjalankan beberapa tes sekaligus.

Ingat saja: Anda dapat menjalankan beberapa pengujian untuk titik yang serupa dalam proses penjualan secara bersamaan, tetapi jangan menjalankan beberapa pengujian untuk beberapa titik yang terhubung di corong.

Inilah yang saya maksud.

Anda dapat dengan mudah menjalankan pengujian pada setiap halaman pembuatan prospek yang Anda miliki, semuanya secara bersamaan.

Namun, Anda tidak ingin menguji halaman prospek, halaman penjualan, dan halaman checkout sekaligus karena ini dapat memperkenalkan begitu banyak elemen berbeda ke dalam proses pengujian Anda, yang membutuhkan volume lalu lintas dan konversi yang besar untuk mendapatkan wawasan yang bermanfaat.

Tidak hanya itu, setiap elemen dapat menimbulkan efek yang berbeda pada halaman berikutnya, baik dan buruk. Kecuali jika Anda memiliki ratusan ribu pengunjung dalam seminggu, Anda mungkin akan kesulitan untuk mendapatkan hasil yang akurat.

Jadi bersabarlah dan uji hanya satu tahap pada satu waktu atau halaman yang tidak terhubung dalam proses.

Catatan sampingan:

Konversi memungkinkan Anda untuk mengecualikan orang dalam satu eksperimen agar tidak melihat eksperimen lainnya. Jadi Anda secara teori dapat menguji siklus penjualan penuh dan kemudian hanya melihat kontrol dari halaman lain.

#27. Pembobotan lalu lintas yang tidak sama

Tidak masalah jika Anda menjalankan pengujian A/B, A/B/n, atau Multivarian. Anda perlu mengalokasikan volume lalu lintas yang sama untuk setiap versi sehingga Anda bisa mendapatkan pengukuran yang akurat.

Atur agar sama dari awal. Sebagian besar alat akan memungkinkan Anda melakukan ini.

Kesalahan Umum Pengujian A/B yang Dapat Anda Lakukan Selama Pengujian

#28. Tidak berjalan cukup lama untuk mendapatkan hasil yang akurat

Ada 3 faktor penting yang harus dipertimbangkan ketika Anda ingin menguji dan mendapatkan hasil yang akurat:

• Signifikansi Statistik,
• Siklus Penjualan, dan
• Ukuran sampel.

Jadi mari kita hancurkan.

Kebanyakan orang mengakhiri tes setelah alat pengujian mereka memberi tahu mereka bahwa satu hasil lebih baik daripada yang lain DAN hasilnya signifikan secara statistik yaitu jika tes terus berjalan seperti ini, maka ini adalah pemenang yang pasti.

Masalahnya adalah Anda kadang-kadang dapat menekan 'stat sig' dengan cukup cepat hanya dengan sedikit lalu lintas. Secara acak semua konversi terjadi di satu halaman dan tidak ada di halaman lain.

Itu tidak akan selalu tetap seperti ini. Bisa jadi tes diluncurkan, itu hari gajian dan Anda mendapat banyak penjualan pada hari itu.

Inilah sebabnya mengapa kita perlu mempertimbangkan siklus penjualan. Penjualan dan lalu lintas dapat berfluktuasi tergantung pada hari dalam seminggu atau bulan. Untuk mendapatkan representasi yang lebih akurat tentang cara pengujian Anda berjalan, idealnya Anda harus menjalankan antara 2 hingga 4 minggu.

Akhirnya, Anda memiliki ukuran sampel.

Jika Anda menjalankan pengujian selama sebulan, Anda mungkin akan mendapatkan lalu lintas yang cukup untuk mendapatkan hasil yang akurat. Terlalu sedikit dan tes tidak akan dapat memberi Anda tingkat kepercayaan bahwa itu akan bekerja sebagaimana mestinya.

Jadi sebagai aturan praktis,

• Pergi untuk peringkat kepercayaan 95%.
• Jalankan selama sebulan.
• Cari tahu ukuran sampel apa yang Anda butuhkan terlebih dahulu dan jangan hentikan tes sampai tercapai ATAU Anda mendapatkan hasil luar biasa yang membuktikan tanpa keraguan bahwa Anda memiliki pemenang.

#29. Pemantauan/pengintipan helikopter

Mengintip adalah istilah yang digunakan untuk menggambarkan ketika seorang penguji melihat pengujian mereka untuk melihat bagaimana kinerjanya.

Idealnya, kami tidak pernah ingin melihat pengujian kami setelah berjalan, dan kami tidak pernah membuat keputusan tentangnya sampai selesai satu siklus penuh, dengan ukuran sampel yang tepat dan mencapai signifikansi statistik.

Namun… Bagaimana jika tes tidak berjalan?

Bagaimana jika ada yang rusak?

Nah, dalam hal ini, Anda tidak benar-benar ingin menunggu sebulan untuk melihatnya rusak, bukan? Inilah sebabnya mengapa saya selalu memeriksa untuk melihat apakah tes mendapatkan hasil dalam kontrol dan variasi, 24 jam setelah saya mengaturnya untuk dijalankan.

Jika saya dapat melihat bahwa keduanya menerima lalu lintas dan mendapatkan klik/konversi, maka saya pergi dan membiarkannya melakukan tugasnya. Saya TIDAK membuat keputusan sampai tes berjalan dengan sendirinya.

#30. Tidak melacak umpan balik pengguna (terutama penting jika pengujian memengaruhi tindakan langsung dan segera)

Katakanlah tes mendapatkan klik dan lalu lintas didistribusikan, sehingga *sepertinya* berhasil, tetapi tiba-tiba Anda mulai mendapatkan laporan bahwa orang tidak dapat mengisi formulir penjualan. (Atau lebih baik lagi, Anda mendapat peringatan otomatis bahwa metrik pagar pembatas telah turun jauh di bawah level yang dapat diterima.)

Nah, maka pikiran pertama Anda seharusnya ada sesuatu yang rusak.

Ini tidak selalu. Anda mungkin mendapatkan klik dari audiens yang tidak sesuai dengan penawaran Anda, tetapi untuk berjaga-jaga, ada baiknya memeriksa formulir itu.

Jika rusak maka perbaiki dan restart.

#31. Membuat perubahan di tengah ujian

Mungkin sudah jelas dari beberapa poin terakhir itu, tetapi kami tidak pernah ingin membuat perubahan apa pun pada pengujian setelah ditayangkan.

Tentu, sesuatu mungkin rusak, tapi itulah satu-satunya perubahan yang harus kita buat. Kami tidak mengubah desain, atau menyalin, atau apa pun.

Jika tes berhasil, biarkan berjalan dan biarkan data memutuskan apa yang berhasil.

#32. Mengubah % alokasi lalu lintas ujian tengah atau menghapus yang berkinerja buruk

Sama seperti kami tidak mengubah halaman yang sedang diuji, kami juga tidak menghapus variasi apa pun atau mengubah distribusi lalu lintas di tengah pengujian.

Mengapa?

Katakanlah Anda menjalankan pengujian A/B/n dengan kontrol dan 3 variasi. Anda memulai tes dan setelah seminggu Anda dengan nakal mengintip dan melihat bahwa 2 versi berjalan dengan baik dan satu melakukan dengan buruk.

Sekarang akan tergoda untuk mematikan variasi 'kehilangan' dan mendistribusikan kembali lalu lintas di antara variasi lainnya, bukan? Heck… Anda bahkan mungkin ingin mengambil ekstra 25% dari lalu lintas dan mengirimkannya ke yang berkinerja terbaik, tetapi jangan lakukan itu.

Mengapa?

Distribusi ulang ini tidak hanya akan memengaruhi kinerja pengujian, tetapi juga dapat secara langsung memengaruhi hasil dan tampilannya di alat pelaporan.

Semua pengguna yang sebelumnya dimasukkan ke varian yang dihapus perlu dialokasikan kembali ke varian dan akan melihat halaman web yang diubah dalam waktu singkat, yang dapat memengaruhi perilaku dan pilihan mereka selanjutnya.

Itulah mengapa Anda tidak pernah mengubah lalu lintas atau menonaktifkan variasi di tengah jalan. (Dan juga mengapa Anda tidak boleh mengintip!)

#33. Tidak menghentikan tes ketika Anda memiliki hasil yang akurat

Terkadang Anda lupa menghentikan tes!

Itu terus berjalan dan memberi makan 50% audiens Anda ke halaman yang lebih lemah dan 50% ke pemenang. Ups!

Untungnya, alat seperti Konversi Pengalaman dapat disiapkan untuk menghentikan kampanye dan secara otomatis menampilkan pemenang setelah mencapai kriteria tertentu (seperti ukuran sampel, tanda statistik, konversi, dan kerangka waktu).

#34. Diinvestasikan secara emosional dalam kehilangan variasi

Sebagai penguji, kita harus tidak memihak. Namun, kadang-kadang, Anda mungkin memiliki desain atau ide tertentu yang Anda sukai dan yakin bahwa itu seharusnya menang sehingga Anda terus memperpanjang tes lebih lama dan lebih lama untuk melihat apakah itu menarik.

Tarik bandaidnya.

Anda mungkin memiliki ide bagus yang hanya perlu ditingkatkan, tetapi Anda tidak dapat melakukannya sampai Anda mengakhiri tes saat ini.

#35. Menjalankan tes terlalu lama dan pelacakan menurun

Berikut ini contoh masalah polusi potensial lainnya.

Jika Anda menjalankan pengujian selama lebih dari 4 minggu, ada kemungkinan Anda melihat cookie pengguna hilang. Hal ini dapat menyebabkan kurangnya pelacakan peristiwa tetapi bahkan dapat kembali dan mencemari data sampel lagi.

#36. Tidak menggunakan alat yang memungkinkan Anda menghentikan/menerapkan pengujian!

Masalah langka lainnya.

Beberapa program pengujian bersikeras membuat pengujian hard-coded. yaitu seorang pengembang dan insinyur membangun kampanye dari awal.

Ini tidak bagus, namun, ketika tes selesai dan Anda harus menunggu pengembang yang sama untuk mematikannya dan menginstal variasi pemenang. Ini tidak hanya membuat frustrasi, tetapi juga dapat memperlambat jumlah tes yang dapat Anda jalankan dan bahkan ROI halaman sambil menunggu untuk ditayangkan.

Kesalahan Umum Pengujian A/B yang Dapat Anda Lakukan Setelah Pengujian Selesai

#37. Menyerah setelah satu tes!

9 dari 10 tes biasanya gagal.

Itu berarti Anda perlu menjalankan 10 tes untuk mendapatkan pemenang itu. Dibutuhkan usaha tetapi selalu sepadan, jadi jangan berhenti setelah satu kampanye!

#38. Menyerah pada hipotesis yang baik sebelum Anda menguji semua versinya

Kegagalan bisa berarti hipotesis Anda benar tetapi perlu dieksekusi dengan lebih baik.

Coba cara baru, desain baru, tata letak baru, gambar baru, avatar baru, bahasa baru. Anda memiliki ide dan melihat apakah Anda dapat menjalankannya dengan lebih baik.

Butuh CXL 21 iterasi untuk meningkatkan halaman klien mereka, tetapi butuh waktu dari tingkat konversi 12,1% menjadi 79,3%.

#39. Mengharapkan kemenangan besar sepanjang waktu

Faktanya adalah Anda mungkin hanya mendapatkan kemenangan besar 1 dari setiap 10 atau lebih kampanye yang menang.

Ini bagus. Kami terus menguji dan kami terus meningkatkan, karena bahkan 1% meningkatkan senyawa dari waktu ke waktu. Tingkatkan dan dapatkan menjadi 2% dan Anda sekarang telah menggandakan efektivitasnya.

Jenis tes mana yang memberikan hasil terbaik?

Sebenarnya, eksperimen yang berbeda memiliki efek yang berbeda. Menurut penelitian Jakub Linowski dari lebih dari 300 pengujian, eksperimen tata letak cenderung menghasilkan hasil yang lebih baik.

Apa jenis layar yang paling sulit untuk dioptimalkan? Penelitian yang sama mengungkapkan layar checkoutnya (dengan efek median +0,4% dari 25 tes).

#40. Tidak memeriksa validitas setelah tes

Jadi tes selesai. Anda berlari cukup lama, melihat hasilnya, dan mendapatkan stat sig tetapi dapatkah Anda memercayai keakuratan data?

Bisa jadi ada yang rusak di tengah jalan melalui pengujian. Tidak ada salahnya untuk memeriksa.

#41. Tidak membaca hasil dengan benar

Apa hasil Anda benar-benar memberitahu Anda? Gagal membacanya dengan benar dapat dengan mudah mengambil calon pemenang dan tampak seperti kegagalan total.

• Selami lebih dalam analitik Anda.
• Lihatlah data kualitatif apa pun yang Anda miliki.

Apa yang berhasil dan apa yang tidak? Kenapa ini terjadi?

Semakin Anda memahami hasil Anda, semakin baik.

#42. Tidak melihat hasil berdasarkan segmen

Itu selalu membayar untuk menyelam sedikit lebih dalam.

Misalnya, varian baru tampaknya berkonversi dengan buruk, tetapi di seluler, ia memiliki peningkatan konversi sebesar 40%!

Anda hanya dapat mengetahuinya dengan mengelompokkannya ke dalam hasil Anda. Lihatlah perangkat yang digunakan dan hasilnya di sana. Anda mungkin menemukan beberapa wawasan berharga!

Sadarilah pentingnya ukuran segmen Anda. Anda mungkin tidak memiliki cukup lalu lintas ke setiap segmen untuk memercayainya sepenuhnya, tetapi Anda selalu dapat menjalankan pengujian khusus seluler (atau saluran mana pun itu) dan melihat bagaimana kinerjanya.

#43. Tidak belajar dari hasil

Kehilangan tes dapat memberi Anda wawasan tentang di mana Anda perlu meningkatkan lebih lanjut atau melakukan lebih banyak penelitian. Hal yang paling menyebalkan sebagai CRO adalah melihat klien yang menolak untuk belajar dari apa yang baru saja mereka lihat. Mereka memiliki data tetapi tidak menggunakannya ...

#44. Mengambil yang kalah

Atau lebih buruk, mereka mengambil variasi yang kalah.

Mungkin mereka lebih suka desain dan tingkat konversi hanya 1% berbeda tetapi seiring waktu efek itu bertambah. Ambil kemenangan kecil itu!

#45. Tidak mengambil tindakan atas hasil

Lebih parah lagi?

Mendapatkan kemenangan tetapi tidak menerapkannya! Mereka memiliki data dan tidak melakukan apa-apa dengannya. Tidak ada perubahan, tidak ada wawasan, dan tidak ada tes baru.

#46. Tidak mengulangi dan meningkatkan kemenangan

Kadang-kadang Anda bisa mendapatkan tumpangan tetapi ada lebih banyak yang bisa didapat. Seperti yang kami katakan sebelumnya, sangat jarang setiap kemenangan akan memberi Anda peningkatan dua digit.

Tetapi itu tidak berarti bahwa Anda tidak dapat mencapainya dengan menjalankan iterasi dan peningkatan baru dan meningkatkan 1% setiap kali.

Semuanya bertambah jadi terus tingkatkan!

#47. Tidak membagikan temuan pemenang di area atau departemen lain

Salah satu hal terbesar yang kami lihat dengan tim CRO yang sangat sukses/dewasa adalah mereka berbagi kemenangan dan temuan mereka dengan departemen lain di perusahaan.

Ini memberi wawasan departemen lain tentang bagaimana mereka juga dapat meningkatkan.

• Temukan salinan halaman penjualan yang menang? Preframe dalam iklan Anda yang membawa mereka ke halaman!
• Temukan gaya magnet timah yang bekerja dengan baik? Uji di seluruh situs.

#48. Tidak menguji perubahan itu di departemen lain

Dan itulah kuncinya di sini. Bahkan jika Anda berbagi wawasan dengan departemen lain, Anda tetap harus menguji untuk melihat cara kerjanya.

Desain gaya yang memberikan daya angkat di satu area mungkin memberikan penurunan di area lain, jadi selalu uji!

#49. Terlalu banyak iterasi pada satu halaman

Kami menyebutnya memukul 'maksimum lokal'.

Halaman tempat Anda menjalankan pengujian telah stabil dan Anda sepertinya tidak bisa mendapatkan peningkatan lagi darinya.

Anda dapat mencoba desain ulang radikal, tetapi apa selanjutnya?

Cukup pindah ke halaman lain dalam proses penjualan dan tingkatkan itu. (Ironisnya, ini benar-benar terbukti memberikan ROI yang lebih tinggi.)

Mengambil halaman penjualan dari konversi 10% menjadi 11% bisa menjadi kurang penting daripada mengambil halaman yang mengarahkan lalu lintas ke sana dari 2% menjadi 5%, karena pada dasarnya Anda akan melipatgandakan lalu lintas di halaman sebelumnya.

Jika ragu, temukan tes terpenting berikutnya dalam daftar Anda dan mulailah meningkatkan di sana. Anda bahkan mungkin merasa itu membantu konversi pada halaman yang macet itu, hanya dengan memberi makan prospek yang lebih baik ke sana.

#50. Tidak cukup menguji!

Tes membutuhkan waktu dan hanya ada begitu banyak yang bisa kita jalankan sekaligus.

Jadi apa yang bisa kita lakukan?

Cukup kurangi waktu henti di antara pengujian!

Selesaikan tes, analisis hasilnya, dan ulangi atau jalankan tes yang berbeda. (Idealnya, minta mereka mengantri dan siap berangkat).

Dengan cara ini Anda akan melihat pengembalian yang jauh lebih tinggi untuk investasi waktu Anda.

#51. Tidak mendokumentasikan tes

Kebiasaan lain yang dimiliki tim CRO dewasa adalah membuat database pengujian internal, yang mencakup data tentang halaman, hipotesis, apa yang berhasil, apa yang tidak, peningkatan, dll.

Anda tidak hanya kemudian dapat belajar dari tes yang lebih lama, tetapi juga dapat menghentikan Anda dari menjalankan kembali tes secara tidak sengaja.

#52. Melupakan positif palsu dan tidak memeriksa ulang kampanye peningkatan besar

Terkadang hasilnya terlalu bagus untuk menjadi kenyataan. Entah ada sesuatu yang diatur atau direkam salah, atau ini kebetulan 1 dari 20 tes yang memberikan hasil positif palsu.

Jadi apa yang bisa Anda lakukan?

Cukup jalankan kembali tes, atur tingkat kepercayaan yang tinggi, dan pastikan Anda menjalankannya cukup lama.

#53. Tidak melacak hasil downline

Saat melacak hasil tes Anda, penting juga untuk mengingat tujuan akhir Anda dan melacak metrik downline sebelum memutuskan pemenang.

Varian baru mungkin secara teknis mendapatkan lebih sedikit klik, tetapi mendorong lebih banyak penjualan dari orang-orang yang mengklik.

Dalam hal ini, halaman ini sebenarnya akan lebih menguntungkan untuk dijalankan, dengan asumsi lalu lintas yang diklik terus berkonversi juga…

#54. Gagal memperhitungkan efek keutamaan dan kebaruan, yang dapat membiaskan hasil pengobatan

Katakanlah Anda tidak hanya menargetkan pengunjung baru dengan perubahan, tetapi semua lalu lintas.

Kami masih menyegmentasikannya sehingga 50% melihat yang asli dan 50% melihat versi baru, tetapi kami mengizinkan pengunjung sebelumnya ke dalam kampanye. Ini berarti orang-orang yang pernah melihat situs Anda sebelumnya, membaca konten Anda, melihat ajakan bertindak Anda, dll.

Juga, selama kampanye, mereka hanya melihat versi pengujian khusus mereka.

Ketika Anda membuat perubahan baru, itu benar-benar dapat memiliki efek baru pada audiens Anda sebelumnya.

Mungkin mereka melihat CTA yang sama sepanjang waktu dan sekarang abaikan saja, bukan? Dalam hal ini, tombol atau desain CTA baru sebenarnya dapat melihat peningkatan dari pengunjung sebelumnya, bukan karena mereka menginginkannya sekarang, tetapi karena baru dan menarik.

Terkadang, Anda bahkan mungkin mendapatkan lebih banyak klik karena tata letak telah berubah dan mereka menjelajahi desain.

Karena itu, Anda biasanya akan mendapatkan peningkatan awal sebagai respons, tetapi akan mati kembali seiring waktu.

Kunci saat menjalankan pengujian Anda adalah mengelompokkan audiens setelahnya dan melihat apakah pengunjung baru merespons serta pengunjung lama.

Jika jauh lebih rendah, maka itu bisa menjadi efek baru dengan pengguna lama mengklik sekitar. Jika pada level yang sama, Anda mungkin memiliki pemenang baru di tangan Anda.

Either way, biarkan berjalan untuk siklus penuh dan seimbang.

#55. Perubahan periode pertimbangan berjalan

Hal lain yang perlu dipertimbangkan saat pengujian adalah varian apa pun yang dapat mengubah periode pertimbangan audiens.

Apa yang saya maksud?

Katakanlah Anda biasanya tidak mendapatkan penjualan langsung. Prospek bisa dalam siklus penjualan 30 hari atau bahkan lebih lama.

Jika Anda menguji ajakan bertindak yang secara langsung memengaruhi waktu mereka untuk mempertimbangkan dan membeli, itu akan mengubah hasil Anda. Untuk satu hal, kendali Anda mungkin mendapatkan penjualan tetapi berada di luar periode pengujian, jadi Anda melewatkannya.

Skenario lain adalah jika Anda memiliki CTA yang menawarkan kesepakatan, titik harga dari hal lain yang membuat mereka ingin mengambil tindakan sekarang, maka ini hampir selalu akan mengubah hasil Anda untuk membuat versi ini tampak seperti mengkonversi jauh lebih baik.

Ingatlah hal ini dan lihat analisis Anda selama dan setelah tes untuk memastikan.

#56. Tidak menguji ulang setelah waktu X

Ini bukan tentang halaman tertentu atau kesalahan pengujian, tetapi lebih tentang filosofi pengujian.

Ya, Anda mungkin memiliki halaman yang luar biasa, dan ya, Anda mungkin telah melakukan 20 iterasi untuk membuatnya seperti sekarang ini.

Masalahnya adalah dalam beberapa tahun Anda mungkin perlu merombak seluruh halaman itu lagi. Perubahan lingkungan, bahasa dan istilah yang digunakan, produk dapat diubah.

Selalu siap untuk kembali ke kampanye lama dan uji ulang. (Alasan lain mengapa memiliki repositori pengujian berfungsi dengan baik.)

#57. Hanya menguji jalur dan bukan produk

Hampir semua dari kita fokus pada jalan menuju penjualan dan mengujinya. Tetapi kenyataannya adalah produk juga dapat diuji dan ditingkatkan A/B dan bahkan dapat menawarkan peningkatan yang lebih tinggi.

Pikirkan iPhone.

Apple menguji situs webnya dan meningkatkannya, tetapi iterasi dan peningkatan produklah yang terus mendorong peningkatan yang lebih besar lagi.

Sekarang, Anda mungkin tidak memiliki produk fisik. Anda mungkin memiliki program atau penawaran digital, tetapi mempelajari lebih lanjut tentang kebutuhan audiens Anda dan mengujinya, kemudian membawanya kembali ke halaman penjualan Anda bisa menjadi BESAR dalam hal peningkatan.

Kesimpulan

Jadi di sana Anda memilikinya. 57 kesalahan pengujian A/B yang umum dan tidak umum yang kami lihat dan bagaimana Anda dapat menghindarinya.

Anda dapat menggunakan panduan ini untuk membantu Anda menghindari masalah ini untuk semua kampanye mendatang.