Panduan Lengkap untuk Pengujian Multivariasi pada tahun 2022

Bukankah pengujian multivarian (MVT) hanya beberapa pengujian A/B yang berjalan pada saat yang bersamaan?

Tidak. Itu salah satu mitos paling populer tentang MVT. Ini jauh lebih bernuansa dari itu.

Pengujian multivarian seperti pengujian A/B tetapi Anda menguji kontrol Anda terhadap beberapa varian, bukan satu. Soalnya, bukan hanya A melawan B, tetapi juga melawan C, D, E, dan seterusnya. Dan ini adalah cara yang efisien untuk situs dengan lalu lintas tinggi untuk menemukan kombinasi perubahan yang berkinerja terbaik.

Jadi…

• Kapan sebaiknya Anda menggunakan MVT daripada pengujian A/B?
• Apakah pengujian multivarian sama dengan pengujian A/B/n?
• Apa saja contoh pengujian multivariat?
• Bagaimana Anda bisa menjalankannya untuk mendapatkan hasil yang andal?

Kami akan menjawab pertanyaan Anda tentang pengujian multivarian, meningkatkan eksperimen dan keterampilan CRO Anda dalam prosesnya sehingga di akhir panduan ini, Anda dapat menerapkannya dalam 30 menit.

Jika Anda ingin meningkatkan keterampilan eksperimen Anda ke tingkat berikutnya, maka panduan ini cocok untuk Anda.

Kedengarannya bagus? Mari kita mulai…

Apa itu Pengujian Multivariat?

Bayangkan Anda ingin menguji versi yang berbeda dari berbagai elemen pada halaman web secara bersamaan untuk mempelajari bagaimana kinerjanya bersama-sama, pengujian multivarian adalah pengujian yang Anda jalankan.

Pengujian multivariat (pengujian MVT) adalah teknik untuk menguji beberapa variabel pada halaman web dalam kombinasi yang berbeda. Kombinasi yang mungkin ini membuat lebih dari satu varian halaman, karenanya "multi".

Jadi, pengujian multivariat mirip dengan pengujian A/B/n karena kami menguji dua atau lebih variasi terhadap kontrol. Perbedaannya adalah pengujian A/B/n bersifat univariat, sedangkan pengujian multivariat menguji kombinasi perubahan secara tandem.

Misalnya, jika Anda ingin menguji dua judul berbeda, dua gambar, dan dua warna tombol pada halaman, pengujian MVT Anda akan terlihat seperti ini:

Dalam pengujian MVT di atas, Anda menguji berbagai elemen (judul, warna, dan gambar) sekaligus dalam kombinasi yang berbeda untuk menemukan yang terbaik.

Namun bukan berarti tidak mungkin melakukan lebih dari dua variasi dari satu elemen. Anda dapat memiliki 3, 4, atau lebih, dan mengujinya secara bersamaan. Orang hanya lebih suka satu perubahan sehingga mereka dapat melacak peningkatan rasio konversi kembali ke sana.

Hal penting lainnya yang perlu diperhatikan adalah bahwa pengujian MVT tidak sama dengan pengujian bersamaan . Pengujian serentak menjalankan beberapa eksperimen pada kumpulan sampel yang sama pada waktu yang bersamaan. Dan ini dapat menyebabkan gangguan.

Pengujian serentak dapat terlihat seperti ini: Menjalankan pengujian A/B untuk menemukan judul terbaik antara dua versi dan menjalankan pengujian MVT untuk menemukan kombinasi terbaik dari judul, gambar pahlawan, dan CTA atau tombol tindakan pada halaman arahan yang sama di waktu yang sama.

Dalam pengujian A/B/n (atau multivariasi), kami bekerja dengan beberapa varian yang menyajikan hipotesis perilaku pengguna yang sama. Bayangkan banyak pengujian A/B pada halaman arahan itu berjalan sekaligus untuk menjawab satu pertanyaan. Seperti, "Versi mana dari lot ini yang memberi kami peningkatan terbaik?"

Pengujian Multivariasi vs. Pengujian A/B: Apa Perbedaannya?

Tampaknya pengujian MVT adalah bentuk pengujian A/B yang lebih canggih bagi mata yang tidak terlatih. Tetapi kedua jenis pengujian ini sangat berbeda.

Perbedaan antara pengujian A/B dan pengujian multivarian terletak pada jumlah varian yang diuji sekaligus. Pengujian A/B akan memiliki satu varian yang diuji terhadap kontrol, sedangkan pengujian multivarian akan memiliki dua atau lebih.

Pengujian A/B menguji satu elemen. Misalnya, Anda sedang menguji menambahkan gambar ke halaman web Anda. Eksperimen Anda mungkin terlihat seperti ini:

• Kontrol = Tidak ada gambar
• Variasi 1 = Gambar

Dalam hal ini, Anda hanya menguji gambar di situs web Anda, jadi ini adalah pengujian A/B.

Dalam pengujian A/B/n, seperti dalam pengujian multivarian, Anda dapat memiliki beberapa variasi. Namun perbedaannya adalah, dalam pengujian A/B/n, Anda hanya menguji satu elemen (atau variabel), sedangkan dalam pengujian multivarian, Anda menguji beberapa elemen di setiap varian.

Berikut adalah contoh luar biasa dari iProspect, Agen Mitra Konversi. Agensi menjalankan pengujian yang menampilkan informasi halaman harga. Eksperimen mereka menampilkan:

• Kontrol tanpa informasi harga,
• Variasi 1 dengan harga awal yang rendah,
• Variasi 2 dengan harga awal yang tinggi.

Ada yang bisa tebak ini jenis tes apa?

Dalam hal ini, kami hanya menguji satu elemen, menambahkan informasi harga, jadi kami memiliki jenis pengujian A/B/C (atau A/B/n).

Dalam hal mana yang lebih baik antara pengujian A/B dan pengujian multivarian, itu tergantung pada apa yang ingin Anda capai. Ada kalanya MVT lebih efisien daripada pengujian A/B.

Jika Anda ingin menguji elemen yang berbeda pada halaman (dan efek interaksinya), lebih mudah menggunakan MVT daripada pengujian A/B. Dengan pengujian A/B, Anda harus membuat beberapa pengujian berturut-turut untuk variasi elemen. Sementara itu, multivariat menanganinya sekaligus.

Kapan Menjalankan Pengujian Multivarian?

Saat Anda ingin mengukur performa satu varian dibandingkan dengan versi asli, gunakan pengujian A/B. Ini berfungsi jika Anda mengubah satu elemen, misalnya, judul yang berbeda atau warna tombol yang berbeda. Selama perubahan tersebut termasuk dalam satu varian dan Anda mendapatkan A vs B.

Jika Anda memiliki lebih dari satu varian yang diuji terhadap kontrol, tetapi hanya mengubah satu elemen dalam satu waktu, gunakan pengujian A/B/n.

Mari kita ilustrasikan: Anda ingin menguji apakah menambahkan judul ke halaman arahan Anda akan meningkatkan konversi. Anda dapat melakukan pengujian A/B/n seperti Split Base, Agensi Mitra Konversi. Mereka menjalankan pengujian untuk menentukan apakah menambahkan judul berdasarkan manfaat akan meningkatkan konversi.

PS: Ternyata! Ini meningkatkan garis bawah sebesar 27%.

Anda menggunakan pengujian multivarian bila Anda memiliki lebih dari satu varian dan lebih dari satu variabel. Katakanlah, Anda memiliki 2 ide judul dan opsi CTA lagi dan itu menghasilkan Anda membuat varian C dan D, MVT adalah cara paling efisien untuk melihat bagaimana perubahan ini berinteraksi.

“Bagaimana jika saya menggunakan headline 2 dengan warna tombol 3? Bagaimana itu akan memengaruhi jumlah pendaftaran?” Itu adalah jenis pertanyaan yang dijawab MVT — efek pada kinerja yang disebabkan oleh perubahan elemen halaman ketika mereka bekerja bersama pada waktu yang sama.

Pengujian multivarian akan melampaui pengujian satu judul dan menguji lebih banyak variasi halaman tersebut. Ini lebih kompleks untuk dirancang dan dijalankan, jadi memilihnya daripada pengujian A/B harus sepadan.

Seringkali, pengujian A/B sudah cukup untuk memberikan jawaban yang kita cari. MVT jauh lebih cocok untuk contoh ketika Anda yakin satu atau lebih varian memiliki peluang untuk mengalahkan A dan B Anda.

Beberapa contoh tersebut adalah:

1. Anda memiliki volume lalu lintas yang tinggi dan Anda ingin mengumpulkan lebih banyak pembelajaran dalam waktu yang lebih singkat. Pengujian multivarian menawarkan situs dengan lalu lintas tinggi kesempatan untuk menguji kombinasi ide dalam waktu yang lebih singkat, tetapi ini harus berupa ide berkualitas tinggi agar tidak menyia-nyiakan sumber daya.
2. Anda perlu mengetahui kombinasi elemen mana yang menghasilkan peningkatan konversi. Karena rangkaian berbagai pengujian A/B hanya akan menjadi mubazir.

Sulit untuk menerapkan varian yang memiliki semua perubahan yang diinginkan yang dimasukkan ke dalamnya. Mungkin platform pengujian Anda tidak mengizinkan tingkat kebebasan itu. Ini adalah salah satu cara untuk menyiasatinya. Tetapi jika tidak mungkin untuk membuat hard-code perubahan ini nanti, Anda tidak akan dapat menggunakan hasil pengujian Anda.

Manfaat Pengujian Multivariat

Pengujian multivarian memiliki dampak yang tidak dapat disangkal pada tingkat konversi dan pendapatan. Pikirkan tentang itu. Jika tidak, tidak ada yang akan berbicara tentang menggunakannya!

Salah satu manfaat pengujian MVT adalah memungkinkan Anda mengetahui bagaimana perubahan di situs web Anda memengaruhi tingkat konversi. Dan pengujian multivarian memungkinkan Anda mengukur efek interaksi antara perubahan ini. Anda dapat mengukur efek gabungan dari perubahan kecil yang berbeda dan melihat bagaimana hal itu memengaruhi tingkat percakapan Anda.

Kelemahan Pengujian Multivariat

Ada alasan mengapa hanya situs web dengan jumlah lalu lintas tinggi dan anggaran besar yang menjalankan pengujian multivarian. Mari kita bicara tentang kerugian menjalankan tes MVT.

1. Ini membutuhkan ukuran sampel yang besar

Semakin banyak perubahan elemen yang Anda uji, semakin banyak variasi yang Anda miliki. Masing-masing varian ini perlu menerima lalu lintas yang cukup untuk mencapai stat sig, jadi Anda harus menunggu lebih lama untuk mendapatkan hasil yang akurat. Itu sebabnya banyak situs web tidak dapat menjalankan tes MVT karena kurangnya lalu lintas untuk itu.

2. Tes MVT membutuhkan waktu

Seperti yang kami sebutkan di atas, setiap varian membutuhkan lalu lintas dan banyak. Semakin banyak kombinasi yang Anda uji, semakin banyak variasi yang berbeda, dan semakin lama Anda harus menunggu.

Tapi ini dibenarkan dalam kebanyakan kasus CRO. Karena jika Anda membagi pengujian MVT menjadi serangkaian pengujian A/B, Anda akan menghabiskan lebih banyak waktu dan lalu lintas.

3. Lebih mahal untuk dijalankan

Anda akan membutuhkan waktu (dan uang) ekstra untuk mengembangkan dan QA setiap varian. Itulah mengapa keputusan Anda untuk menjalankan pengujian ini melalui pengujian A/B yang lebih sederhana harus karena alasan yang kuat, atau ROI pengujian Anda akan terpukul.

4. Anda lebih rentan terhadap kesalahan

Saat Anda menjalankan pengujian A/B/N, Anda tidak menerapkan statistik yang sama dengan yang Anda gunakan untuk pengujian A/B. Varian tambahan memerlukan penyesuaian uji signifikansi statistik. Peningkatan tingkat kesalahan familywise (FWER) berarti Anda lebih cenderung membuat kesalahan tipe I dan menandai varian yang salah sebagai pemenang.

Contoh Pengujian Multivarian yang Telah Menunjukkan Dampak Besar

1. Microsoft menjalankan pengujian multivarian di situs SMB mereka dan mendapatkan varian yang meningkatkan konversi sebesar 40%!

2. Pada tahun 2009, YouTube menjalankan MVT di beranda mereka untuk membuat lebih banyak orang mendaftar ke akun. Mereka menyebutnya "1.024 resep eksperimen." Satu varian menang dengan peningkatan 15,7%.

3. Booking.com dikenal untuk pengujian. Mereka menggunakan pengujian multivarian untuk mempelajari bagaimana fitur baru digunakan dengan audiens yang lebih kecil sebelum meluncurkannya.

4. HawkHost ingin melihat peningkatan di beranda mereka dan mereka mendapatkannya. Ini menguji judul, subjudul, dan gambar pahlawan mereka dalam pengujian multivariat yang menghasilkan peningkatan penjualan sebesar 204%. Itu sangat besar.

5. Tata letak halaman arahan Amazon adalah hasil dari pengujian multivarian. Mereka menggunakannya bersama dengan pembelajaran mesin untuk menemukan tata letak optimal yang mendorong konversi dan mencapai sweet spot yang meningkatkan tingkat pembelian sebesar 21% dalam 7 hari.

Sumber

Statistik Pengujian Multivariat: Pengantar Analisis Multivariat

Jika Anda ingin tahu tentang cara kerja pengujian multivarian di bawah UI alat pengujian yang mewah dan hingga ke prinsip di baliknya, mari buat Anda senang:

Analisis multivariat (MVA) adalah jenis analisis statistik di mana lebih dari satu variabel dependen dianalisis bersama dengan variabel lain pada waktu yang sama. Ini didasarkan pada bagaimana dunia nyata bekerja: Lebih dari satu faktor bertanggung jawab atas hasil tertentu.

Ini tidak hanya digunakan dalam pemasaran digital (yaitu pengoptimalan tingkat konversi), sebagai bagian dari analisis data eksplorasi, ini diterapkan di berbagai bidang seperti perawatan kesehatan, manufaktur, transportasi, dll. Ini mendorong banyak pengambilan keputusan di dunia korporat maupun di pemerintahan.

Meskipun kompleks, ini adalah cara yang akurat untuk menganalisis hubungan antara variabel dependen dan independen.

MVT & Lalu Lintas: Bagaimana Menghitung Ukuran Sampel untuk Pengujian Multivarian?

Cara terbaik adalah dengan menggunakan alat kalkulator ukuran sampel kami. Ini akan memberikan semua yang Anda butuhkan untuk memulai merancang pengujian multivariat yang sehat.

Kapan Menghentikan Uji Multivarian?

Menghentikan tes terlalu cepat dapat menyebabkan kesalahan, karena data yang dikumpulkan tidak akan cukup untuk membuat analisis yang akurat.

Anda mungkin pernah mendengar beberapa orang mengatakan Anda harus berhenti ketika ada pemenang yang jelas, atau menghentikan variasi jika tingkat konversinya turun di bawah 10% dan memindahkan lalu lintasnya ke yang berkinerja terbaik — yakinlah, ini akan mencemari hasil secara signifikan.

Anda tidak boleh menghentikan pengujian multivarian sebelum:

1. Mengumpulkan ukuran sampel yang cukup besar untuk setiap varian. Jadi, biarkan berjalan lebih lama untuk mengumpulkan cukup konversi agar relevan.
2. Menjalankan 1 atau 2 siklus penjualan penuh untuk menyeimbangkan lalu lintas dan periode belanja selama 30-60 hari.
3. Mencapai signifikansi statistik. Itu berarti ketika didorong untuk hidup, ia harus dapat mereplikasi hasilnya dengan akurasi 95%.

Bagaimana Merancang Tes Multivariat?

Pengujian A/B dan pengujian multivarian serupa dalam hal desain dan pelaksanaannya.

Kami menguraikan metodologi pengujian langkah demi langkah untuk menjalankan MVT di bawah ini. Tapi di sini adalah mengambil cepat:

1. Identifikasi masalah dan rumuskan tujuan: Saat Anda menelusuri data Anda, cobalah untuk memahami apa yang dialami pengunjung situs web, dan temukan masalahnya. Rumuskan hipotesis (solusi dengan tujuan) dan dasarkan pengujian Anda pada ini.
2. Putuskan apa yang akan diuji: Hipotesis Anda akan melibatkan kombinasi elemen halaman web. Cari tahu apa yang akan Anda lakukan dengan mereka untuk mencapai tujuan. Buat varian ini untuk melawan yang asli.
3. Perkirakan jangka waktu dan ukuran sampel Anda: Anda tidak perlu melakukannya sendiri. Gunakan kalkulator ukuran sampel pra-tes kami. Ini akan membantu Anda mengetahui nomor penting yang Anda butuhkan.
4. Bangun pengujian: Di platform pengujian Anda, atur variasi Anda dalam kombinasinya.
5. Pastikan berfungsi: Jalankan tes jaminan kualitas pada setiap perawatan baru untuk memastikannya berfungsi sebagaimana mestinya.
6. Jalankan pengujian Anda: Mulai mengarahkan lalu lintas ke mereka.

Sekarang, mari kita cermati setiap langkah — mulai dari pengumpulan data hingga QA:

Pengumpulan Data untuk Pengujian Multivarian

Bagaimana data dikumpulkan selama pengujian multivariat? Ada dua pendekatan utama yang harus diperhatikan:

1. Faktorial Penuh

Begini cara kerjanya: Setiap varian di MVT Anda mendapatkan jumlah yang sama dari semua lalu lintas yang datang ke situs Anda. Jika Anda memiliki 5 varian, masing-masing akan mendapatkan 20% dari lalu lintas yang datang ke situs Anda.

Tentu saja, untuk mencapai signifikansi statistik, metode ini akan membutuhkan banyak lalu lintas dan harus berjalan dalam waktu yang lama. Tetapi sifat ini juga membuat faktorial penuh adalah pilihan yang paling akurat untuk digunakan.

2. Faktorial Pecahan

Tidak seperti rekan "penuhnya", faktorial fraksional hanya menguji sebagian dari varian Anda. Itu sebabnya ada "fraksi" dalam namanya.

Jika Anda memiliki 10 varian, itu akan menguji 5 di antaranya, dan berdasarkan hasil, memprediksi kinerja 5 yang tidak diuji.

Karena itu, ini berjalan lebih cepat daripada faktorial penuh tetapi secara signifikan kurang akurat. Manfaatnya adalah Anda bisa melihat sekilas seperti apa tes lengkapnya sebelum Anda melakukan.

Bagaimana dengan metode Taguchi? Ada yang bilang itu nama lain untuk faktorial pecahan. Ini rumit untuk digunakan. Jadi, sebagian besar alat tidak menawarkannya.

Pembuatan Hipotesis untuk Pengujian Multivariat

Anda harus membuat hipotesis pengujian multivariat berdasarkan data kualitatif dan kuantitatif yang akurat.

Anda tidak ingin menebak atau menggunakan ide pengujian umum yang Anda temukan di blog untuk menjalankan pengujian Anda. Pilih sesuatu yang relevan, seperti memecahkan masalah yang Anda temukan saat menyaring data atau menguji ide yang menurut Anda dapat menghasilkan peningkatan.

Ini akan berfungsi sebagai tujuan tes Anda. Anda dapat menggunakan generator hipotesis kami untuk membantu Anda menemukan hipotesis yang solid.

Jaminan Kualitas untuk Pengujian Multivarian

Tanpa jaminan kualitas, tes apa pun dapat menyesatkan. Maju tanpa QA berisiko dan dapat menyebabkan kesalahan yang mahal. Sebelum Anda memercayai wawasan pengujian Anda, lewati beberapa pos pemeriksaan:

• Pengaturan QA: Saat Anda memutuskan pengaturan yang akan digunakan untuk proses QA Anda, identifikasi kasus penggunaan khusus untuk menguji pengalaman pengguna pada perangkat dan browser yang akan Anda QAing, dll.
• Faktor eksternal: Kenali faktor yang tidak dapat Anda kendalikan yang dapat memengaruhi pengujian seperti acara atau hari libur, pengujian lain yang berjalan pada waktu yang sama, peristiwa, dan lalu lintas situs.
• Penyiapan eksperimen: Periksa kualitas perumusan hipotesis, alokasi lalu lintas, jika kedipan akan memengaruhi pengujian, penundaan dan kesalahan lainnya, dll.
• Lintas-browser & lintas-perangkat: Anda perlu memverifikasi tipografi, font, dan skema warna di seluruh perangkat dan resolusi layar, memverifikasi margin dan bantalan, memeriksa kegunaan, bagaimana kinerja elemen halaman di berbagai perangkat, dan banyak lagi.

Dan perbedaan lain yang mungkin telah Anda deteksi: Penting untuk menyampaikan kabar tentang hal ini dengan tim Anda untuk perbaikan.

Bagaimana Anda Menjalankan Tes Multivariat? Menerapkan Pengujian Multivarian dalam Pengalaman Konversi.

Membuat pengujian multivarian di Convert Experiences hanya membutuhkan 4 langkah sederhana. Inilah yang harus dilakukan:

1. Sebutkan Pengalaman Anda
   
   Di Convert Experiences, pilih "New Experience", lalu "Multivariate", dan beri nama pengalaman Anda:

   

2. Buat variasinya
   
   Setelah URL halaman yang Anda gunakan untuk pengujian dimuat, variasi pertama siap untuk diedit. Anda dapat mengedit salinan, menambahkan visual baru, apa saja. Dalam contoh di bawah ini, kami telah:
   
   – Mengklik elemen yang akan diubah (disorot dengan warna oranye)
   – Memilih tindakan di menu yaitu mengubah sumber gambar

   

3. Sebutkan variasinya
   
   Ini cukup jelas. Anda akan ingin memilih sesuatu yang akan menonjol bagi Anda dalam pelaporan nanti.
4. Tentukan tujuan dan audiens
   
   Buka Ringkasan Eksperimen, dan siapkan Audiens dan Sasaran Eksperimen Anda.
   
   Di sana Anda memilikinya! Pengalaman Anda aktif dan berjalan.

Sekarang setelah Anda memahami apa itu pengujian multivarian dan cara berhasil menyiapkan pengujian multivarian, mari kita uraikan beberapa platform berbeda yang dapat Anda pilih. Banyak alat pengujian A/B teratas di pasar menawarkan pengujian multivarian dan pengujian A/B dalam satu perangkat lunak. Jadi mana yang paling sesuai dengan kebutuhan Anda?

Jika metode pengujian multivarian merupakan faktor penentu bagi Anda, Anda berada di tempat yang tepat. Daftar di bawah ini memberi Anda 9 pemain teratas untuk pengujian multivarian di pasar.

Apa Alat Pengujian A/B dan Multivariasi Terbaik yang Tersedia?

Berikut adalah tampilan alat pengujian multivarian yang disukai oleh pakar CRO, bersama dengan metode pengujian multivarian yang mereka tawarkan:

• Konversi Pengalaman – Faktorial Penuh
• AB Lezat – Faktorial Penuh
• Google Optimize & Optimize 360 ​​– Pendekatan hybrid yang bukan Full Factorial atau Fractional
• Adobe Target – Faktorial Penuh dan Taguchi
• Kameleoon – Faktorial Penuh dan Faktorial Pecahan
• Optimal – Faktorial Penuh, Parsial, dan Taguchi
• Sitespect – Faktorial Penuh dan Faktorial Pecahan
• VWO – Faktorial Penuh
• Webtrends Optimize – Faktorial Penuh dan Faktorial Pecahan

Masih tidak yakin alat pengujian multivarian apa yang harus dipilih? Periksa rincian lengkap alat Pengujian Multivariasi terbaik ini.

Kesalahan Pengujian Multivarian Teratas yang Harus Dihindari pada tahun 2022

Pengujian ini hanya dapat membantu Anda mencapai sasaran pengoptimalan jika Anda menggunakannya dengan cara yang benar.

Tapi kemudian kita manusia dan alat kita tidak sempurna, jadi kesalahan bisa terjadi. Anda dapat mengurangi kemungkinan merusak tes Anda dengan menghindari ini:

1. Tidak menguji alat MVT Anda untuk akurasi

Buat variasi halaman Anda, tetapi jangan ubah apa pun. Tetap sama dan jalankan sisanya. Karena orang melihat hal yang sama, hasilnya harus sama.

2. Tidak dimulai dengan hipotesis yang kuat

Menjalankan tes tanpa baseline dan apa yang diharapkan adalah menjalankan blind. Itu tidak membantu Anda atau situs yang Anda uji. Buat hipotesis terlebih dahulu.

3. Menyalin pesaing Anda

Organisasi Anda unik dan tujuan Anda berbeda. Menyalin pesaing Anda tidak bermanfaat. Tidak hanya banyak tes mereka yang tidak berlaku untuk kasus Anda, tetapi mereka mungkin tidak tahu apa yang mereka lakukan.

4. Menjalankan tes selama acara musiman atau acara situs/platform utama

Jika pengujian Anda tidak dimaksudkan untuk suatu peristiwa, Anda tidak boleh menjalankan pengujian multivariasi selama satu peristiwa. Hasilnya tidak akan mencerminkan kinerja akurat dari hari biasa.

5. Mengintip

Godaan itu sulit untuk ditolak. Anda hanya ingin melihat bagaimana perkembangannya. Anda bahkan mungkin memasang taruhan pada varian dan ingin melihat mana yang menang. Jangan.

Anda tidak hanya akan mendapatkan ekspektasi yang tidak akurat, tetapi Anda juga bisa membuat keputusan yang salah berdasarkan ekspektasi tersebut. Anda dapat memeriksa untuk mengetahui apakah mereka sedang berjalan atau jika ada kesalahan, dan hanya itu.

6. Tidak menjalankan tes Anda cukup lama

Pengujian multivarian perlu dijalankan untuk waktu yang lama. Anggap saja seperti pengujian A/B terpisah yang harus mendapatkan lalu lintas yang cukup untuk mencapai signifikansi statistik. Biarkan pengujian multivarian Anda berjalan cukup lama sehingga Anda bisa mendapatkan hasil yang akurat dan signifikan.

7. Membuat perubahan saat tes sedang berjalan

Anda dapat memperbaiki kesalahan, tetapi Anda tidak dapat mendesain ulang situs web Anda atau membuat perubahan salinan. Apa pun yang mengubah tampilan dan nuansa varian harus tetap tidak tersentuh setelah pengujian ditayangkan.

8. Lupa menghentikan tes setelah Anda mendapatkan hasil yang akurat

Itu terjadi lebih sering daripada yang Anda pikirkan. Artinya, setelah Anda memiliki pemenang yang jelas, Anda masih akan menunjukkan versi situs Anda yang lebih lemah kepada lalu lintas lainnya. Anda tidak ingin melakukan itu.

9. Menyerah setelah satu ujian

Mungkin semua varian Anda ternyata lebih buruk daripada kontrol, jadi apa? Anda baru saja mempelajari berbagai cara itu tidak berhasil. Jalankan lebih banyak pengujian dan dapatkan lebih banyak wawasan. Semua ilmu itu berharga.

10. Tidak memeriksa validitas setelah tes

Ketika semua dikatakan dan dilakukan dan Anda telah mendapatkan hasil Anda, apakah itu akhirnya? Apakah Anda mematikan platform pengujian dan melanjutkan? Ini adalah praktik terbaik untuk duduk dan memeriksa apakah semuanya berjalan lancar sebelum memercayai keakuratan hasil.

11. Tidak menjalankan tes yang cukup

Ketika Anda menjalankan tes, apakah itu pemenang atau pecundang, belajarlah darinya. Gunakan pengetahuan baru Anda untuk membuat hipotesis yang lebih tepat dan jalankan lagi. Dan lagi. Begitulah cara Anda membuat eksperimen bekerja untuk Anda.

12. Tidak mendokumentasikan tes

Simpan database pengujian Anda. Ini akan meningkatkan kinerja tim pengoptimalan Anda, meskipun tim itu hanya Anda. Kita semua perlu belajar dari pengalaman sebelumnya untuk membuat yang berikutnya lebih baik.

Dan juga, untuk menghindari membuang waktu untuk menjalankan tes yang sama dua kali.

Kesimpulan

Baik Anda memiliki toko e-niaga, SaaS, atau laman landas sederhana, ada skenario yang memungkinkan untuk menjalankan pengujian multivarian. Anda mungkin memiliki situs web dengan lalu lintas tinggi, tetapi Anda masih perlu memutuskan apakah pengujian multivarian tepat untuk situs web Anda. Evaluasi biaya, lalu lintas, dan kebutuhan multivarian sebelum Anda menjalankannya.