Alat Pengujian Multivariat Paling Populer di tahun 2022

Jadi, Anda saat ini menjalankan pengujian A/B dan ingin memperluas program pengujian Anda.

Anda memiliki lalu lintas yang baik, Anda melihat hasil yang bagus dan sekarang Anda ingin menjalankan lebih banyak tes dan mendapatkan data itu secepatnya.

Tapi bagaimana Anda bisa mulai menguji lebih cepat? Atau lebih baik lagi, bagaimana Anda bisa menjalankan lebih banyak tes dan mendapatkan lebih banyak informasi selama periode waktu yang sama?

Di situlah pengujian multivariat masuk. Ini memungkinkan Anda menguji beberapa variasi sekaligus, untuk melihat mana yang paling berhasil.

Dalam panduan ini, kita akan menguraikan apa itu MVT, cara kerjanya, apa yang Anda perlukan untuk menggunakannya, dan memecah pilihan alat pengujian multivarian teratas yang tersedia.

Semuanya, mulai dari harga dan fiturnya, hingga cara mereka menjalankan bisnis sehingga Anda dapat membuat pilihan yang tepat saat memutuskan alat pengujian multivarian mana yang akan didapatkan.

Jadi mari kita selami…

Apa itu Pengujian Multivariat?

Cara terbaik untuk memahami pengujian multivarian adalah membandingkannya dengan metode pengujian lain dan melihat perbedaannya.

Jadi, mari kita lihat pengujian A/B dan pengujian multivarian serta bagaimana perbandingannya.

Dengan pengujian A/B, kami menguji satu variasi terhadap versi kontrol asli. Mungkin kami memiliki ide tentang cara meningkatkan judul, jadi kami membuat variasi itu dan kemudian melihat mana yang berkinerja terbaik.

Pengujian A/B Anda akan terlihat seperti ini:

Judul 1 (kontrol) vs Judul 2 (ide variasi)

Tes lain yang bisa kita jalankan adalah tes A/B/n.

Di sinilah kami dapat menguji beberapa variasi terhadap kontrol, untuk menemukan pemenang keseluruhan. Tes A/B/n bersifat univariabel.

Misalnya, kita mungkin memiliki banyak ide judul dan tidak yakin mana yang akan berhasil. Namun karena kami memiliki lalu lintas untuk menjalankan beberapa variasi pengujian dan tetap mendapatkan hasil yang akurat, kami memutuskan untuk menguji beberapa ide judul untuk melihat mana yang berkinerja terbaik.

Judul 1 (kontrol) vs Judul 2 vs Judul 3

Setelah kami menemukan variasi judul yang menang, kami kemudian dapat menguji sekelompok gambar bidikan pahlawan, dan kemudian mungkin sekelompok sudut CTA.

Seperti yang bisa Anda tebak, ini semua butuh waktu, bukan?

Opsi lainnya adalah menjalankan pengujian di mana kami mengubah banyak hal sekaligus dan melihat apakah itu meningkatkan metrik.

Kami cenderung tidak melakukan ini dengan sebagian besar pengujian A/B kecuali kami sedang melihat untuk membuat perubahan radikal yaitu melemparkan salam untuk mencoba dan menemukan pemenang baru karena semua ide pengujian lainnya mandek atau tidak berdampak apa pun.

Jadi mengapa kami tidak menyarankan untuk melakukan perubahan radikal seperti ini untuk kampanye normal dan apa hubungannya dengan pengujian multivarian?

Kami menguji satu elemen pada satu waktu karena jika kami membuat perubahan besar dan halaman baru menang atau gagal, kami tidak yakin perubahan mana yang menyebabkan peningkatan tersebut.

Pengujian multivarian atau MVT memungkinkan kami menguji beberapa varian, sekaligus melacak setiap perubahan tersebut dan bagaimana pengaruhnya terhadap hasil.

Kami tidak hanya dapat menguji beberapa variasi elemen, tetapi kami bahkan dapat menjalankan kombinasi yang berbeda dari mereka sampai kami menemukan pemenang utama.

Katakanlah kami ingin meningkatkan beranda kami dan kami memiliki beberapa ide tentang apa yang harus diuji untuk melihat peningkatan paling banyak:

• Judulnya
• Gambar tembakan pahlawan
• CTA.

Dengan pengujian multivariasi, kami tidak hanya dapat menguji setiap ide judul, opsi gambar bidikan pahlawan, dan sudut CTA, tetapi kami juga dapat menguji setiap kombinasi dari variasi tersebut untuk menemukan kombinasi yang unggul:

Judul 1 + Gambar pahlawan 1 + CTA 1 vs

Judul 1 + Gambar pahlawan 2 + CTA 1 vs

Judul 1 + Gambar pahlawan 1 + CTA 2 vs

Judul 2 + Gambar pahlawan 1 + CTA 1 vs

Judul 2 + Gambar pahlawan 2 + CTA 1 vs

Judul 2 + Gambar pahlawan 2 + CTA 2

Pengujian multivarian dapat membantu Anda menemukan kombinasi elemen terbaik dan memahami apa yang menyebabkan perubahan tersebut.

Namun, melakukan pengujian multivariat yang tepat melibatkan banyak waktu dan sumber daya. Apakah Anda bersedia menginvestasikan banyak sumber daya, tidak hanya untuk pengujian tetapi juga untuk QA dan analisis? Namun, dalam beberapa skenario, itu mungkin pilihan yang lebih baik. Mari kita lihat apa itu.

Kapan Menggunakan Pengujian Multivarian?

Untuk apa pengujian multivariat digunakan? Berikut adalah beberapa waktu ketika pengujian MVT mungkin lebih berguna daripada pengujian A/B.

1. Saat Anda Memiliki Traffic Tinggi dan Ingin Meningkatkan Program Pengujian Anda

Lalu lintas adalah inti utama dari pengujian multivariat. Anda memerlukan volume lalu lintas yang tinggi untuk dapat menguji setiap perubahan dan memercayai hasil pengujian Anda.

Tetapi jika Anda memiliki lalu lintas dan ingin meningkatkan pengujian untuk mendapatkan lebih banyak data dan membuat lebih banyak keputusan, maka MVT akan memungkinkan Anda menjalankan banyak ide sekaligus.

2. Ketika Anda Ingin Meningkatkan Lift dan Memiliki Sedikit Ide tetapi Tidak Ingin Menunggu Untuk Mengujinya Satu per Satu

Beberapa orang berpikir bahwa Anda hanya boleh menggunakan MVT untuk memperbaiki halaman web saat ini dengan perubahan kecil, karena investasi waktu, tetapi itu tidak benar. Tentu, Anda dapat menggunakannya untuk itu, tetapi Anda juga dapat menggunakannya untuk pengujian 'bagaimana jika' yang lebih luas dari elemen yang lebih besar.

(Mungkin Anda tidak yakin elemen mana yang akan memberikan daya angkat terbaik sehingga Anda ingin mencoba melemparkan beberapa ide yang dihipotesiskan dengan cerdas ke dinding untuk melihat mana yang berhasil.)

Jika Anda memiliki volume lalu lintas untuk menjalankan MVT, maka tidak ada salahnya untuk tidak mencoba dan menemukan kombinasi halaman yang luas jauh lebih cepat. Pastikan untuk mengukur efek lalu lintas itu SETELAH pengujian dari setiap variasi juga, karena ini akan memberi Anda wawasan lebih lanjut tentang audiens Anda dan mengapa itu berhasil.

Misalnya, di Facebook, Anda dapat menyiapkan iklan pengujian multivarian dasar, dengan menambahkan variasi gambar mini, judul, dan body copy, dll.

Pengujian akan berjalan dan memberi tahu Anda variasi iklan mana yang mendapatkan RKT tertinggi.

Jika tujuan Anda hanya mendapatkan klik, maka iklan ini akan menang, bukan?

Tetapi jika semua lalu lintas itu kemudian memantul dari halaman tempat Anda mengirim mereka, maka yang Anda temukan hanyalah variasi yang menyebabkan pemirsa itu mengeklik, bukan variasi yang membuat mereka tetap tinggal dan berkonversi.

Sama halnya saat menjalankan pengujian MVT pada halaman, terutama jika Anda menggunakannya sebagai metode pengumpulan ide yang lebih luas. Periksa apa yang terjadi pada halaman tetapi juga apa yang terjadi setelah mereka mengklik.

3. Saat Menyempurnakan Tes Sebelumnya untuk Mendapatkan Peningkatan Inkremental

Anda juga dapat menggunakan MVT untuk mengukur dan meningkatkan penyempurnaan kecil. Faktanya, banyak agensi suka menggunakannya untuk meningkatkan lebih banyak lagi kampanye pemenang saat ini dan menguji perubahan kecil.

Katakanlah Anda telah menguji A/B halaman beberapa kali untuk menemukan varian yang unggul, tetapi Anda ingin mendapatkan peningkatan sebanyak mungkin, meskipun hanya 0,5%. Anda dapat menjalankan tes MVT pada halaman itu untuk menguji lebih lanjut (karena pada 100.000 pengunjung per bulan, setiap 0,5% bantuan terlihat!)

4. Saat Mencari Peningkatan Maksimum yang Mungkin Dari Kombinasi Ide (Efek Interaksi)

Terkadang, pengujian A/B berturut-turut dapat memberi kami pemenang di atas kertas, tetapi ketika kami menggabungkannya, mereka tidak selalu merupakan opsi berkinerja tertinggi untuk halaman kami.

Berikut ini contohnya:

• Anda menjalankan tes judul dan memilih pemenang dan menerapkannya.
• Kemudian Anda menjalankan tes gambar bidikan pahlawan pada halaman yang sama dengan variasi judul pemenang dan penerapannya.
• Kemudian Anda menjalankan tes CTA pada halaman yang sama dengan elemen pemenang sebelumnya dan menerapkannya.

Secara teori, ini seharusnya menjadi versi halaman Anda dengan performa tertinggi, tetapi hal-hal aneh dapat terjadi karena interaksi atau ketiadaan interaksi. Sederhananya, mungkin saja elemen yang kalah dalam satu pengujian terkadang mengungguli pemenang pengujian A/B berurutan saat digabungkan dengan variasi elemen lainnya.

Bagaimana?

Yah, mungkin headline yang kalah dari pengujian pertama memberikan tingkat konversi backend yang lebih tinggi bila digabungkan dengan pemenang dari pengujian gambar dan CTA.

Ini bisa terjadi tetapi Anda tidak akan pernah tahu ini jika Anda hanya menjalankan tes A/B. Sebagai gantinya, Anda akan menghapusnya dari opsi sebelum Anda menguji elemen lainnya. Inilah sebabnya mengapa pengujian multivariat sangat kuat. Ini memungkinkan Anda untuk menemukan kinerja halaman tertinggi secara keseluruhan, meskipun itu berarti mengambil elemen dengan kinerja yang lebih rendah dari satu bagian pengujian.

Lebih baik lagi, itu bahkan dapat memberi tahu Anda elemen mana yang paling membantu ...

5. Saat Mencari Elemen Paling Penting di Halaman untuk Audiens Anda, untuk Pengujian dan Halaman Selanjutnya

MVT tidak hanya akan menampilkan kombinasi pemenang dari berbagai variasi dan elemen Anda, tetapi juga akan menunjukkan kepada Anda elemen yang memberikan peningkatan paling banyak.

Mungkin tembakan pahlawan Anda mendapat lebih banyak peningkatan, tetapi Anda juga melihat bahwa dari semua elemen Anda di halaman variasi, elemen tersebut berkontribusi paling besar pada hasil akhir Anda?

Ini kemudian akan memberi Anda beberapa wawasan tentang di mana harus menguji terlebih dahulu untuk peningkatan lebih lanjut, sehingga Anda dapat fokus pada peningkatan bidikan pahlawan terlebih dahulu, dll.

6. Saat Menerapkan Pembelajaran Mesin ke Proses Pengujian Anda

Karena sifat MVT yang membutuhkan dan melacak sejumlah besar data dan interaksi, itu sebenarnya dapat digunakan sebagai sumber yang bagus untuk memberi makan program pengujian pembelajaran mesin.

ML membutuhkan data besar agar berfungsi dengan baik, tetapi begitu mendapatkannya, ML sebenarnya dapat mulai melihat pola dan memprediksi hasil dan perilaku dengan lebih sedikit lalu lintas dari waktu ke waktu. Faktanya, situs seperti Amazon melakukan hal ini…

Contoh Pengujian Multivarian

Contoh Pengujian Multivariat #1

Amazon menggunakan MVT dan pembelajaran mesin untuk menyesuaikan tata letak halaman arahan mereka, menghasilkan peningkatan 21% dalam tingkat pembelian hanya dalam 7 hari!

Contoh Pengujian Multivariat #2

Booking.com menggunakan pengujian multivarian untuk menguji fitur unik baru kepada audiens tertentu dan kemudian mengukur kinerjanya sebelum meluncurkannya di seluruh situs.

Contoh Pengujian Multivariat #3

Microsoft melihat peningkatan 40% dalam tingkat konversi untuk situs web SMB mereka, setelah menjalankan tes MVT pada beberapa elemen halaman (8x4!)

Contoh Pengujian Multivariat #4

Bukan hanya raksasa yang bisa menggunakan MVT juga. HawkHost mengalami peningkatan penjualan sebesar 204% ketika mereka menjalankan pengujian MVT di beranda mereka (menguji judul, subjudul, dan bidikan pahlawan).

Pro & Kontra Pengujian Multivariat

Jika pengujian multivarian sangat kuat, mengapa kita tidak menggunakannya?

Anda tahu, keindahan pengujian A/B adalah Anda dapat menguji satu ide dengan cepat, dengan ukuran audiens yang relatif kecil. Ini berarti bahwa sebagian besar bisnis dapat menjalankan pengujian meskipun memiliki lalu lintas yang cukup rendah, kemudian melihat hasilnya dalam 14-30 hari.

Namun dengan pengujian multivariasi, Anda memerlukan audiens yang jauh lebih besar untuk dijalankan, karena Anda menguji beberapa hal sekaligus. (Terutama jika Anda melakukan pengujian multihalaman atau pengujian beberapa kombinasi variasi.)

Katakanlah kita ingin menguji judul di halaman beranda kita:

• Kontrol Judul
• Variasi Judul

Kami hanya menguji variasi tunggal, jadi itu total 2 opsi.

Sekarang sebagai contoh sederhana, katakanlah kita ingin mendapatkan 1.000 pengunjung ke setiap versi halaman (varian dan kontrol) sehingga kita dapat yakin bahwa hasil pengujian dapat dipercaya.

(Lalu lintas yang dibutuhkan dapat bervariasi berdasarkan halaman dan tingkat konversinya, tetapi mari kita sederhanakan di sini agar Anda mengerti.)

Itu berarti kita membutuhkan 2.000 pengunjung untuk menjalankan pengujian dan memercayai hasilnya, dengan 1000 pengunjung masuk ke setiap halaman.

Bagaimana jika kita ingin menguji:

• 3 judul utama
• 3 gambar pahlawan, dan
• 3 CTA?

Itu bukan total 9 varian, tapi sebenarnya 27 kombinasi dari 9 varian (3x3x3).

Ini berarti bahwa jika kami menginginkan 1000 pengunjung per variasi, maka persyaratan lalu lintas kami adalah 27.000 pengunjung, bukan untuk menjalankan pengujian dan memercayai hasilnya (berdasarkan penyederhanaan kami bahwa 1.000 pengunjung sudah cukup per halaman.)

Pada kenyataannya, Anda mungkin membutuhkan sekitar 10.000+ pengunjung per variasi untuk mendapatkan data yang akurat, karena lalu lintas saja tidak cukup, Anda juga perlu melihat konversi.

Inilah sebabnya mengapa banyak bisnis tidak menjalankan tes MVT, hanya karena mereka tidak memiliki lalu lintas untuk menjalankannya secara efektif. Faktanya, sebagian besar agensi merekomendasikan untuk memiliki sekitar 100.000 pengunjung bulanan sebelum Anda mulai menjalankan kampanye MVT kecuali halaman tersebut sudah memiliki tingkat konversi yang sangat tinggi. Dan meskipun begitu, mereka tetap menyarankan hanya menjalankan mungkin maksimal 6 variasi, agar bisa menjalankannya lebih cepat.

Tetapi jika Anda memiliki lalu lintas seperti itu?

Kalau begitu MVT dapat memungkinkan Anda untuk melakukan lebih banyak tes yang setara dalam rentang waktu yang hampir sama…

Bagaimana jika kita mengambil contoh itu dari atas dan kita mengizinkan setiap pengujian berjalan selama siklus penjualan 30 hari penuh untuk mendapatkan jendela pengukuran yang akurat?

Dengan asumsi kami memiliki lalu lintas, kami dapat menjalankan 27 kombinasi pengujian sekaligus pada satu halaman itu selama mungkin 30-60 hari sebagai pengujian multivarian tunggal. Tidak buruk jika Anda membandingkannya dengan menjalankan 27 pengujian A/B berturut-turut pada halaman itu, selama jangka waktu 27 bulan!

(Sekali lagi, saya menyederhanakan di sini dan mengasumsikan Anda menjalankan siklus penjualan penuh pada setiap pengujian.)

Namun seperti yang Anda lihat, pengujian multivarian memungkinkan Anda mendapatkan wawasan dan ide, menerapkannya lebih cepat, dan menurunkan waktu kerja pada pengujian yang kalah berturut-turut.

Cukup bagus, kan!?

Jelas, ada beberapa kelemahan lain untuk pengujian MVT selain persyaratan lalu lintas.

Karena banyaknya variasi dan kombinasi yang dapat Anda jalankan, itu sangat meningkatkan waktu QA Anda sebelum dan sesudah tes.

Anda perlu memastikan bahwa setiap variasi berfungsi dan masuk akal. (Tidak menampilkan judul dan gambar yang tidak cocok, dll.), sehingga meningkatkan waktu dan biaya penyiapan Anda secara drastis.

Juga, pastikan untuk memeriksa efeknya.

Hanya karena Anda melihat peningkatan konversi pada halaman tertentu, lacak terus ke tujuan akhir Anda. Hal terakhir yang Anda inginkan adalah lebih banyak klik tetapi pengalaman pengguna yang buruk atau rasio pentalan yang tinggi (atau lebih banyak klik tetapi tidak ada penjualan).

Kelebihan Pengujian Multivariat

• Dengan asumsi Anda memiliki lalu lintas, pengujian multivarian memungkinkan Anda menguji banyak variasi dengan cepat.
• MVT dapat membantu Anda untuk meningkatkan skala program pengujian Anda untuk menemukan lebih banyak data tentang apa yang berhasil dan apa yang tidak.
• Ini dapat membantu Anda menemukan kombinasi pemenang lebih cepat daripada pengujian A/B berturut-turut.
• Ini dapat membantu Anda menemukan kombinasi pemenang yang mungkin Anda lewatkan saat menjalankan tes berturut-turut. (Bayangkan jika satu judul memiliki kinerja ke-2 dan Anda menghentikannya, tetapi dipasangkan dengan variasi gambar ke-3, entah bagaimana itu meningkatkan dua kali lipat? Dengan pengujian berturut-turut, Anda akan melewatkan ini. Pengujian multivarian membutuhkan tingkat efek interaksi yang lebih tinggi).
• Beberapa perangkat lunak pengujian A/B akan memungkinkan Anda melihat elemen tertentu yang membantu memberikan peningkatan paling banyak (memberi Anda pemahaman yang lebih mendalam tentang audiens Anda).
• Ini juga dapat digunakan untuk membantu menemukan peningkatan kecil pada halaman berperforma tinggi. (Bayangkan Anda sudah memiliki halaman berkinerja tinggi dan Anda sedang mencari ide baru untuk melihat peningkatan kecil, seperti perubahan warna.)

Kontra Pengujian Multivariat

• Perlu volume lalu lintas yang tinggi untuk dijalankan, terutama jika Anda ingin stat sig sehingga Anda dapat memercayai hasil Anda dan tidak melihat positif atau negatif palsu (kesalahan tipe 1 dan tipe 2), dan kekuatan stat untuk mengukur % peningkatan yang lebih kecil.
• Persyaratan lalu lintas tumbuh dengan cepat semakin banyak variasi dan kombinasi yang Anda uji, jadi ingatlah itu. Pertimbangkan untuk menghapus elemen tambahan jika mungkin tidak memberikan banyak daya angkat. (yaitu menguji judul sebelum mengkhawatirkan pengujian warna footer, dll. Anda selalu dapat mengujinya setelahnya jika Anda benar-benar menginginkannya.)
• Bukan hanya lalu lintas yang memengaruhi ukuran sampel. Tingkat konversi halaman dan variabel saat ini, semuanya memengaruhi volume ukuran sampel yang diperlukan untuk mencapai signifikansi statistik. Konversi yang lebih baik dapat menurunkan lalu lintas yang dibutuhkan, konversi yang lebih rendah meningkatkan persyaratan itu.
• Margin kesalahan saat menguji lebih banyak variabel juga meningkatkan volume lalu lintas yang diperlukan sebelum Anda dapat memercayai hasilnya.
• Perlu menjalankan tes QA intensif untuk memastikan semuanya bekerja terlebih dahulu.
• Perlu juga menjalankan QA untuk memastikan bahwa variasinya masuk akal dan tidak memiliki kombinasi yang berlawanan atau bertentangan. (CTA yang tidak cocok dengan penawaran, berita utama untuk liburan pantai saat mengiklankan perjalanan ski, atau bahkan warna font dan latar belakang yang saling bertentangan atau bercampur.)
• Jika Anda tidak memiliki sumber lalu lintas yang tinggi, Anda masih dapat menjalankan tes MVT, mungkin butuh BANYAK lebih lama hingga Anda mencapai stat sig dan dapat mengakhiri tes. (Terkadang beberapa bulan atau lebih). Bahkan, terkadang lebih cepat dan lebih efisien untuk menjalankan pengujian A/B secara berurutan.
• Anda mungkin kehilangan beberapa wawasan audiens, cukup dengan menguji beberapa hal sekaligus. (Menguji satu elemen atau sudut terkadang dapat membantu Anda memahami audiens dengan lebih baik.)

Statistik Pengujian Multivarian: Matematika di Balik MVT

Jadi mari kita nerd out sedikit…

Dalam hal pengujian multivarian, kami menggunakan metode analisis statistik yang berbeda dengan pengujian A/B standar atau pengujian terpisah.

Saya tidak ingin masuk ke matematika terlalu banyak, tapi inilah penyederhanaannya:

• Dengan pengujian A/B, kami menggunakan uji-t (atau uji-z) untuk mengukur perbedaan antara 2 set hasil atau lebih.
• Dengan pengujian multivariat, metode lain digunakan untuk menemukan hasil pengujian yang disebut ANOVA atau 'Analisis Varians'. Anda tidak perlu mengetahui semua detailnya, tetapi inilah intinya. Perbedaan utama adalah bahwa ANOVA juga mengukur hubungan dan dampak antar variabel. Ini adalah salah satu kekuatan utama MVT karena memungkinkan kita untuk melihat bagaimana kombinasi elemen saling memengaruhi.

Bergantung pada alat yang Anda gunakan, mungkin ada 3 jenis metode pengujian multivarian yang ditawarkan saat menjalankan kampanye MVT. Masing-masing dari mereka mempengaruhi matematika tentang bagaimana tes Anda akan bekerja.

Kami menyebutnya:

• Faktorial penuh,
• Faktorial pecahan, dan
• Taguchi.

Jadi apa maksud mereka?

Faktorial Penuh

Hampir setiap alat MVT akan menawarkan pengujian Faktorial Lengkap sebagai dasar untuk model pengujian utamanya dan itulah yang ingin Anda gunakan setiap saat.

Metode ini mengacu pada distribusi 'penuh' lalu lintas dalam pengujian Anda.

Sederhananya, ini adalah tempat Anda menguji setiap kombinasi sekaligus, membagi lalu lintas ke pengujian secara merata di antara setiap varian.

Dengan pengujian A/B, Anda membagi lalu lintas menjadi 50:50. Tetapi dengan MVT, jika Anda memiliki 10 varian, maka ini berarti hanya 10% lalu lintas yang masuk ke setiap varian.

Karena jumlah varian dan lalu lintas yang diperlukan untuk mencapai signifikansi statistik dengan setiap variasi, faktorial penuh memang membutuhkan sumber lalu lintas yang sangat besar, tetapi ini adalah metode yang paling akurat.

Namun, beberapa platform pengujian A/B juga akan menawarkan sesuatu yang disebut pengujian 'Fraksi Pecahan' sebagai alternatif.

Faktorial pecahan

Metode ini mencoba untuk mengabaikan beberapa persyaratan lalu lintas yang lebih besar dengan menguji hanya sampel variasi yang lebih kecil dan kemudian memperkirakan tingkat konversi akhir berdasarkan hasil pengujian saat ini .

Tujuannya bukan pada keakuratan memprediksi hasil yang dapat dipercaya untuk penskalaan seperti biasa, yaitu jika kita menskalakan ini ke audiens X, apakah performanya akan sama.

Sebaliknya, ini dirancang untuk membantu Anda melihat di mana traksi awal mulai terjadi sehingga Anda bisa mendapatkan wawasan sebelum Anda menguji lebih dalam atau dengan metode lain.

Katakanlah Anda memiliki 10 variasi yang ingin Anda uji.

Faktorial pecahan sebenarnya akan menguji 5 di antaranya dan kemudian mencoba menyimpulkan tingkat konversi pada 5 tes lainnya, berdasarkan hasil sejauh ini.

Seperti yang dapat Anda tebak, ini tidak seakurat dan dapat menyebabkan kesalahan dan kesalahan positif, dan sebenarnya merupakan sumber argumen di antara pengoptimal dan pemasar. (Dengan hampir semua merekomendasikan faktorial penuh sebagai metode pengujian utama.)

Taguchi

Terakhir, Anda memiliki metode pengujian multivariat Taguchi. Awalnya dirancang sebagai metode pengukuran kontrol kualitas terhadap asumsi kerugian yang dapat diterima dalam R+D untuk pembuatan produk.

Sebagian besar alat tidak akan menawarkan ini karena kerumitannya untuk digunakan.

Kapan Menghentikan Uji Multivarian?

Ada 3 hal utama yang perlu kita pertimbangkan saat menjalankan tes apa pun sebelum kita menghentikannya:

• Agar pengujian berjalan cukup lama untuk mengumpulkan ukuran sampel yang cukup besar untuk setiap varian, dan agar pengujian mengumpulkan cukup konversi agar relevan.
• Agar pengujian telah menjalankan 1 atau bahkan 2 siklus penjualan penuh (untuk menyeimbangkan lalu lintas dan periode belanja selama 30-60 hari.)
• Dan akhirnya, agar hasilnya signifikan secara statistik yaitu jika kita melakukan tes ini di alam liar dan meningkatkannya, maka kita dapat yakin 95% bahwa tes ini akan terus melakukan cara yang sama.

Kami menyarankan Anda untuk tidak menghentikan tes apa pun sebelum titik ini. Jika tidak, data tidak akan cukup untuk digunakan. Namun kami mungkin menghentikan dan kemudian memulai kembali pengujian jika ada masalah dengan kinerja seperti salah satu bentuk pembayaran varian tidak bekerja dll, tapi idealnya, kami mencoba untuk tidak mengintip ketika sedang berjalan.

(Beberapa agensi menyarankan untuk berhenti lebih awal jika ada pemenang yang jelas, atau bahkan menghentikan variasi tertentu jika rasio konversi mereka turun di bawah 10%, dan kemudian membiarkan pengujian tetap berjalan sambil memfilter lebih banyak lalu lintas ke yang berkinerja lebih tinggi. Jelas, ini dapat memengaruhi hasil tes sangat.)

Bagaimana Cara Mengatur dan Melakukan Pengujian Multivarian?

Proses menyiapkan pengujian multivarian sangat mirip dengan pengujian A/B.

Langkah #1: Tentukan Tujuan Akhir Anda

Pertama, Anda perlu membentuk hipotesis untuk halaman Anda, tujuannya, hasil saat ini, dan bagaimana menurut Anda itu dapat ditingkatkan.

Anda dapat menggunakan generator hipotesis kami untuk membantu Anda mengklarifikasi apa yang ingin Anda capai, dan menetapkan beberapa tujuan konkret.

Langkah #2: Cari Tahu Apa yang Harus Diuji

Kemudian, putuskan elemen mana yang akan diuji dan variasi apa yang menurut Anda dapat meningkatkan hasil Anda saat ini.

Misalnya, Anda mungkin berpikir bahwa menguji 'elemen inti' di paro atas akan meningkatkan konversi sehingga Anda ingin menguji judul, bidikan pahlawan, dan teks tombol CTA.

Langkah #3: Hitung Jangka Waktu Pengujian

Sebelum Anda menjalankan pengujian atau membuat aset apa pun, sebaiknya lakukan penghitungan ukuran sampel pra-pengujian, sehingga Anda dapat memperkirakan kerangka waktu dan persyaratan lalu lintas untuk menjalankan pengujian ini. Ini akan membantu memberi Anda beberapa wawasan tentang berapa banyak variasi yang dapat Anda jalankan dengan lalu lintas berulang dan tetap mendapatkan hasil yang cepat. (Atau bahkan memberi tahu Anda jika Anda perlu menguji lebih sedikit opsi).

Dalam contoh di atas, Anda memiliki 3 elemen: judul, tembakan pahlawan, dan teks tombol CTA.

Jika Anda ingin menguji satu variasi untuk masing-masing yang akan menjadi 2x2x2=8 kombinasi. Mengetahui hal ini, Anda dapat mulai mencari tahu berapa banyak lalu lintas yang Anda butuhkan.

Masukkan lalu lintas halaman mingguan Anda dan tingkat konversi ke dalam kalkulator (bersama dengan pengaturan kekuatan dan kepercayaan).

Kemudian, atur jumlah halaman yang ingin Anda uji. (8 dalam contoh ini)

Ini kemudian akan memberi Anda kerangka waktu berapa lama Anda perlu berlari untuk dapat mendeteksi lift minimum.

Langkah #4: Bangun Tes

Selanjutnya, buka alat Anda dan siapkan berbagai versi dan kombinasi untuk pengujian multivarian Anda.

Mulailah dengan memilih opsi pengujian multivarian.

Beri nama dan kemudian tambahkan URL halaman yang ingin Anda uji (sehingga alat dapat menariknya untuk pengeditan WYSIWYG.)

Dalam contoh ini, kami akan berupaya meningkatkan tingkat konversi halaman beranda kami.

Setelah halaman dimuat di alat, Anda perlu menyiapkan elemen pengujian Anda.

Di sini, di Konversi, kami menggunakan 2 konversi penamaan untuk bagian yang akan diedit dalam pengujian multivarian:

• Bagian, yang mengacu pada elemen pada halaman yang ingin Anda uji seperti judul atau CTA, dan
• Variasi, yang merupakan hasil edit Anda untuk elemen tertentu.

Saya sarankan Anda memilih satu bagian pada satu waktu untuk mengedit dan menambahkan setiap variasi.

Beri bagian nama seperti 'Judul', lalu lanjutkan dan edit dan tambahkan variasi untuk bagian itu. (Pastikan untuk menyimpan setiap variasi saat Anda mengerjakannya.)

Kemudian lanjutkan ke 'bagian' atau elemen berikutnya yang ingin Anda uji. Dalam contoh ini, ia akan menyiapkan bidikan pahlawan latar belakang lainnya, dan kemudian menyiapkan variasi teks tombol CTA.

Langkah #5: Pastikan Semuanya Berfungsi

Setelah Anda menyiapkan setiap variasi, jalankan uji QA pada setiap perlakuan baru untuk memastikan semuanya berfungsi dan setiap elemen cocok bersama dengan baik. (Tidak ada CTA yang bersaing atau informasi/gambar yang tidak cocok, atau menggandakan warna font dan tombol.)

Klik 'simpan dan lanjutkan' dan halaman baru akan dimuat. Kemudian, lanjutkan dan klik pada tab "Laporan".

Dari sini Anda akan melihat variasi halaman dan informasi tentangnya. Klik pada 'ikon mata' di sebelah setiap halaman untuk melihat pratinjaunya dan menguji tautannya berfungsi.

Dari sini Anda dapat menjalankan pengujian QA dan menggunakan URL yang sama untuk pengujian seluler.

Langkah #6: Dorong Langsung

Selama setiap variasi berfungsi, Anda sekarang dapat memulai pengujian dan membiarkannya berjalan hingga Anda memiliki cukup data.

(Perhatikan bahwa ada opsi untuk mendorong pengujian langsung dari halaman laporan tempat Anda membuka pengujian QA.)

Alat Pengujian Multivarian Terbaik untuk Mematangkan Program Pengoptimalan Anda

Sekarang setelah Anda memahami cara kerja pengujian multivarian, mari kita uraikan platform pengoptimalan situs web di pasar yang menawarkan pengujian multivarian. Kami akan membahas fitur mereka bersama dengan harga mereka jika mereka menawarkan uji coba gratis dan beberapa detail lainnya.

Satu hal cepat sebelum kita melakukannya.

Ingatlah bahwa alat yang Anda gunakan HANYA sebaik orang yang mengaturnya . Jika arus kas ketat, maka berinvestasilah pada seseorang untuk membantu secara internal terlebih dahulu (atau hubungi agen eksternal) dan gunakan saja alat yang lebih murah untuk saat ini.

Semuanya sangat baik memiliki alat pengujian MVT yang luar biasa, tetapi tidak ada gunanya jika orang tersebut tidak dapat mengaturnya dengan benar, cukup cepat, atau memahami data!

#teamovertools

1. Konversi Pengalaman

Peringkat G2 : 4,7/5,0 (46 Ulasan)

Harga: Mulai dari $699 per bulan, dengan $199 untuk setiap 100 ribu pengunjung setelah itu.

Apakah mereka menawarkan paket atau uji coba gratis? Ya, uji coba gratis 14 hari tanpa perlu kartu kredit.

Biaya per 100.000 pengunjung: $199.

kelebihan

• Sepenuhnya sesuai dengan privasi: tidak ada data pribadi yang pernah disimpan
• Pelaporan yang akurat karena penggunaan cookie pihak pertama
• Cepat dan bebas kedip
• Jalankan tes tanpa batas
• Penumpukan kondisi dengan 40+ filter untuk menargetkan segmen audiens yang terperinci
• Penyisipan JavaScript yang fleksibel di tingkat proyek, eksperimen & variasi
• Pemicu tujuan kondisi JS khusus
• Terintegrasi dengan 100+ alat pihak ketiga (misalnya, Shopify, WordPress, Mixpanel, Hotjar)
• 4x lebih cepat, dukungan pelanggan manusia melalui telepon, email & obrolan.

Kontra

• Segmentasi pos dasar pada rencana Kickstart

Fitur Pengujian Multivariat : Faktorial penuh. Kami juga menawarkan dukungan dan saran langsung saat menjalankan tes ini

Sisi Klien, Sisi Server atau Keduanya? Konversi berfungsi sebagai editor WYSIWYG sisi klien, tetapi juga dapat diatur di sisi server dan menjalankan JS khusus.

Apakah mereka melayani Enterprise? Ya. Kami adalah alat pilihan untuk perusahaan seperti Sony, Jabra, Unicef, dan lainnya.

Apakah mereka menawarkan dukungan Pelanggan? Ya, sejak awal persidangan. Tipe apa? Obrolan langsung, blog, dan basis pengetahuan dengan lebih banyak lagi yang akan datang.

Apakah mereka peduli dengan Privasi ? Kami sepenuhnya mematuhi GDPR. Kami bahkan berhenti menggunakan alat untuk pekerjaan internal kami dari perusahaan lain yang tidak memenuhi GDPR, itulah artinya bagi kami.

Apakah mereka peduli dengan Dunia? Ya. Itu ada dalam DNA kita. Kami menanam pohon, menjalankan program komunitas, memperjuangkan keragaman mulai dari aplikasi awal, berdonasi ke badan amal, dan masih banyak lagi. Heck, kita 15x karbon negatif.

Ulasan TrustRadius:

2. AB Enak

Peringkat G2: 4.5/5.0 (76 Ulasan)

Harga: Mulai dari $ 1900/bln untuk 400 ribu pengunjung yang diuji setiap bulan untuk paket Essentials. Paket Pertumbuhan berharga $3800/bln sedangkan paket Elite mulai dari $5700/bln.

Apakah mereka menawarkan paket atau uji coba gratis? Tidak. Anda dapat meminta panggilan demo untuk melihat fitur baru mereka.

Biaya per 100.000 pengunjung: Sekitar $475.

Kelebihan:

• AI dan ML dibangun ke dalam pengoptimalan
• Jalankan eksperimen tanpa batas
• Antarmuka pengguna yang bersih dan mudah digunakan
• Mudah untuk mengatur dan melihat pratinjau tes
• Widget Dinamis
• Beberapa integrasi
• Laporan analitik yang luas
• Tersedia berbagai pilihan penargetan, bersama dengan personalisasi
• Dukungan pelanggan yang andal
• Harganya kelas menengah

Kontra:

• Tidak ada otomatisasi pemasaran untuk memberikan wawasan tentang kinerja audiens (terutama untuk eksperimen aktif) dan terkadang memerlukan dukungan pelanggan untuk melihatnya.
• Kalkulator Signifikansi Statistik sedikit mendasar dalam UX-nya
• Integrasi Google Analytics rumit, memerlukan pengkodean
• Tidak ada uji coba gratis

Fitur Pengujian Multivarian: Faktorial Penuh

Sisi Klien, Sisi Server atau Keduanya? Keduanya

Sering atau Bayesian? Bayesian.

Apakah itu mendukung Full Stack? Ya.

Data Web Inti Siap? Ya. Alat ini memuat dengan cepat.

Punya ML atau AI? Ya.

Apakah mereka melayani Enterprise? Ya. Mereka adalah alat pilihan untuk perusahaan seperti Disney, L'Oreal, Kalviyo, dan lainnya.

Apakah mereka menawarkan dukungan Pelanggan? Ya. Mereka memiliki basis pengetahuan dan obrolan langsung.

Apakah mereka peduli dengan Privasi? Ya. Alamat IP pengguna digunakan untuk membuat kode ID dan kemudian segera dihapus sebelum pindah ke alat. Kode ID dianonimkan dan kemudian dihapus setelah 13 bulan.

Apakah mereka peduli dengan Dunia? Mereka menyumbang langsung ke LSM, mereka bekerja dengan kelompok aksi sosial, mereka mendaur ulang dan mensponsori sarang lebah.

Ulasan TrustRadius :

Seperti apa alat pengujian multivarian ini beraksi:

3. Google Optimalkan & Optimalkan 360

Peringkat G2: 4,3/5,0 (27 Ulasan)

Harga : Ada 2 versi alat ini. Optimize gratis, tetapi untuk fitur lanjutan, Anda harus memilih Google Optimize 360.

Harga untuk Optimize 360 ​​bersifat khusus (meskipun dikabarkan sekitar $150.000 per tahun). Untuk mendapatkan harga bulanan Anda, Anda harus mengisi formulir untuk menghubungi tim penjualan mereka.

Apakah mereka menawarkan paket gratis? Ya.

Biaya per 100.000 pengunjung: T/A

Kelebihan:

• Mudah digunakan — sedikit pengetahuan teknis yang diperlukan
• Bagus untuk penguji A/B pertama kali
• Integrasi cepat dengan Google Analytics
• Memiliki segmentasi audiens yang sangat detail, berkat sumber data Google yang sangat besar

Kontra:

• Terbatas untuk 5 tes sekaligus di tingkat gratis
• Tidak ada fungsi editor drag-and-drop
• Tidak dapat mengunggah gambar Anda secara langsung
• Tidak dapat menguji aplikasi, hanya browser
• Tidak cocok untuk tes yang rumit
• UI/UX dan laporan tidak semenarik kebanyakan alat lain di pasar
• Flicker kadang-kadang terjadi.

Fitur Pengujian Multivariasi: Rupanya Optimize menggunakan pendekatan hibrid yang bukan faktorial penuh atau pecahan. Menurut basis dukungan mereka

“Model kami memungkinkan kami untuk menggunakan pendekatan hibrida, jadi Anda tidak perlu melakukan kompromi ini. Kami melayani semua kombinasi tes, sehingga Anda dapat mempelajari tentang interaksi dan kombinasi terbaik. Namun, kami juga memodelkan fakta bahwa beberapa varian muncul di seluruh kombinasi — sehingga kami dapat mempelajari varian dalam suatu faktor, bukan hanya kombinasi”

Sisi Klien, Sisi Server atau Keduanya? Keduanya.

Sering atau Bayesian? Google Optimize menggunakan metode Bayesian daripada metode Frequentist, juga dikenal sebagai Pengujian Signifikansi Hipotesis Null (NHST).

Apakah itu mendukung Full Stack? Ya.

Data Web Inti Siap? Ya. Alat ini memuat dengan cepat, meskipun dapat berkedip yang dapat menyebabkan masalah CLS.

Punya ML atau AI? Tidak.

Apakah mereka melayani Enterprise? Ya, tetapi hanya melalui Optimize 360.

Apakah mereka menawarkan dukungan Pelanggan? Mereka memiliki hub sumber daya dengan tips, tutorial video, komunitas bantuan, dan banyak lagi.

Apakah mereka peduli dengan privasi? Mereka mematuhi undang-undang perlindungan data yang berlaku di negara tempat produk mereka digunakan.

Mereka juga bekerja dengan pihak ketiga dan otoritas perlindungan data untuk menjaga keamanan data pengguna.

Apakah mereka peduli dengan Dunia? Google telah netral karbon sejak 2007 dan berencana untuk bebas karbon pada 2030. Selain itu, mereka dikenal karena banyak gerakan filantropis dengan komitmen $1 miliar mereka.

Ulasan TrustRadius :

Seperti apa alat pengujian MVT ini beraksi:

4. Sasaran Adobe

Peringkat G2: 4.0/5.0 (29 Ulasan)

Harga : Hanya tersedia setelah formulir 11 bagian, email, dan panggilan. Tarif awal adalah $10.000 per bulan.

Apakah mereka menawarkan paket atau uji coba gratis? Tidak.

Biaya per 100.000 pengunjung: T/A

kelebihan

• Antarmukanya mudah digunakan
• Memberikan laporan data real-time yang akurat
• Terintegrasi dengan baik dengan Adobe Analytics dan dirancang sebagai penawaran upsell
• Alat personalisasi situs web untuk pemula dan ahli
• Memandu Anda melalui proses penyiapan dan pengujian
• Memiliki AI canggih untuk terus menguji dan meningkatkan kampanye dan personalisasi

Kontra

• Mengoptimalkan dalam skala besar bisa lambat
• Membutuhkan volume lalu lintas yang sangat tinggi untuk bekerja dengan baik
• Editor berbasis formulir membutuhkan kurva belajar
• Titik harga tinggi
• Tidak ada opsi uji coba
• Bekerja paling baik saat sudah menggunakan Adobe Analytics
• Bisa mendapatkan wawasan hebat saat terhubung ke alat Adobe Marketing Cloud berbayar lainnya

Fitur Pengujian Multivariat: Faktorial Penuh dan Taguchi (sebagai metode faktorial parsial).

Sisi Klien, Sisi Server atau Keduanya? Keduanya.

Apakah mereka melayani Enterprise? Ya. Hampir secara eksklusif karena biaya.

Apakah mereka menawarkan dukungan Pelanggan? Ya, dalam bentuk basis pengetahuan dan program pelatihan video.

Apakah mereka peduli dengan Privasi? Ya, tetapi ironisnya mereka membutuhkan email dan nomor telepon Anda untuk mempelajari lebih lanjut tentang ini. Namun mereka melakukan banyak pekerjaan dalam data pihak pertama untuk pelacakan non-intrusif.

Apakah mereka peduli dengan Dunia? Sangat banyak sehingga. Mereka memperjuangkan keragaman, bekerja menuju 100% bangunan energi terbarukan, menurunkan emisi, menjalankan program aksi masyarakat, dan banyak lagi.

Ulasan TrustRadius :

Seperti apa alat pengujian multivarian ini beraksi:

5. Kameleon

Peringkat G2: 4,7/5,0 (24 Ulasan)

Harga : Disesuaikan sesuai dengan kebutuhan Anda. Anda mendapatkan harga unik Anda dengan menghubungi tim penjualan.

Apakah mereka menawarkan paket gratis? Ya.

Biaya per 100.000 pengunjung: T/A

kelebihan

• Mudah untuk mengatur pelacakan klik
• Integrasi yang lancar dengan banyak alat lainnya
• Memiliki editor WYSIWYG yang mudah digunakan untuk non-pengembang
• Teknologi anti-kerlip canggih
• Tim pendukung yang berpengetahuan dan membantu
• Perencanaan dan pelaksanaan tes yang akurat dan terperinci

Kontra

• Editor WYSIWYG memuat dengan lambat
• Dasbor pelaporan dapat menggunakan sedikit lebih banyak personalisasi
• Perlu keterampilan tingkat pengembang untuk menerapkan beberapa skenario kompleks
• Tidak dapat mengarsipkan tes
• Browser lama seperti IE7 dikeluarkan dari pengujian

Fitur Pengujian Multivariasi: Faktorial Penuh dan Faktorial Pecahan (melalui alokasi dalam pengaturan pengujian).

Sisi Klien, Sisi Server atau Keduanya? Keduanya. Anda dapat mengedit editor WYSIWYG serta menggunakan editor kode bawaan Kameleoon untuk mengedit CSS dan JS.

Apakah mereka melayani Enterprise? Ya. Lexus, Unity, Providence, Toyota, dan Rakuten menggunakan Kameleoon.

Apakah mereka menawarkan dukungan Pelanggan? Ya. Anda bahkan bisa mendapatkan manajer akun khusus untuk membantu Anda dengan proyek yang rumit.

Apakah mereka peduli dengan Privasi? Mereka sesuai dengan HIPAA, GDPR, dan CCPA. Mereka juga memiliki fitur manajemen izin yang fleksibel untuk menyesuaikan kebijakan privasi Anda untuk setiap pengujian A/B.

Apakah mereka peduli dengan Dunia? Saya tidak dapat menemukan bukti amal apa pun yang mereka sponsori atau penyebab lingkungan yang mereka dukung. Meskipun, menarik untuk mengetahui bahwa mereka memiliki dua bunglon hidup di kantor mereka di Jerman dan Prancis.

Ulasan TrustRadius :

Seperti apa alat pengujian MVT ini beraksi:

6. Optimalkan

Peringkat G2: 4,3/5,0 (109 Ulasan)

Harga : Mereka menggunakan model penetapan harga khusus. Tetapi Splitbase memperkirakan biayanya setidaknya $ 36.000 per tahun.

Apakah mereka menawarkan paket gratis? Tidak. Mereka menghentikan paket gratis pada tahun 2018.

Biaya per 100.000 pengunjung : T/A

Kelebihan:

• Jalankan eksperimen tanpa batas
• Antarmuka pengguna yang bersih dan mudah digunakan
• Fitur widget menyenangkan untuk digunakan
• Tersedia berbagai pilihan penargetan lanjutan
• Dukungan pelanggan yang andal

Kontra:

• Tidak memberikan wawasan otomatis tentang kinerja pemirsa (terutama untuk eksperimen aktif)
• Integrasi Google Analytics rumit, membutuhkan pengkodean
• Cuplikan yang dioptimalkan biasanya meningkatkan waktu pemuatan halaman

Fitur Pengujian Multivarian: Faktorial Penuh, Parsial, dan Taguchi.

Sisi Klien, Sisi Server atau Keduanya? Keduanya. Optimizely menawarkan eksperimen sisi klien melalui cuplikan Javascript dan eksperimen sisi server melalui SDK pengembang.

Sering atau Bayesian? Mesin Statistik Optimizely menggunakan eksperimen berurutan, bukan eksperimen cakrawala tetap yang akan Anda lihat di platform lain.

Apakah itu mendukung Full Stack? Ya.

Data Web Inti Siap? Ya, alat ini memuat dengan cepat.

Punya ML atau AI? Ya.

Apakah mereka melayani Enterprise? Karena harga, sebagian besar melayani tingkat perusahaan. Merek seperti Microsoft, IBM, HP, eBay, Yamaha, Pizza Hut, dan Atlassian menggunakannya.

Apakah mereka menawarkan dukungan Pelanggan? Ya. Mereka memiliki bank sumber daya untuk membantu pengguna mendapatkan kemandekan dan nomor telepon untuk meminta bantuan 24/7.

Apakah mereka peduli dengan Privasi? Mereka mempertimbangkan undang-undang privasi lama dan baru dan mengintegrasikannya ke dalam produk mereka sehingga Anda, pengguna, tidak perlu khawatir tentang kepatuhan.

Apakah mereka peduli dengan Dunia? Sebagian besar karyawan baru dikirim untuk menjadi sukarelawan di komunitas pada hari kedua mereka.

Ulasan TrustRadius :

Seperti apa alat pengujian multivarian ini beraksi:

7. Spesifikasi Situs

Peringkat G2: 4,4/5,0 (50 Ulasan)

Harga : Anda harus menghubungi SiteSpect untuk mendapatkan harga yang disesuaikan dengan kebutuhan Anda.

Apakah mereka menawarkan paket gratis? Ya, mereka menawarkan uji coba gratis.

Biaya per 100.000 pengunjung: T/A

Kelebihan:

• Mendukung semua bahasa markup (HTML, WML, XML, dan JSON), lembar gaya, dan bahasa skrip
• Tidak ada tag javascript berarti tidak ada penyegaran atau kedipan konten
• Cukup serbaguna untuk menguji hampir semua skenario
• Pengujian non-intrusif
• Terintegrasi dengan alat analitik
• Tidak perlu mengubah versi produksi kode Anda

Kontra:

• Pengetahuan teknis yang diperlukan untuk mengimplementasikan tes
• Menambahkan lompatan ekstra yang dapat sedikit memperlambat situs Anda
• Antarmuka pelaporan bisa lebih baik

Fitur Pengujian Multivariasi: Faktorial Penuh dan Faktorial Pecahan (Alat ini merekomendasikan pindah ke pecahan jika menguji lebih dari 128 kombinasi).

Sisi Klien, Sisi Server atau Keduanya? Keduanya.

Sering atau Bayesian? SiteSpect menggunakan uji-t dua arah saat membandingkan Variasi dengan Kontrol untuk menentukan titik di mana interval kepercayaan tidak tumpang tindih dan dengan demikian menunjukkan signifikansi. SiteSpect juga menghitung z-score dan menggunakannya dalam laporan.

Apakah itu mendukung Full Stack? Ya.

Data Web Inti Siap? Ya. Alat ini sangat cepat.

Punya ML atau AI? Ya.

Apakah mereka melayani Enterprise? Ya. Staples, PetSmart, AmericanGirl, dan Urban Outfitters menggunakan SiteSpect.

Apakah mereka menawarkan dukungan Pelanggan? Dukungan pelanggan tersedia melalui panggilan telepon dan email untuk versi gratis dan berbayar. Ada juga webinar pra-rekaman yang tersedia di basis pengetahuan mereka.

Apakah mereka peduli dengan Privasi? Mereka melakukannya. Mereka bersertifikat PCI DSS 3.2; Sesuai dengan GDPR, CCPA, dan pelindung privasi, dan siap untuk HIPAA.

Apakah mereka peduli dengan Dunia? SiteSpect diketahui mensponsori beberapa proyek amal sejak 2014.

Ulasan TrustRadius :

Seperti apa alat pengujian multivarian ini beraksi:

8. Pengujian VWO

Peringkat G2: 4.2/5.0 (239 Ulasan)

Harga : Mulai dari $99/bln. Lebih dari itu membutuhkan harga yang disesuaikan dengan kebutuhan Anda. Dan Anda harus menghubungi tim penjualan VWO untuk Anda.

Apakah mereka menawarkan paket gratis? Ya, Anda dapat memulai dengan uji coba gratis 30 hari.

Biaya per 100.000 pengunjung: ~$500

Kelebihan:

• Opsi penyesuaian yang fleksibel untuk menyesuaikan pengujian Anda dengan banyak skenario
• Mudah untuk merencanakan dan melaksanakan tes dengan sedikit pengetahuan pengkodean
• Tim dukungan khusus untuk memandu Anda melalui tantangan apa pun
• Memiliki kemampuan untuk melacak tujuan jangka panjang
• Kemampuan untuk mengelompokkan tes bersama
• Rekaman yang berguna untuk mengamati pengguna dan pemecahan masalah

Kontra:

• Ada kurva belajar untuk memahami fungsionalitas penuh VWO
• Paket harga sering berubah
• Mereka hanya menguji sisi klien

Fitur Pengujian Multivariasi: Faktorial Penuh (walaupun Anda dapat mengatur persentase lalu lintas per variasi halaman).

Sisi Klien, Sisi Server atau Keduanya? Hanya sisi klien.

Apakah mereka melayani Enterprise? Ya. Klien perusahaan mereka termasuk Ubisoft, AMD, Penn Foster, Optimeria, dan IMB Bank.

Apakah mereka menawarkan dukungan Pelanggan? Ya, Anda dapat menghubungi mereka saat Anda membutuhkan bantuan. Atau lihat halaman sumber daya mereka.

Apakah mereka peduli dengan Privasi? Ya. Mereka mematuhi undang-undang dan peraturan privasi utama tetapi mereka menyimpan beberapa data pengunjung di server mereka.

Apakah mereka peduli dengan Dunia? Baru-baru ini, ketua Wingify (merek di belakang VWO) Paras Chopra, mentweet dukungan mereka untuk beberapa inisiatif bantuan COVID termasuk mendirikan fasilitas perawatan COVID 10 tempat tidur di Delhi.

Ulasan TrustRadius :

Seperti apa alat pengujian MVT ini beraksi:

9: Pengoptimalan Tren Web

Peringkat G2: 4,9/5,0 (107 Ulasan)

Harga : Mulai dari $212 per bulan tetapi bisa lebih rendah atau lebih tinggi tergantung pada apa yang Anda butuhkan. Mereka memiliki struktur harga yang sangat fleksibel, tetapi Anda harus berbicara dengan tim penjualan untuk mengonfirmasi harga Anda.

Apakah mereka menawarkan paket gratis? Ya, kurang dari 1.500 sesi per bulan.

Biaya per 100.000 pengunjung: T/A

Kelebihan:

• Mudah digunakan, cocok untuk pengguna non-teknis dengan editor WYSIWYG
• Mendukung kolaborasi tim
• Memberikan wawasan berbasis data
• Tim dukungan menunjukkan minat yang tulus pada kesuksesan Anda
• Integrasi yang lancar dengan situs web Anda dan alat yang ada
• Laporan yang jelas dan lugas

Kontra:

• UI bisa jadi sulit digunakan untuk pengguna baru
• Membutuhkan waktu untuk menyiapkan bahkan tes sederhana
• Biaya layanan penuh berada di sisi yang tinggi

Fitur Pengujian Multivariat: Faktorial Penuh dan Faktorial Pecahan.

Sisi Klien, Sisi Server atau Keduanya? Keduanya. Mereka memiliki editor visual tanpa proxy untuk rendering sisi klien dan kemampuan pengujian sisi server juga.

Apakah mereka melayani Enterprise? Microsoft, London North Eastern Railway, Marks and Spencer, dan Virgin Wines menggunakan Optimize.

Apakah mereka menawarkan dukungan Pelanggan? Ya. Anda mendapatkan akses ke dukungan teknis, pelatihan, dan konsultan pengoptimalan konversi khusus Anda sendiri.

Apakah mereka peduli dengan Privasi? Mereka sepenuhnya mematuhi GDPR.

Apakah mereka peduli dengan Dunia? Pada April 2021, Webtrends Optimize menantang diri mereka sendiri untuk melakukan 100 Push-up sehari dalam acara GoFundMe untuk mengumpulkan dana bagi Cancer Research UK. Dan mereka melakukan hal serupa pada tahun 2020 yang disebut Xmas Charity Donations. Jadi, mereka peduli.

Ulasan Radius Kepercayaan :

Meskipun ada ulasan tentang Trust Radius untuk alat ini, yang terbaru adalah Desember 2019, dan sebelum itu 2018. Karena alat dapat berubah dan begitu juga layanan, saya telah menarik ulasan terbaru mereka dari G2.

Seperti apa alat pengujian multivarian ini beraksi:

Kesimpulan

Jadi di sana Anda memilikinya.

Daftar alat pengujian A/B terbaik kami yang menawarkan pengujian multivarian pada tahun 2021. Kami juga menunjukkan metode mana yang mereka gunakan untuk menguji, fitur, harga, dan ulasannya.

Sekarang Anda dapat membandingkan alat multivariasi terbaik di seluruh parameter yang berbeda ini dan memilih salah satu yang paling sesuai untuk kebutuhan pengujian Anda.