Pengujian Multivariat: Cara Menjalankan Pengujian Terbaik untuk Hasil Terbaik

Pengujian A/B adalah salah satu cara termudah untuk menemukan ide pengoptimalan untuk halaman arahan pasca-klik Anda, tetapi itu tidak selalu merupakan cara yang paling efisien.

Sebelum Anda mulai menguji dua, tiga, atau empat halaman sekaligus, cari tahu cara menguji lebih banyak lagi, dan temukan kombinasi elemen terbaik untuk mengonversi pengunjung Anda.

Apa itu pengujian A/B?

Pengujian A/B, juga dikenal sebagai pengujian terpisah, memungkinkan Anda membandingkan dua versi halaman web yang berbeda untuk menentukan mana yang mengubah pengunjung dengan lebih baik.

Kedua halaman tersebut dapat berupa:

• Sedikit berbeda

Jika Anda memiliki desain dengan konversi tinggi dan ingin mengetahui cara meningkatkan satu elemen, Anda dapat menguji dua halaman berbeda dengan hanya satu perbedaan. Jika Anda ingin melihat apakah judul yang berfokus pada rasa ingin tahu atau yang berfokus pada berita berperforma lebih baik, Anda dapat menguji judul vs. judul. Jika Anda ingin melihat apakah video atau gif lebih memengaruhi konversi, Anda dapat mengujinya di setiap halaman.

Setelah mengarahkan lalu lintas yang sama ke masing-masing, yang menghasilkan konversi terbanyak adalah pemenangnya. Dan alasan seseorang menghasilkan lebih banyak konversi sudah jelas, karena hanya ada satu perbedaan antara kedua halaman tersebut.

• Sangat berbeda

Anda juga dapat menguji dua halaman yang berbeda dalam berbagai cara. Laman orisinal Anda dapat memiliki judul, gambar unggulan, dan tombol ajakan bertindak yang berbeda dari variasi Anda. Mengujinya mungkin terlihat seperti ini:

Setelah mengarahkan lalu lintas yang sama ke halaman asli (A atau "kontrol") dan halaman variasi (B), halaman yang berkonversi lebih baik adalah pemenangnya. Namun tidak seperti saat Anda mengubah hanya satu elemen per pengujian, saat Anda menguji halaman yang berbeda secara drastis, tidak ada cara untuk menentukan alasan kemenangan halaman tertentu.

Mengambil hasil dari contoh di atas, kita hanya akan tahu bahwa versi "b" lebih baik daripada versi "a", tetapi bukan alasan mengapa itu lebih baik, karena ada sejumlah penyebab yang dapat dikaitkan. Konversi dapat berasal dari penyesuaian bilah navigasi dari kiri ke kanan, atau dari formulir pendaftaran dari atas ke bawah. Yang dapat Anda ketahui dengan pasti saat Anda menguji A/B dengan desain yang sangat berbeda adalah bahwa satu halaman lebih baik daripada yang lain.

Namun, ada jenis pengujian berbeda yang dapat Anda jalankan untuk menentukan bagaimana perubahan pada beberapa elemen berinteraksi satu sama lain. Ini disebut tes multivariat.

Apa itu pengujian multivariat?

Pengujian multivariasi adalah proses yang digunakan oleh pengoptimal untuk membandingkan dua halaman web yang berbeda. Metode ini berfokus pada membandingkan perubahan halus antara beberapa elemen, lalu mengukur bagaimana elemen tersebut berinteraksi satu sama lain, dengan tujuan menemukan performa tertinggi.

Perbedaan antara pengujian A/B dan pengujian multivarian

Anda mungkin telah membaca banyak studi kasus pengujian A/B yang menemukan halaman unggulan dengan membandingkan satu judul dengan judul lainnya, atau gambar unggulan vs. video, atau satu ajakan bertindak vs. yang sedikit berbeda. Meskipun dapat digunakan untuk melakukannya dengan akurat, menurut pengoptimal di Widemile, ada cara yang lebih ideal untuk menggunakan pengujian A/B:

Penggunaan ideal untuk pengujian A/B, kata mereka, adalah untuk "menguji dua atau lebih halaman yang sangat berbeda". Dalam istilah pengujian, lebih baik melakukan pengujian A/B untuk menemukan apa yang disebut "maksimum global", dan pengujian multivariasi untuk menyempurnakan menuju "maksimum lokal".

maksimum global dan maksimum lokal

Betapapun sulitnya melakukannya, bayangkan sejenak bahwa Anda belum pernah makan es krim seumur hidup Anda, dan Anda berdiri di ruang tamu es krim mencoba memutuskan salah satu dari 30 rasa berbeda yang ingin Anda beli. .

Ada 10 macam coklat, 10 macam vanilla, dan 10 macam strawberry. Apakah Anda akan mencoba semua 30 rasa sebelum Anda memutuskan yang mana yang Anda inginkan?

Mungkin tidak. Anda mungkin akan mencoba salah satu dari setiap rasa yang sangat berbeda — satu cokelat, satu stroberi, dan satu vanila — untuk mempersempit variasi mana yang paling Anda sukai. Jika ternyata Anda menyukai cokelat daripada vanila dan stroberi, Anda akan mulai mencoba rasa seperti "adonan kue keping cokelat", dan "selai kacang cokelat" dan "chocolate-fudge" untuk memutuskan cokelat mana yang paling Anda sukai.

Dalam istilah statistik, kami menyebut varietas yang paling Anda sukai (cokelat, vanila, atau stroberi) sebagai maksimum global. Ini adalah rasa yang paling enak untuk Anda dari tiga jenis yang berbeda secara drastis. Rasa khusus dari varietas tersebut (chocolate-fudge, adonan kue keping coklat, selai kacang coklat) akan menjadi maksimum lokal. Ini adalah versi terbaik dari varietas yang Anda pilih.

Sebagai pengoptimal, Anda ingin mendekati pengujian dengan cara yang sama. Anda ingin menemukan halaman yang paling baik mengonversi pengunjung Anda (maksimum global), lalu men-tweak elemen tertentu pada halaman tersebut untuk meningkatkannya ke halaman dengan konversi tertinggi (maksimum lokal). Yang Anda cari akan menentukan tes mana yang Anda gunakan.

Kapan harus menggunakan pengujian A/B dan kapan harus menggunakan pengujian multivarian

Pengujian A/B adalah yang terbaik untuk menguji maksimum global. Mereka paling baik dalam menemukan halaman mana yang ingin dikonversi oleh pengunjung Anda. Ambil contoh ini dari MarketingExperiments, yang menggunakan pengujian A/B untuk membantu Investopedia meningkatkan konversi untuk buletinnya, Investopedia Advisor.

Tawarannya sederhana — buletin gratis dengan tip stok — dan halaman aslinya mencerminkan hal itu. Itu tidak panjang, rumit, atau berantakan dengan banyak elemen. Itu menampilkan formulir pengambilan prospek satu bidang, salinan berpoin, dan infografis:

Namun, terlepas dari tawaran gratis yang berharga, itu hanya mengonversi 1,33%. Tim di MarketingExperiments memutuskan untuk merombak total halaman tersebut. Mereka mengubah judul, tata letak, tombol CTA, dan menambahkan beberapa lencana, antara lain. Kemudian mereka menguji A/B halaman baru vs. halaman asli, dan mereka menemukan halaman baru berkonversi 89,4% lebih tinggi. Berikut tampilannya:

Penting untuk diingat bahwa dengan pengujian A/B ini, para pelaku eksperimen tidak mengetahui dengan pasti mengapa halaman baru berkonversi lebih baik daripada yang lama, tetapi mereka menemukan pengonversi baru yang lebih tinggi. Dengan kata lain, mereka menemukan maksimum global baru. Pada saat itu, jika diinginkan, mereka dapat menyempurnakan laman ini dengan pengujian multivarian untuk menentukan kombinasi elemen mana yang menghasilkan pengunjung terbanyak.

Itulah tepatnya yang ingin dilakukan oleh penguji dalam contoh hipotetis dari Optimizely ini. Mereka ingin mengetahui kombinasi judul dan gambar mana yang paling banyak menghasilkan pengunjung.

Jadi, mereka membuat beberapa halaman dengan kombinasi judul dan gambar yang berbeda untuk melihat mana yang berkinerja terbaik.

Mana pun dari keempat versi ini yang muncul dari pengujian dengan rasio konversi tertinggi adalah pemenangnya. Jika dua versi dengan bola lampu berperforma lebih baik daripada dua versi dengan roda gigi, Anda mungkin menyimpulkan bahwa gambar bola lampu memiliki dampak terbesar pada konversi. Dari sana, Anda akan melihat judul mana yang menghasilkan lebih banyak konversi, dan menggunakan laman tersebut.

Cara melakukan tes multivarian

Beberapa tahun yang lalu, ketika pendiri VWO, Paras Chopra, ingin meningkatkan unduhan di laman webnya, dia menggunakan pengujian multivarian untuk mencari tahu caranya. Jika sudah terbiasa dengan langkah-langkah untuk melakukan pengujian A/B, Anda akan mengenali sebagian besar langkah dalam contoh pengujian multivarian ini.

1. Identifikasi masalah

Sebelum Anda dapat mulai meningkatkan halaman web Anda, sebaiknya gali data dan cari tahu bagaimana pengunjung berinteraksi dengannya. Apa yang dia temukan adalah bahwa orang-orang tidak mengklik tombol "unduh" sebanyak yang dia perkirakan seharusnya, jadi dia mengamati halaman tersebut untuk mencari tahu alasannya.

2. Merumuskan hipotesis

Setelah pemeriksaan menyeluruh, dia menyadari bahwa tautan unduhannya tidak terlalu mencolok. Jadi dia membuat hipotesis untuk meningkatkan halaman:

Solusi yang jelas untuk membuat pengunjung memperhatikan tautan unduhan adalah menjadikan bagian unduhan sebagai bagian paling menonjol dari halaman. Dalam desain halaman, ukuran dan warna tajuk "Unduh" menyatu dengan baik ke seluruh halaman, yang mengakibatkan orang kehilangan tautan unduhan.

Dengan membuat tautan "Unduh" lebih terlihat, dia yakin dapat meningkatkan konversi. Inilah cara dia memutuskan untuk melakukannya.

3. Buat variasi

Sekarang saatnya membuat halaman variasi untuk pengujian. Menurut Para:

Untuk pengujian multivariasi, saya memilih dua faktor pada halaman untuk membuat variasi: tajuk "Unduh" di bilah sisi dan tautan unduhan "PDFProducer" di bawahnya. Fokus dari tes ini adalah untuk mengamati efek dari kata "gratis", dan efek penyorotan bagian unduhan.

Inilah cara dia memutuskan untuk membuat bagian unduhan lebih terlihat dan menarik.

Untuk tautan "Unduh" asli, dia menguji tiga variasi berbeda:

• "Unduh" dengan warna merah
• "Unduh Gratis" berwarna merah
• "Unduh" dalam warna default, tetapi ukuran font lebih besar

Untuk tautan “PDFProducer” asli, dia menguji dua variasi berbeda:

• "PDFProducer" dalam warna default, tetapi ukuran font lebih besar
• "Produsen PDF" berwarna merah

Seperti inilah semua kombinasi itu:

Dengan empat versi tautan unduhan (termasuk yang asli) dan tiga versi teks "PDFProducer" (sekali lagi, termasuk yang asli), 12 variasi berbeda dibentuk untuk melakukan uji faktorial lengkap. Faktorial penuh menguji semua kombinasi sebagai kebalikan dari faktorial fraksional yang hanya menguji yang paling berpengaruh.

Meskipun ada beberapa metode analisis multivariat — faktorial penuh, faktorial fraksional, dan Taguchi — sebagian besar pengoptimal merekomendasikan menjalankan faktorial penuh untuk keakuratannya, klaim Alex Birkett dari CXL.

4. Tentukan ukuran sampel Anda

Sebelum Anda mulai mengarahkan lalu lintas ke halaman Anda, Anda perlu menentukan ukuran sampel Anda — jumlah pengunjung yang perlu dihasilkan setiap halaman sebelum Anda dapat membuat kesimpulan tentang hasil pengujian Anda.

Kalkulator dari VWO ini akan membantu Anda mengetahui berapa banyak pengunjung, dan berapa lama Anda perlu menjalankan pengujian berdasarkan lalu lintas situs web Anda, berapa banyak variasi yang Anda miliki, dan signifikansi statistik Anda.

Untuk mempelajari lebih lanjut tentang mencapai signifikansi statistik, dan semua hal yang perlu Anda masukkan ke dalam kalkulator, lihat entri blog ini.

5. Uji alat Anda

Uji semuanya sebelum Anda mulai menjalankan lalu lintas. Apakah halaman arahan pasca-klik Anda terlihat sama di setiap browser? Apakah tombol CTA Anda berfungsi? Apakah semua tautan di iklan Anda benar?

Sebelum Anda mulai menjalankan apa pun, penting untuk melakukan QA pada setiap aspek kampanye Anda untuk memastikan tidak ada yang meracuni hasil Anda.

6. Mulailah mengarahkan lalu lintas

Sekarang setelah Anda membuat variasi dan mengetahui berapa banyak lalu lintas yang Anda perlukan untuk menghasilkan setiap variasi, aman untuk mulai mengarahkan lalu lintas ke variasi tersebut. Kelemahan terbesar dari pengujian multivarian adalah jumlah lalu lintas yang sangat besar yang Anda perlukan sebelum Anda dapat menyimpulkannya, jadi Anda harus bersabar.

Saat Anda melakukan pengujian A/B, hanya ada dua halaman yang Anda perlukan untuk mengarahkan lalu lintas yang signifikan. Namun dalam pengujian multivariasi, seperti Paras misalnya, ada 12 halaman berbeda yang harus mengumpulkan ukuran sampel yang besar sebelum Anda dapat memanggil pengujian.

Awasi ancaman terhadap validitas Anda dan jangan lupa memperhitungkan peningkatan tingkat hasil positif palsu, kata Leonid Pekelis:

“Anda pada dasarnya menjalankan Pengujian A/B terpisah untuk setiap interaksi. Jika Anda memiliki 20 interaksi untuk diukur, dan prosedur pengujian Anda memiliki tingkat 5% untuk menemukan positif palsu untuk masing-masing interaksi, Anda tiba-tiba mengharapkan satu interaksi terdeteksi secara signifikan secara kebetulan. Ada beberapa cara untuk menjelaskan hal ini, umumnya disebut koreksi pengujian berganda, tetapi sekali lagi, biayanya adalah Anda cenderung membutuhkan lebih banyak pengunjung untuk melihat hasil yang pasti.”

7. Analisis hasil Anda

Setelah menjalankan tesnya selama empat minggu, inilah yang ditemukan Paras:

Anda dapat mengamati bahwa tajuk "Unduh Gratis" berwarna merah mendorong tingkat konversi unduhan dari 39% menjadi 63%, peningkatan yang luar biasa sebesar 60%. Memiliki "Unduh" dalam ukuran font besar (dikombinasikan dengan warna tautan sebagai merah) juga mengalami peningkatan positif (43%) dibandingkan default. Dari semua hasil, tiga teratas secara statistik signifikan pada tingkat kepercayaan 95% atau lebih.

Paras bisa saja mengimplementasikan halaman barunya dan melupakan tes ini, tetapi sebaliknya, dia menekankan langkah terakhir yang penting:

8. Belajar dari hasil Anda

Setiap pengujian Anda harus digunakan untuk mempelajari sesuatu tentang halaman web Anda dan pengunjungnya yang dapat Anda gunakan untuk menginformasikan pengujian di masa mendatang.

Dia mengetahui bahwa, di halaman webnya:

• Kata "Gratis" beresonansi dengan pengunjung situs webnya.
• Sifat tanpa biaya dari penawaran paling baik diiklankan pada atau di dekat ajakan bertindak.
• Warna merah menarik perhatian pengunjungnya.
• Ajakan bertindak yang lebih besar menarik lebih banyak bola mata pengunjung.

Tapi ingat, ini adalah hasil tesnya . Meskipun kata "gratis" selalu bagus untuk digunakan di halaman web mana pun yang mengiklankan penawaran tanpa biaya, lokasi, ukuran, dan warna CTA terbaik Anda mungkin berbeda di halaman web Anda. Satu-satunya cara untuk mengetahui dengan pasti adalah dengan menguji.

Sudahkah Anda mencoba pengujian multivarian?

Apakah Anda menyimpang dari pengujian multivarian karena menurut Anda itu terlalu rumit? Daftar untuk demo Instapage Enterprise hari ini.