Haruskah Anda Menjalankan Eksperimen Simultan? Panduan untuk Menghindari Hasil yang Bertentangan

Ada beberapa perdebatan di dunia pengoptimalan tentang apakah akan menjalankan eksperimen simultan atau tidak. Beberapa orang percaya bahwa menjalankan pengujian A/B secara simultan akan memperkeruh hasil Anda dan menghasilkan data yang tidak akurat. Yang lain berpendapat bahwa menjalankan pengalaman A/B di berbagai halaman situs web Anda secara bersamaan dapat membantu Anda menguji lebih banyak hal dan mengidentifikasi strategi kemenangan lebih cepat.

Jadi, mana yang benar?

Dalam posting blog ini, kami akan mengeksplorasi keuntungan dan kerugian dari eksperimen simultan – dan membantu Anda memutuskan pendekatan mana yang terbaik untuk program pengoptimalan Anda.

Setelah membaca artikel blog ini, Anda akan dapat menjawab pertanyaan-pertanyaan berikut:

• Bisakah saya menjalankan pengalaman URL terpisah secara bersamaan?
• Bisakah saya menjalankan pengalaman A/B secara bersamaan?
• Dapatkah saya menjalankan pengalaman A/A dan pengalaman A/B secara bersamaan?

Jawaban singkatnya adalah ya , beberapa pengalaman dapat berjalan secara bersamaan pada satu halaman atau kumpulan halaman. Namun, perlu diingat bahwa bucketing dalam satu pengalaman dapat berdampak pada data dari pengalaman lain yang terjadi secara bersamaan.

Bagaimana Pengalaman Tumpang Tindih dan Haruskah Anda Khawatir?

Ada satu hal yang perlu diingat saat menjalankan eksperimen simultan. Dalam beberapa kasus, dua perubahan dapat berinteraksi, menghasilkan efek yang berbeda pada perilaku saat digabungkan daripada saat diisolasi. Hal ini dapat terjadi saat eksperimen dijalankan pada halaman yang sama, dengan alur pengguna yang sama, dan seterusnya.

Mari kita lihat beberapa contoh di mana pengalaman tumpang tindih mungkin terjadi dan jika itu harus dianggap sebagai masalah.

Menguji Elemen yang Sama

Mengganti desain halaman produk Anda untuk menyoroti fitur hadiah, seperti kebijakan pengembalian gratis dan pengiriman gratis, adalah salah satu contoh pengujian A/B yang dapat Anda jalankan.

Salah satu pelanggan kami menguji skenario yang tepat ini. Berdasarkan data dari departemen layanan pelanggan mereka, mereka berhipotesis bahwa pelanggan tidak mengetahui kebijakan pengembalian gratis merek karena fitur tersebut tidak cukup terlihat di halaman produk. Mereka kemudian menjalankan pengujian A/B yang menunjukkan fitur tersebut secara lebih menonjol dan mengukur bagaimana respons pelanggan.

Berikut adalah tampilan asli dan variasinya:

Namun, implementasi pengujian sedikit lebih rumit karena perubahan tidak diterapkan pada setiap halaman produk. Beberapa produk tidak memenuhi syarat untuk pengembalian gratis, item penjualan tertentu tidak dapat dimodifikasi, dll. Karena alasan ini, mereka memutuskan untuk menjalankan pengalaman A/B lain secara paralel dengan mengubah elemen yang sama dan menambahkan salinan penafian pada banyak produk halaman ini mengatakan, "Item tidak dapat dikembalikan".

Seperti yang Anda lihat, dua pengalaman A/B memengaruhi elemen situs web yang sama dan oleh karena itu menyebabkan semacam tumpang tindih dalam hasil, sehingga sulit untuk menarik kesimpulan yang jelas.

Menguji di Halaman yang Sama

Contoh lain dari pengalaman A/B adalah ketika pelanggan kami mengoptimalkan halaman produk mereka untuk meningkatkan kunjungan untuk memesan.

Saat mereka menganalisis setiap elemen halaman produk dan melacak konversi sasaran, mereka menemukan bahwa tautan bilah navigasi utama menerima klik paling banyak, terutama “Belanja sekarang”. Pelanggan kami menyadari pentingnya mengirimkan lalu lintas yang lebih berkualitas ke halaman kategori daripada membiarkan mereka berkeliaran di halaman beranda.

Alhasil, pelanggan memutuskan untuk mengganti bagian “Belanja Sekarang” dengan kategori lain seperti “super hemat”, “bazaar”, dan sebagainya. Selain itu, bagian "Belanja Sekarang" dipindahkan ke sisi kiri situs untuk membuat halaman lebih menarik secara visual dan menarik pengunjung yang memenuhi syarat.

Beginilah tampilan halaman produk pada awalnya:

Sementara itu, eksperimen A/B lainnya sedang dilakukan pada halaman produk untuk menentukan apakah warna tombol "Beli sekarang" yang berbeda akan menghasilkan konversi yang lebih baik.

Karena dua pengalaman A/B ini memengaruhi elemen yang sama di halaman yang sama, beberapa hasil yang tumpang tindih tidak dapat dihindari.

Menguji Pengguna yang Berpartisipasi dalam Corong/Alur yang Sama

Pengalaman yang tumpang tindih juga dapat terjadi saat menguji pengguna yang berpartisipasi dalam corong yang sama. Sebagian besar situs web mendorong konversi melalui beberapa corong. Meskipun fokus utamanya mungkin pada pembelian, pembuatan atau akuisisi akun juga dapat menjadi kekuatan pendorong yang signifikan dalam bisnis.

Menjalankan pengalaman di halaman produk kemungkinan akan berdampak pada konversi pembelian; namun, menguji tata letak formulir pada halaman pembuatan akun dapat membantu meningkatkan corong tersebut. Pengujian akuisisi mencakup semuanya, mulai dari mengarahkan lalu lintas ke situs hingga mengumpulkan alamat email untuk tujuan pemasaran.

Memiliki pengalaman di halaman yang sama di situs web dapat menyebabkannya tumpang tindih, menghasilkan bug. Hasil kemungkinan akan terpengaruh jika sasaran pengalaman diselaraskan dengan corong yang sama.

Katakanlah Anda mencoba untuk mendapatkan pendaftaran yang lebih lengkap. Setelah mendarat di situs Anda, pengguna diminta untuk mendaftar:

Untuk menyiapkan corong konversi untuk pendaftaran, Anda dapat melacak peristiwa berikut:

• Jumlah pengguna saat mendaftar
• Jumlah pendaftaran yang selesai
• Jumlah layar beranda yang dimuat

Anda kemudian dapat merumuskan beberapa hipotesis tentang cara meningkatkan corong dengan menguji perubahan berikut:

1. Tambahkan orientasi ke proses pendaftaran
2. Persingkat formulir pendaftaran agar lebih ramah pengguna
3. Hapus pendaftaran sepenuhnya

Namun, dalam kasus ini, tidak mungkin untuk menentukan dampak pasti dari perubahan dari pengujian A/B karena pengalaman A/B memengaruhi corong yang sama, sehingga akan ada beberapa tumpang tindih di antara hasilnya.

Menjalankan Pengalaman di Seluruh Situs

Mungkin ada saatnya Anda perlu bereksperimen dengan elemen yang muncul di semua halaman. Katakanlah Anda ingin menguji perubahan warna atau ukuran font dari ajakan bertindak footer untuk melihat berapa banyak konversi yang bisa Anda dapatkan.

Prosesnya mudah diterapkan dengan Konversi: cukup tambahkan semua halaman ke penargetan Anda.

Itu saja!

Namun, penargetan seluruh situs akan memengaruhi pengujian A/B lain yang berjalan di laman tersebut, yang mengakibatkan pengalaman yang tumpang tindih.

Menguji Audiens/Pengunjung yang Sama

Pertimbangkan studi kasus berikut: Anda ingin mengevaluasi dua aspek sistem e-niaga Anda, jadi Anda mengembangkan dua pengujian A/B untuk pengguna seluler dan pengguna desktop.

1. Anda mencoba untuk melihat apakah membuat tombol "Tambahkan ke Keranjang" Anda menjadi merah, bukan biru, meningkatkan klik.
2. Anda mencoba proses checkout baru yang mengurangi jumlah langkah dari lima menjadi dua untuk melihat apakah Anda mendapatkan lebih banyak pendaftaran.

Jika kedua tindakan menghasilkan peristiwa sukses yang sama (transaksi yang diselesaikan), mungkin sulit untuk menentukan apakah tombol merah atau pengalaman checkout yang lebih baik mendorong konversi di desktop dan perangkat seluler.

Untuk menghindari hasil yang tumpang tindih dan masalah pengiriman pengalaman lainnya, Anda harus menjalankan pengujian di atas pada audiens yang berbeda (misalnya, khusus seluler atau hanya desktop).

Satu-satunya kelemahan pengujian segmentasi adalah jumlah lalu lintas Anda akan lebih rendah, yang dapat memengaruhi berapa lama pengujian Anda perlu dijalankan. Namun, karena didasarkan pada teknik personalisasi, ini adalah metode yang lebih disukai untuk menghindari pengalaman yang tumpang tindih saat pengujian A/B. Ketika segmen dipilih dengan hati-hati, dampaknya pada seluruh pengalaman akan minimal.

Menjalankan Pengalaman yang Mungkin Memiliki Dampak Signifikan pada Tujuan yang Dibagikan Dengan Pengalaman Lain

Tak perlu dikatakan bahwa jika tujuan Anda serupa di seluruh tes, hasil Anda akan dipusatkan di sekitar tujuan individu ini. Agar setiap pengalaman memenuhi tujuannya, tujuan masing-masing tidak boleh bertentangan satu sama lain.

Strategi untuk Menjalankan Tes yang Berhasil

Tidak ada solusi satu ukuran untuk semua dalam hal menjalankan tes yang tidak tumpang tindih. Saat Anda bergerak melalui setiap tahap perjalanan eksperimen Anda, kebutuhan Anda akan menentukan bagaimana Anda melanjutkan.

Untuk membantu Anda membuat keputusan yang tepat, mari kita bahas strategi paling umum yang dapat Anda gunakan untuk menangani tumpang tindih.

1. Pengalaman Simultan tanpa Tumpang Tindih (Terisolasi)

Strategi yang paling mudah biasanya adalah yang telah Anda gunakan hingga saat ini: pengalaman terisolasi yang berjalan secara bersamaan.

Seperti yang telah kita bahas di atas, pengalaman yang terisolasi tidak tumpang tindih dan hasil dari satu pengalaman tidak akan memengaruhi hasil yang lain.

Kasus-kasus berikut memerlukan strategi ini:

• Ketika tumpang tindih secara teknis tidak mungkin : jika Anda menguji dengan cara yang mengecualikan semua kemungkinan kombinasi tumpang tindih yang disebutkan di atas.
• Ketika pengalaman pengguna dapat rusak : Beberapa kombinasi pengalaman dapat merusak pengalaman pengguna, sehingga pengalaman ini harus dijalankan secara terpisah.
• Ketika tujuan utama adalah metrik yang tepat dan hanya eksperimen terisolasi yang masuk akal.

Dalam kasus ini, tidak mungkin satu pengalaman dapat memengaruhi pengalaman lainnya jika Anda menjalankan dua pengalaman secara bersamaan di dua halaman berbeda dengan dua tujuan berbeda. Pengunjung yang mengikuti pengalaman 1 tidak akan mengikuti pengalaman 2, dan sebaliknya.

Di luar kasus di atas, dari perspektif efisiensi, menjalankan pengalaman di jalur terisolasi secara simultan tidak masuk akal. Menjalankan dua pengalaman di jalur terpisah membutuhkan waktu yang sama dengan menjalankannya satu demi satu untuk sejumlah pengguna atau sesi tertentu. Jika Anda memiliki 10.000 pengguna setiap bulan dan perlu menjalankan dua pengalaman, yang masing-masing membutuhkan 5.000 orang, masih perlu waktu satu bulan untuk menyelesaikan pengalaman.

Selain itu, strategi ini memiliki kelemahan yang jelas: pengalaman berlari di jalur yang terisolasi tidak diragukan lagi akan mencegah penyelidikan potensi interaksi antar variasi.

Ini akan sama dengan melakukan eksperimen pada pengguna desktop sebelum membuat variasi pemenang tersedia untuk pengguna desktop dan seluler jika ada jalur pengujian terpisah. Dampaknya pada pengguna seluler mungkin sama dengan pengguna desktop, tetapi tidak menutup kemungkinan juga akan ada perbedaan yang cukup besar.

2. Pengalaman Non Simultan (Berurutan)

Jika tidak ada cara untuk menghindari pengalaman yang tumpang tindih maka Anda harus mempertimbangkan untuk menggunakan pengalaman berurutan. Artinya, setiap pengalaman yang berpotensi tumpang tindih dengan pengalaman lainnya harus dijalankan secara berurutan.

Anda dapat menggunakan kolom Konversi "Dimulai/Direncanakan" dan "Dihentikan" untuk memiliki visibilitas atas pengujian berurutan Anda:

Strategi ini dapat dibuat lebih efektif dengan peta jalan prioritas.

Kerangka kerja PIE dan ICE adalah dua opsi efektif untuk memprioritaskan pengalaman bagi tim Anda.

Kerangka kerja PIE (dikembangkan oleh Widerfunnel) adalah metode prioritas populer yang memberi peringkat tes berdasarkan tiga kriteria: potensi, kepentingan, dan kemudahan. Dengan menggunakan skor PIE, Anda dapat memberi peringkat dan memprioritaskan setiap tes berdasarkan skor rata-rata dari masing-masing kriteria ini.

Model Impact, Confidence, and Ease (ICE) (dikembangkan oleh Sean Ellis dari Growthhackers) sangat mirip dengan PIE, kecuali ia menggunakan faktor kepercayaan sebagai pengganti "potensi".

Tidak memiliki peta jalan akan membatasi kemampuan Anda untuk memaksimalkan lalu lintas dan sumber daya Anda.

Hal ini dimungkinkan, misalnya, untuk secara tidak sengaja menumpuk tumpukan ide beranda yang harus diterapkan satu demi satu. Jika kemacetan ini terus berlanjut, Anda mungkin dipaksa ke dalam permainan menunggu alih-alih dapat menguji bagian lain dari situs web Anda secara bersamaan. Atau Anda mungkin menjalankan beberapa tes secara bersamaan tanpa memperhitungkan kemungkinan efek tumpang tindih, yang akan menghasilkan hasil yang mencurigakan.

3. Pengalaman Simultan dengan Tumpang Tindih

Setelah menganalisis pengalaman Anda, Anda menyimpulkan bahwa mereka tumpang tindih; oleh karena itu, perlu untuk mengisolasi mereka. Bagaimana kamu melakukannya? Itu mudah! Jalankan tes pertama, lalu yang kedua, kan? Bagian berurutan menjelaskan cara kerjanya.

Bayangkan, bagaimanapun, bahwa Anda ingin melakukan beberapa tes selama periode Natal atau musim liburan apa pun karena, untuk alasan apa pun, inilah saat Anda menerima lebih banyak pengunjung dan pengalaman dapat memiliki dampak yang lebih signifikan. Lalu apa? Apakah Anda dapat menjalankan semua pengalaman Anda satu demi satu? Jelas, tidak.

Anda dapat menjalankan pengalaman Anda secara bersamaan tanpa khawatir tumpang tindih menggunakan strategi di bawah ini.

sebuah. Pengalaman A/B/N

Strategi pertama dalam kategori ini adalah pengujian A/B/N, yang melibatkan pengujian lebih dari dua variasi sekaligus. A/B/N tidak mengacu pada variasi ketiga, tetapi sejumlah variasi tambahan: A/B/C, A/B/C/D, dan pengujian A/B tambahan lainnya.

Prinsip pengujian A/B/N tetap sama terlepas dari jumlah variasi tambahan: bagi pengguna ke dalam grup, tetapkan variasi (biasanya halaman arahan atau halaman web lain) ke grup, pantau perubahan metrik utama (biasanya rasio konversi ), periksa hasil pengalaman untuk signifikansi statistik, dan terapkan variasi pemenang.

Namun, bereksperimen dengan terlalu banyak variasi (bila hanya satu yang dapat dipilih) dapat semakin membagi lalu lintas ke situs web. Oleh karena itu dapat meningkatkan jumlah waktu dan lalu lintas yang diperlukan untuk mencapai hasil yang signifikan secara statistik dan menciptakan "kebisingan statistik".

Penting juga untuk tidak melupakan gambaran besarnya saat menjalankan beberapa eksperimen A/B/N. Tidak ada jaminan bahwa variabel yang berbeda akan bekerja sama dengan baik, hanya karena mereka melakukan yang terbaik dalam eksperimen mereka.

Dalam kasus seperti itu, pertimbangkan untuk melakukan pengujian multivarian untuk menguji semua variasi dan memastikan peningkatan dilakukan hingga metrik tingkat atas.

b. Multivariate Experiences (MVT): Menggabungkan Banyak Pengalaman dalam Satu Tes

Pengalaman multivarian (MVT) menjalankan banyak kombinasi perubahan yang berbeda sekaligus.

Untuk menentukan elemen mana, dari semua kombinasi potensial, yang memiliki pengaruh terbesar pada tujuan, banyak elemen harus dimodifikasi secara bersamaan pada halaman yang sama.

Tidak seperti pengujian A/B/N, pengujian multivarian memungkinkan Anda menentukan kombinasi perubahan mana yang paling sesuai dengan permintaan pengunjung Anda. Dengan pengujian multivariat, Anda dapat menentukan kombinasi variabel mana yang berkinerja terbaik saat beberapa variabel diubah.

Misalnya, jika Anda ingin menguji dua judul berbeda, dua gambar, dan dua warna tombol pada halaman, pengujian MVT Anda akan terlihat seperti ini:

Tes MVT di atas menguji elemen yang berbeda (judul, warna, dan gambar) secara bersamaan dalam kombinasi yang berbeda.

Cara Mengatur MVT di Pengalaman Konversi

Pertama, dari tab Pengalaman di akun Konversi Anda, pilih "Pengalaman Baru":

Sekarang Anda dapat menyebutkan pengalaman Anda. Mari kita gunakan "MVT pertama saya", pilih opsi multivarian, dan klik lanjutkan:

Ada bagian dan variasi dalam MVT. Bagian adalah lokasi di halaman Anda tempat Anda ingin menguji satu atau beberapa variasi.

Berikut ini adalah contoh bagian:

• Logo
• Judul:
• Paragraf pertama
• Formulir keikutsertaan

Ada juga variasi (dalam bagian ini), yang disusun sebagai berikut:

• Bagian: Logo
  
  
  • logo asli
  • Variasi 1) logo kiri
  • Variasi 2) logo kanan

• Bagian: Judul
  
  
  • Judul asli
  • Variasi 1) judul “Telusuri Sekarang Sahabatku”
  • Variasi 2) judul “Give Search A Go”
• Bagian: Paragraf Pertama
  
  
  • Paragraf pertama asli
  • Variasi 1) paragraf pertama “merah”
  • Variasi 2) paragraf pertama "biru"
• Bagian: Formulir keikutsertaan
  
  
  • Formulir keikutsertaan asli
  • Variasi 1) formulir keikutsertaan dengan nama belakang bidang tambahan
  • Variasi 2) formulir keikutsertaan dengan kotak centang “whitepaper”
  • Variasi 3) formulir keikutsertaan mengambang ke kiri
  • Variasi 4) formulir keikutsertaan “wajah wanita”

Berikut adalah bagaimana struktur di atas akan muncul di Convert Visual Editor.

URL untuk halaman yang ingin Anda uji akan dimuat di Editor Visual. Setelah itu, Anda dapat mengedit variasi pertama. Mengubah konten semudah mengklik area oranye yang disorot. Dengan mengklik tanda plus hijau di sebelah nama variasi, Anda dapat menambahkan variasi baru.

Anda dapat, misalnya:

• Klik elemen yang akan diubah (elemen disorot dengan batas oranye)
• Pilih tindakan di menu, seperti mengubah sumber gambar

Ringkasan pengalaman MVT akan terlihat seperti ini:

MVT, bagaimanapun, hadir dengan beberapa batasan.

Pembatasan pertama berkaitan dengan jumlah pengunjung yang diperlukan untuk membuat temuan pengalaman multivarian Anda signifikan secara statistik.

Meningkatkan jumlah variabel dalam uji multivariat dapat menghasilkan banyak variasi. Berbeda dengan pengujian A/B standar, di mana 50% lalu lintas dialokasikan ke versi asli dan 50% untuk variasi, pengujian multivariasi hanya mengalokasikan 5, 10, atau 15% lalu lintas ke setiap kombinasi. Dalam praktiknya, ini menghasilkan periode pengujian yang lebih lama dan ketidakmampuan untuk mencapai signifikansi statistik yang diperlukan untuk membuat keputusan.

Pembatasan lain adalah kompleksitas MVT. Pengujian A/B seringkali lebih mudah disiapkan dan dianalisis daripada pengujian multivarian. Bahkan membuat pengujian multivarian dasar memakan waktu, dan terlalu mudah untuk melakukan kesalahan. Mungkin perlu beberapa minggu atau bahkan berbulan-bulan agar cacat kecil dalam desain pengalaman muncul.

Jika Anda tidak memiliki banyak pengalaman pengujian — menjalankan berbagai jenis pengujian yang berbeda di situs web yang berbeda — Anda bahkan tidak boleh mempertimbangkan pengujian multivarian. Anda mungkin lebih baik dengan strategi berikutnya yang saya liput, pengalaman yang saling eksklusif.

c. Pengalaman Saling Eksklusif

Anda juga dapat menjalankan pengalaman dengan tumpang tindih secara bersamaan dengan memastikan pengalaman tersebut saling eksklusif. Ingatlah bahwa bergantung pada platform pengujian A/B Anda, Anda mungkin dapat membuat pengalaman saling eksklusif. Pada dasarnya, Anda harus membagi lalu lintas ke dalam grup sebanyak pengalaman yang dijalankan, dan memastikan bahwa setiap grup hanya berpartisipasi dalam satu pengalaman.

Konversi memungkinkan eksklusivitas bersama, dan di bawah ini kami akan menunjukkan cara mengonfigurasinya sehingga pengunjung yang melihat pengalaman A tidak akan melihat pengalaman B.

Urutan pengalaman dieksekusi:

Langkah pertama dalam menyiapkan ini adalah memahami bagaimana pengalaman Konversi dijalankan. Kondisi pengalaman dievaluasi secara berurutan pada halaman, dengan mempertimbangkan ID pengalamannya.

Pengalaman dengan ID terendah dievaluasi terlebih dahulu, dan setelah semua kondisinya terpenuhi, pengalaman baru dimulai. Jadi pada tangkapan layar di bawah, pengalaman dengan ID 100243925 berjalan terlebih dahulu dan sisanya mengikuti.

Dua Pengalaman yang Saling Eksklusif

Langkah-langkah ini perlu diikuti jika Anda memiliki dua pengalaman yang berjalan secara bersamaan dan ingin membuatnya saling eksklusif:

1. Setel Distribusi Lalu Lintas di bawah 100% pada pengalaman pertama

Tetapkan pengalaman dengan ID terendah untuk menggunakan kurang dari 100% lalu lintas. Anda dapat melakukannya di bagian Distribusi Lalu Lintas dari Ringkasan Pengalaman.

2. Tetapkan Kondisi Audiens “Bucketed in Experience is No” pada pengalaman kedua

Kemudian, di pengalaman kedua, tetapkan kondisi penonton “Bucketed in Experience is No”. Anda dapat menemukan ini jika Anda menambahkan Audiens baru (di bawah Data Pengunjung). Kondisi ini berarti pengunjung hanya akan diuji jika belum pernah diuji sebelumnya. Ini akan mencegah pengunjung yang sama diuji dua kali.

Banyak Pengalaman Saling Eksklusif

Jika Anda memiliki lebih dari dua pengalaman yang harus saling eksklusif, Anda dapat mengikuti langkah-langkah berikut:

1. Setel Distribusi Lalu Lintas untuk semua pengalaman di bawah 100%

Setel semua pengalaman paralel untuk hanya menggunakan kurang dari 100% lalu lintas. Anda dapat melakukannya di bagian Distribusi Lalu Lintas dari Ringkasan Pengalaman.

2. Tetapkan Pemirsa Tingkat Lanjut berdasarkan cookie pengunjung

Kemudian, di semua pengalaman kecuali pengalaman dengan ID terendah, gunakan Pemirsa Lanjutan berdasarkan cookie pengunjung untuk mengecualikan pengunjung yang telah disertakan dalam pengalaman paralel lainnya.

Sebagai contoh, mari kita asumsikan kita memiliki 4 pengalaman ini:

1. Pengalaman A dengan ID 123456, distribusi lalu lintas 80%
2. Pengalaman B dengan ID 123457, distribusi lalu lintas 50%
3. Pengalaman C dengan ID 123458, distribusi lalu lintas 30%
4. Pengalaman D dengan ID 123459, distribusi lalu lintas 75%

Pengalaman B harus memiliki audiens tingkat lanjut ini:

Pengalaman C harus memiliki audiens tingkat lanjut ini:

Dan akhirnya, Pengalaman D harus memiliki audiens tingkat lanjut ini:

Seperti yang Anda lihat di atas, nilai cookie diformat sebagai berikut:

xxxxxx.{v.1-

Hal ini terjadi karena jika Anda mencoba mengecualikan pengunjung yang disertakan pada pengalaman yang dikonfigurasi dengan lalu lintas kurang dari 100%, cookie tetap ditulis jika pengunjung memenuhi kondisi Area Situs dan Pemirsa tetapi karena distribusi lalu lintas, pengunjung tidak termasuk dalam pengalaman itu.

Cookie Konversi _conv_v akan terlihat seperti ini:

contoh:{12345678.{v.1-g.{}}}

Perhatikan bahwa dalam format di atas tidak ada nilai variasi – hanya v.1 – karena pengunjung tidak disertakan dalam pengalaman. Namun, kami melacaknya dengan cookie sehingga saat pengunjung mengunjungi halaman berikutnya, mereka akan dikecualikan lagi dari pengalaman yang sama.

Kesimpulan

Menjalankan beberapa pengalaman secara bersamaan menimbulkan beberapa kerumitan – Anda tidak selalu yakin pengujian mana yang meningkatkan konversi atau apakah ada interaksi tersembunyi di antara keduanya. Namun, ini bukan masalah besar karena ada strategi untuk mengurangi kompleksitas ini.

Kami membahas 5 strategi untuk menangani masalah yang disebabkan oleh beberapa pengujian yang berjalan pada saat yang bersamaan:

1. Menjalankan pengalaman secara bersamaan ketika mereka tidak tumpang tindih satu sama lain
2. Menjalankan pengalaman secara berurutan ketika Anda tidak dapat menghindari pengalaman yang tumpang tindih
3. Menjalankan pengalaman A/B/N
4. Menjalankan tes MVT
5. Menjalankan pengalaman yang saling eksklusif

Kami juga telah menunjukkan bagaimana Convert mendukung semua strategi pengujian di atas, menjadikannya alat yang sangat serbaguna.

Penting untuk mempertimbangkan semua kerumitan ini saat melakukan pengujian A/B, sehingga Anda dapat memilih strategi yang paling tepat dalam setiap kasus. Kami akan dengan senang hati membantu Anda jika Anda masih memiliki pertanyaan.