Semua Tentang Pengujian A/A: Mengapa dan Kapan Anda Harus Menjalankan Tes A/A?

Pengujian A/A memungkinkan Anda menguji dua halaman identik satu sama lain dan bisa sangat berguna saat menyiapkan alat pengujian A/B baru.

Pengujian A/A dapat digunakan untuk

• menilai akurasi platform pengujian A/B,
• menentukan apakah platform pengujian A/B Anda sepenuhnya terintegrasi dengan analitik internal Anda,
• mengidentifikasi kemungkinan masalah teknis dengan alat pengujian A/B Anda,
• memberikan tingkat konversi dasar untuk halaman atau corong,
• tentukan ukuran sampel yang sesuai untuk digunakan untuk pengujian A/B Anda, dan
• tolok ukur kinerja laman dan corong Anda.

Convert menyediakan kemampuan pengujian A/A dan A/B, untuk memastikan bahwa Anda memiliki semua yang Anda butuhkan untuk berhasil merancang dan mengembangkan situs web dengan konversi tinggi.

Baca terus untuk mengetahui lebih lanjut tentang pentingnya pengujian A/A dan cara menyiapkan pengalaman pertama Anda!

Mungkin hal seperti ini pernah terjadi pada Anda…

• Anda menjalankan pengujian A/B untuk melihat apakah tombol CTA dan judul baru Anda akan meningkatkan konversi.
• Selama bulan berikutnya, Anda mengirimkan jumlah lalu lintas yang sama ke laman landas kontrol dan variasi.
• Perangkat lunak Anda menyatakan bahwa variasi Anda adalah pemenangnya (dengan keyakinan 99%), jadi Anda berhenti.
• Anda kemudian meluncurkan desain "kemenangan" Anda, tetapi setelah beberapa siklus bisnis, Anda melihat bahwa peningkatan 50% dalam tingkat konversi Anda memiliki sedikit pengaruh pada pendapatan bersih Anda.

Penjelasan yang paling mungkin adalah hasil tes positif palsu. Untungnya, ada berbagai metode untuk menangani tes yang salah.

Salah satu yang mungkin pernah Anda dengar adalah pengujian A/A.

Apa itu Pengujian A/A?

Sebelum kita masuk ke pengujian A/A, mari kita bicara tentang pengujian A/B, sehingga kami dapat menunjukkan perbedaannya.

Dalam pengalaman A/B biasa, lalu lintas dibagi antara dua atau beberapa variasi alternatif.

Satu variasi biasanya ditunjuk sebagai "kontrol" atau "asli". Semua variasi pengalaman lainnya dibandingkan dengan kontrol, untuk menentukan mana yang menghasilkan peningkatan terbesar dalam metrik tertentu.

Pengujian A/A, di sisi lain, mengharuskan lalu lintas dialokasikan ke dua variasi yang identik, biasanya menggunakan pembagian 50/50.

Dalam pengujian A/B normal, tujuannya adalah untuk menemukan rasio konversi yang lebih tinggi, sedangkan, dalam pengujian A/A, tujuannya biasanya untuk memeriksa apakah variasi memiliki peningkatan yang sama.

Dalam pengujian A/A, lalu lintas dibagi secara acak, dengan kedua grup ditampilkan halaman yang sama.

Kemudian, rasio konversi yang dilaporkan, rasio klik-tayang, dan statistik terkait untuk setiap grup dicatat, dengan harapan dapat mempelajari sesuatu.

Tes A/A = 2 halaman identik diuji satu sama lain

Sekarang, mari kita lihat beberapa contoh di mana pengalaman A/A dapat digunakan, untuk menentukan apakah pengalaman itu akan berguna bagi Anda.

Mengapa Menjalankan Tes A/A?

Menjalankan pengujian A/A mungkin sangat efektif di berbagai tahapan proses desain dan pengembangan web, seperti:

• Setelah Anda selesai menginstal alat pengujian A/B baru,
• Saat penyiapan alat pengujian A/B Anda saat ini telah ditingkatkan atau diubah,
• Saat Anda membuat situs web atau aplikasi baru,
• Saat Anda melihat perbedaan antara laporan data pengujian A/B Anda dan alat analitik lain yang Anda gunakan.

Mari selami lebih dalam setiap kasus penggunaan ini.

Periksa Akurasi Platform Pengujian A/B

Pengalaman A/A dapat diluncurkan oleh perusahaan yang ingin mengakuisisi platform pengujian A/B, atau oleh perusahaan yang ingin mencoba perangkat lunak pengujian baru (untuk mengonfirmasi bahwa perangkat tersebut telah disiapkan dengan benar).

Dalam pengalaman A/A, kami membandingkan dua versi yang benar-benar identik dari halaman yang sama, dengan tujuan memiliki nilai konversi yang serupa.

Hasil yang diharapkan tidak dapat disimpulkan jika tidak ada perbedaan antara kontrol dan variasi.

Meski begitu, "pemenang" terkadang dinyatakan pada dua salinan yang identik.

Ketika ini terjadi, sangat penting untuk menilai platform pengujian A/B, karena alat tersebut mungkin salah dikonfigurasi atau mungkin tidak efektif.

Sebagai langkah selanjutnya, Anda harus:

1. Periksa apakah Anda memasang kode pelacakan A/B dengan benar
2. Periksa Area Situs Anda
3. Periksa Pemirsa Anda
4. Periksa Tujuan Anda
5. Hubungi tim dukungan pengujian A/B untuk mencari tahu apakah itu sesuatu yang dapat diselesaikan sebelum meninggalkan platform Anda.

Mudah-mudahan, masalahnya adalah salah satu di atas. Jika Anda tidak dapat menemukan masalahnya, ini kemungkinan berarti bahwa pengujian A/A bersifat meyakinkan dan platform pengujian A/B Anda tidak akurat.

Tentukan Tingkat Integrasi dengan Analisis Internal Anda

Saat memeriksa keakuratan platform pengujian A/B, Anda dapat menggunakan pengujian A/A untuk menilai apakah platform tersebut sepenuhnya terintegrasi dengan alat analitik Anda.

Baik Anda menggunakan Google Analytics, Heap Analytics, Adobe Analytics, Plausible, Matomo, atau lainnya, Anda dapat membandingkan hasil pengujian A/A dengan alat analisis internal untuk menentukan apakah integrasi berfungsi seperti yang diharapkan.

Misalnya di bawah ini, GA telah mengidentifikasi 620 pengunjung di Asli dan 592 di Variasi (halaman identik dengan Asli).

Untuk rentang tanggal yang sama, Convert mengungkapkan 972 pengunjung di Original dan 980 di Variation (halaman identik dengan Original).

Ini bisa menjadi pertanda bahwa integrasi antara kedua platform tidak berjalan seperti yang diharapkan.

Identifikasi Kemungkinan Masalah Teknis

Anda juga dapat menggunakan tes A/A untuk mengidentifikasi kemungkinan masalah teknis.

Sebagian besar perangkat lunak pengujian A/B menggunakan metode yang agak berbeda dan dapat menghasilkan variasi yang signifikan, bergantung pada seberapa jauh program didorong.

Ini mungkin tampak sebagai anomali, tetapi juga bisa menunjukkan masalah mendasar yang lebih serius dengan salah satu dari berikut ini:

• Rumus matematika dan statistik
• Algoritma pengacakan
• Cookie peramban

Anda dapat menggunakan pengalaman A/A untuk mengungkapkan masalah di atas.

Dalam kasus di bawah ini, ilmuwan data Wish memperhatikan kekhawatiran SRM pada tes A/A. Setelah pemeriksaan menyeluruh, ditentukan bahwa SRM disebabkan oleh pengacakan mereka tidak sepenuhnya acak.

Teknik pengacakan sangat penting untuk hasil eksperimen yang andal.

Penggunaan sampel acak merupakan asumsi penting dari uji statistik yang digunakan dalam pengujian A/B.

Pengacakan menyeimbangkan faktor pengguna yang diamati dan tidak diamati di antara keranjang eksperimen. Ini menetapkan hubungan sebab akibat antara fitur produk yang diuji dan setiap perubahan dalam hasil uji coba.

Berikan Rasio Konversi Dasar untuk Halaman atau Corong Apa Pun

Jika Anda ingin meningkatkan angka apa pun, Anda harus terlebih dahulu memahami seperti apa dasarnya. Ini bisa berupa kecepatan, berat, atau waktu lari Anda.

Demikian pula, sebelum Anda melakukan pengujian A/B, Anda harus terlebih dahulu menentukan rasio konversi yang akan Anda bandingkan hasilnya. Ini adalah tingkat konversi dasar Anda.

Anda mungkin pernah mendengar tentang peningkatan pendapatan yang dihasilkan dari satu pengalaman, tetapi ini bisa menyesatkan. Satu pengalaman tidak akan memberi tahu Anda jika konversi situs web Anda telah meningkat.

Penting untuk mengetahui rasio konversi dasar Anda karena jika Anda tidak dapat mengukur peningkatan setiap pengalaman, Anda harus sering membandingkan keseluruhan konversi yang diharapkan dan tercapai.

Dengan sedikit keberuntungan, setiap pengalaman yang dianggap sebagai "kemenangan" akan membantu konversi Anda melebihi harapan.

Dan jika Anda melakukan ini cukup sering, konversi Anda hanya akan terus meningkat!

Tes A/A adalah yang akan membantu Anda mencapainya.

Katakanlah Anda menjalankan pengujian A/A di salah satu halaman arahan Anda, dengan A Asli dan Variasi B memberikan hasil yang hampir sama: 2,14% dan 2,13%.

Akibatnya, tingkat konversi dasar dapat ditetapkan pada 2,13-2,14%.

Dengan mengingat hal ini, Anda dapat melakukan pengujian A/B di masa mendatang, dengan tujuan untuk melampaui tolok ukur ini.

Hasilnya tidak signifikan secara statistik jika Anda menjalankan pengujian A/B pada halaman arahan versi baru dan menerima rasio konversi 2,15%.

Temukan Ukuran Sampel yang Diperlukan

Sebelum menjalankan pengalaman A/B, periksa kembali ukuran sampel Anda, seperti yang Anda lakukan sebelum melakukan perjalanan.

Anda tidak akan mengamati efek pengalaman jika tidak ada cukup sampel (pengguna). Di sisi lain, jika Anda memiliki terlalu banyak sampel, Anda berisiko memperlambat kemajuan tim Anda, dengan terus-menerus memaparkan pengalaman buruk kepada orang-orang.

Idealnya, Anda tidak boleh memulai pengalaman tanpa terlebih dahulu menentukan berapa banyak sampel yang akan Anda kumpulkan.

Untuk memahami alasannya, pertimbangkan hal berikut:

Katakanlah Anda memiliki koin dan hipotesis Anda adalah bahwa ia memiliki peluang 50/50 untuk mendaratkan kepala atau ekor. Untuk membuktikan ini, Anda melemparkannya seratus kali.

Tapi katakanlah Anda mendapat sepuluh ekor pada sepuluh lemparan pertama dan memutuskan untuk menghentikan eksperimen di sana.

Menolak hipotesis nol (bahwa koin itu adil) mungkin tampak signifikan secara statistik, tetapi Anda menghentikan eksperimen sebelum waktunya. Anda tidak tahu berapa lama percobaan itu seharusnya dimulai.

Jika Anda tidak memperkirakan ukuran sampel, Anda juga mungkin tidak dapat menentukan berapa lama Anda akan melakukan pengalaman tersebut.

Jadi bagaimana kita mendekati ini?

Pengujian A/A dapat membantu Anda mengetahui seberapa besar ukuran sampel yang Anda perlukan dari pengunjung situs web Anda.

Mungkin, pengunjung Senin pagi Anda secara statistik benar-benar berbeda dari pengunjung Sabtu malam Anda. Dan mungkin, pembeli liburan Anda secara statistik berbeda dari mereka yang berbelanja selama musim non-liburan.

Pelanggan desktop Anda mungkin berbeda secara statistik dari pelanggan seluler Anda. Dan, pelanggan Anda yang datang melalui iklan bersponsor tidak sama dengan pelanggan yang datang dari referensi dari mulut ke mulut.

Saat melihat hasil Anda, dalam kategori seperti perangkat dan browser, Anda akan kagum dengan tren yang akan Anda temukan dengan ukuran sampel yang benar.

Tentu saja, jika ukuran sampel Anda terlalu kecil, hasilnya mungkin tidak dapat diandalkan. Anda mungkin melewatkan beberapa bagian, yang dapat berdampak pada hasil pengalaman Anda.

Ukuran sampel yang lebih tinggi meningkatkan kemungkinan menyertakan semua segmen yang memengaruhi pengujian.

Dengan menjalankan pengujian A/A, Anda akan dapat menentukan ukuran sampel mana yang memungkinkan kesetaraan ideal antara variasi identik Anda.

Singkatnya, pengujian A/A membantu Anda menentukan ukuran sampel yang sesuai yang kemudian dapat digunakan untuk pengujian A/B di masa mendatang.

Tolok Ukur Kinerja Laman dan Corong Anda

Berapa banyak pengunjung yang datang ke beranda, halaman keranjang, halaman produk, dan halaman lainnya?

Anda tidak peduli dengan apakah Anda akan menemukan pemenang atau tidak ketika Anda melakukan ini. Sebaliknya, Anda mencari pola yang lebih besar untuk halaman tertentu.

Pengalaman ini dapat membantu Anda menjawab pertanyaan seperti:

• Berapa tingkat konversi makro halaman beranda?
• Apa perincian tingkat konversi itu menurut segmen pengunjung?
• Apa perincian rasio konversi itu menurut segmen perangkat?

Pengalaman A/A memberi Anda dasar yang dapat digunakan untuk membandingkan pengalaman A/B baru untuk bagian mana pun dari situs web Anda.

Orang dapat berargumen bahwa Anda dapat menerima informasi yang sama melalui analitik situs web.

Tapi, ini benar dan tidak benar.

Alat pengujian A/B terutama digunakan untuk menyatakan pemenang (saat mengirim data pengujian ke Google Analytics atau melakukan perhitungan lain), jadi Anda tetap ingin mengamati metrik situs web saat sedang berjalan.

Menyiapkan Pengalaman A/A

Pengalaman A/A adalah alat yang sangat penting untuk pengoptimalan tingkat konversi.

Namun, tantangan dengan pengalaman A/A adalah memutuskan halaman mana yang akan digunakan saat melakukan pengalaman.

Pastikan halaman yang Anda pilih untuk halaman pengalaman A/A Anda memiliki dua kualitas berikut:

• Volume lalu lintas yang tinggi. Semakin banyak orang yang mengunjungi halaman, semakin cepat Anda akan melihat keselarasan antara variasi.
• Pengunjung memiliki kemampuan untuk membeli atau mendaftar . Anda ingin menyempurnakan solusi pengujian A/B Anda sampai ke garis akhir.

Persyaratan inilah yang menjadi alasan mengapa kami sering melakukan pengujian A/A di halaman beranda sebuah situs web.

Di bagian selanjutnya, saya akan menjelaskan lebih detail cara membuat kampanye pengujian A/A, tetapi, singkatnya, berikut cara menyiapkan pengujian A/A di beranda situs web:

1. Buat dua versi identik dari halaman yang sama: kontrol dan variasi. Setelah Anda selesai membuat variasi, pilih audiens Anda dengan ukuran sampel yang sama.
2. Tentukan KPI Anda. KPI adalah metrik yang mengukur kinerja dari waktu ke waktu. Misalnya, KPI Anda dapat berupa jumlah pengunjung yang mengklik ajakan bertindak.
3. Pisahkan audiens Anda secara merata dan acak menggunakan alat pengujian Anda, mengirim satu grup ke kontrol dan yang lainnya ke variasi. Jalankan pengalaman hingga kontrol dan variasi mencapai jumlah kunjungan tertentu.
4. Pantau KPI kedua grup. Karena kedua kelompok dihadapkan pada konten yang sama, mereka harus bertindak dengan cara yang sama.
5. Hubungkan alat pengujian A/B Anda ke perangkat lunak analitik Anda. Ini akan memungkinkan Anda untuk memeriksa ulang apakah data Anda dikumpulkan secara akurat dalam program analitik Anda.

Bagaimana Menginterpretasikan Hasil Tes A/A?

Kami Mengharapkan Hasil yang Tidak Konklusif pada Pengalaman A/A

Meskipun musim tidak mungkin mengubah hasil tes A/A, salah satu tujuannya adalah untuk mendeteksi hasil yang tidak diharapkan. Untuk alasan ini, kami merekomendasikan menjalankan tes setidaknya seminggu sebelum meninjau hasilnya.

Pada akhir satu minggu, Anda akan melihat perilaku berikut ketika Anda memeriksa hasil tes A/A Anda:

• Seiring waktu, signifikansi statistik Anda akan menetap di sekitar nilai tertentu. 10% dari waktu, signifikansi statistik akan menetap di atas 90%.
• Karena semakin banyak data yang dikumpulkan, interval kepercayaan untuk eksperimen Anda akan menyusut, mengesampingkan nilai bukan nol.
• Versi asli dan variasi mungkin tampil berbeda di berbagai titik selama hasil pengujian, tetapi keduanya tidak boleh secara resmi diberi label pemenang yang signifikan secara statistik.

Karena seharusnya tidak ada perbedaan antara variasi, Anda seharusnya hanya melihat sedikit perbedaan dan tidak ada hasil yang signifikan secara statistik. Mungkin, Anda akan melihat sesuatu di sepanjang baris ini:

Apa Artinya Jika Anda Mendapatkan Variasi yang Tidak Identik?

Jika ada perbedaan besar antara dua variasi identik dalam pengalaman A/A, itu bisa berarti perangkat lunak pengujian A/B Anda tidak diterapkan dengan benar atau alat pengujian tidak efisien .

Namun, mungkin juga pengalaman tidak dilakukan dengan benar , atau hasilnya disebabkan oleh varians acak . Kesalahan pengambilan sampel semacam ini terjadi secara alami ketika sampel diukur, berbeda dengan mengukur semua pengunjung.

Misalnya, tingkat kepercayaan 95% menunjukkan bahwa hasil kemenangan akan terjadi dalam satu dari setiap 20 kejadian, karena kesalahan pengambilan sampel daripada perbedaan yang berarti dalam kinerja antara dua variasi.

Alasan lain mengapa pengalaman A/A yang dijalankan dengan benar mungkin tidak memvalidasi identitas variasi adalah karena heterogenitas audiens target .

Misalnya, katakanlah kita menjalankan pengalaman A/A pada sekelompok wanita, dengan rasio konversi yang bervariasi untuk wanita dari berbagai usia.

Bahkan jika kami menjalankan pengujian dengan benar, menggunakan alat pengujian A/B yang akurat, itu mungkin masih menunjukkan perbedaan yang signifikan antara dua variasi yang identik. Mengapa? Dalam contoh ini, 50% pengunjung mungkin berusia antara 20 dan 90 tahun, sedangkan 50% lainnya dapat berkisar antara 20 hingga 50 tahun. Alih-alih kesalahan platform, hasil yang tidak sesuai hanyalah tanda bahwa kedua audiens tersebut sangat berbeda.

Terakhir, kesalahan umum lainnya, saat menjalankan pengujian apa pun, termasuk pengujian A/A, adalah terus memeriksa hasil dan mengakhiri pengujian sebelum waktunya setelah signifikansi statistik terdeteksi.

Praktik menyatakan variasi kemenangan terlalu cepat ini disebut “pengintipan data” dan dapat menyebabkan hasil yang tidak valid.

Pengintipan data dalam pengujian A/A dapat mengarahkan analis untuk melihat peningkatan dalam satu variasi, ketika keduanya sebenarnya identik.

Untuk menghindari hal ini, Anda harus memutuskan ukuran sampel yang ingin Anda gunakan sebelumnya. Buatlah keputusan ini berdasarkan:

• Ukuran efek minimal: peningkatan minimum di bawahnya yang efeknya tidak berarti bagi organisasi Anda
• Kekuasaan
• Tingkat signifikansi yang Anda anggap dapat diterima

Tujuan dari tes A/A adalah untuk menghindari melihat hasil yang signifikan secara statistik setelah ukuran sampel tercapai.

Apa Tantangan Pengujian A/A?

Terlepas dari banyak manfaat yang dapat diberikan oleh pengujian A/A ke strategi eksperimen Anda, berikut adalah dua kelemahan utama dengan pengujian A/A:

1. Pengaturan eksperimental A/A berisi elemen ketidakpastian.
2. Ukuran sampel yang tinggi diperlukan.

Mari kita lihat masing-masing tantangan ini secara terpisah.

Keserampangan

Seperti yang dinyatakan sebelumnya, salah satu alasan utama untuk melakukan pengujian A/A adalah untuk mengevaluasi keakuratan alat pengujian.

Namun, katakanlah Anda menemukan perbedaan antara konversi kontrol dan variasi.

Masalah dengan pengujian A/A adalah selalu ada beberapa elemen keacakan yang terlibat.

Dalam keadaan lain, signifikansi statistik dicapai semata-mata secara kebetulan. Ini berarti bahwa perbedaan tingkat konversi antara dua variasi adalah probabilistik daripada absolut.

Ukuran Sampel Besar

Saat membandingkan variasi serupa, ukuran sampel yang besar diperlukan untuk menentukan apakah satu lebih disukai daripada rekan identiknya.

Ini membutuhkan waktu yang lama.

Menjalankan pengujian A/A dapat memakan waktu pengujian 'nyata'.

Trik dari program optimasi skala besar, adalah untuk mengurangi biaya sumber daya untuk rasio peluang, untuk memastikan kecepatan pengujian throughput dan apa yang Anda pelajari, dengan sepenuhnya menghilangkan pemborosan, kebodohan dan inefisiensi dari proses.

Menjalankan eksperimen di situs Anda agak mirip dengan menjalankan Maskapai Penerbangan yang sibuk di Bandara Internasional utama—Anda memiliki slot lepas landas yang terbatas dan Anda perlu memastikan bahwa Anda menggunakannya secara efektif.

Craig Sullivan untuk CXL

Konversi Pengalaman dan Pengujian A/A

Pengujian A/A sering muncul dalam permintaan dukungan yang lebih "lanjut".

Saran berikut dari agen dukungan Konversi didasarkan pada lusinan kasus yang diselesaikan:

1. Untuk menguji platform pengujian A/B Anda, lakukan pengalaman A/A terlebih dahulu. Jika perbedaan antara keduanya signifikan secara statistik pada level yang dipilih, platform Anda mungkin rusak.
2. Lakukan pengujian A/A/B atau A/A/B/B (lebih lanjut tentang ini di bawah) dan buang temuan jika dua variasi A atau dua variasi B menghasilkan perbedaan yang signifikan secara statistik pada tingkat yang dipilih.
3. Siapkan banyak pengujian A/A. Jika pengujian lebih dari yang diharapkan menunjukkan perbedaan yang signifikan secara statistik, platform Anda rusak.

Bagaimana Cara Mengatur Tes A/A Dalam Pengalaman Konversi?

Sekarang mari kita lihat cara menyiapkan beberapa jenis pengujian A/A yang berbeda (ya, jamak) menggunakan Pengalaman Konversi.

Pengalaman A/A Murni

Pengaturan A/A yang paling umum adalah pembagian 50/50 antara dua halaman yang identik.

Tujuannya adalah untuk memvalidasi konfigurasi pengalaman dengan memastikan bahwa setiap variasi memiliki kinerja yang kurang lebih sama.

Anda memeriksa hal yang sama terhadap dirinya sendiri untuk mengetahui apakah data tersebut mengandung noise daripada informasi yang berguna.

Untuk mengatur pengalaman A/A sederhana ini, klik menu Pengalaman. Kemudian, klik tombol "Pengalaman Baru" di sisi kanan atas.

Isi rincian “Experience Creation Wizard”, dan pilih jenis pengalaman “A/A Experience”.

Sekarang, Pengalaman A/A Anda harus dibuat. Ini akan identik dengan jenis eksperimen lain di platform, selain tidak memiliki opsi untuk "Edit Variasi".

Aktifkan pengalaman dengan mengubah statusnya:

Pengalaman A/A/B atau A/A/B/B yang Dikalibrasi

Gagasan di balik pengujian A/A/B atau A/A/B/B yang dikalibrasi ini adalah bahwa variasi A atau B yang direplikasi memberikan ukuran akurasi pengujian A/B.

Jika perbedaan antara A dan A atau B dan B signifikan secara statistik, tes dianggap tidak valid dan hasilnya dibuang.

Untuk menyiapkan pengujian semacam itu, Anda harus memulai pengalaman A/B, bukan A/A.

Klik tombol "Pengalaman Baru" di sebelah kanan layar, untuk mulai membuat pengalaman baru.

Setelah Anda mengklik tombol itu, Anda akan melihat menu popup ini. Pilih opsi A/B:

Kemudian, masukkan URL Anda di kotak kedua.

Anda akan dibawa ke Editor Visual yang menampilkan URL yang Anda pilih dan toolbar di bagian atas:

Di bagian Variasi Halaman di kiri atas, Anda akan melihat bahwa "Variasi 1" dipilih secara default.

Artinya, setiap perubahan yang kami buat pada versi URL ini tidak akan memengaruhi URL asli.

Ini akan menghasilkan pengujian A/B klasik, di mana versi "A" adalah halaman asli dan versi "B" adalah Variasi 1.

Untuk A/A/B atau A/A/B/B, Anda harus menambahkan variasi lain A dan variasi B lain yang identik dengan variasi A dan variasi B.

Seharusnya terlihat seperti ini:

Klik tombol "Simpan & Lanjutkan" dan selesai!

Jalankan Banyak Pengalaman A/A

Kami telah membahas ini, tetapi jika Anda melakukan 1.000 pengujian A/A berturut-turut dengan audiens yang besar, mengikuti semua persyaratan dan mencapai hasil yang signifikan secara statistik jauh lebih sering daripada yang diperkirakan, ada kemungkinan bahwa kerangka kerja pengujian A/B Anda rusak.

Bisa jadi sampel tidak diacak dengan benar. Atau mungkin, kedua variasi itu tidak saling eksklusif.

Inilah yang mungkin terlihat seperti:

Bisakah Saya Menjalankan Pengalaman A/A Secara Bersamaan dengan Pengalaman A/B?

Ada kemungkinan Anda harus menjalankan pengujian A/A bersamaan dengan pengujian A/B, di situs web yang sama.

Dalam hal ini, berikut adalah beberapa kemungkinan:

1. Anda tidak perlu khawatir tentang pengujian yang saling bertentangan jika Anda menjalankannya secara bersamaan.
2. Anda dapat melakukan eksperimen secara bersamaan, tetapi dengan audiens yang berbeda.
3. Anda dapat melakukan pengujian dalam urutan yang benar (menyelesaikan pengujian 1 (pengujian A/A) sebelum melanjutkan ke pengujian 2 (pengujian A/B)).

Opsi 3 adalah yang paling aman, tetapi secara drastis membatasi kemampuan pengalaman Anda.

Sangat mungkin untuk menjalankan beberapa pengalaman pada halaman atau kumpulan halaman yang sama secara bersamaan.

Namun, perlu diingat bahwa pengelompokan dalam satu eksperimen dapat berdampak pada data dari eksperimen lain yang terjadi secara bersamaan.

Berikut adalah dua teknik Konversi yang paling penting untuk digunakan saat menjalankan pengujian paralel:

1. Alokasikan 50% lalu lintas ke pengujian A/A, sambil mengizinkan 50% lalu lintas lainnya untuk memasuki pengalaman A/B lain yang sedang berjalan.
2. Kecualikan pengunjung A/A dari pengujian A/B lainnya.

Proses QA Pra-Pengujian: Alternatif Menarik untuk Pengujian A/A

Saat memutuskan apakah akan menjalankan tes A/A atau tidak, jawabannya akan bervariasi tergantung pada siapa Anda bertanya. Tidak ada keraguan bahwa pengujian A/A adalah masalah yang diperdebatkan.

Salah satu argumen paling umum yang menentang pengujian A/A adalah terlalu lama.

Pengujian A/A menghabiskan banyak waktu dan seringkali membutuhkan ukuran sampel yang jauh lebih tinggi daripada pengujian A/B.

Saat membandingkan dua versi situs web yang identik, ukuran sampel yang tinggi diperlukan untuk menunjukkan bias yang signifikan.

Akibatnya, tes akan memakan waktu lebih lama untuk diselesaikan, berpotensi memotong waktu yang dihabiskan untuk tes penting lainnya.

Dalam kasus seperti itu di mana Anda tidak memiliki banyak waktu atau lalu lintas tinggi, yang terbaik adalah mempertimbangkan untuk melakukan proses QA pra-tes.

Dalam artikel blog ini, kami memandu Anda melalui semua langkah yang harus Anda ikuti untuk melakukan proses QA penuh. Metode yang Anda gunakan terserah Anda dan tergantung pada berapa banyak waktu yang Anda miliki.

Bisakah SRM Ada di Tes A/A?

Tanyakan pada diri Anda sendiri: Apakah jumlah pengguna aktual yang diamati selama pengujian A/A Anda mendekati rasio 50/50 (atau rasio 90/10, atau rasio lainnya) jika Anda membaginya menjadi dua?

Jika tidak, Anda menghadapi salah satu dari dua masalah: Apakah ada masalah dengan cara Anda menjalankan infrastruktur pengujian dari dalam kode Anda (membuatnya "bocor" di satu sisi) atau ada masalah dengan infrastruktur pengujian. mekanisme penugasan.

Kesalahan ketidakcocokan rasio sampel (kesalahan SRM) adalah cacat yang dapat dideteksi oleh pengujian A/A.

Jika rasio Anda mencapai sekitar 65/35, Anda harus menyelidiki masalah tersebut sebelum menjalankan pengujian A/B lain menggunakan strategi penargetan yang sama.

Apakah Keuntungan Pengujian A/A Lebih Besar daripada Kerugiannya?

Meskipun pengujian A/A tidak boleh dilakukan setiap bulan, ada baiknya menguji data Anda saat menyiapkan alat A/B baru.

Jika Anda menangkap data yang salah sekarang, Anda akan lebih percaya diri dengan hasil pengujian A/B Anda nanti.

Meskipun keputusan ada di tangan Anda, Sangat disarankan agar Anda melakukan tes A/A jika Anda memulai dengan alat baru. Jika tidak, sebaiknya Anda menyiapkan prosedur QA pra-pengujian yang ketat, karena pengujian A/B akan menghemat waktu, uang, dan lalu lintas Anda.

Kami berharap tangkapan layar di atas menjawab pertanyaan Anda, tetapi jika tidak, daftarlah ke demo untuk melihat sendiri betapa mudahnya menyiapkan pengujian A/A dengan Pengalaman Konversi.