Cara Mengurangi Polusi Ukuran Sampel untuk Hasil Pengujian A/B yang Akurat

Anda menghabiskan berjam-jam menyusun strategi ujian Anda.

Tim Anda membuat hipotesis.

Anda menjalankan tes dan menunggu hasilnya.

Tapi Anda menemukan tes Anda gagal. Hasil telah tercemar. Tapi bagaimana caranya?

Jangan menyalahkan diri sendiri. Ada rahasia kecil kotor di dunia pengujian yang disebut polusi ukuran sampel .

Polusi audiens sampel Anda tanpa sadar dapat menyebabkan tes gagal bahkan sebelum dimulai.

Ada daftar panjang alasan potensial tes gagal, tetapi salah satu yang paling membuat frustrasi adalah polusi ukuran sampel.

Artikel ini akan membantu Anda memahami:

• Mengapa polusi ukuran sampel terjadi.
• Bagaimana mengetahui apakah tes Anda tercemar.
• Langkah-langkah yang harus diambil untuk meminimalkan polusi ukuran sampel terjadi.

Mari kita lihat…

Ukuran Sampel 101

Definisi Ukuran Sampel

Anda dapat menggunakan alat seperti kalkulator durasi tes A/B Convert, yang menawarkan kalkulator ukuran sampel atau kalkulator ukuran sampel CXL.

Sebagian besar kalkulator online mudah digunakan. Dengan kalkulator Convert, Anda hanya perlu memasukkan tiga nilai:

• Tingkat Konversi yang Ada
• Peningkatan yang Diharapkan
• Tingkat kepercayaan diri

Contoh:

Jika rasio konversi yang ada adalah 3% dan peningkatan yang diharapkan adalah 20% saat menguji dua variasi pada tingkat kepercayaan 95%, Anda memerlukan ukuran sampel 42.034 untuk mendapatkan hasil yang meyakinkan. Pada 2.000 pengunjung setiap hari ke grup uji ini, dibutuhkan 22 hari menurut kalkulator durasi kami.

Tentukan Siapa yang Akan Menjadi Sampel Anda

Cara termudah untuk menjawab pertanyaan "SIAPA?" atau segmen, adalah dengan meninjau demografi dan sumber pengunjung situs web Anda saat ini. Ketuk data yang ada untuk mendapatkan petunjuk. Siapa mereka? Dari mana mereka berasal?

Alat seperti Konversi Eksperimen sebenarnya memungkinkan Anda menguji menggunakan segmen tertentu dari pengunjung situs web Anda dan membuat pemirsa khusus.

Beberapa faktor dapat membantu Anda menyamarkan 'siapa':

• Jenis Lalu Lintas
  Apakah Anda mendapatkan lalu lintas musiman? Apakah Anda mengharapkan masuknya pengunjung berdasarkan mendekati hari libur? Apakah angka lalu lintas Anda berfluktuasi tergantung pada hari dalam seminggu?
  
• Sumber Lalu Lintas
  Dari mana lalu lintas Anda berasal? Orang-orang berperilaku berbeda berdasarkan sumber yang mereka masukkan ke situs Anda. Misalnya, pengunjung dari LinkedIn mungkin tidak berinteraksi dengan situs Anda sama seperti seseorang yang datang dari Facebook.
  
  Periksa Google Analytics untuk mendapatkan gambaran umum tentang keterlibatan pengunjung berdasarkan Sumber.

• Baru vs. Lama
  Statistik menunjukkan bahwa pengunjung yang kembali tetap berada di situs Anda lebih lama daripada pengunjung baru. Pikirkan tentang bagaimana hal ini akan mempengaruhi tes Anda.

Tujuan dari tahap pertimbangan ini adalah untuk membantu Anda membangun sampel yang representatif .

The Encyclopedia of Survey Research Methods mendefinisikan sampel representatif sebagai:

Sampel yang representatif adalah sampel yang memiliki validitas eksternal yang kuat dalam hubungannya dengan populasi target yang ingin diwakili oleh sampel tersebut. Dengan demikian, temuan dari survei dapat digeneralisasi dengan percaya diri untuk populasi yang diinginkan.

Untuk memastikan Anda memiliki sampel yang representatif, Convert menyarankan untuk menjalankan pengujian setidaknya untuk satu siklus bisnis. Ini memastikan pengujian Anda memiliki waktu untuk memperhitungkan variasi pengunjung yang mungkin terjadi dalam satu siklus.

Apa itu Polusi Ukuran Sampel?

Sekarang setelah Anda memahami ukuran sampel, Anda dapat menjelajahi faktor-faktor yang dapat merusak ukuran sampel Anda, dan mengacaukan pengujian Anda. Ini adalah bagaimana ukuran sampel mempengaruhi validitas. Faktor ukuran sampel yang secara negatif mempengaruhi hasil pengujian dikenal sebagai polusi ukuran sampel.

Invespcro mendefinisikan polusi sampel sebagai:

“…faktor-faktor yang membuat data pengujian A/B Anda tidak valid dengan memengaruhi sampel atau data yang digunakan saat melakukan pengujian Anda.”

Masalah ini lebih umum. Lihat keluhan ini:

Sampel yang Bias

Dalam kebanyakan kasus, Anda menginginkan pengambilan sampel acak, yang berarti setiap pengunjung situs web Anda memiliki kesempatan yang sama untuk melihat variasi tertentu sebelum mereka dikelompokkan. Setelah ditempatkan di ember, pengguna akan melihat varian yang sama selama durasi pengujian.

Namun, jika Anda menggunakan alat pengujian A/B yang tidak melakukan pengacakan dengan baik, pengacakan tidak dijamin dan dapat membatalkan pengujian.

Cara sederhana untuk memerangi pengambilan sampel yang bias adalah dengan menggunakan alat pengujian A/B yang baik seperti Convert yang melakukan pengacakan dan pengelompokan dengan benar. Mulailah pengujian Anda dengan tes A/A untuk memeriksa apakah pengacakan berfungsi dengan baik.

Anda ingin mengetahui potensi bias sampel saat Anda mempertimbangkan detail pengujian Anda.

Sumber Yang Menyebabkan Polusi Ukuran Sampel

Ada empat jenis polusi sampel yang umum adalah waktu, perangkat, browser, dan cookie.

Mari kita lihat masing-masing…

Waktu

Lamanya tes Anda memengaruhi validitas hasil Anda. Jadi tidak mengherankan “berapa lama saya harus menjalankan pengujian A/B saya” adalah pertanyaan umum.

Profesional CRO memiliki gagasan yang saling bertentangan tentang apa yang menjadi tolok ukur yang dapat diterima. Sebenarnya, variabel pengujian Anda harus mendorong panjang pengujian yang tepat.

Solusi langsung mungkin tampak hanya membiarkan pengujian Anda berjalan dan berjalan dan berjalan. Tetapi ini juga dapat menyebabkan masalah. Penambahan waktu berarti peningkatan potensi pencemaran dari faktor eksternal.

Anda ingin menemukan sweet spot.

Kesalahan umum lainnya mengenai lamanya pengujian adalah menghentikan pengujian terlalu dini. Ini mungkin tidak menyebabkan polusi ukuran sampel, tetapi dapat berdampak negatif pada pengujian Anda.

Hal yang sama berlaku jika Anda menghentikan pengujian ketika Anda mencapai signifikansi statistik. Untuk pengujian yang valid, itu juga harus mencapai ukuran sampel yang Anda hitung untuk MDE (Efek Terdeteksi Minimum) yang Anda inginkan.

Sejalan dengan itu, jangan pernah menghentikan varian dari pengujian yang sedang berjalan. Hal ini akan menyebabkan polusi bencana . Anda tidak akan dapat membandingkan varian "berhenti" dengan kontrol "berjalan sepanjang waktu". Anda tidak akan memiliki cara untuk membandingkan "apel dengan apel." Jangan pernah berhenti dan kemudian memulai ulang varian dalam pengujian.

Jangan hentikan pengujian Anda sampai data konsisten untuk jumlah ukuran sampel.

Polusi kue

Cookie dapat menyebabkan bentuk polusi ukuran sampel yang paling berbahaya.

Berdasarkan definisi techopedia, cookie adalah:

Cookie adalah file teks yang disimpan oleh browser Web di mesin pengguna. Cookie adalah cara aplikasi Web untuk mempertahankan status aplikasi. Mereka digunakan oleh situs web untuk otentikasi, menyimpan informasi/preferensi situs web, informasi penelusuran lainnya, dan hal lain yang dapat membantu browser Web saat mengakses server Web. Cookie HTTP dikenal dengan banyak nama berbeda, termasuk cookie browser, cookie Web, atau cookie HTTP.

Sebagai pemasar, cookie memungkinkan Anda melacak perilaku pengunjung di situs Anda.

Umur cookie tidak stabil. Pengunjung dapat menghapusnya sesuka hati.

Semakin lama pengujian Anda berjalan, semakin rentan Anda terhadap penghapusan cookie – lagi-lagi mengarah ke bentuk lain dari polusi ukuran sampel. Untuk mengurangi fenomena ini, Convert menyarankan pelanggan untuk menjalankan pengujian tidak lebih dari 90 hari.

Polusi Perangkat

Pengunjung mengunjungi situs Anda dari beberapa perangkat: ponsel, laptop, tablet, desktop, dan bahkan jam tangan pintar.

Pikirkan saja perilaku penjelajahan Anda. Anda mungkin melihat sesuatu di perangkat seluler Anda saat berada di gym. Di kemudian hari, Anda dapat mengunjungi kembali situs web di komputer desktop Anda.

Jika ini terjadi dalam batas pengujian A/B Anda, mungkin tampak bahwa dua orang yang berbeda mengunjungi situs Anda padahal sebenarnya itu adalah orang yang sama yang menjelajah dari dua perangkat yang berbeda.

Yang lebih berbahaya bagi upaya pengujian Anda adalah, orang yang sama ini mungkin melihat varian yang berbeda di setiap perangkat.

Ada contoh kebalikan dari ini. Apa yang terjadi ketika dua orang menggunakan perangkat yang sama untuk mengunjungi situs web Anda?

Bayangkan dua bersaudara tinggal di rumah yang sama. Mereka berbagi komputer desktop. Keduanya sedang bersiap untuk liburan dan perlu memesan kaos dan alas kaki baru. Jika pengujian A/B berjalan di situs e-niaga pada saat kunjungan mereka, data akan menunjukkan dua orang ini sebagai satu pengguna, sekali lagi, merusak ukuran sampel Anda.

Polusi Peramban

Ketika rata-rata orang online, mereka tidak mempertimbangkan konsekuensi menggunakan browser yang berbeda untuk mengunjungi situs web yang sama pada pengujian A/B. Tetapi membuka situs web yang sama dari satu browser ke browser lain, seperti Safari dan kemudian Chrome dapat menyebabkan polusi ukuran sampel serupa yang terjadi pada multi-perangkat.

Namun, bentuk polusi khusus ini jarang terjadi, karena kebanyakan orang akan tetap menggunakan satu browser pilihan per perangkat.

Bahaya Baru

Browser, jenis perangkat, cookie, dan lama pengujian adalah polutan ukuran sampel yang paling umum, tetapi sepertinya polutan baru memasuki percakapan. Profesional industri mengeluh tentang Bot yang menciptakan polusi ukuran sampel.

Untungnya di Convert, kami memiliki langkah-langkah mitigasi bot yang kuat yang tertanam di dalam alat kami sehingga tidak akan menjadi masalah.

Kiat tentang Cara Mengurangi Polusi Ukuran Sampel

Karena Polusi Ukuran Sampel adalah masalah utama, banyak perusahaan telah membuat perbaikan kreatif, seperti menempatkan pengguna ke dalam ember yang berbeda berdasarkan lokasi.

Tetapi taktik semacam itu dapat menghapus tes "keacakan pengguna", dan dapat mengurangi kepercayaan diri Anda bahwa hasil tes itu valid.

Berikut adalah beberapa hal yang dapat Anda lakukan untuk mengurangi kemungkinan pencemaran sampel:

• Jalankan pengujian untuk perangkat terpisah.
• Jalankan tes untuk browser terpisah.
• Mengidentifikasi pola. Bagaimana tampilan data Anda di masa lalu? Itu harus serupa selama pengujian – konsistensi data.

Berikut adalah beberapa hal lagi yang perlu dipertimbangkan…

Memahami Varians

Varians dan standar deviasi berjalan seiring dengan konsistensi. Pada dasarnya, mereka akan memberi tahu Anda seberapa jauh dari rata-rata angka Anda. Varians rendah berarti data Anda konsisten dengan rata-rata, yang menempatkan Anda pada risiko polusi yang lebih rendah.

Anda dapat menghitung sendiri atau cukup menggunakan kalkulator deviasi standar sederhana.

Waspadai Potensi Masalah Pengambilan Sampel

Ada masalah yang melekat dengan pengujian A/B, termasuk kemungkinan polusi ukuran sampel.

Pengetahuan tentang potensi masalah ukuran sampel memberdayakan Anda untuk membuat pilihan yang lebih baik saat Anda memilih tujuan pengujian, membuat perawatan, dan menjalankan eksperimen.

Sekarang Anda Bisa Mengalahkan Contoh Polusi

Praktik pengujian yang baik berarti Anda memulai proyek dengan pemahaman penuh tentang apa yang bisa salah.

Polusi ukuran sampel adalah produk sampingan negatif yang dialami saat Anda menjalankan pengujian A/B. Tugas Anda adalah mengurangi efek negatif ini sebanyak mungkin sehingga Anda dapat menjalani tes dengan sukses.

Ingat, mitigasi terjadi sebelum pengujian Anda dimulai.

Gunakan alat canggih seperti Konversi yang memberi Anda kemampuan untuk mengelompokkan pengujian, memerangi bot yang mengganggu, menggunakan teknik pengacakan yang baik, semuanya di dalam platform sederhana yang mendukung pengujian kompleks.

Strategi eksperimen Anda dan kekuatan perangkat lunak Anda akan membuat perbedaan dalam seberapa baik Anda meminimalkan polusi ukuran sampel.

Sekarang setelah Anda mengetahui titik buta potensial ini dalam pengujian Anda, itu tidak dapat merayap pada Anda.