Statistik Pengujian A/B: Mengapa Statistik Penting dalam Eksperimen

Panduan Singkat Statistik dan Pengujian A/B: Istilah yang Perlu Anda Ketahui

Hampir tidak mungkin untuk melakukan eksperimen pengujian A/B yang wajar tanpa menguasai statistik.

Meskipun platform seperti Convert Experiences dapat menangani semua pengukuran statistik, penalaran, dan analisis untuk Anda, memiliki pemahaman dasar tentang beberapa istilah statistik pasti akan membantu Anda.

Mari kita mulai dengan dasar-dasarnya.

Sampel dan Populasi

Menggunakan semua lalu lintas situs web Anda untuk pengujian A/B, secara teori, akan memberi Anda gambaran umum tentang populasi Anda. Namun, ini bisa menjadi penggunaan sumber daya yang kurang optimal karena populasi secara keseluruhan tidak mungkin ditangkap. Di sinilah sampel berguna. Meskipun ada metode pengambilan sampel yang berbeda, menggunakan pendekatan pengambilan sampel acak membantu memastikan tidak ada bias yang melekat dalam pemilihan sampel. Pendekatan ini terinspirasi oleh praktik farmasi-medis dari Randomized Controlled Trials.

Rata-rata, Median, dan Modus

Dalam istilah yang paling sederhana, mean berarti rata-rata, median adalah nilai yang terletak di tengah ketika semua angka disejajarkan secara linier (persentil ^ke -50 dalam distribusi), dan modus adalah nilai yang paling sering diulang. Ketiga istilah ini berguna saat Anda mempelajari statistik ringkasan pengujian A/B.

Varians dan Standar Deviasi

Ini adalah konsep yang sangat penting yang mengukur dispersi dalam titik data. Dengan kata lain, seberapa jauh data tersebut dari mean. Standar Deviasi adalah akar kuadrat dari Varians. Inilah sebabnya mengapa Standar Deviasi adalah hakim dispersi yang lebih baik karena memegang unit pengukuran yang sama dengan mean. Misalnya, tinggi rata-rata pria dewasa di AS adalah 70 inci dengan Standar Deviasi 3 inci. Jika kita menggunakan Variance dalam contoh ini, nilainya akan menjadi 9 inci kuadrat, jadi kurang intuitif. Pikirkan Standar Deviasi sebagai deviasi "biasa" dari data.

Hipotesis Null dan Alternatif

SEBUAH Hipotesis Null menarik bagi status quo. Hipotesis Null Anda akan menyatakan bahwa setiap perubahan yang Anda amati dalam data, misalnya, peningkatan, adalah karena keacakan belaka. Hipotesis Alternatif adalah bahwa perubahan itu tidak acak, tetapi itu menunjukkan efek kausal, artinya perubahan Anda memang berdampak pada pengguna Anda.

Misalnya, asumsikan bahwa Anda mencoba menyempurnakan judul terbaik untuk halaman arahan Anda. Anda memiliki varian kontrol dan varian alternatif. Anda menjalankan pengujian A/B dan mendapatkan rasio konversi yang berbeda untuk keduanya, sehingga ada peningkatan (positif atau negatif). Hipotesis Null di sini adalah bahwa perbedaannya adalah karena keacakan. Hipotesis Alternatif akan menyatakan bahwa perubahan itu disebabkan oleh varian tertentu.

Saat menjalankan pengujian A/B, Anda akan mendapatkan salah satu dari empat hasil berikut:

• Anda menolak Hipotesis Null.
• Anda gagal menolak Hipotesis Null.
• Anda salah menolak Hipotesis Null.
• Anda secara keliru gagal menolak Hipotesis Null.

Idealnya, hasil a dan b harus menjadi tujuan karena itulah skenario yang dapat Anda pelajari darinya. Ini adalah bagaimana Anda dapat membuat produk Anda lebih baik dan pada akhirnya meningkatkan laba Anda. Hasil c dan d sesuai dengan kesalahan di bawah ini.

Kesalahan Tipe I dan Tipe II

Dua opsi terakhir dalam kemungkinan hasil pengujian A/B Anda adalah kesalahan Tipe I dan Tipe II, alias positif palsu dan negatif palsu.

Kesalahan tipe I adalah ketika Anda secara salah menolak Hipotesis Null yang benar. Artinya, perubahan yang Anda amati adalah karena kebetulan tetapi Anda menyimpulkan sebaliknya, jadi itu positif palsu. Dalam kebanyakan kasus, semua yang diperlukan untuk mengurangi positif palsu adalah meningkatkan tingkat kepercayaan yang diperlukan untuk mencapai signifikansi statistik. Ini biasanya diatur ke 95%, tetapi untuk eksperimen kritis misi, Anda mungkin ingin mengaturnya ke kepercayaan 99%, yang akan mengurangi kemungkinan membuat kesalahan seperti itu menjadi hanya 1%.

Kesalahan tipe II adalah kebalikannya. Di sini, Anda gagal menolak Hipotesis Null palsu. Ini berarti bahwa ada dampak nyata, positif atau negatif, pada tingkat konversi, tetapi tampaknya tidak signifikan secara statistik, dan Anda salah menyatakan bahwa itu karena kebetulan acak. Paling sering, ini disebabkan oleh kurangnya kekuatan statistik.

Dalam bahasa kekuatan statistik, huruf Yunani mewakili kesalahan Tipe I dan mewakili kesalahan Tipe II. Sangat mudah untuk bingung antara kekuatan statistik dan signifikansi statistik.

Tabel ini memperjelas:

Keyakinan Statistik

Semakin banyak pengunjung yang didapat tes Anda, semakin meningkat Statistical Confidence Anda, hingga mencapai 99% jika Anda membiarkannya berjalan cukup lama. Tetapi biasanya, kecuali mission-critical, tingkat kepercayaan 95% dianggap cukup baik untuk sebagian besar pengujian A/B (ini memastikan bahwa peluang untuk membuat kesalahan positif yaitu kesalahan Tipe I paling banyak 5%).

Kekuatan Statistik

Kekuatan statistik berkaitan dengan kemungkinan mendeteksi efek ketika ada satu.

Kekuatan Statistik dan Keyakinan Statistik adalah konsep terkait yang bekerja bersama untuk mengukur evolusi pengujian A/B. Idealnya, keduanya harus melewati nilai ambang batas sebelum mengakhiri tes (lebih lanjut tentang ini di bawah).

Interval Keyakinan dan Margin Kesalahan

Umumnya, output dari eksperimen pengujian A/B Anda akan menjadi seperti 'Rasio konversi adalah 3% +/- 1%'. Dalam pernyataan ini, '1%' mewakili margin kesalahan Anda. Singkatnya, ini adalah penyimpangan dalam hasil konversi yang wajar untuk menjaga agar hasil pengujian dapat diterima. Semakin kecil margin kesalahan, semakin dapat diandalkan hasil pengujian Anda. Saat Anda meningkatkan ukuran sampel Anda, Anda akan melihat margin kesalahan turun.

Jika Anda menjalankan pengujian A/B dengan Pengalaman Konversi, Anda mendapatkan akses ke Laporan Pengalaman yang merinci variasi, rasio konversi, peningkatan, keyakinan, dan konversi pada pengunjung bulanan unik . Anda harus mencapai setidaknya 97% kepercayaan diri untuk menyatakan pemenang. Secara default, platform Konversi telah dioptimalkan untuk mulai melaporkan analitik eksperimen hanya setelah lima konversi tercapai. Untuk memastikan keandalan pengujian, Convert menggunakan Uji-Z dua sisi.

Di awal eksperimen, jika salah satu varian berperforma lebih baik secara signifikan, Anda tetap harus melanjutkan dengan durasi pengujian yang ditentukan. Hasil awal mungkin disebabkan oleh kebisingan atau keacakan.

Efek Minimum yang Dapat Dideteksi

MDE adalah peningkatan minimum yang harus dicapai, di atasnya perubahan menjadi layak untuk diterapkan. Mempersiapkan pengujian dengan memilih MDE rendah memungkinkan eksperimen Anda menangkap perubahan yang lebih terperinci. Menyetel MDE yang lebih tinggi berarti eksperimen Anda hanya dapat mendeteksi perubahan besar dan karenanya berfungsi bahkan dengan ukuran sampel yang lebih kecil. Tangkapannya di sini adalah membuat perubahan drastis untuk menghasilkan peningkatan yang cukup besar, dalam banyak kasus, tidak akan mungkin dilakukan kecuali situs web Anda belum pernah dioptimalkan sebelumnya.

Cara terbaik untuk memikirkan MDE adalah dengan menggunakan kalkulator ukuran sampel kami. Mulailah dengan memasukkan lalu lintas dan konversi mingguan Anda dan lihat apa yang dapat dicapai selama periode waktu tertentu.

Nilai-P

Cassie Kozyrkov, Kepala Ilmuwan Keputusan Google menciptakan definisi yang sangat sederhana untuk menjelaskan Nilai-P: “Semakin rendah nilai-p, semakin konyol hipotesis nol yang terlihat!”

Cara kita menggunakannya adalah dengan membandingkannya dengan tingkat signifikansi. Katakanlah kita memiliki tingkat signifikansi 5%, yang secara langsung sesuai dengan tingkat kepercayaan 95%, kemudian segera setelah nilai-p menjadi lebih rendah dari 5/100 = 0,05, kita dapat mengatakan bahwa pengujian kita telah mencapai signifikansi statistik dan kita dapat menolak hipotesis nol.

Jika kita ingin lebih yakin lagi, kita mengatur tingkat signifikansi kita menjadi 1% dan kemudian menunggu nilai-p turun di bawah 0,01. Itu sama dengan 99% kepercayaan pada hasil kami.

Distribusi Lalu Lintas

Distribusi Lalu Lintas membantu mengalokasikan persentase lalu lintas tertentu ke eksperimen. Asumsikan bahwa Anda memiliki 100 pengunjung ke situs web Anda setiap bulan. Dari sini, Anda dapat memilih untuk mengalokasikan 30% lalu lintas ke eksperimen. Secara default, setiap varian dalam pengujian A/B Anda akan menerima bagian lalu lintas yang sama. Jadi, jika Anda memiliki dua varian, masing-masing akan mendapatkan 15% dari lalu lintas.

Menggunakan Pengalaman Konversi membantu Anda mengonfigurasi alokasi lalu lintas ini dalam beberapa klik. Seiring berkembangnya proses eksperimen, Anda dapat membuat lebih banyak varian dan mengoptimalkan alokasi agar sesuai dengan kebutuhan Anda.

Bagaimana Statistik Dapat Membantu dalam Pengujian A/B?

Mengapa Anda Tidak Bisa Membandingkan Performa Varian A dan B saja?

Menjalankan eksperimen pengujian A/B bahkan menggunakan platform yang nyaman seperti Convert Experiences memerlukan beberapa sumber daya dalam hal waktu dan energi. Lalu, tidakkah masuk akal jika hanya membuat dua varian, mengukur rasio konversi masing-masing, dan memilih satu dengan kinerja yang lebih baik?

Meskipun kedengarannya pragmatis dan banyak akal, ini dapat menyebabkan kesimpulan yang salah dan bahkan hasil yang disalahartikan, karena tidak ada uji statistik yang dijalankan pada data. Jadi mengamati perubahan saja tidak cukup, seseorang harus tahu berapa lama menunggu untuk memastikan perubahan itu, dan untuk itu, seseorang harus melakukan uji statistik seperti uji Z, uji T, atau uji G.

Melihat ukuran lift atau efek saja tidak akan membantu Anda:

sebuah. Tentukan Kemungkinan Faktor Penyebab yang Berhubungan dengan Kemenangan Satu Varian

Pengujian A/B, secara desain, akan membatasi Anda untuk memilih dua varian yang hanya memiliki beberapa perbedaan material. Untuk kumpulan perbedaan yang lebih besar, Anda biasanya akan melakukan pengujian multivariat yang lebih ekstensif.

Pengujian A/B beroperasi dengan aturan bahwa, sejak awal, Anda mengetahui variabel dependen dan independen dalam eksperimen. Misalnya, jika Anda membuat dua set dengan CTA berbeda yang dimasukkan ke dalam tata letak yang sama, Anda tahu bahwa perbedaan dalam CTA adalah faktor penyebab jika Anda dapat menyangkal hipotesis dan melihat perubahan dalam konversi.

Jika Anda hanya menjalankan dua varian yang sama sekali berbeda, bahkan jika Anda mendapatkan daya tarik yang relatif lebih baik pada satu varian, itu tidak akan membantu Anda mendapatkan wawasan tentang audiens Anda atau menentukan mengapa itu berhasil.

b. Bedakan Antara Keacakan dan Kausalitas

Struktur tes A/B akan membutuhkan Hipotesis Null dan Hipotesis Alternatif. Hipotesis Null umumnya akan menyelidiki keacakan sebagai faktor penyebab dan bukan kemanjuran salah satu varian Anda, dalam menentukan tingkat konversi. Hipotesis Null tidak terbantahkan ketika signifikansi statistik tidak tercapai tepat waktu, dan variabilitas berikutnya diasumsikan sebagai hasil keacakan. Di sisi lain, jika Anda dapat menolak Hipotesis Null, itu berarti ada kemungkinan besar (pada tingkat kepercayaan yang ditetapkan, misalnya 95% atau 99%) bahwa Anda telah menemukan faktor penyebab dengan dampak positif atau negatif pada konversi.

c. Alokasikan Biaya ke Hanya Perubahan dengan Probabilitas Peningkatan Konversi yang Lebih Tinggi

Pengujian A/B yang dilakukan juga akan disertai dengan ukuran statistik seperti tingkat signifikansi, interval kepercayaan, dan margin kesalahan. Konsep analitis seperti itu tidak ada di sebagian besar analisis ad-hoc.

Ambil, misalnya, perbandingan antara dua halaman pengiriman formulir dengan beberapa perbedaan materi dalam tata letak dan tampilan informasi. Yang satu berkinerja relatif lebih baik daripada yang lain. Sekarang, bagaimana Anda menentukan bahwa Anda akan dapat mereplikasi hasilnya? Karena Anda tidak memiliki data yang menunjukkan seberapa signifikan hasil eksperimen, tidak ada cara untuk menilai apakah hasil eksperimen dapat direplikasi atau tidak.

Mengevaluasi dan Menghilangkan Paparan Anda terhadap Kesalahan Tipe I dan Tipe II untuk Pengujian A/B

Kesalahan Tipe I (Hipotesis Null benar ditolak atau positif palsu) dan kesalahan Tipe II (Hipotesis Null palsu tidak ditolak atau negatif palsu) dapat memiliki konsekuensi serius pada aset pasar yang Anda optimalkan dengan pengujian A/B.

Tidak ada alat yang secara eksplisit dapat menunjukkan kesalahan Tipe I atau Tipe II kepada Anda, tetapi alat ini dapat membantu Anda meminimalkannya, misalnya, dengan memastikan bahwa tingkat kepercayaan 95% atau lebih tercapai, dan kekuatan statistik telah mencapai setidaknya 80%

Asumsikan bahwa Anda membuat dua varian halaman terakhir dalam siklus pembelian Anda, tunjukkan kepada sekitar 10.000 pengunjung selama 10 hari, dan dapatkan hasilnya. Anda melihat kinerja yang lebih baik untuk satu varian dan karenanya menerapkannya di situs web E-niaga Anda.

Masalahnya di sini adalah Anda akan mengetahui tentang kesalahan Tipe I atau Tipe II dalam eksperimen pengujian A/B Anda setelah Anda gagal mereplikasi hasil eksperimen Anda dalam kenyataan. Ada cara yang lebih baik untuk memastikan Anda tidak memiliki kesalahan Tipe I dan Tipe II dalam pengujian A/B Anda.

Pertama, pastikan ukuran sampel Anda cukup besar untuk memastikan eksperimen statistik yang baik. Anda dapat menggunakan kalkulator Convert untuk mendapatkan ukuran sampel yang tepat.

Kemudian, pastikan Anda memiliki tingkat signifikansi minimal 95% dan jangan hentikan tes sampai kekuatan Anda mencapai 80%. Dengan MDE yang tepat dan lama percobaan yang diberikan oleh kalkulator, Anda dapat benar-benar yakin untuk mengendalikan kesalahan Tipe I atau Tipe II. Yang pertama secara langsung dipengaruhi oleh tingkat signifikansi yang Anda tetapkan, dan yang kedua oleh kekuatan statistik yang ingin Anda jalani. Idealnya, tingkat kepercayaan Anda harus lebih tinggi atau sama dengan 95% dan kekuatan statistik Anda harus terakumulasi hingga setidaknya 80%. Dalam kedua kasus, semakin banyak semakin baik. Jika kedua parameter mencapai 99%, itu memastikan bahwa risiko kesalahan Tipe I atau II terkontrol dengan baik dan lebih rendah dari 1%.

Baik penemuan dan penghapusan masalah tersebut hanya mungkin karena pemikiran statistik di mana pengujian A/B beroperasi.

Menentukan Apakah Eksperimen Pengujian A/B Anda Dapat Diskalakan atau Tidak

Pada contoh di atas, meskipun Anda melihat satu varian menang atas alternatifnya selama sebulan, Anda tidak akan dapat menskalakan eksperimen dengan mudah. Ini karena ukuran sampel 10.000 pengunjung cukup kecil.

Statistik pengujian A/B memberi Anda banyak panduan heuristik untuk memastikan pengujian Anda skalabel dan begitu juga hasilnya. Setiap keluaran eksperimen pengujian A/B akan membuka jalan untuk pengujian lainnya di masa mendatang.

Pertama, mulailah dengan memastikan Anda memiliki lalu lintas yang cukup masuk setiap bulan untuk menguji varian apa pun dari elemen UI atau UX platform Anda. Pakar di Convert merekomendasikan lalu lintas minimal 10.000 pengunjung dan 1.000 konversi pada setiap varian untuk mendapatkan hasil yang baik secara statistik. Setelah Anda memilikinya, pastikan Anda tidak menguji beberapa elemen sekaligus, membiarkan pengujian berjalan dalam durasi yang cukup lama, dan dapat mencapai tingkat signifikansi yang wajar.

Jika Anda memiliki sedikit pengunjung, Anda masih dapat melakukan pengujian A/B pada kampanye email, kampanye media sosial, dan bahkan Grup Iklan Google. Atau, Anda dapat memilih MDE tinggi untuk mendapatkan wawasan luas tentang audiens Anda.

Membuat Eksperimen Hemat Biaya

Mengalokasikan persentase lalu lintas Anda untuk pengujian A/B adalah biaya. Anda menunjukkan halaman atau elemen UX yang mungkin kurang optimal kepada audiens Anda dan karenanya mungkin kehilangan beberapa potensi pendapatan. Meskipun pengujian A/B akan memberi Anda ide yang pasti untuk menskalakan elemen atau halaman yang lebih dioptimalkan yang dapat menutup kemungkinan pendapatan yang hilang ini, biaya ini dapat digunakan sebagai kendala untuk mengoptimalkan proses pengujian Anda.

Setelah melakukan pengujian A/B, Anda dapat melanjutkan ke pengujian A/B/n di mana Anda akan memiliki beberapa varian lagi untuk diuji.

Banyak kalkulator gratis yang tersedia online akan menunjukkan kepada Anda ukuran sampel yang Anda butuhkan untuk hasil yang akurat dari tes ini. Kalkulator ini berjalan dengan asumsi sederhana – hitung ukuran sampel untuk pengujian A/B, lalu kalikan dengan jumlah varian dengan eksperimen. Ini adalah cara yang tidak efisien untuk melanjutkan. Kalkulator kami menawarkan beberapa pilihan koreksi perbandingan yang efisien seperti idak, jadi selalu gunakan alat yang tepat di setiap langkah eksperimen Anda untuk memastikan Anda mendapatkan hasil yang diperlukan tanpa kehilangan dolar ekstra yang timbul dari salah perhitungan.

Memperkirakan dan Mengontrol Keacakan dalam Sampel Anda

Meskipun ada beberapa prinsip matematika yang kompleks tentang keacakan, kebanyakan dari mereka menunjukkan karakteristik yang sama – tidak dapat diprediksi.

Keacakan dapat dianggap sebagai kebalikan dari kausalitas yang didefinisikan dengan jelas. Alih-alih mengetahui elemen apa yang bertanggung jawab atas konversi yang lebih tinggi, Anda harus mengandalkan beberapa faktor eksternal yang tidak ditentukan sebagai kemungkinan faktor penyebab untuk hasilnya. Karena Anda tidak mengontrol faktor eksternal ini, Anda tidak dapat mereplikasi hasil tes Anda dalam skala besar.

Jika Anda tidak menggunakan proses pengujian A/B yang sehat secara statistik, Anda tidak perlu repot-repot memeriksa dampak keacakan. Tapi, keacakan akan tetap ada. Anda mungkin akhirnya menggunakan modal pada aset pemasaran yang berkonversi selama pengujian tetapi tidak berfungsi dalam skala besar. Lebih buruk lagi, Anda mungkin akhirnya mengurangi dampak corong konversi yang ada.

Statistik pengujian A/B dapat membantu Anda mengatasi masalah ini. Saat Anda merumuskan hipotesis, Anda membuat skenario di mana keacakan mungkin menjadi alasan untuk hasil yang berubah. Jika Anda dapat menyangkal skenario ini, pada dasarnya Anda telah menyangkal keacakan sebagai penyebab konversi yang lebih baik. Dengan lebih banyak pengujian ke depan dalam proses yang berfokus pada area lain di corong konversi, Anda dapat lebih jauh menghilangkan ruang untuk keacakan dalam proses pengoptimalan konversi.

Idealnya adalah menentukan Kriteria Evaluasi Keseluruhan (OEC) dengan satu metrik utama dan metrik pagar pembatas lainnya dan menjalankan eksperimen untuk mengoptimalkan yang pertama sambil memastikan bahwa yang terakhir tidak menurun. Misalnya, Anda ingin meningkatkan rasio konversi (metrik utama), tetapi tidak ingin keterlibatan pengguna menurun, karena itu akan menunjukkan klien yang tidak puas.

Buku yang bagus, mungkin buku paling penting tentang eksperimen hingga saat ini, adalah Eksperimen Terkendali Online yang Dapat Dipercaya: Panduan Praktis untuk Pengujian A/B, oleh Ron Kohavi, Diane Tang, Ya Xu.

Memastikan Anda Tidak Membutuhkan Uji Multivariat yang Lebih Komprehensif

Alat komprehensif seperti Convert Experiences dapat membantu Anda menjalankan beberapa pengujian A/B. Meskipun ini mungkin terdengar seperti fungsi yang sepele, ini dapat membantu Anda memahami apakah Anda memerlukan pengujian multivarian yang lebih komprehensif atau apakah hasil pengujian A/B Anda cukup memuaskan.

Semua ini tergantung pada apa yang Anda lakukan setelah Anda memahami hasil tes. Apakah Anda mulai menerapkan halaman atau elemen pemenang atau apakah Anda melakukan pengujian lebih lanjut? Jika ukuran sampel, tingkat signifikansi, dan MDE Anda memuaskan, Anda biasanya dapat menerapkan alternatif pemenang. Jika Anda berada di sisi lain, Anda dapat menggunakan pengujian lebih lanjut untuk menemukan penyebab tingkat konversi yang berbeda.

Misalnya, asumsikan Anda sedang menguji apakah memiliki CTA tertentu di laman landas membantu konversi yang lebih baik atau tidak. Anda menjalankan pengujian A/B dan memiliki pemenang yang jelas. Namun, beberapa ukuran statistik seperti tingkat signifikansi tidak terpenuhi. Jadi, Anda mengambil varian pemenang dan membuat varian lain untuk melakukan pengujian A/B lainnya.

Jika hasilnya direplikasi, Anda dapat memiliki kepercayaan diri yang lebih tinggi pada varian pemenang. Jika Anda tidak dapat mereplikasi tingkat konversi dari pengujian pertama, Anda mungkin memerlukan pengujian multivarian untuk menemukan elemen yang bertanggung jawab atas peningkatan konversi.

Pengujian A/B Dapat Membantu Anda Menghindari Ketergantungan pada Data yang Dilaporkan Sendiri

Bahkan variabel terkecil pun dapat berdampak besar pada perilaku pengguna yang terdeteksi. Misalnya, efek kedipan memiliki dampak yang cukup besar pada tingkat konversi. Berkedip adalah situasi saat halaman landing default Anda ditampilkan sebelum halaman varian saat pengunjung adalah bagian dari traffic sampel Anda yang digunakan untuk pengujian A/B. Hal ini dapat menyebabkan hasil yang tercemar – bahkan ketika Anda menjalankan proses yang konsisten secara analitis.

Ketika ada kemungkinan masalah dengan proses statistik dan analitik seperti pengujian A/B, menjalankan proses yang dilaporkan sendiri hanya dapat menghasilkan hasil yang lebih suboptimal atau bahkan salah. Proses pelaporan diri sering tercemar oleh beberapa bias dan data yang berisik karena seluruh tanggung jawab untuk mengingat preferensi dan melaporkannya diserahkan kepada pengguna, yang tidak memiliki insentif untuk jujur. Plus, ada bias pemesanan dan faktor eksternal lainnya yang dapat menyebabkan data salah.

Pengujian A/B menempatkan Anda di kursi pengamatan dan menghilangkan kebutuhan akan segala bentuk pelaporan pengguna. Dengan alat seperti Konversi, Anda bahkan tidak perlu khawatir tentang kedipan.

Membuat Pengambilan Keputusan Organisasi Berdasarkan Data

Eksperimen pengujian A/B tidak menyisakan ruang untuk menebak-nebak dalam prosesnya. Pada setiap langkah, platform pengujian Anda mengumpulkan pengamatan, merekam data, dan melakukan analisis. Dengan cara ini, terlepas dari preferensi atasan atau investor atau agensi Anda, hasil yang Anda dapatkan akan berdasarkan data.

Ketika ada beberapa pemangku kepentingan yang terlibat dalam proses, mudah untuk hasil akhirnya menjadi suboptimal. Pengujian A/B adalah proses analitis, yang menghilangkan ruang untuk pengambilan keputusan hierarkis atau pemikiran yang bias.

Misalnya, biro iklan Anda dapat merekomendasikan perombakan UI untuk laman landas Anda karena itu akan menambah tagihan mereka untuk bulan tersebut dan jika dilakukan dengan benar, bahkan mungkin tidak menghambat konversi Anda. Namun, dengan uji A/B, jika Hipotesis Null Anda tetap kuat, Anda akan mengetahui fakta bahwa untuk saat ini tidak diperlukan perubahan seperti itu. Karena Anda memiliki data untuk mendukung alasan Anda, Anda tidak harus menyerah pada sikap bahkan pada kepemimpinan di perusahaan Anda. Ini juga dapat membantu Anda melawan HiPPO (Pendapat Orang Berbayar Tertinggi). Data tidak berbohong dan tes A/B adalah bukti terbaik yang Anda miliki.

Memahami Hasil Eksperimen dengan Perhitungan Transparan

Memahami hasil pengujian A/B Anda hampir sama pentingnya dengan menjalankan pengujian yang ketat secara statistik. Alat apa pun dapat menjalankan tes, membandingkan alternatif, dan memberikan pemenang kepada Anda. Yang Anda butuhkan adalah indikasi hubungan sebab akibat. Sementara langkah-langkah statistik dapat menyoroti hal ini, Pengalaman Konversi telah dirancang untuk transparansi dalam perhitungan.

Platform ini memiliki waktu aktif 99,99%, memungkinkan lebih dari 90 integrasi pihak ketiga, mengizinkan pelacakan sasaran pihak ketiga, dan mendukung pemeriksaan kode dan kesalahan. Dengan cara ini, pada akhir proses pengujian, Anda akan memiliki gagasan yang jelas tentang elemen mana yang menjadi pemenang, mengapa lebih disukai, dan apakah Anda memerlukan lebih banyak pengujian untuk lebih percaya diri dalam menskalakannya.

Menggunakan Statistik A/B untuk Bergerak Menuju Kematangan CRO

Apa itu CRO Maturity dan Bagaimana Pengujian A/B yang Terdengar Secara Statistik Membantu Anda Mencapainya?

Meskipun Pengoptimalan Tingkat Konversi mungkin tampak seperti cara berpikir yang terisolasi, hal ini memerlukan perubahan berbasis proses di seluruh perusahaan yang mencoba untuk lebih fokus pada konversi. Tantangannya adalah bahwa CRO adalah bidang yang relatif baru. Dalam survei tahun 2018, hampir 62% pemasar telah bekerja di CRO selama kurang dari 4 tahun.

Spesialis CRO dari Shopify menciptakan hierarki tentang bagaimana perusahaan cenderung melampaui kedewasaan CRO. Saat Anda mempelajari hierarki ini, Anda akan menemukan bagaimana eksperimen statistik yang baik sangat penting untuk mengembangkan proses organisasi Anda:

1. Melakukan Penelitian Kualitatif & Kuantitatif untuk Mengidentifikasi Titik Kontak yang Kurang Optimal

Dasbor Google Analytics Anda akan sering membantu Anda menjelajahi halaman atau titik kontak dalam pengalaman konsumen yang memerlukan perhatian segera. Memecahkan masalah tertentu seperti rasio pentalan yang tinggi di halaman beranda, kereta yang ditinggalkan, pengisian formulir yang tidak lengkap, dan melewatkan langganan email dapat digunakan sebagai titik awal untuk mengoptimalkan corong konversi.

2. Merumuskan Ide Pengujian dan Eksperimen Berdasarkan Penelitian Sebelumnya

Statistik pengujian A/B dapat membantu Anda memahami kinerja tolok ukur untuk situs web Anda dan bahkan persaingan. Anda dapat menggunakan ini untuk memahami elemen mana yang tertinggal dan memulai varian pengujian A/B yang dapat berperforma lebih baik.

3. Menjalankan Ide Pengujian dan Eksperimen dengan Prioritas Tertinggi

Saat Anda menyiapkan ide pengujian A/B di Pengalaman Konversi, Anda akan menetapkan metrik seperti MDE. Metrik tersebut akan membantu Anda memprioritaskan pengujian yang akan memberikan dampak maksimal pada bisnis Anda, terkait dengan alokasi sumber daya yang diperlukan untuk menjalankan eksperimen.

4. Menganalisis dan Merekam Hasil Tes

Setelah Anda melakukan tes, menjadi penting untuk memahami mengapa Anda mendapatkan hasil yang Anda lihat. Di sinilah platform seperti Convert Experiences dapat membantu Anda memfilter antara keacakan dan kausalitas probabilitas tinggi. Dengan penghitungan transparannya, Pengalaman Konversi akan membantu Anda memahami mengapa varian unggulan Anda berperforma lebih baik.

5. Membuat Tes Tindak Lanjut

Setelah Anda melakukan pengujian A/B dan mendapatkan hasilnya, Anda dapat melanjutkan ke pengujian multivarian yang lebih komprehensif atau melakukan pengujian A/B dengan varian lain. Konversi memudahkan untuk melakukan serangkaian uji statistik yang bervariasi yang dapat membantu Anda meningkatkan kepercayaan diri dalam mendukung varian pemenang.

Model Kematangan CRO berfokus pada proses holistik di seluruh Strategi & Budaya, Alat & Teknologi, Orang & Keterampilan, serta Proses & Metodologi perusahaan di mana kemajuan perusahaan dilacak di seluruh tingkat kedewasaan seperti – Pemula, Bercita-cita, Progresif, Strategis, dan Transformatif.

Convert Experiences menghadirkan analisis data yang ketat ke proses pengujian A/B Anda, tidak memerlukan pengkodean untuk melakukan pengujian, memberikan hasil yang dapat diakses secara visual dan analitis, dan transparan tentang hasil pengujian. Dengan platform di pusat rencana pengujian A/B Anda, CRO Maturity perusahaan Anda dapat bergerak menuju tahap Transformatif dengan lebih mudah.

Pengujian A/B dalam Tindakan: Studi Kasus Tolok Ukur

1. Menggunakan Google Analytics dan Pengalaman Konversi untuk Pembuatan Hipotesis

Google Analytics dapat menjadi titik awal yang bagus untuk memahami area potensial peningkatan di seluruh situs web Anda. Penurunan lalu lintas yang tiba-tiba, rasio pentalan yang tinggi dibandingkan dengan waktu halaman, dll. dapat menjadi indikator kuat dari potensi masalah.

Petakan semua tantangan yang Anda lihat di seluruh laporan Google Analytics Anda. Sejalan dengan ini, jalankan survei kualitatif di situs web Anda, pegangan media sosial, dan kampanye email yang menanyakan audiens Anda apa yang mereka cari. Selain itu, Anda dapat menggunakan Hotjar untuk memahami bagaimana pengunjung menavigasi elemen di setiap halaman.

Berdasarkan semua data ini, Anda kemudian dapat membuat varian yang berwawasan luas dan menjalankan pengujian A/B. Jika Anda sudah menggunakan Pengalaman Konversi, Anda juga dapat menggunakan alat pembuatan hipotesis Konversi Kompas untuk lebih mempercepat proses.

2. Meningkatkan Konversi dari Gerobak Terbengkalai melalui Pengujian A/B

Gerobak terbengkalai mahal untuk situs web Anda dan cukup merepotkan bagi pengunjung Anda karena Anda berdua telah menginvestasikan waktu dan sumber daya yang signifikan untuk sampai ke titik ini tetapi konversi tidak berhasil.

Menggunakan Pengalaman Konversi yang terintegrasi dengan platform lain, Anda dapat merumuskan pendekatan terstruktur untuk mengatasi tantangan ini.

• Pertama, mulailah dengan mengintegrasikan Convert Experiences ke Shopify, WooCommerce, PrestaShop, BigCommerce, atau platform eCommerce lainnya yang Anda gunakan.
• Kemudian, gunakan Google Analytics untuk menyiapkan sasaran di platform Anda dan gunakan alat seperti Hotjar atau Crazy Egg untuk mengevaluasi kemungkinan masalah.
• Dengan Pengalaman Konversi, Anda dapat menggunakan data ini, merumuskan hipotesis, dan menjalankan pengujian A/B secara terorganisir. Pelanggan telah mengamati peningkatan pendapatan lebih dari 26% menggunakan pendekatan serupa.

3. Pengoptimalan Halaman Arahan

Halaman arahan cukup sentral untuk seluruh proses konversi. Untuk mengekstrak nilai maksimum dari halaman arahan Anda, Anda dapat menggunakan berbagai alat seperti Google Analytics, Adobe Analytics, Kissmetrics, Baidu Analytics, atau alat terkemuka lainnya untuk kasus penggunaan. Convert Experiences terintegrasi dengan mulus dengan platform ini untuk membantu Anda memfilter halaman landing dengan konversi rendah.

Selanjutnya, Anda dapat menggunakan integrasi Hotjar dan Konversi untuk memahami elemen halaman Anda yang tidak berfungsi. Dengan alat canggih seperti peta panas, Anda bisa mendapatkan pemahaman visual tentang bagaimana pengunjung mengakses berbagai elemen di halaman Anda. Setelah ini, Anda dapat menggunakan Convert Compass untuk menghasilkan hipotesis dan kemudian menjalankan pengujian pada platform.

Setelah Anda melakukan pengujian, Anda dapat menggunakan integrasi antara Convert dan platform pembuatan halaman arahan terkemuka seperti LanderApp, Instapage, atau Hubspot CMS. Integrasi ini akan membantu Anda menjalankan eksperimen pengujian A/B yang mudah di seluruh halaman landing Anda.

Dengan menggunakan alur kerja yang sama, pakar CRO telah menemukan peningkatan konversi sebesar 27% dengan tingkat penambahan ke keranjang naik sebesar 13%.

Mencapai ROI Lebih Tinggi dengan Pengujian A/B 'Higienis'

1. Ambang Lalu Lintas Situs Web : Konversi merekomendasikan agar Anda memiliki lalu lintas minimal 10.000 pengunjung dan konversi yang berkisar di atas 1.000 tersedia untuk setiap varian yang diuji.

2. Menggunakan Alat yang Tepat untuk Pengujian A/B : Tidak memiliki platform pengujian yang tepat dapat memberi Anda hasil yang tercemar, membuat Anda menjalankan pengujian yang kurang optimal, atau menyebabkan kendala parah pada sumber daya Anda. Convert Experiences telah dirancang untuk menghilangkan parameter utama ini sambil memastikan proses pengujian dapat diakses, transparan, dan mulus.

3. Mendefinisikan Tujuan Pengujian : Tujuan Anda sebagai bisnis harus diselaraskan. Misalnya – saat Anda mengoptimalkan pendaftaran maksimum, beberapa unit lain di tim Anda tidak boleh mengoptimalkan proses konsekuen untuk penjualan maksimum. UX yang tidak koheren dapat menyebabkan lebih banyak kerusakan daripada UX yang kurang optimal.

Oleh karena itu, pertahankan keseragaman tujuan di antara seluruh anggota tim. Pada tingkat pengujian, pastikan Anda menentukan ukuran sampel, durasi, signifikansi statistik, hipotesis, dan MDE dengan jelas sebelum, selama, dan setelah menjalankan pengujian A/B Anda.

4. Mengecualikan Lalu Lintas Internal: Saat Anda menjalankan pengujian A/B, banyak anggota tim Anda akan mengunjungi halaman atau poin dalam perjalanan pelanggan untuk menilai halaman secara objektif. Ini dapat membawa kebisingan ke hasil pengujian Anda.

Konversi Pengalaman telah dirancang untuk memfilter lalu lintas tersebut dan hanya berfokus pada segmen pemirsa yang telah Anda tetapkan, untuk merekam, menggabungkan, dan menganalisis data dalam proses pengujian A/B.

Pemikiran Akhir tentang Statistik Pengujian A/B

Pengujian A/B adalah latihan analitis yang ketat yang hanya dapat dijalankan dengan ketelitian statistik. Tanpa statistik yang dibangun dalam prosesnya, pengujian A/B hanyalah dugaan belaka.

Convert Experiences memungkinkan Anda melakukan eksperimen pengujian A/B yang efisien, dapat diakses, andal, namun hemat sumber daya. While the process of A/B testing can seem a little overwhelming at first, it certainly unlocks value in the form of the right insight and analytical proven ideas it gives you. Make sure you never run an A/B test in isolation – it has to be followed up with more tests, and even multivariate tests.
With consistent optimization and unlimited tests made available by Convert Experiences, you can expect your enterprise to become a more analytical and data-driven operation in no time.