Meta-Analisis dalam Eksperimen Terkendali Online: Pandangan yang Tidak Bias tentang Kekuatan dan Keterbatasan Metode Ilmiah Ini

Seberapa bergunakah meta-analisis dalam pengujian A/B dan eksperimen online lainnya?

Apakah bermanfaat untuk memanfaatkan pembelajaran masa lalu untuk meningkatkan pembuatan hipotesis Anda? Atau apakah meta-analisis hanya alasan malas untuk hanya mengandalkan "pola yang terbukti" daripada membangun data spesifik situasi untuk berinovasi dalam bisnis Anda melalui pengalaman?

Ini adalah topik perdebatan yang hangat. Beberapa mendukungnya, dan beberapa sangat menentangnya. Tapi bagaimana Anda bisa mendapatkan keuntungan dari kedua sudut pandang dan membawa nilai nyata untuk program eksperimen Anda?

Itulah yang posting ini adalah tentang. Di dalamnya, Anda akan

• Pahami apa sebenarnya meta-analisis itu
• Lihat contoh meta-analisis dalam aksi
• Temukan mengapa meta-analisis sebagai sebuah konsep harus diperlakukan dengan hati-hati (dan hormat), dan
• Pelajari bagaimana tim eksperimen dapat melakukan meta-analisis dengan cara yang benar

Dan dengan bonus: Anda juga akan melihat dua pakar pengoptimalan tingkat konversi yang terkenal membahas hal ini dari ujung yang berlawanan.

Mari kita masuk ke dalamnya.

Apa itu Meta-Analisis?

Meta-analisis menggunakan statistik untuk membuat keputusan dari menganalisis beberapa hasil eksperimen. Itu berasal dari dunia ilmiah, di mana para peneliti mengumpulkan hasil dari studi medis yang membahas masalah yang sama dan menggunakan analisis statistik untuk menilai apakah suatu efek benar-benar ada dan seberapa signifikannya.

Dalam eksperimen terkontrol online, di mana kami memiliki pengujian A/B, pengujian multivarian, dan pengujian terpisah untuk pengambilan keputusan dan menemukan cara berkinerja terbaik untuk mendorong sasaran bisnis, kami telah meminjam meta-analisis untuk memanfaatkan apa yang telah kami pelajari dari sebelumnya tes untuk menginformasikan tes masa depan.

Mari kita lihat contoh yang berbeda di alam liar.

Contoh Analisis Meta dalam Eksperimen Terkendali Online

Berikut adalah 3 contoh meta-analisis dalam pengujian A/B, cara penggunaannya, dan apa yang ditemukan dalam setiap upaya:

1. Meta-analisis empiris strategi pengujian A/B e-commerce oleh Alex P. Miller dan Kartik Hosanagar

Meta-analisis pengujian A/B ini diterbitkan pada Maret 2020. Para analis mempelajari pengujian secara khusus dari industri e-niaga, dengan data yang mereka kumpulkan dari platform pengujian A/B SaaS. Ini terdiri dari 2.732 pengujian A/B yang dilakukan oleh 252 perusahaan e-commerce yang berbasis di AS di 7 industri dalam rentang 3 tahun.

Mereka menganalisis pengujian ini untuk memberikan analisis yang kuat tentang bagaimana pengujian diposisikan pada berbagai tahap corong konversi e-niaga.

Apa yang mereka temukan adalah:

• Jika dibandingkan dengan jenis eksperimen lainnya, pengujian pada promosi harga dan yang ditempatkan pada laman kategori dikaitkan dengan ukuran efek terbesar.
• Bukti bahwa tanggapan konsumen terhadap promosi yang berbeda bergantung pada posisi promosi tersebut dalam situs e-niaga.
• Sementara promo mengenai harga produk paling efektif di awal corong konversi, promo terkait pengiriman paling efektif di akhir corong konversi (di halaman produk dan checkout).

Mari kita lihat contoh lain dan apa yang ditemukan para peneliti…

2. Apa yang berhasil di e-commerce — Sebuah meta-analisis dari 6.700 eksperimen oleh Will Browne dan Mike Swarbrick Jones

Dengan data dari 6.700 eksperimen e-niaga besar yang sebagian besar di sektor ritel dan perjalanan, Browne dan Jones meneliti efek dari 29 jenis perubahan yang berbeda dan memperkirakan dampak kumulatifnya terhadap pendapatan. Itu diterbitkan pada Juni 2017.

Seperti yang disarankan oleh judul makalah, tujuannya adalah untuk mengeksplorasi apa yang berhasil dalam e-commerce dengan menjalankan meta-analisis besar. Begitulah cara mereka sampai pada ringkasan yang kuat ini: bahwa perubahan pada tampilan situs memiliki dampak yang jauh lebih kecil pada pendapatan daripada perubahan yang didasarkan pada psikologi perilaku.

Metrik pendapatan per pengunjung (RPV) digunakan untuk mengukur dampak ini. Jadi, dalam hasil mereka, peningkatan +10% dari eksperimen berarti RPV naik 10% dalam eksperimen itu.

Berikut adalah beberapa temuan lain dari analisis:

• Penampil terbaik (berdasarkan kategori) adalah:
  
  
  • Kelangkaan (petunjuk saham, misalnya, “Hanya 3 yang tersisa”): +2,9%
  • Bukti sosial (memberi tahu pengguna tentang perilaku orang lain): +2,3%
  • Urgensi (penghitung waktu mundur): +1,5%
  • Pemulihan pengabaian (mengirim pesan kepada pengguna agar mereka tetap berada di situs): +1,1%
  • Rekomendasi produk (peningkatan penjualan, penjualan silang, dll): +0,4%
• Tetapi perubahan kosmetik pada UI seperti di bawah ini tidak efektif:
  
  
  • Warna (mengubah warna elemen halaman web): +0,0%
  • Tombol (memodifikasi tombol situs web): -0,2%
  • Ajakan bertindak (mengubah teks): -0,3%
• 90% eksperimen memiliki efek kurang dari 1,2% pada pendapatan, positif atau negatif
• Sedikit bukti bahwa pengujian A/B menghasilkan peningkatan pendapatan dua digit yang biasanya ditampilkan dalam studi kasus.

Sekarang tunggu. Sebelum Anda mengambil hasil meta-analisis ini sebagai Injil, Anda perlu tahu bahwa meta-analisis dari eksperimen online memiliki keterbatasan. Kita akan membahas ini nanti.

3. Meta-analisis dari 115 pengujian A/B di GoodUI.org oleh Georgi Georgiev

Pada Juni 2018, pakar eksperimen online dan penulis “Metode Statistik dalam Pengujian A/B Online”, Georgi Georgiev, menganalisis 115 pengujian A/B yang tersedia untuk umum di GoodUI.org.

GoodUI.org menerbitkan kumpulan hasil eksperimen, termasuk pola UI yang baru ditemukan dan apa yang dipelajari oleh perusahaan berbasis eksperimen seperti Amazon, Netflix, dan Google dari pengujian mereka.

Tujuan Georgi adalah untuk menyusun dan menganalisis data ini untuk mengungkapkan hasil rata-rata pengujian dan menyumbangkan gagasan tentang praktik statistik yang lebih baik saat merancang dan melakukan meta-analisis pengujian A/B.

Dia mulai dengan memangkas kumpulan data awal dan melakukan beberapa penyesuaian statistik. Ini termasuk menghapus:

• Pengujian dengan ketidakseimbangan antara jumlah pengguna yang dikirim untuk mengalami kontrol vs yang dikirim untuk mengalami penantang, dan
• Tes yang dikompromikan (terlihat oleh kekuatan statistiknya yang sangat rendah).

Dia menganalisis 85 tes yang tersisa dan menemukan bahwa persentase peningkatan rata-rata adalah 3,77% dan peningkatan rata-rata adalah 3,92%. Melihat distribusi di bawah, Anda akan melihat bahwa 58% pengujian (itu mayoritas) memiliki efek yang diamati (% peningkatan) antara -3% dan +10%.

Penting untuk dicatat bahwa ini mewakili kumpulan data ini dan tidak semua pengujian A/B yang pernah dilakukan. Plus, kita harus memperhitungkan bias publikasi (salah satu kelemahan meta-analisis yang akan kita bahas nanti).

Namun, meta-analisis ini bermanfaat bagi pengoptimal tingkat konversi dan pemangku kepentingan pengoptimalan lainnya untuk mengetahui apa yang menjadi tolok ukur eksternal dalam pengujian A/B.

Tertarik untuk Melakukan Meta-Analysis Pengujian A/B Anda Sendiri?

Anda mendapatkan akses ke kumpulan data yang sama yang digunakan Georgi. Ini tersedia untuk umum di GoodUI.org — gudang hasil sulingan dari pengujian A/B yang dilakukan di seluruh platform, industri, dan untuk berbagai masalah inti.

Ada kumpulan lain dari hasil pengujian A/B seperti ini (Anda bahkan dapat membuatnya dengan menarik data dari berbagai contoh pengujian A/B dan studi kasus ) tetapi GoodUI unik. Anda mendapatkan informasi statistik tambahan tentang tes yang tidak mungkin sulit didapat jika Anda berselancar dan mengumpulkan studi kasus.

Beberapa hal lagi yang membuat GoodUI unik:

• Itu tidak membeda-bedakan berdasarkan hasil eksperimen. Ini termasuk tes menang, tidak meyakinkan, datar, dan negatif untuk memerangi bias publikasi dalam meta-analisis, yang merupakan masalah nyata, sebagaimana dinyatakan dalam “Meta-analisis, plot saluran dan analisis sensitivitas” oleh John Copas dan Jian Qing Shi.
  
  Bias publikasi adalah preferensi untuk menerbitkan studi kecil jika hasilnya 'signifikan' dibandingkan studi dengan hasil negatif atau tidak meyakinkan. Anda tidak dapat memperbaiki ini tanpa membuat asumsi yang tidak dapat diuji.

• GoodUI melangkah lebih jauh. Seringkali hasil meta-analisis terkubur dalam makalah penelitian. Mereka hampir tidak pernah membuat aplikasi praktis, terutama untuk tim eksperimen yang tidak terlalu matang.
  
  Dengan pola GoodUI, pengoptimal yang penasaran dapat menggali perubahan persentase yang diamati, perhitungan signifikansi statistik, dan interval kepercayaan. Mereka juga dapat menggunakan penilaian GoodUI tentang seberapa kuat hasilnya, dengan kemungkinan nilai "Tidak Signifikan", "Kemungkinan", "Signifikan" dan "Kuat", di kedua arah untuk setiap pola konversi. Anda bisa mengatakan bahwa itu “mendemokratisasi” wawasan dari meta-analisis pengujian A/B.

• Namun, ada masalah di sini. Eksperimen yang mungkin tidak menyadari masalah yang mengganggu meta-analisis—heterogenitas dan bias publikasi—ditambah fakta bahwa hasil meta-analisis bergantung pada kualitas meta-analisis itu sendiri, dapat menyimpang ke wilayah menyalin pola secara membabi buta.
  
  Sebaliknya, mereka harus melakukan penelitian mereka sendiri dan menjalankan tes A/B mereka. Kegagalan untuk melakukannya akhir-akhir ini (tepatnya) menjadi perhatian di ruang CRO.

Sumber daya studi kasus pengujian A/B lain yang dapat Anda gali untuk kedalaman detail serupa pada beberapa pengujian seperti GoodUI adalah GuessTheTest.

Meta-Analisis – Ya atau Tidak

Pikiran yang cerdas mencari pola. Begitulah cara Anda mempersingkat jalan dari masalah ke solusi saat berikutnya Anda dihadapkan pada masalah serupa.

Pola-pola ini membawa Anda ke jawaban dalam waktu singkat. Itu sebabnya kami cenderung percaya bahwa kami dapat mengambil apa yang telah kami pelajari dari eksperimen, menggabungkannya, dan menyimpulkan sebuah pola.

Tetapi apakah itu disarankan untuk dilakukan oleh tim eksperimen?

Apa argumen yang mendukung dan menentang meta-analisis dalam eksperimen terkontrol online? Bisakah Anda menemukan jalan tengah yang mendapatkan yang terbaik dari kedua dunia?

Kami menanyakan dua suara paling vokal di bidang eksperimen dengan (dengan hormat) sudut pandang yang berbeda tentang pandangan mereka tentang meta-analisis.

Jonny Longden dan Jakub Linowski adalah suara yang dapat Anda percaya.

Jakub Linowski

Jonny Longden

Meta-Analysis — Melangkah dengan Hati-hati?

Dalam diskusi di atas, Jonny menunjuk pada dua masalah potensial dengan menggunakan data meta-analisis dalam pengujian online yang menuntut praktisi CRO untuk melangkah dengan hati-hati.

• Masalah #1: Menggunakan hasil tanpa mengujinya
  “Jika itu berhasil untuk perusahaan itu, itu harus bekerja untuk kita juga”. Ini mungkin menjadi pemikiran yang salah karena ada nuansa seputar pengujian yang tidak sampai ke cuplikan hasil yang Anda ulas.
  
  Beberapa tes mungkin menunjukkan solusi yang mudah, tetapi itu hanya kemungkinan bahwa itu mungkin bekerja sedikit lebih baik daripada solusi lain dan bukan jawaban pasti bahwa itu akan berfungsi di situs web Anda.

• Masalah #2: Anda tidak dapat mengklasifikasikan tes dengan mudah
  Seperti disebutkan di #1, hasil tersebut tidak menunjukkan cerita penuh nuansa di balik pengujian. Anda tidak melihat mengapa tes dijalankan, dari mana asalnya, masalah sebelumnya apa yang ada di situs web, dll.
  
  Anda hanya melihat bahwa itu adalah tes pada ajakan bertindak di halaman produk, misalnya. Tetapi basis data meta-analisis akan mengurutkannya ke dalam pola-pola tertentu, meskipun mereka tidak termasuk dalam pola-pola itu dengan rapi.

Apa artinya ini bagi Anda, pengguna basis data meta-analisis pengujian A/B, atau peneliti CRO yang menyusun basis data meta-analisis Anda sendiri untuk mengekstrak pembelajaran?

Ini tidak berarti meta-analisis terlarang, tetapi Anda harus berhati-hati saat menggunakannya. Kehati-hatian seperti apa yang harus Anda ambil?

Jangan Kompromi Kekakuan Uji dan Pengejaran Inovasi

Ingat bahwa meta-analisis adalah ide statistik dari komunitas medis di mana eksperimen sangat dikontrol untuk memastikan pengulangan dalam temuan.

Lingkungan dan faktor lain di sekitar pengamatan diulangi di beberapa eksperimen tetapi itu tidak sama dengan eksperimen online. Meta-analisis eksperimen online mengumpulkan data mereka terlepas dari perbedaan ini.

Satu situs web secara radikal dan sama sekali berbeda dari situs web lain karena memiliki audiens yang sangat berbeda dan hal yang sangat berbeda terjadi. Bahkan jika kelihatannya relatif sama, bahkan jika itu adalah produk yang sama, maka itu masih sama sekali berbeda dalam jutaan dan jutaan cara, jadi Anda tidak dapat mengontrolnya.

Jonny Longden

Di antara keterbatasan lainnya, ini memengaruhi kualitas dari apa yang boleh kita sebut sebagai meta-analisis sejati.

Jadi, di mana Anda tidak yakin dengan tingkat kekuatan statistik yang masuk ke tes dan meta-analisis tes, Anda hanya dapat menggunakan dengan sangat hati-hati, seperti yang disarankan Shiva Manjunath.

Tujuan meta-analisis tidak boleh meniru pesaing. Lompatan dari memanfaatkan meta-analisis ke penyalinan langsung mendorong batas kredibilitas. Ada nuansa maksud di balik "menyalin", jadi ini bukan situasi hitam-putih.

Komentar pada postingan Deborah di atas beragam. Tidak apa-apa untuk menyalin sampai batas tertentu, tetapi berlebihan itu berbahaya:

Seperti yang Jakub setujui, kita harus berhati-hati dalam menyalin, terutama saat memvalidasi pola yang telah kita amati dengan eksperimen.

Namun, yang harus kita waspadai adalah eksperimen komoditi . Artinya, menggunakan pola dan wawasan dari meta-analisis sebagai praktik terbaik untuk menggantikan penelitian dalam eksperimen, alih-alih memuji apa yang dikatakan data spesifik situasi.

Jadi, mulailah dengan memahami masalah yang ingin Anda pecahkan dan tentukan jenis intervensi yang paling mungkin berhasil. Di situlah meta-analisis data eksperimen lawas paling mendukung strategi pengoptimalan yang unik.

Meta-Analysis — Melumasi Roda Gila Eksperimen?

Roda gila eksperimen memiliki cara mendaur ulang momentum. Saat Anda bereksperimen untuk pertama kalinya, Anda membutuhkan banyak kelembaman untuk menggerakkan sesuatu.

Ide dengan roda gila eksperimen adalah memanfaatkan momentum itu untuk menjalankan lebih banyak tes dan berputar lagi, menjadi lebih baik dan lebih baik, menjalankan lebih banyak tes.

Dan di situlah meta-analisis dapat membantu. Di roda gila:

1. Anda menjalankan tes untuk memvalidasi hipotesis Anda (dan mungkin menolak beberapa dalam prosesnya).
2. Ukur nilai yang mereka tambahkan ke pengambilan keputusan.
3. Dorong lebih banyak minat dan dukungan untuk pengujian A/B.
4. Berinvestasi dalam infrastruktur pengujian A/B dan dalam meningkatkan kualitas data Anda.
5. Turunkan biaya manusia untuk pengujian A/B sehingga langkah berikutnya dapat dilakukan dengan lebih sedikit usaha daripada putaran sebelumnya.

Namun sebagai organisasi berbasis data, Anda tidak berhenti di situ saat Anda mengenali kekuatan pengujian A/B. Sebaliknya, Anda ingin membangun investasi eksperimen awal Anda untuk memvalidasi atau menolak lebih banyak hipotesis.

Jika wawasan atau pengetahuan awal itu tidak ada untuk memulai, kelembaman untuk menggerakkan roda gila Anda akan terlalu besar. Berbagi pengetahuan ini (mendemokratisasi data pengujian A/B) menginspirasi dan memungkinkan orang lain untuk melakukan pendekatan eksperimen dengan menurunkan penghalang pengetahuan.

Ini membawa kita ke poin #1 tentang bagaimana meta-analisis melumasi roda gila eksperimen:

1. Meta-analisis mungkin mengurangi waktu untuk menghipotesiskan ide.
   Anda dapat mengambil apa yang telah Anda pelajari, wawasan, dan semuanya, dari tes sebelumnya untuk menghasilkan hipotesis baru dengan mudah. Ini meningkatkan jumlah pengujian yang Anda jalankan dan merupakan cara terbaik untuk mempercepat flywheel pengujian A/B.
   
   Kami menghabiskan lebih sedikit waktu untuk mengulang apa yang telah membentuk pola dan lebih banyak waktu mengukir jalur baru berdasarkan apa yang telah kami pelajari dalam eksperimen sebelumnya.

2. Meta-analisis dapat menghasilkan tingkat prediksi yang lebih baik dengan data masa lalu.
   Cara lain pembelajaran yang digerakkan oleh eksperimen di masa lalu dapat membuat roda gila eksperimen berputar lebih cepat adalah ketika dikombinasikan dengan data saat ini untuk menginformasikan hipotesis baru.
   
   Ini berpotensi meningkatkan bagaimana dampak yang diamati dalam pengujian A/B meluas ke masa depan.
   
   Menerapkan pengujian A/B bukanlah jaminan untuk melihat hasil yang Anda inginkan karena tingkat penemuan palsu (FDR) untuk pengujian dengan signifikansi 95% adalah antara 18% dan 25%. Dan hanya 70% dari tes yang diperiksa yang mengarah pada kesimpulan ini memiliki kekuatan yang memadai.
   
   Tingkat penemuan palsu adalah bagian dari hasil pengujian A/B yang signifikan yang sebenarnya merupakan efek nol. Jangan disalahartikan sebagai kesalahan positif palsu atau kesalahan tipe I.

3. Akhirnya, meta-analisis mungkin menjadi cara untuk membangun kepercayaan pada hasil tes yang pada dasarnya tidak meyakinkan.
   Tingkat kepercayaan membantu Anda percaya bahwa hasil tes Anda bukan karena kebetulan belaka. Jika Anda tidak memiliki cukup, Anda mungkin cenderung untuk menandai tes itu "tidak meyakinkan" tetapi jangan terburu-buru.
   
   Mengapa? Secara statistik, Anda dapat mengumpulkan nilai-p yang tidak signifikan untuk mendapatkan hasil yang signifikan. Lihat postingan di bawah ini:

Meta-analisis memiliki dua manfaat utama: 1) Meningkatkan akurasi perkiraan efek, dan 2) meningkatkan generalisasi temuan.

Sumber: Yang baik, yang buruk dan yang jelek: meta-analisis oleh Madelon van Wely

Mengingat bahwa analisis meta menyesuaikan dan mengoreksi ukuran efek dan tingkat signifikansi, seseorang dapat menggunakan hasil standar yang lebih tinggi tersebut dengan cara yang sama seperti menggunakan eksperimen lainnya, termasuk:

1) untuk membuat perhitungan daya/estimasi ukuran sampel untuk eksperimen mereka sendiri (menggunakan data nyata alih-alih tebakan subjektif)

2) untuk membuat keputusan eksploit-eksperimen. Dalam kasus di mana seseorang merasa bahwa kepercayaan diri tambahan diperlukan, mereka dapat memutuskan untuk menjalankan eksperimen tambahan mereka sendiri. Dalam kasus di mana seseorang menemukan bukti dari meta-analisis cukup kuat, mereka mungkin mengambil tindakan lebih cepat tanpa menjalankan eksperimen tambahan.

Jakub Linowski

Dengan semua cara meta-analisis dapat membantu program eksperimen Anda mendapatkan lebih banyak momentum, penting untuk diingat bahwa ia menderita beberapa batasan yang terkenal.

Jika Anda Memilih untuk Melakukan (dan Menggunakan) Meta-Analysis – Ingatlah Hal Berikut

Ya, menggabungkan hasil eksperimen melalui metode meta-analitik dapat meningkatkan presisi statistik tetapi itu tidak menghilangkan masalah mendasar dengan kumpulan data awal, seperti…

Kualitas Eksperimen yang Buruk Termasuk Dalam Analisis

Jika eksperimen yang disertakan dalam meta-analisis tidak disiapkan dengan baik dan mengandung kesalahan statistik, tidak peduli seberapa akurat meta-analis, mereka akan mendapatkan hasil yang tidak valid.

Mungkin ada alokasi ukuran sampel yang tidak sama dalam pengujian A/B, kekuatan atau ukuran sampel tidak mencukupi, atau ada bukti mengintip — apa pun masalahnya, hasil tersebut cacat.

Apa yang dapat Anda lakukan untuk melewati batasan ini adalah memilih hasil tes Anda dengan hati-hati. Hilangkan hasil yang meragukan dari kumpulan data Anda. Anda juga dapat menghitung ulang signifikansi statistik dan interval kepercayaan untuk tes yang telah Anda pilih untuk disertakan, dan menggunakan nilai baru dalam meta-analisis Anda.

Heterogenitas

Ini menggabungkan hasil tes yang seharusnya tidak dimasukkan ke dalam ember yang sama di tempat pertama. Misalnya, ketika metodologi yang digunakan untuk melakukan pengujian berbeda (analisis statistik Bayesian vs Frequentist, perbedaan spesifik platform pengujian A/B, dll.).

Ini adalah batasan umum meta-analisis di mana analis, sadar atau tidak sadar, mengabaikan perbedaan utama antara studi.

Anda dapat melihat data kuantitatif mentah untuk memerangi heterogenitas. Ini lebih baik daripada hanya menggabungkan ringkasan hasil tes. Itu berarti menghitung ulang hasil setiap pengujian A/B, dengan asumsi Anda memiliki akses ke data.

Bias Publikasi

Juga dikenal sebagai 'masalah laci file', ini adalah masalah paling terkenal dengan meta-analisis. Saat melakukan meta-analisis pada data yang tersedia untuk umum, Anda dibatasi untuk mengumpulkan hasil yang berhasil dipublikasikan.

Bagaimana dengan yang tidak lolos? Publikasi biasanya mendukung hasil yang signifikan secara statistik dan di mana ada efek pengobatan yang signifikan. Ketika data ini tidak direpresentasikan dalam meta-analisis, hasil hanya menggambarkan apa yang dipublikasikan.

Anda dapat melihat bias publikasi dengan plot corong dan statistik terkait.

Jadi, ke mana Anda pergi untuk menemukan pengujian A/B yang tidak berhasil mencapai studi kasus atau basis data meta-analisis pengujian A/B? Platform pengujian A/B berada dalam posisi terbaik untuk menyediakan data tentang pengujian terlepas dari hasilnya. Di situlah contoh 1 dan 2 dalam artikel ini beruntung.