Çevrimiçi Kontrollü Deneylerde Meta-Analiz: Bu Bilimsel Yöntemin Gücüne ve Sınırlamalarına Tarafsız Bir Bakış

A/B testi ve diğer çevrimiçi deneylerde meta-analiz ne kadar yararlıdır?

Hipotez oluşturmanızı geliştirmek için geçmiş öğrenmeden yararlanmak faydalı mı? Yoksa meta-analiz, işinizde deneyim yoluyla yenilik yapmak için duruma özel veriler oluşturmak yerine basitçe “kanıtlanmış kalıplara” güvenmek için tembel bir bahane mi?

Bu sıcak bir tartışma konusu. Bazıları bundan yana, bazıları ise şiddetle karşı çıkıyor. Ancak her iki bakış açısından nasıl faydalanabilir ve deney programınıza somut değer katabilirsiniz?

Bu yazı bununla ilgili. içinde, yapacaksın

• Meta-analizin gerçekte ne olduğunu anlayın
• Eylem halindeki meta-analiz örneklerini görün
• Bir kavram olarak meta-analizin neden dikkatle (ve saygıyla) ele alınması gerektiğini keşfedin ve
• Deney ekiplerinin meta-analizi doğru şekilde nasıl yapabildiğini öğrenin

Ve bir bonusla: Ayrıca, iki tanınmış dönüşüm oranı optimizasyon uzmanının bunu karşıt uçlardan tartıştığını göreceksiniz.

İçeri girelim.

Meta-Analiz Nedir?

Meta-analiz, birden fazla deney sonucunu analiz ederek bir karar vermek için istatistikleri kullanır. Araştırmacıların aynı konuyu ele alan tıbbi çalışmalardan elde edilen sonuçları bir araya getirdikleri ve bir etkinin gerçekten var olup olmadığını ve ne kadar önemli olduğunu değerlendirmek için istatistiksel analizleri kullandıkları bilim dünyasından gelmektedir.

A/B testi, çok değişkenli test ve karar verme ve iş hedeflerini yönlendirmek için en iyi performans gösteren yolları bulma için bölünmüş testlerimizin olduğu çevrimiçi kontrollü deneylerde, daha önce öğrendiklerimizden yararlanmak için meta-analizi ödünç aldık. gelecekteki testleri bilgilendirmek için testler.

Vahşi doğada farklı örnekler görelim.

Çevrimiçi Kontrollü Deneylerde Meta-Analiz Örnekleri

İşte A/B testinde meta-analizin 3 örneği, nasıl kullanıldığı ve her bir çabada neler bulunduğu:

1. Alex P. Miller ve Kartik Hosanagar tarafından e-ticaret A/B test stratejilerinin ampirik bir meta-analizi

Bu A/B testi meta-analizi Mart 2020'de yayınlandı. Analistler, bir SaaS A/B test platformundan topladıkları verilerle özellikle e-ticaret endüstrisinden testler üzerinde çalıştılar. ABD merkezli 252 e-ticaret şirketi tarafından 7 sektörde 3 yıllık bir süre içinde gerçekleştirilen 2.732 A/B testinden oluşuyordu.

E-ticaret dönüşüm hunisinin çeşitli aşamalarında testlerin nasıl konumlandırıldığına dair sağlam bir analiz sağlamak için bu testleri analiz ettiler.

Buldukları şey şuydu:

• Diğer deneme türleriyle karşılaştırıldığında, fiyat promosyonları ve kategori sayfalarında yer alan testler en büyük etki büyüklükleriyle ilişkilendirilir.
• Tüketicilerin farklı promosyonlara tepkisinin kanıtı, bu promosyonların e-ticaret sitesinde nerede konumlandırıldığına bağlıdır.
• Ürün fiyatlarına ilişkin tanıtımlar, dönüşüm hunisinin başlarında en etkili iken, nakliye ile ilgili tanıtımlar, dönüşüm hunisinin sonlarında (ürün sayfalarında ve ödeme sayfalarında) en etkili olanıdır.

Başka bir örneğe ve araştırmacıların ne bulduğuna bakalım…

2. E-ticarette ne işe yarar — Will Browne ve Mike Swarbrick Jones tarafından yapılan 6.700 deneyin meta analizi

Browne ve Jones, çoğunlukla perakende ve seyahat sektörlerinde 6.700 büyük e-ticaret deneyinden elde edilen verilerle, 29 farklı değişiklik türünün etkisini araştırdı ve bunların gelir üzerindeki kümülatif etkisini tahmin etti. Haziran 2017'de yayınlandı.

Makale başlığından da anlaşılacağı gibi amaç, büyük bir meta-analiz yürüterek e-ticarette nelerin işe yaradığını keşfetmekti. Bu güçlü özete bu şekilde varabildiler: sitenin görünümündeki değişikliklerin gelir üzerinde davranışsal psikolojiye dayalı değişikliklerden çok daha ihmal edilebilir bir etkisi oldu.

Bu etkiyi ölçmek için ziyaretçi başına gelir (RPV) metriği kullanılır. Dolayısıyla, sonuçlarında, bir deneyden elde edilen +%10'luk bir artış, RPV'nin o deneyde %10 arttığı anlamına gelir.

İşte analizden elde edilen diğer bazı bulgular:

• En iyi performans gösterenler (kategoriye göre):
  
  
  • Kıtlık (stok göstergeleri, örneğin, "Yalnızca 3 tane kaldı"): +%2,9
  • Sosyal kanıt (kullanıcıları başkalarının davranışları hakkında bilgilendirme): +%2,3
  • Aciliyet (geri sayım sayaçları): +%1.5
  • Vazgeçme kurtarma (kullanıcılara sitede kalmaları için mesaj gönderme): +%1,1
  • Ürün önerileri (yukarı satışlar, çapraz satışlar vb.): +%0,4
• Ancak, aşağıdakiler gibi kullanıcı arayüzünde yapılan kozmetik değişiklikler etkili olmadı:
  
  
  • Renk (web sayfası öğelerinin rengini değiştirme): +0.0%
  • Düğmeler (web sitesi düğmelerini değiştirme): -%0.2
  • Harekete geçirici mesajlar (metni değiştirme): -%0.3
• Denemelerin %90'ının olumlu veya olumsuz gelir üzerinde %1,2'den az etkisi oldu
• A/B testlerinin gelirde çift haneli artışlara yol açtığına dair çok az kanıt, vaka incelemelerinde yaygın olarak yer alıyor.

Şimdi bekle. Bu meta-analiz sonuçlarını müjde olarak kabul etmeden önce, çevrimiçi deneylerin meta-analizinin sınırlamaları olduğunu bilmelisiniz. Buna daha sonra gireceğiz.

3. Georgi Georgiev tarafından GoodUI.org'da 115 A/B testinin meta analizi

Haziran 2018'de çevrimiçi deney uzmanı ve "Çevrimiçi A/B Testinde İstatistiksel Yöntemler"in yazarı Georgi Georgiev, GoodUI.org'da herkese açık 115 A/B testini analiz etti.

GoodUI.org, yeni keşfedilen UI kalıpları ve Amazon, Netflix ve Google gibi deney odaklı şirketlerin testlerinden öğrendikleri dahil olmak üzere bir dizi deney sonucu yayınlar.

Georgi'nin amacı, A/B testlerinin bir meta-analizini tasarlarken ve yürütürken testlerin ortalama sonuçlarını ortaya çıkarmak ve daha iyi istatistiksel uygulamalar hakkında fikirlere katkıda bulunmak için bu verileri harmanlamak ve analiz etmekti.

İlk veri setini budayarak ve bazı istatistiksel ayarlamalar yaparak başladı. Bunlar şunları kaldırmayı içeriyordu:

• Kontrolü deneyimlemek için gönderilen kullanıcı sayısı ile meydan okuyucuyu deneyimlemek için gönderilen kullanıcı sayısı arasındaki dengesizlikleri olan testler ve
• Tehlikeye atılmış testler (gerçekçi olmayan düşük istatistiksel güçleriyle fark edilir).

Kalan 85 testi analiz etti ve ortalama artış yüzdesinin %3.77 ve medyan artışın %3.92 olduğunu buldu. Aşağıdaki dağılıma bakıldığında, testlerin %58'inin (çoğunluk budur) -%3 ile +%10 arasında gözlemlenen bir etkisi (yükseltme %'si) olduğunu göreceksiniz.

Bunun, şimdiye kadar yapılmış tüm A/B testlerini değil, bu veri setini temsil ettiğini unutmamak önemlidir. Ayrıca, yayın yanlılığını da hesaba katmalıyız (meta-analizin dezavantajlarından biri daha sonra tartışacağız).

Bununla birlikte, bu meta-analiz, dönüşüm oranı optimize edicilere ve diğer optimizasyon paydaşlarına, A/B testinde harici kıyaslamaların ne olduğu konusunda bir fikir sahibi olmaları için yardımcı olur.

Kendi A/B Testi Meta Analizinizi Yürütmekle İlgileniyor musunuz?

Georgi'nin kullandığı aynı veri kümesine erişim elde edersiniz. Platformlar, endüstriler ve farklı temel problemler için gerçekleştirilen A/B testlerinden elde edilen damıtılmış sonuçların bir deposu olan GoodUI.org'da herkese açıktır.

Bunun gibi başka A/B testi sonuçları koleksiyonları da vardır (hatta çok sayıda A/B testi örneğinden ve vaka çalışmalarından veri çekerek kendinizinkini oluşturabilirsiniz) ancak GoodUI benzersizdir. Sörf yapıyorsanız ve vaka çalışmaları topluyorsanız, test hakkında başka türlü elde edilmesi zor olan ek istatistiksel bilgiler alırsınız.

GoodUI'yi benzersiz kılan birkaç şey daha var:

• Deney sonuçlarına göre ayrımcılık yapmaz. John Copas ve Jian Qing Shi'nin “Meta-analiz, huni grafikleri ve duyarlılık analizi”nde belirtildiği gibi, gerçek bir sorun olan meta-analizde yayın yanlılığı ile mücadele etmek için kazanan, sonuçsuz, sabit ve negatif testleri içerir.
  
  Yayın yanlılığı, sonuçları olumsuz veya sonuçsuz olan çalışmalara göre 'önemli' ise küçük çalışmaları yayınlamak için bir tercihtir. Test edilemez varsayımlar yapmadan bunu düzeltemezsiniz.

• GoodUI bir adım daha ileri gider. Çoğu zaman meta-analiz sonuçları araştırma makalelerinde gizlidir. Özellikle aşırı derecede olgunlaşmamış deney ekipleri için pratik uygulamaya neredeyse hiç gitmezler.
  
  GoodUI kalıpları ile meraklı optimize edicilerin gözlemlenen yüzde değişimi, istatistiksel anlamlılık hesaplamaları ve güven aralıklarını incelemesi mümkündür. Ayrıca GoodUI'nin, her bir dönüşüm modeli için her iki yönde de olası "Önemsiz", "Olası", "Önemli" ve "Güçlü" değerleriyle sonucun ne kadar güçlü olduğuna ilişkin değerlendirmesini kullanabilirler. A/B testlerinin meta-analizlerinden elde edilen bilgileri “demokratikleştirdiğini” söyleyebilirsiniz.

• Ancak burada bir sorun var. Meta-analizi rahatsız eden konuların (heterojenlik ve yayın yanlılığı) yanı sıra meta-analiz sonuçlarının meta-analizin kendisinin kalitesine bağlı olduğu gerçeğinin farkında olmayan deneyciler, kalıpları körü körüne kopyalama alanına girebilirler.
  
  Bunun yerine, kendi araştırmalarını yürütmeli ve A/B testlerini yapmalıdırlar. Bunun yapılmaması, geç (haklı olarak) CRO alanında endişe kaynağı olmuştur.

GoodUI gibi bazı testlerde benzer ayrıntılar için inceleyebileceğiniz başka bir A/B testi vaka çalışması kaynağı, GuessTheTest'tir.

Meta-Analiz – Evet veya Hayır

Akıllı bir zihin kalıpları arar. Bir dahaki sefere benzer bir problemle karşılaştığınızda problemden çözüme giden yolu bu şekilde kısaltırsınız.

Bu kalıplar sizi rekor sürede bir cevaba götürür. Bu yüzden deneylerden öğrendiklerimizi alıp bir araya getirebileceğimize ve bir model çıkarabileceğimize inanmaya meyilliyiz.

Ancak deney ekiplerinin yapması tavsiye edilir mi?

Çevrimiçi kontrollü deneylerde meta-analiz lehine ve aleyhine olan argümanlar nelerdir? Her iki dünyanın da en iyisini elde eden bir orta yol bulabilir misiniz?

(Saygılarımızla) farklı bakış açılarına sahip deney dünyasındaki en vokal seslerden ikisine meta-analiz konusundaki görüşleri hakkında sorular sorduk.

Jonny Longden ve Jakub Linowski güvenebileceğiniz seslerdir.

Jakub Linowski

Jonny Longden

Meta-Analiz — Dikkatli mi Yürümek?

Yukarıdaki tartışmada Jonny, CRO uygulayıcılarının dikkatli davranmasını gerektiren çevrimiçi testlerde meta-analiz verilerinin kullanılmasıyla ilgili iki olası soruna işaret etti.

• Sorun 1: Bir sonucu test etmeden kullanma
  “O şirket için işe yaradıysa, bizim için de çalışması gerekir”. Bu, hatalı bir düşünce olarak ortaya çıkabilir, çünkü test etmekle ilgili incelediğiniz sonuçların snippet'ine uymayan nüanslar vardır.
  
  Birkaç test, akıllıca olmayan bir çözüm gösterebilir, ancak bu yalnızca diğer çözümlerden biraz daha iyi çalışma olasılığıdır ve web sitenizde çalışacağına dair kesin bir cevap değildir.

• Sorun #2: Testleri bu kadar kolay sınıflandıramazsınız
  # 1'de belirtildiği gibi, bu sonuçlar testlerin arkasındaki tam, incelikli hikayeyi göstermiyor. Testlerin neden yapıldığını, nereden geldiklerini, web sitesinde daha önce hangi sorunların var olduğunu vb. görmüyorsunuz.
  
  Örneğin, yalnızca ürün sayfasındaki harekete geçirici mesajda bir test olduğunu görürsünüz. Ancak meta-analiz veritabanları, bu kalıplara tam olarak uymasalar da, bunları belirli kalıplara göre sıralayacaktır.

Bu sizin için ne anlama geliyor, bir A/B testi meta-analiz veritabanı kullanıcısı veya öğrenmeleri çıkarmak için kendi meta-analiz veritabanınızı bir araya getiren bir CRO araştırmacısı mı?

Bu, meta-analizin sınırların dışında olduğu anlamına gelmez, ancak kullanırken dikkatli olmalısınız. Ne tür bir önlem almalısınız?

Test Titizliğinden ve Yenilik Peşinden Ödün Vermeyin

Meta-analizin, bulgularda tekrarlanabilirliği sağlamak için deneylerin yoğun bir şekilde kontrol edildiği tıp camiasından gelen istatistiksel bir fikir olduğunu hatırlayın.

Çevre ve gözlemi çevreleyen diğer faktörler, birkaç deneyde tekrarlanır, ancak bu, çevrimiçi deneylerle aynı değildir. Çevrimiçi deneylerin meta analizi, bu farklılıklardan bağımsız olarak verilerini bir araya getirir.

Bir web sitesi, başka bir web sitesinden kökten ve tamamen farklıdır çünkü çok farklı bir kitleye sahiptir ve çok farklı şeyler olmaktadır. Nispeten benzer görünse bile, aynı ürün olsa bile, o zaman yine de milyonlarca yönden tamamen ve tamamen farklıdır, bu yüzden onu kontrol edemezsiniz.

Jonny Longden

Diğer sınırlamaların yanı sıra bu, gerçek meta-analiz olarak adlandırmamıza izin verilen şeyin kalitesini etkiler.

Bu nedenle, testlere ve testlerin meta analizine giren istatistiksel güç seviyesinden emin olmadığınız durumlarda, Shiva Manjunath'ın önerdiği gibi yalnızca çok dikkatli kullanabilirsiniz.

Meta-analizin amacı rakipleri kopyalamak olmamalıdır. Meta-analizden doğrudan kopyalamaya geçiş, güvenilirliğin sınırlarını zorluyor. “Kopyalama”nın ardındaki niyette nüanslar vardır, bu yüzden bu neredeyse siyah beyaz bir durum değildir.

Deborah'ın yukarıdaki gönderisine yapılan yorumlar çeşitliydi. Bir dereceye kadar kopyalamak sorun değil, ancak aşırıya kaçmak tehlikelidir:

Jakub'un da kabul ettiği gibi, özellikle deneylerle gözlemlediğimiz kalıpları doğrulamak söz konusu olduğunda, kopyalama konusunda dikkatli olmalıyız.

Ancak, karşı durmamız gereken şey, deneyi metalaştırmaktır . Diğer bir deyişle, duruma özgü verilerin söyleyeceklerini iltifat etmek yerine, deneydeki araştırmaların yerini alacak en iyi uygulamalar olarak meta-analizden gelen kalıpları ve içgörüleri kullanmak.

Bu nedenle, çözmek istediğiniz sorunu anlayarak başlayın ve başarılı olma olasılığı en yüksek olan müdahale türünü belirleyin. Eski deneme verilerinin meta analizinin benzersiz bir optimizasyon stratejisini en iyi desteklediği yer burasıdır.

Meta-Analiz — Deney Volanını Yağlamak mı?

Deney volanı, momentumu geri dönüştürmenin bir yoluna sahiptir. İlk kez deney yaparken, bir şeyleri harekete geçirmek için çok fazla atalete ihtiyacınız var.

Deneme volanı ile ilgili fikir, daha fazla test yapmak ve tekrar gitmek, daha iyi ve daha iyi olmak, daha fazla test yapmak için bu momentumdan yararlanmaktır.

İşte bu noktada meta-analiz yardımcı olabilir. Volanda:

1. Hipotezlerinizi umutla doğrulamak için testler yaparsınız (ve belki de bu süreçte bazılarını reddedersiniz).
2. Karar vermeye kattıkları değeri ölçün.
3. A/B testi için daha fazla ilgi ve katılımı teşvik edin.
4. A/B testi altyapısına ve verilerinizin kalitesini artırmaya yatırım yapın.
5. Bir sonraki adımın önceki turdan daha az çabayla başlaması için A/B testinin insan maliyetini düşürün.

Ancak veri odaklı bir kuruluş olarak, A/B testinin gücünü tanıdığınız için burada durmazsınız. Bunun yerine, daha fazla hipotezi doğrulamak veya reddetmek için ilk deneme yatırımınızı geliştirmek istiyorsunuz.

Başlangıç ​​için bu içgörü veya bilgi yoksa, volanı harekete geçirmek için gereken atalet çok büyük olacaktır. Bu bilgiyi paylaşmak (A/B test verilerini demokratikleştirmek) ilham verir ve bilgi engelini azaltarak diğerlerinin deneysel bir yaklaşım benimsemesini sağlar.

Bu bizi meta-analizin deney volanını nasıl yağladığına dair 1 numaralı noktaya getiriyor:

1. Meta-analiz, fikirleri varsayma süresini kısaltabilir.
   Kolayca yeni hipotezler oluşturmak için önceki testlerden öğrendiklerinizi, içgörüleri ve hepsini alabilirsiniz. Bu, yaptığınız testlerin sayısını artırır ve A/B test çarkını hızlandırmanın mükemmel bir yoludur.
   
   Halihazırda yerleşik kalıpları yeniden yapmak için daha az zaman harcıyoruz ve önceki deneylerde öğrendiklerimize dayanarak yeni yollar oymak için daha fazla zaman harcıyoruz.

2. Meta-analiz, geçmiş verilerle daha iyi tahmin oranlarına yol açabilir.
   Geçmişteki deneye dayalı öğrenmenin deney çarkının daha hızlı dönmesini sağlamanın bir başka yolu, yeni hipotezleri bilgilendirmek için mevcut verilerle birleştirildiği zamandır.
   
   Bu, bir A/B testinde gözlemlenen etkinin geleceğe nasıl yayılacağını potansiyel olarak iyileştirir.
   
   %95 anlamlılık düzeyindeki testler için yanlış keşif oranı (FDR) %18 ile %25 arasında olduğundan, bir A/B testi dağıtmak istediğiniz sonucu görmenizin garantisi değildir. Ve bu sonuca yol açan incelenen testlerin sadece% 70'i yeterli güce sahipti.
   
   Yanlış keşif oranı, aslında boş etkiler olan önemli A/B testi sonuçlarının oranıdır. Yanlış pozitif veya tip I hata ile karıştırılmamalıdır.

3. Son olarak, meta-analiz, temelde sonuçsuz olan test sonuçlarına güven oluşturmanın bir yolu olabilir.
   Güven seviyeleri, test sonuçlarınızın tamamen şans eseri olmadığına güvenmenize yardımcı olur. Yeterince sahip değilseniz, bu testi “sonuçsuz” olarak etiketleme eğiliminde olabilirsiniz, ancak bu kadar acele etmeyin.
   
   Neden? Niye? İstatistiksel olarak, önemli bir sonuç elde etmek için önemsiz p değerleri toplayabilirsiniz. Aşağıdaki gönderiye bakın:

Meta-analizin iki büyük faydası vardır: 1) Etki tahminlerinin doğruluğunu artırır ve 2) bulguların genellenebilirliğini artırır.

Kaynak: İyi, kötü ve çirkin: Madelon van Wely'nin meta-analizleri

Bir meta analizin hem etki büyüklüğünü hem de anlamlılık düzeylerini ayarladığı ve düzelttiği göz önüne alındığında, bu tür daha yüksek standart sonuçlar, aşağıdakiler dahil olmak üzere diğer deney(ler)i kullandığı şekilde kullanılabilir:

1) Kendi deneyleri için güç hesaplamaları/örnek büyüklüğü tahminleri yapmak (sübjektif tahminler yerine gerçek verileri kullanarak)

2) yararlanma-deney kararı vermek. Birinin ek güvene ihtiyaç duyduğu durumlarda, kendi ek deneylerini yürütmeye karar verebilirler. Birisinin meta-analizden elde edilen kanıtları yeterince güçlü bulduğu durumlarda, ek deneyler çalıştırmadan daha erken harekete geçebilirler.

Jakub Linowski

Meta-analizin deney programınızın daha fazla ivme kazanmasına yardımcı olabileceği tüm yollarla birlikte, iyi bilinen bazı sınırlamalardan muzdarip olduğunu akılda tutmak önemlidir.

Meta-Analiz Yapmayı (ve Kullanmayı) Seçerseniz – Aşağıdakileri Aklınızda Bulundurun

Evet, deney sonuçlarını meta-analitik yöntemlerle birleştirmek istatistiksel kesinliği artırabilir, ancak bu, ilk veri kümesindeki temel sorunları ortadan kaldırmaz, örneğin…

Analize Dahil Edilen Deneylerin Düşük Kalitesi

Meta-analize dahil edilen deneyler kötü kurulmuşsa ve istatistiksel hatalar içeriyorsa, meta-analist ne kadar doğru olursa olsun, geçersiz sonuçlar alacaktır.

Belki A/B testlerinde eşit olmayan bir örnek boyutu dağılımı vardı, güç veya örnek boyutu yetersizdi ya da gözetleme kanıtı vardı - durum ne olursa olsun, bu sonuçlar kusurlu.

Bu sınırlamayı aşmak için yapabileceğiniz şey, test sonuçlarınızı dikkatli bir şekilde seçmektir. Veri kümenizden şüpheli sonuçları ortadan kaldırın. Ayrıca, dahil etmeyi seçtiğiniz testler için istatistiksel anlamlılığı ve güven aralıklarını yeniden hesaplayabilir ve yeni değerleri meta-analizinizde kullanabilirsiniz.

heterojenlik

Bu, ilk etapta aynı kovaya konmaması gereken test sonuçlarını birleştiriyor. Örneğin, testleri gerçekleştirmek için kullanılan metodoloji farklılık gösterdiğinde (Bayesian ve Frequentist istatistiksel analiz, A/B test platformuna özgü farklılıklar vb.).

Bu, analistin bilerek veya bilmeyerek çalışmalar arasındaki temel farklılıkları görmezden geldiği meta-analizin yaygın bir sınırlamasıdır.

Heterojenlikle mücadele etmek için ham nicel verilere bakabilirsiniz. Test sonuçlarının sadece özetini birleştirmekten daha iyidir. Bu, verilere erişiminiz olduğunu varsayarak her A/B testinin sonuçlarını yeniden hesaplamak anlamına gelir.

Yayın yanlılığı

'Dosya çekmecesi sorunu' olarak da bilinen bu, meta-analizdeki en kötü bilinen sorundur. Herkese açık veriler üzerinde bir meta-analiz yürütürken, yayınlanmasına neden olan sonuçları bir havuzda toplamakla sınırlısınız.

Peki ya başaramayanlar? Yayınlar genellikle istatistiksel olarak anlamlı olan ve önemli bir tedavi etkisinin olduğu sonuçları tercih eder. Bu veriler meta-analizde temsil edilmediğinde, sonuçlar yalnızca yayınlananları gösterir.

Huni grafikleri ve ilgili istatistiklerle yayın yanlılığını tespit edebilirsiniz.

Peki, vaka çalışmalarına veya A/B testi meta-analiz veritabanlarına ulaşamayan A/B testlerini nereden bulacaksınız? A/B test platformları, sonuçlardan bağımsız olarak testler hakkında veri sağlamak için en iyi konumdadır. Bu makaledeki örnek 1 ve 2'nin şanslı olduğu yer burasıdır.