Doğru A/B Test Sonuçları için Numune Boyutu Kirliliği Nasıl Azaltılır

Testinizi planlamak için saatler harcadınız.

Ekibiniz bir hipotez oluşturur.

Testi yaparsınız ve sonuçları beklersiniz.

Ancak testinizin başarısız olduğunu gördünüz. Sonuçlar lekelendi. Ama nasıl?

Kendini hırpalama. Test dünyasında, numune boyutu kirliliği adı verilen küçük, kirli bir sır vardır.

Örnek kitlenizin kirliliği, bilmeden testlerin daha başlamadan bitmesine neden olabilir.

Testlerin başarısız olmasının olası nedenlerinin uzun bir listesi vardır, ancak en sinir bozucu olanlardan biri örneklem büyüklüğü kirliliğidir.

Bu makale anlamanıza yardımcı olacaktır:

• Numune boyutu kirliliği neden oluşur?
• Testinizin kirli olup olmadığını nasıl anlarsınız.
• Numune boyutu kirliliğinin oluşmasını en aza indirmek için atılacak adımlar.

Bir bakalım…

Örnek Boyutu 101

Örnek Boyutunun Tanımı

Örnek boyutu hesaplayıcısı veya CXL örnek boyutu hesaplayıcısı sunan Convert'in A/B test süresi hesaplayıcısı gibi araçları kullanabilirsiniz.

Çoğu çevrimiçi hesap makinesinin kullanımı kolaydır. Convert'in hesaplayıcısıyla yalnızca üç değeri girmeniz gerekir:

• Mevcut Dönüşüm Oranı
• Beklenen İyileştirme
• Güven seviyesi

Örnek:

İki varyasyonu %95 güven düzeyinde test ederken mevcut dönüşüm oranı %3 ve beklenen gelişme %20 ise, güvenilir sonuçlar elde etmek için 42.034 örneklem büyüklüğüne ihtiyacınız olacaktır. Bu test grubuna günde 2.000 ziyaretçi geldiğinde, süre hesaplayıcımıza göre 22 gün sürecektir.

Numunenizde Kimin Olacağını Belirleyin

Bu “KİM?” sorusunu yanıtlamanın en kolay yolu. veya segment, mevcut web sitesi ziyaretçilerinizin demografik bilgilerini ve kaynaklarını gözden geçirerek yapılır. İpuçları için mevcut verilere dokunun. Onlar kim? Nereden geliyorlar?

Deneyleri Dönüştür gibi araçlar, aslında web sitenizin ziyaretçilerinin belirli bir bölümünü kullanarak test etmenize ve özel kitleler oluşturmanıza olanak tanır.

Birkaç faktör, 'kim'i gizlemenize yardımcı olabilir:

• Trafik Türü
  Sezonluk trafik alıyor musunuz? Yaklaşan tatillere bağlı olarak ziyaretçi akını bekliyor musunuz? Trafik numaralarınız haftanın gününe göre dalgalanıyor mu?
  
• Trafik kaynağı
  Trafiğiniz nereden geliyor? İnsanlar sitenize girdikleri kaynağa göre farklı davranırlar. Örneğin, LinkedIn'den gelen bir ziyaretçi, sitenizle Facebook'tan gelen biri gibi etkileşimde bulunmayabilir.
  
  Kaynağa dayalı olarak ziyaretçi katılımına ilişkin bir genel bakış elde etmek için Google Analytics'i inceleyin.

• Yeni ve Eski
  İstatistikler, geri gelen ziyaretçilerin sitenizde yeni ziyaretçilerden daha uzun süre kaldığını gösteriyor. Bunun testinizi nasıl etkileyeceğini düşünün.

Bu değerlendirme aşamasının amacı, temsili örnekler oluşturmanıza yardımcı olmaktır.

Anket Araştırma Yöntemleri Ansiklopedisi, temsili örnekleri şu şekilde tanımlar:

Temsili bir örneklem, örneğin temsil etmesi amaçlanan hedef kitle ile ilgili olarak güçlü dış geçerliliğe sahip olan bir örnektir. Bu nedenle, anketten elde edilen bulgular, ilgili popülasyona güvenle genellenebilir.

Temsili bir örneğiniz olduğundan emin olmak için Convert, en az bir iş döngüsü için bir test çalıştırmanızı önerir. Bu, testinizin bir döngü içinde meydana gelebilecek ziyaretçi farklılıklarını hesaba katmak için zamana sahip olmasını sağlar.

Numune Boyutu Kirliliği Nedir?

Artık örnek boyutunun ne olduğunu anladığınıza göre, örnek boyutunuzu bozabilecek faktörleri keşfedebilir ve testinizi mahvedebilirsiniz. Örneklem büyüklüğü geçerliliği bu şekilde etkiler. Test sonuçlarını olumsuz etkileyen numune boyutu faktörleri, numune boyutu kirliliği olarak bilinir.

Invespcro, numune kirliliğini şu şekilde tanımlar:

“…testinizi gerçekleştirirken kullanılan örnekleri veya verileri etkileyerek A/B testi verilerinizi geçersiz kılan faktörler.”

Bu sorun daha yaygındır. Şu şikayete bakın:

Önyargılı Örnek

Çoğu durumda, rastgele bir örnekleme istersiniz; bu, web sitenizin her ziyaretçisinin, paketlenmeden önce belirli bir varyasyonu görme şansının aynı olduğu anlamına gelir. Bir kovaya yerleştirildiğinde, kullanıcı test süresince aynı varyantı görecektir.

Ancak, rastgeleleştirmeyi iyi yapmayan bir A/B test aracı kullanırsanız, rastgeleleştirme garanti edilmez ve testi geçersiz kılabilir.

Önyargılı örneklemeyle mücadele etmenin basit bir yolu, rasgeleleştirme ve kovalamayı doğru şekilde gerçekleştiren Convert gibi iyi bir A/B test aracı kullanmaktır. Rastgeleleştirmenin düzgün çalışıp çalışmadığını kontrol etmek için testinize bir A/A testi ile başlayın.

Testinizin ayrıntılarını düşünürken örnek yanlılığının potansiyelinin farkında olmak istersiniz.

Örnek Boyutu Kirliliğine Neden Olan Kaynaklar

Dört yaygın örnek kirliliği türü vardır: zamanlama, cihaz, tarayıcı ve tanımlama bilgisi.

Her birine bakalım…

Zamanlama

Testinizin uzunluğu, sonuçlarınızın geçerliliğini etkiler. Bu nedenle, “A/B testimi ne kadar süreyle çalıştırmalıyım” sorusunun yaygın bir soru olması şaşırtıcı değil.

CRO profesyonellerinin, kabul edilebilir bir kıyaslamanın ne olduğu konusunda çelişkili fikirleri vardır. Aslında, test değişkenleriniz testinizin uygun uzunluğunu sağlamalıdır.

Basit bir çözüm, testinizin çalışmasına, çalışmasına ve çalışmasına izin vermek gibi görünebilir. Ancak bu da sorunlara neden olabilir. Ek süre, dış etkenlerden kaynaklanan potansiyel kirlilikte bir artış anlamına gelir.

Tatlı noktayı bulmak istiyorsun.

Testin uzunluğuyla ilgili bir diğer yaygın hata, testi çok erken durdurmaktır. Bu, numune boyutu kirliliğine yol açmayabilir, ancak testinizi olumsuz etkileyebilir.

Aynısı, istatistiksel anlamlılığa ulaştığınızda testi durdurursanız da geçerlidir. Geçerli bir test için, aynı zamanda istediğiniz MDE (Minimum Tespit Edilebilir Etki) için hesapladığınız örnek büyüklüğüne de ulaşmalıdır.

Benzer şekilde, çalışan bir testin bir varyantını asla durdurma. Bu felaket kirliliğine neden olacaktır. "Durduruldu" değişkenini "her zaman çalışıyor" kontrolüyle karşılaştıramazsınız. “Elmayı elmayla” karşılaştırmanın hiçbir yolu yoktur. Bir testte bir varyantı asla durdurmayın ve daha sonra yeniden başlatmayın.

Veriler, numune boyutu miktarı için tutarlı olana kadar testlerinizi kesintiye uğratmayın.

Çerez Kirliliği

Çerezler, numune boyutu kirliliğinin en sinsi biçimine neden olabilir.

Techopedia'nın tanımına göre çerezler şunlardır:

Çerez, bir Web tarayıcısının kullanıcının makinesinde sakladığı bir metin dosyasıdır. Çerezler, Web uygulamalarının uygulama durumunu korumanın bir yoludur. Web siteleri tarafından kimlik doğrulama, web sitesi bilgilerini/tercihlerini, diğer tarama bilgilerini ve Web sunucularına erişirken Web tarayıcısına yardımcı olabilecek diğer her şeyi depolamak için kullanılırlar. HTTP tanımlama bilgileri, tarayıcı tanımlama bilgileri, Web tanımlama bilgileri veya HTTP tanımlama bilgileri dahil olmak üzere birçok farklı adla bilinir.

Pazarlamacılar olarak çerezler, ziyaretçilerinizin sitenizdeki davranışlarını izlemenize olanak tanır.

Çerezlerin ömrü değişkendir. Ziyaretçiler onları en ufak kaprislerinde silebilir.

Testiniz ne kadar uzun süre çalışırsa, çerezlerin silinmesine karşı o kadar savunmasız olursunuz - yine başka bir örnek boyutu kirliliğine yol açar. Bu fenomeni azaltmak için Convert, müşterilere testleri 90 günden fazla sürmemelerini tavsiye ediyor.

Cihaz Kirliliği

Ziyaretçiler sitenizi birden fazla cihazdan ziyaret eder: mobil, dizüstü bilgisayarlar, tabletler, masaüstü bilgisayarlar ve hatta akıllı saatler.

Sadece tarama davranışınızı düşünün. Spor salonlarındayken mobil cihazınızda bir şey fark edebilirsiniz. Günün ilerleyen saatlerinde web sitesini masaüstü bilgisayarınızda tekrar ziyaret edebilirsiniz.

Bu, A/B testinizin sınırları içinde gerçekleşirse, aslında aynı kişi iki farklı cihazdan göz atarken sitenizi iki farklı kişinin ziyaret ettiği görünebilir.

Test çabalarınız için daha da tehlikeli olan, aynı kişinin her cihazda farklı bir varyant görmesidir.

Bunun tersi bir örnek var. Web sitenizi ziyaret etmek için iki kişi aynı cihazı kullandığında ne olur?

Aynı evde yaşayan iki kardeş düşünün. Bir masaüstü bilgisayarı paylaşıyorlar. İkisi de tatile hazırlanıyor ve yeni tişört ve ayakkabı sipariş etmeleri gerekiyor. Ziyaretleri sırasında e-ticaret sitesinde bir A/B testi çalışıyorsa, veriler bu iki kişiyi tek bir kullanıcı olarak gösterecek ve yine örneklem büyüklüğünüzü bozacaktır.

Tarayıcı Kirliliği

Ortalama bir kişi çevrimiçi olduğunda, A/B testinde aynı web sitesini ziyaret etmek için farklı tarayıcılar kullanarak sonuçları düşünmezler. Ancak Safari ve ardından Chrome gibi bir tarayıcıdan diğerine aynı web sitesine gitmek, birden fazla cihazda meydana gelen benzer örnek boyutu kirliliğine yol açabilir.

Bununla birlikte, çoğu insan cihaz başına tercih edilen bir tarayıcı kullanmaya devam edeceğinden, bu belirli kirlilik biçimi nadirdir.

Yeni Tehlikeler

Tarayıcılar, cihaz türü, çerezler ve testlerin uzunluğu en yaygın örnek boyutu kirleticilerdir, ancak konuşmaya yeni bir kirletici giriyor gibi görünüyor. Endüstri uzmanları, örnek boyutu kirliliği yaratan Botlardan şikayet ediyor.

Neyse ki Convert'te, bir sorun olmayacak şekilde aracımıza yerleştirilmiş güçlü bot azaltma önlemlerimiz var.

Numune Boyutu Kirliliğinin Nasıl Azaltılacağına İlişkin İpuçları

Örnek Boyutu Kirliliği önemli bir sorun olduğundan, birçok şirket, kullanıcıları konuma göre farklı gruplara yerleştirmek gibi yaratıcı düzeltmeler bulmuştur.

Ancak bu tür taktikler, "kullanıcı rastgeleliği" testlerini ortadan kaldırabilir ve test sonuçlarının geçerli olduğuna dair güveninizi azaltabilir.

Aşağıda örnek kirliliği olasılığını azaltmak için yapabileceğiniz birkaç şey bulunmaktadır:

• Ayrı cihazlar için testi çalıştırın.
• Ayrı tarayıcılar için testi çalıştırın.
• Kalıpları tanımlayın. Verileriniz geçmişte nasıl görünüyordu? Test sırasında benzer olmalıdır – veri tutarlılığı.

İşte dikkate alınması gereken birkaç şey daha…

Varyansı Anlayın

Varyans ve standart sapma tutarlılıkla el ele gider. Esasen, sayılarınızın ortalamadan ne kadar uzakta olduğunu size söyleyeceklerdir. Düşük varyans, verilerinizin ortalamayla tutarlı olduğu anlamına gelir ve bu da sizi daha düşük kirlilik riskine sokar.

Matematiği kendiniz yapabilirsiniz veya sadece basit bir standart sapma hesaplayıcısı kullanabilirsiniz.

Olası Örnekleme Sorunlarının Farkında Olun

A/B testiyle ilgili, örnek boyutu kirliliği olasılığı da dahil olmak üzere, doğal sorunlar vardır.

Potansiyel örnek boyutu sorunlarına ilişkin bilgi, test hedeflerinizi seçerken, tedaviler oluştururken ve deneyler yürütürken daha iyi seçimler yapmanızı sağlar.

Artık Örnek Kirliliği Yenebilirsiniz

İyi test uygulamaları, projelerinize neyin yanlış gidebileceğini tam olarak anlayarak başlamanız anlamına gelir.

Numune boyutu kirliliği, A/B testleri yaptığınızda deneyimlenen negatif bir yan üründür. Sizin göreviniz bu olumsuz etkileri olabildiğince azaltmak ve böylece başarılı bir test yaptırabilmek.

Unutmayın, hafifletme testiniz başlamadan önce gerçekleşir.

Tümü karmaşık testleri destekleyen basit bir platformda size testleri bölümlere ayırma, sinir bozucu botlarla mücadele etme, iyi rastgeleleştirme teknikleri kullanma yeteneği veren Convert gibi sağlam bir araç kullanın.

Deneme stratejiniz ve yazılımınızın gücü, numune boyutu kirliliğini en aza indirmede fark yaratacaktır.

Artık testinizdeki bu potansiyel kör noktayı bildiğinize göre, sizi korkutamaz.