Sitenizde Yapabileceğiniz Tüm Farklı Test Türleri (+ Ne Zaman Çalıştırılmalı)

Deney dünyası çoğunlukla basit düğme rengi A/B testlerinin ötesine geçti.

Yürüttüğünüz deney portföyünde onların yeri olabilir, ancak umarız bu noktada deney veya CRO ile eş anlamlı değildirler.

Deney çok daha büyük olabilir.

Farklı deney türlerini kullanarak web sitelerimizdeki farklılıklar hakkında bilgi edinebilir, yeni deneyimleri test edebilir, yeni sayfa yollarını ortaya çıkarabilir, büyük sıçramalar veya küçük adımlar atabilir ve bir sayfadaki en uygun öğe kombinasyonunu belirleyebiliriz.

Bir deneyden öğrenmeyi umduğunuz şey, tasarımına yansıtılmalıdır ve deneylerin tasarımı, somut bir hipotez kullanarak A'yı B'ye karşı test etmenin ötesine geçer.

Aslında, bunu kapsayan deney tasarımı (DoE) olarak bilinen bir çalışma alt alanı var.

Deney Tasarımı: Deneysel Tasarıma Giriş

Deney Tasarımı (DoE), bir süreci etkileyen faktörler ile o sürecin çıktısı arasındaki ilişkiyi belirlemek için kullanılan bilimsel bir yöntemdir.

Deneylerin Tasarımı, 1920'lerde ve 1930'larda istatistikçi Ron Fisher tarafından popüler hale getirilen bir kavramdır.

DoE, girdileri sistematik olarak değiştirerek ve çıktıda ortaya çıkan değişiklikleri gözlemleyerek farklı girdi değişkenlerinin bir süreç çıktısını nasıl etkilediğini anlamamızı sağlar. Bu yaklaşım, bir süreci optimize etmek, yeni ürünler veya özellikler geliştirmek veya hangi öğelerin birbiriyle bağlantılı olarak en iyi şekilde çalıştığını öğrenmek için kullanılabilir.

Pazarlamada, bir sayfadaki farklı öğelerin (faktörler) dönüşüm oranlarını (çıktı) nasıl etkilediği konusundaki anlayışımızı geliştirmek için DoE kullanıyoruz. Denemeleri etkili bir şekilde tasarlayarak, hangi öğelerin dönüşüm oranları üzerinde en büyük etkiye sahip olduğunu belirleyebiliriz.

Pek çok farklı deney türü vardır ve her tür, web siteniz veya uygulamanız hakkında farklı şeyler öğrenmek için kullanılabilir.

Bu yazıda, 16 tür deneyi ele alacağım.

Nitpicker'lar, bunların hepsinin temelde farklı deneysel tasarımlar olmadığını not edebilir; daha ziyade, hipotezinizi nasıl oluşturduğunuza veya deneyi yürütme nedenlerinizin altında hangi çerçevelerin yattığına bağlı olarak bazıları farklı "türler"dir.

Ayrıca bazıları tam anlamıyla “deneyler” değil, daha çok makine öğrenimi modelleri üzerine kurulu optimizasyon kurallarıdır.

Yine de, aşağıdakilerin her birinin ayrı bir amacı vardır ve bir deneycinin araç setinde benzersiz bir araç olarak görülebilir.

1. A/A Testi

A/A testi basit bir kavramdır: Bir sayfanın aynı olan iki sürümünü test ediyorsunuz.

Neden bunu yaptın?

Temel olarak kalibrasyon peşinde olmak ve test aracınızın altında yatan verileri, kullanıcı davranışını ve rastgeleleştirme mekanizmalarını anlamak için birçok neden vardır. A/A testi size şu konularda yardımcı olabilir:

• Verilerinizdeki varyans düzeyini belirleyin
• Test aracınızdaki örnekleme hatalarını belirleyin
• Temel dönüşüm oranları ve veri kalıpları oluşturun.

A/A testleri yapmak garip bir şekilde tartışmalıdır. Bazıları bunun üzerine yemin ediyor. Bazıları bunun zaman kaybı olduğunu söylüyor.

benimki mi? Yukarıda belirtilen tüm nedenlerden dolayı muhtemelen en az bir kez çalıştırmaya değer. A/A testleri yapmayı sevmemin bir başka nedeni de yeni başlayanlara istatistikleri açıklamak.

Birine iki gün boyunca toplanan verilerle "önemli" bir deney gösterdiğinizde, ancak daha sonra bunun bir A/A testi olduğunu ortaya çıkardığınızda, paydaşlar genellikle neden bir deneyi tamamlamak için çalıştırmanız gerektiğini anlarlar.

A/A testi hakkında daha fazla bilgi edinmek istiyorsanız (aslında bu çok büyük bir konu), Convert'in bunlarla ilgili ayrıntılı bir kılavuzu var.

2. Basit A/B Testi

Herkes basit bir A/B testinin ne olduğunu bilir: Bir sayfanın iki versiyonunu test ediyorsunuz, biri değişiklikli diğeri değişikliksiz.

A/B testleri, denemenin ekmek ve tereyağıdır. Kurulumu ve anlaşılması kolaydır, ancak büyük değişiklikleri test etmek için de kullanılabilirler.

A/B testleri en yaygın olarak bir kullanıcı arayüzündeki değişiklikleri test etmek için kullanılır ve basit bir A/B testinin amacı neredeyse her zaman belirli bir sayfadaki dönüşüm oranını iyileştirmektir.

Bu arada dönüşüm oranı, yeni ürün kullanıcılarının etkinleştirme oranı, freemium kullanıcılarının para kazanma oranları, web sitesinde olası satış dönüşüm oranları ve tıklama oranları gibi her türlü oranı kapsayan genel bir ölçümdür.

Basit bir A/B testiyle, tekil bir hipoteziniz olur ve değişikliğinizin nedensel unsurları hakkında olabildiğince çok şey öğrenmek için her seferinde bir öğeyi değiştirirsiniz. Bu, başlık değişikliği, düğme rengi veya boyutu değişikliği, video ekleme veya kaldırma veya gerçekten herhangi bir şey olabilir.

“A/B testi” dediğimizde, bu yazıda listeleyeceğim deney türlerinin geri kalanının çoğunu kapsayacak şekilde çoğunlukla genel bir terim kullanıyoruz. Genellikle "bir metriği iyileştirmek için *bir şeyi* - büyük, küçük veya birçok öğeyi - değiştirdik" anlamında bir şemsiye terim olarak kullanılır.

3. A/B/n Testi

A/B/n testleri, A/B testlerine çok benzer, ancak bir sayfanın iki sürümünü test etmek yerine birden çok sürümünü test ediyorsunuz.

A/B/n testleri, bazı yönlerden çok değişkenli testlere benzer (ki bunu daha sonra keşfedeceğim). Bununla birlikte, "çok değişkenli" bir test yerine, bunları çok değişkenli bir test olarak düşünürdüm.

Çok değişkenli testler, bir sayfadaki farklı öğeler arasındaki ilişkileri anlamak için kullanışlıdır. Örneğin, bir ürün sayfasında farklı başlıkları, resimleri ve açıklamaları test etmek ve hangi kombinasyonların en iyi etkileşime girdiğini görmek istiyorsanız, çok değişkenli bir test kullanırsınız.

A/B/n testleri, tek bir öğenin birden çok sürümünü test etmek için kullanışlıdır ve öğeler arasındaki etkileşim etkilerini fazla önemsemez.

Örneğin, bir açılış sayfasında üç farklı başlığı test etmek istiyorsanız, bir A/B/n testi kullanırsınız. Veya sayfanın tamamen farklı yedi sürümünü test edebilirsiniz. Bu, yalnızca ikiden fazla deneyimin test edildiği bir A/B testidir.

A/B/n testleri, çok fazla trafiğiniz olduğunda ve birkaç değişkeni verimli bir şekilde test etmek istediğinizde sağlam seçeneklerdir. Tabii ki, istatistiklerin birden fazla değişken için düzeltilmesi gerekiyor. Bir A/B/n testine kaç değişkenin dahil edilmesi gerektiği konusunda da çok fazla tartışma var.

Çoğu zaman, birden fazla basit A/B testinde yinelemeli olarak test etmek yerine, birkaç deneyimi aynı anda test ederken daha orijinal ve yaratıcı varyantları zorlayabilirsiniz.

4. Çok Değişkenli Test

Çok değişkenli test, birden çok değişiklik içeren bir deneydir. Bir A/B/n testinin her bir varyantın bileşik versiyonlarını diğer varyanta karşı test ettiği durumlarda, çok değişkenli bir test de test edilen öğeler arasındaki etkileşim etkilerini belirlemeyi amaçlar.

Örneğin, bir ana sayfayı yeniden tasarladığınızı hayal edin. Dönüşüm araştırması yaptınız ve başlığınızla ilgili netlik sorunlarını ortaya çıkardınız, ancak CTA'nızdaki kontrast ve netlik düzeyiyle ilgili bazı hipotezleriniz de var.

Yalnızca bu iki öğenin her birini ayrı ayrı geliştirmekle ilgilenmiyorsunuz, aynı zamanda bu öğelerin performansı da büyük olasılıkla bağımlıdır. Bu nedenle, hangi yeni başlık ve CTA kombinasyonunun en iyi sonucu verdiğini görmek istersiniz.

Çok değişkenli bölgeye girdiğinizde deney tasarımı çok daha karmaşık hale gelir. Tam faktöriyel tasarım, kısmi veya kesirli faktöriyel tasarım ve Taguchi testi dahil olmak üzere birkaç farklı çok değişkenli deney düzeneği türü vardır.

Ve istatistiksel bir sağduyu meselesi olarak, çok değişkenli testler neredeyse kesinlikle basit A/B testlerinden daha fazla trafik gerektirir. Değiştirdiğiniz her ek öğe veya deneyim, geçerli bir sonuç için ihtiyaç duyduğunuz trafik miktarını artırır.

5. Hedefleme Testi

Daha iyi kişiselleştirme olarak bilinen hedefleme testleri, doğru zamanda doğru kişiye doğru mesajı göstermekle ilgilidir.

Hedefleme testi ile bir sayfanın farklı versiyonlarını oluşturabilir ve her versiyonu farklı bir grup insana gösterebilirsiniz. Amaç genellikle her kullanıcıya alakalı içerik göstererek dönüşüm oranlarını artırmaktır.

Kişiselleştirme ve denemenin eş anlamlı olmadığını unutmayın. Bir deneyimi, bir deney olarak ele almadan kişiselleştirebilirsiniz. Örneğin, sıfır veriyle veya veri toplama niyetiyle, mesajları alıcının adıyla kişiselleştirmek için e-postalarınızda bir ad belirteci kullanacağınıza karar verebilirsiniz.

Kişiselleştirme? Evet. Deney mi? Numara.

Ancak belirli kullanıcı segmentlerini hedefleyen denemeler de yapabilirsiniz. Bu, özellikle kohortları fiyatlandırma katmanlarına, kayıt zamanlarına, kayıt kaynaklarına vb. göre ayırabileceğiniz ürün denemelerinde yaygındır.

Aynı istatistikler kişiselleştirme deneyleri için de geçerlidir, bu nedenle hedeflenecek anlamlı segmentler seçmek önemlidir. Çok ayrıntılı hale gelirseniz (örneğin 5 ila 6 oturumu olan Kansas kırsalındaki mobil Chrome kullanıcılarını hedeflemek) etkiyi yalnızca istatistiksel olarak ölçmek imkansız olmakla kalmaz, aynı zamanda anlamlı bir iş etkisi olması da olası değildir.

Kişiselleştirme tipik olarak basit A/B testinin doğal bir uzantısı olarak görülür, ancak birçok yönden bir ton yeni karmaşıklık getirir. Kullandığınız her yeni kişiselleştirme kuralı için bu, kullanıcılarınızın yönetmesi, güncellemesi ve optimize etmesi için oluşturduğunuz yeni bir "evren"dir.

Tahmine dayalı kişiselleştirme araçları, hedef segmentlerin yanı sıra onlarla daha iyi sonuç veren deneyimleri belirlemenize yardımcı olur. Aksi takdirde, kişiselleştirme kuralları genellikle test sonrası segmentasyon yapılarak belirlenir.

6. Eşkıya Testi

Bir haydut testi veya haydut algoritmaları kullanmak biraz tekniktir. Ancak temelde A/B testlerinden farklıdırlar çünkü kullanıcılara hangi varyantın gösterileceğini sürekli olarak öğrenirler ve değiştirirler.

A/B testleri tipik olarak "sabit ufuklu" deneylerdir (sıralı test kullanmanın teknik uyarısı ile), yani testi çalıştırırken bir deneme süresi önceden belirlersiniz. Tamamlandığında, yeni varyantı kullanıma sunmaya veya orijinaline geri dönmeye karar verirsiniz.

Haydut testleri dinamiktir. Performansına bağlı olarak her bir değişkene trafik tahsisini sürekli olarak güncellerler.

Teori şu şekildedir: bir kumarhaneye girersiniz ve birkaç slot makinesine (çok silahlı haydutlar) rastlarsınız. Her makinenin farklı ödülleri olduğunu varsayarsak, haydut problemi “hangi makinelerin oynayacağına, her makineyi kaç kez oynayacağına ve hangi sırayla oynayacağına ve mevcut makineyle devam edip etmeyeceğine veya farklı bir makine deneyip denemeyeceğine” karar vermene yardımcı olur.

Buradaki karar süreci, veri ve bilgi toplamaya çalıştığınız “keşif” ve ortalamanın üzerinde ödüller üretmek için bu bilgiden yararlanan “sömürü” olarak bölünmüştür.

Bu nedenle, bir web sitesindeki bir haydut testi, gerçek zamanlı olarak en uygun varyantı bulmaya ve bu varyanta daha fazla trafik göndermeye çalışır.

7. Evrimsel Algoritmalar

Evrimsel algoritmalar, çok değişkenli testler ve haydut testleri arasında bir çeşit kombinasyondur. Pazarlama deneyleri bağlamında, evrimsel algoritmalar, aynı anda çok sayıda değişkeni test etmenize olanak tanır.

Evrimsel bir algoritmanın amacı, bir sayfadaki öğelerin optimal kombinasyonunu bulmaktır. Varyantlardan oluşan bir "popülasyon" oluşturarak ve ardından hepsini birbirine karşı test ederek çalışırlar. En iyi performans gösteren varyant daha sonra yeni nesil için başlangıç ​​noktası olarak kullanılır.

Adından da anlaşılacağı gibi, optimizasyon için bir model olarak evrimsel yinelemeleri kullanır. Başlıklar, düğmeler, gövde kopyası ve videoların tonlarca farklı versiyonu var ve her birini yeni mutasyonlar oluşturmak için bir araya getiriyorsunuz ve dinamik olarak zayıf varyantları öldürmeye ve güçlü varyantlara daha fazla trafik göndermeye çalışıyorsunuz.

Etkileşim etkilerinde daha az şeffaflık (dolayısıyla daha düşük bir öğrenme potansiyeli) olmasına rağmen, steroidler üzerinde çok değişkenli testler gibidir.

Bu deneylerin iyi çalışması için oldukça fazla web sitesi trafiği de gerekir.

8. Bölünmüş Sayfa Yolu Testi

Bölünmüş sayfa yolu testi de çok yaygın bir A/B testi türüdür.

Tek bir sayfadaki bir öğeyi değiştirmek yerine, bir kullanıcının web sitenizde izlediği yolun tamamını değiştiriyorsunuz.

Bölünmüş sayfa yolu testiyle, esasen web sitenizin, ürününüzün veya dönüşüm huninizin iki farklı sürümünü test ediyorsunuz. Amaç genellikle daha fazla dönüşüm veya satışla sonuçlanan sürümü bulmaktır. Ayrıca, daha fazla optimizasyon için odak alanlarını teşhis edebilen hunideki bırakma noktalarının belirlenmesine de yardımcı olabilir.

Temel olarak, bir düğmedeki kopyayı değiştirmek yerine, üzerine tıkladığınızda düğmelerin sizi gönderdiği sonraki sayfayı değiştirirsiniz. Müşteri yolculuğunu denemenin güçlü bir yolu.

9. Varlık Testi

Varlık testi ilginç bir kavramdır. Yapmaya çalıştığınız şey, ürününüzdeki veya web sitenizdeki belirli bir öğenin etkisini (veya eksikliğini) ölçmektir.

Bir CXL makalesine göre, "Basitçe söylemek gerekirse, sitenizin öğelerini kaldırıyoruz ve dönüşüm oranınıza ne olduğunu görüyoruz."

Başka bir deyişle, bir değişikliğin herhangi bir etkisi olup olmadığını test ediyorsunuz.

Stratejik olarak, bu çok hafife alınmış bir stratejidir. Çoğu zaman, ya kendi buluşsal yöntemlerimiz ya da nitel araştırma yoluyla, bir sayfada hangi öğelerin en önemli olduğunu varsayıyoruz.

Elbette, ürün demo videosu önemlidir. Varoluş testi, bu inancı sorgulamanın ve hızlı bir şekilde yanıt almanın bir yoludur.

Sadece videoyu kaldırın ve ne olduğunu görün.

Dönüşüm oranı artıyor mu azalıyor mu? İlginç - bu, işgal ettiği öğenin veya gayrimenkulün bir şekilde etkili olduğu anlamına gelir.

Etkisiz? Bu da ilginç. Bu durumda, öğeyi tamamen kaldırmanın bile KPI'larımıza hiçbir etkisi olmadığını bilerek ekibimin dijital deneyimin diğer bölümlerine odaklanmasını isterim.

10. Boyalı Kapı Testi

Boyalı kapı testi bir bakıma varlık testine benzer. Yeni teklifleri test etmenin yanı sıra yeni ürün özelliklerine olan talebi test etmek için çok yaygındırlar.

Temel olarak, boyalı bir kapı testi, insanların gerçekten yeni bir özelliği kullanıp kullanmayacaklarını görmek için yapılan bir deneydir. Aslında yeni teklifi veya özelliği *oluşturmak* için zaman ve kaynak harcamazsınız. Bunun yerine, yürüyen insanların onu açmaya çalışıp çalışmayacağını görmek için “boyalı bir kapı” yaratırsınız (yani, bir düğme veya açılış sayfası oluşturursunuz ve insanların onu tıklayıp tıklamadığını, ilgi çıkardığını görürsünüz).

Boyalı kapı testinin amacı, test ettiğiniz şeye talep olup olmadığını öğrenmektir. İnsanlar yeni özelliği gerçekten kullanıyorsa, takip etmeye değer olduğunu bilirsiniz. Değilse, zaman ayırmaya değmeyeceğini bilirsiniz ve bu fikri bir kenara bırakabilirsiniz.

Duman testleri olarak da bilinirler.

Boyalı kapı testleri, çok fazla zaman veya para harcamadan yeni fikirleri test etmenin harika bir yoludur.

Aslında bir teklifiniz veya oluşturma deneyiminiz olmadığı için, genellikle dönüşüm oranı gibi KPI'ları kullanamazsınız. Bunun yerine, minimum beklenen değer eşiğinizi modellemeniz gerekir. Örneğin, X özelliğinin oluşturulması Y'ye mal olacaktır, bu nedenle mevcut temel verilerimiz göz önüne alındığında, "gerçek" deneyimi yaratmayı garanti etmek için Y tıklama oranını görmemiz gerekecek.

Lansman öncesi bekleme listesi, bazı yönlerden boyalı bir kapı testidir (ünlü örnek Harry'nin usturalarıdır).

11. Keşif Testi

Andrew Anderson'ın Disipline Dayalı Test Metodolojisinden aldığım keşif testleri, olası seçeneklerin çeşitliliğini artırmakla ilgilidir.

Neredeyse her zaman birden çok değişkenli A/B/n testlerinin bir versiyonudurlar, ancak mutlaka bu şekilde tasarlanmaları gerekmez. Bunların daha büyük amacı, normalde makul saydığınız aralığın dışındaki seçenekleri test etmektir. Bu, göz önünde bulundurduğunuz seçeneklerin kapsamını sınırlayabilecek olan kendi önyargınızı azaltır.

Dar bir hipotez tanımlamak yerine, kendi önyargılarınızın dışına çıkmayı ve potansiyel olarak kitlenizde neyin işe yaradığı hakkında tamamen yeni bir şeyler öğrenmeyi umuyorsunuz.

Bir keşif testi yapmak için, ürününüz veya web sitenizden bir parça gayrimenkul alır ve bir sürü farklı varyant oluşturursunuz. Amaç, her bir varyantın bir öncekinden oldukça farklı olması ve size çok çeşitli farklı seçenekler sunmasıdır. Amaç, önceden ne olduğunu bilmeseniz bile işe yarayan bir şey bulmaktır.

Keşif testlerinde, mikro dönüşümler için optimizasyon değil, denemenizi makro-KPI'nizle eşleştirmek önemlidir. Birçok değişken arasında artışları ortaya çıkarmak için uygun istatistiksel güce ihtiyacınız olacağından, anlamlı ve yüksek trafik deneyimlerini test etmek de önemlidir.

Bunun gibi bir deneyin örneğini görmek için, Andrew Anderson'ın Malwarebytes'ten 11 çok farklı varyantı test ettiği örneğine bakın.

12. Yinelemeli Test

Bilgisayar bilimlerinde "tepe tırmanma problemi" olarak bilinen bir kavram var. Temel olarak, tepe tırmanma algoritmaları, bir manzaradaki en yüksek noktayı, alttan başlayıp sürekli yukarı doğru hareket ederek bulmaya çalışır.

Aynı kavram pazarlama deneylerine de uygulanabilir.

Yinelemeli bir testle, küçük bir değişiklikle başlarsınız ve ardından azalan getiri noktasına ulaşana kadar onu büyütmeye devam edersiniz. Bu azalan getiri noktasına “yerel maksimum” denir. Yerel maksimum, başlangıç ​​noktanızdan erişilebilen manzaradaki en yüksek noktadır.

Yinelemeli bir testin amacı, belirli bir değişiklik için yerel maksimumu bulmaktır. Bu, teklif değişiklikleri veya fiyatlandırma değişiklikleri gibi şeylerin yanı sıra araştırma veya varlık testi yoluyla etkili olduğunu düşündüğünüz herhangi bir öğeyi test etmenin çok etkili bir yolu olabilir.

Temel olarak, X öğesinin önemli olduğunu biliyorsunuz ve X öğesini geliştirerek KPI Y'yi iyileştirmek için ek bir kıpırdanma odası olduğunu biliyorsunuz. Böylece, X öğesini değiştirirken, metriği daha fazla iyileştiremezsiniz (veya bunu yapmak son derece zordur).

Yinelemeli testin kolay bir örneği kendi web sitemden geliyor. Kurşun mıknatıs açılır pencereleri çalıştırıyorum. E-postaları yönlendirdiklerini biliyorum ve muhtemelen azalan bir geri dönüş noktası var, ancak henüz başardığımı sanmıyorum. Bu yüzden birkaç ayda bir, bir değişkeni değiştiriyorum - küçük bir artış elde etme umuduyla ya başlık, teklifin kendisi ya da görüntü.

13. Yenilikçi Test

Yinelemeli testlerin aksine, yenilikçi testler tırmanılacak tamamen yeni tepeler bulmaya çalışır.

Bir CXL makalesine göre, yenilikçi testler "keşfedilmemiş alanları keşfetmek ve yeni fırsatlar bulmak için tasarlanmıştır."

Yenilikçi testler tamamen yeni bir şey denemekle ilgilidir. Genellikle diğer deney türlerinden biraz daha risklidirler, ancak aynı zamanda çok faydalı olabilirler. Büyük kazançlar arıyorsanız, o zaman yenilikçi testler gitmenin yoludur.

Komple ana sayfa veya açılış sayfası yeniden tasarımları bu kategoriye girer. Keşif testi, yenilikçi bir test şeklidir. Düğme renk testleri, yenilikçi bir testin tam tersi olacaktır.

Yenilikçi bir test, sizi veya paydaşlarınızı biraz rahatsız etmelidir (ancak unutmayın, deneylerin güzelliği, sınırlı süreli olmaları ve olumsuz tarafınızı sınırlamasıdır).

CXL, burada bir müşteri için yürüttükleri yenilikçi bir testin örneğini verdi:

14. Aşağılık Olmama Testi

Yeni bir tedavinin standart tedaviden daha kötü olup olmadığını belirlemek için bir aşağılıksızlık testi kullanılır.

Aşağı olmama testinin amacı, yeni tedavinin en az standart tedavi kadar etkili olduğunu göstermektir.

Neden böyle bir test yaparsın?

Birçok neden. Aklıma gelen en iyi şey, başka bir boyutta "daha iyi" olan bir varyantınız varsa (bakımı daha ucuz, marka standartlarına daha iyi uyuyor, vb.), ancak bunun size zarar vermediğinden emin olmak istiyorsunuz. temel iş KPI'ları.

Veya tıbbi klinik deneylerin merceğinde, yaygın olarak reçete edilen ilacın 1/10'una mal olan bir ilacın geliştirildiğini hayal edin. Mevcut ilaçlardan *daha kötü* performans göstermediği sürece, satın alınabilirliği, piyasaya sürülmesi için çok daha iyi bir seçenek olduğu anlamına gelir.

Bunları yürütmemin bir başka nedeni de, tedavinin bir yönetici veya paydaş tarafından büyük ölçüde tercih edilmesidir. Bunu size söylemekten nefret ediyorum, ancak deney uzmanları olarak verilere erişimimiz olması, önyargılı düşünce ve insan politikasının karmaşasından kaçındığımız anlamına gelmez.

Ara sıra HiPPO tarafından gönderilen testi almaktan ve onu aşağılık olmayan bir test gibi daha düşük bir kesinlik eşiğinden geçirmekten mutluluk duyuyorum. *KPI'larımı* mahvetmediği sürece, onu yaymanın bir zararı yoktur ve siyasi beğeni kazanır.

15. Özellik Bayrağı

Özellik bayrakları, belirli özellikleri veya işlevleri açıp kapatmanıza ve üretimdeki yeni özellikleri test etmenize olanak tanıyan bir yazılım geliştirme tekniğidir.

Bir ton teknik ayrıntıya girmeden, özellikleri üretimde test etmenize veya daha küçük kullanıcı alt gruplarına yavaş yavaş sunmanıza olanak tanırken, çalışmıyorsa özelliği hızla küçültme veya öldürme özelliğini korur.

Birçok yönden, bir kalite güvence metodolojisidir. Ancak birçok yönden A/B testleri de öyle.

"Özellik bayrağı" terimi, kanarya sürümleri, üretimde test etme, sürekli geliştirme, geri alma ve özellik kapıları gibi birçok ilgili "geçiş" işlevini içeren bir şemsiye terimdir.

16. Yarı Deneyler

Son olarak, en karmaşık, geniş ve tanımlanması en zor deney kategorisi: yarı deneyler.

Yarı deneyler genellikle, kullanıcıları test gruplarına rastgele atamak mümkün olmadığında kullanılır.

Örneğin, web sitenizde yeni bir özelliği test ediyorsanız, bir A/B testi, bir özellik bayrağı ve hatta bir kişiselleştirme kolu çalıştırabilirsiniz.

Peki ya bir dizi SEO değişikliğini test etmek ve bunların trafik üzerindeki etkilerini görmek istiyorsanız? Veya daha da ötesi, bunların blog dönüşümleri üzerindeki etkisi? Açık hava reklam panosu reklamlarının etkinliğini test etmek isterseniz ne olur?

Şaşırtıcı derecede çok sayıda durumda, sıkı bir şekilde organize edilmiş ve gerçekten kontrollü bir deney kurmak imkansız değilse de zordur.

Bu durumlarda, elimizdekilerle yetinmek için yarı deneyler tasarlarız.

SEO değişiklikleri durumunda, bir zaman serisindeki değişiklikleri ölçmek için Nedensel Etki gibi araçları kullanabiliriz. Özellikle deneyimizi sayfalara veya başka bir tanımlanabilir boyuta göre kontrol edersek, bu bize müdahalemizin işe yarayıp yaramadığı konusunda iyi bir uzunlamasına fikir verecektir.

Radyo veya reklam panosu reklamları durumunda, benzer bayes istatistiklerini kullanarak temsili coğrafi konumları seçmeye ve zaman içindeki etkiyi ölçmeye çalışabiliriz.

Bu karmaşık bir konu, bu yüzden iki harika kaynağa bağlantı vereceğim:

• Netflix yarı deneyleri nasıl yürütür?
• Shopify yarı deneyleri nasıl çalıştırır?

Çözüm

Umarım bu, A/B testinin, dönüşüm oranlarını optimize etmek için başlığınızı veya CTA düğmenizi değiştirmenin çok ötesine geçtiğine sizi ikna etmiştir.

Deneyin neler başarabileceğine dair açıklığınızı genişlettiğinizde, bunun inanılmaz bir öğrenme aracı olduğunun farkına varırsınız.

Bir açılış sayfasındaki etkili öğelerin haritasını çıkarabilir, öğelerin en uygun kombinasyonunu belirleyebilir, yeni ve geliştirilmiş bir kullanıcı sayfası yolu bulabilir, teknik borç veya zayıf bir kullanıcı deneyimi riskine girmeden yeni özellikler ve deneyimler geliştirebilir ve hatta yeni pazarlama kanallarını test edebiliriz. ve web sitemiz dışındaki veya ürünümüzün dışındaki müdahaleler.