Zihin Haritası Serisini Test Etme: Bir CRO Profesyoneli Gibi Düşünme (Bölüm 22)

Nils Koppelmann ile Röportaj

Nils Koppelmann, deneylerin ve veriye dayalı karar vermenin faydalarının tutkulu bir savunucusudur. Başarılı A/B testinin sadece bir şeyin işe yarayıp yaramadığını değil, neden işe yaradığını bulmakla ilgili olduğunu anlıyor ve bu uygulamayla ilgili iki yaygın efsaneyi ortadan kaldırmak için burada.

A/B testinin riskler getirdiği ve küçük şirketlerin etkin bir şekilde test edemediği. Aksine Nils, A/B testinin neyin işe yarayıp neyin yaramadığına dair içgörüler sağlayarak riskleri azaltmaya yardımcı olabileceğine inanıyor. Ve küçük şirketler büyük şirketlerden daha az trafiğe sahip olsalar da, tehlikede daha az şey olduğu için aslında daha cesurca test edebilirler.

Bu nedenle, bir daha A/B testinin çok riskli veya pahalı geldiğini düşündüğünüzde, sitenizde gereksiz riskler oluşturmadan nasıl etkili bir şekilde test yapılacağına ilişkin ipuçları için Nils ile bu röportajı okuyun.

Nils, bize kendinden bahset. Test ve optimizasyona başlamanız için size ne ilham verdi?

Son 8 yılı aşkın süredir, büyük ve küçük müşterilerin çevrimiçi varlıklarını "optimize etmelerine" yardımcı olmak için web siteleri ve çevrimiçi mağazalar oluşturuyorum.

Bir süre önce düşüncelerim, tasarımlarımızın gerçekten istenen etkiye sahip olmasını nasıl sağlayacağımıza döndü.

Yaklaşık 3 1/2 yıl önce Dönüşüm Oranı Optimizasyonu terimiyle ilk karşılaştığımda, bunun neden daha önce odaklandığımız bir şey olmadığını merak etmiştim. O noktadan sonra, odak noktamı tasarım ve teknoloji sunmaktan içgörü ve sonuç sağlamaya kaydırdım.

Optimizasyon dünyası, çevrimiçi şirketlerin çoğunluğu tarafından hala büyük ölçüde keşfedilmemiş olan çok fazla potansiyele sahiptir. Sürekli olarak gelişebilmemiz için mevcut çok miktarda veriden yararlanmalı ve ondan öğrenmeliyiz.

Benim için en çarpıcı şeylerden biri, yeniden öğrenmenin ne kadar eğlenceli olduğu. İstatistikler hakkında gönüllü olarak bir kitap açacağımı (Georgi Georgiev'e ve onun harika kitabı İstatistiksel Yöntemler Çevrimiçi A/B Testinin İstatistiksel Yöntemleri'ne sesleniyorum) ve gerçekten okuyacağımı hiç düşünmemiştim. Bu ve diğer birçok yön, öğrenmek için test etmem için bana ilham vermeye devam ediyor.

Kaç yıldır optimizasyon yapıyorsunuz?

Optimize etme arzusu, statükodan memnun olmamaktan, daha fazlasına dair meraktan ve her şeyin iyileştirilebileceğinden emin olmaktan kaynaklanır.

Profesyonel bir bağlamda, yaklaşık 8 yıldır optimizasyon yapıyorum. Başlangıçta, yan projeler oluşturmak ve optimize etmek ve şirketlerin web sitelerini ve çevrimiçi mağazaları geliştirmelerine yardımcı olmak. Şimdi yeni ve köklü şirketlerin bir deney kültürü oluşturmalarına ve büyümelerine katkıda bulunmak için deneylerin gücünü kullanmalarına yardımcı oluyoruz.

Geriye dönüp baktığımda, optimize etmediğimi hiç hatırlamıyorum. Zaten çocukken, işlerin nasıl yapıldığını hep sorguladım. Babamın “çok fazla” soru sorduğumu söylediğini hatırlıyorum, geriye dönüp baktığımda yaptığım ve hala yaptığım için gerçekten mutlu olduğum bir şey.

Kişisel hayatımda bile, hayatımın birçok yönünü takip ettiğim ve optimize ettiğim biliniyor.

Kalkınan test edicilere ve optimize edicilere önerdiğiniz tek kaynak nedir?

Yeni başlayan biri için önerebileceğim birçok kaynak var ama bunu biraz daha pratik hale getirelim.

Başlamak için işte birkaç öneri:

1. Daha meraklı olun ve bir şeyin neden böyle yapıldığını sorgulamaya başlayın. Bu tek başına dünyaya yepyeni bir bakış açısı getirecek.
2. Çözüm bulmaktan çok sorun hakkında düşünmeye zaman ayırın. Önce sorunu gerçekten anlamanız gerekiyor, sonra çözümler daha kolay gelecektir.
   
   Albert Einstein'ın dediği gibi, "Bir problemi çözmek için bir saatim olsaydı, 55 dakikamı problem üzerinde, 5 dakikamı da çözümleri düşünerek geçirirdim."
   
   Bununla birlikte, kutunun dışında düşünmek önemlidir; bu, yalnızca sorunun parametreleri içinde düşünmek değil, aynı zamanda dış açıları ve olasılıkları da düşünmek anlamına gelir.
   
   Anahtar, ikisi arasında bir denge bulmaktır.
3. Daha iyi sorular sormayı öğrenin. Bu, merakı etkinleştirdiği ve meraktan yararlandığı için herhangi bir optimize edicinin cephaneliğinde sahip olabileceği en yararlı araçlardan biridir.

Ayrıca, hem denemeye yeni başlayanlara hem de eskilere hitap eden haftalık deneme bültenimde ilginç makaleler, kaynaklar ve araçlar paylaşıyorum.

5 veya daha az kelime ile cevap verin: Size göre optimizasyon disiplini nedir?

Öğrenmek için test edin. Sürekli gelişme. deney. Bina sistemleri.

İnsanların optimizasyona başlamadan önce anlamaları GEREKEN 3 şey nedir?

Önce araştır, sonra test et. Optimizasyona başlamadan önce varsayımlarınızı nitel ve nicel verilerle desteklediğinizden emin olun. Sonra buna dayalı güçlü hipotezler oluşturun.

Yalnızca kısa vadeli artışlar için optimizasyon yapmayın – programın pozitif bir yatırım getirisine sahip olması hayati derecede önemli olsa da, sadece buna odaklanmamalı, aynı zamanda deneyimlemenin getirdiği devasa öğrenme fırsatları ve risk sınırlaması bant genişliğini de göz önünde bulundurmalıdır.

Optimizasyon çabaları, haklı veya haksız olduğunuzu kanıtlamayı değil, her iki durumda da nedenini belirlemeyi amaçlamalıdır. Oraya nasıl geldiğinizi ve oraya nasıl kopyalayacağınızı bilmiyorsanız, hiçbir şeyi optimize etmenin bir anlamı yoktur. A/B testinde uzun vadeli başarı için, yerinde iyi sistemlere sahip olmak çok önemlidir.

Tarafsız bir hikaye anlatması için nitel ve nicel verileri nasıl ele alırsınız?

Tarafsız veri yoktur, ancak her türlü veriye yönelik önyargıyı en aza indirmek için verilerin nasıl toplandığını, nasıl yorumlandığını ve bunlardan hangi sonuçların çıkarıldığını anlamak önemlidir.

Bahsettiğiniz verilerin ne kadar güvenilir olduğunu sınıflandırmak için Kanıt Hiyerarşisine göz atmalısınız.

Ön filtreleme için nicel verileri kullanırız, ardından daha derine inmek için nitel verileri ve bilimsel kaynakları kullanırız ve ardından ilk varsayımları ve hipotezleri kanıtlamak veya çürütmek için tekrar nicel verileri kullanırız.

Çabalarımızın başında, önceki deneylerde kalıpları aramamıza ve daha fazla araştırma ve deney çabalarını hizalamamıza izin veren sözde meta analiz var.

Önyargıyı ortadan kaldırmanın bir başka iyi yolu, deneyi oluşturan kişi ile sonuçlarını değerlendiren kişi arasında bir kopukluk yaratmaktır. Bu, bir deneyin başarısına yönelik önyargıyı en aza indirir.

Gitmesini istediğiniz en sinir bozucu optimizasyon efsanesi nedir?

İki efsaneyi ortadan kaldırmak istiyorum:

1. Bu testler riskler getirir, aslında doğru yapıldığında riskleri azaltır.
2. Bu küçük şirketler test edemezken, aslında az trafiğe sahip küçük şirketler daha cesurca test edebilir çünkü daha az risk ilişkili / daha az risk altındadır.

Umarım Nils ile yaptığımız röportaj, deney stratejinizi doğru yönde yönlendirmenize yardımcı olur!

Sizi en çok hangi tavsiye etkiledi?

Henüz yapmadıysanız, CRO efsaneleri Gursimran Gujral , Haley Carpenter , Rishi Rawat , Sina Fak , Eden Bidani , Jakub Linowski , Shiva Manjunath , Deborah O'Malley , Andra Baragan , Rich Page , Ruben de ile yaptığımız geçmiş röportajlara göz atın. Boer , Abi Hough , Alex Birkett , John Ostrowski , Ryan Levander , Ryan Thomas , Bhavik Patel , Siobhan Solberg , Tim Mehta , Rommil Santiago ve en son Steph Le Prevost ile birlikte .