Zihin Haritası Serisini Test Etme: Bir CRO Profesyoneli Gibi Nasıl Düşünülür (Bölüm 6)

GoodUI'den Jakub Linowski ile röportaj

Bazı insanların neden CRO konusunda yetenekli olduğunu hiç merak ettiniz mi?

Bunun nedeni sadece deney kurmada iyi olmaları değil. Ayrıca olaylar hakkında farklı bir şekilde düşünmeyi de biliyorlar, bu seri de bunu yapmanıza yardımcı olacak. Başarılı CRO'yu oluşturan zihniyetlere ve bunları stratejinize nasıl uygulayabileceğinize yakından bakacağız.

Kendinizi doğru zihin çerçevesine sokabilirseniz, başarı, önce kör noktalarınızın nerede olabileceğini anlamadan denemekten çok daha kolay olacaktır. Sonuç olarak, Testing Mind Map Series, optimizasyon stratejinizi daha iyi planlamanıza ve testleri daha güvenle yürütmenize yardımcı olmak içindir!

Bu makalede GoodUI'den Jakub Linowski, denemenin gücünün yalnızca yararlı bir yöntem olarak değil, aynı zamanda daha iyi kararlar verebilen güçlü içgörüler oluşturmasında da yattığını paylaşıyor.

Jakub, bize kendinden bahset. Test ve optimizasyona başlamanız için size ne ilham verdi?

Tasarım geçmişim beni bu yola yönlendirdiğinde, 2014 civarında bir ara deney dünyasına çekildim. İnsanlar iyi kullanıcı arayüzü ve "en iyi uygulama" listelerinin örneklerini paylaşmaya başlayınca ben de öyle yaptım ve GoodUI.org böyle ortaya çıktı. Bununla birlikte, tüm önerilerimin ve kullanıcı arayüzü kalıplarımın kanıtlarla desteklenen herhangi bir şeyden ziyade görsel hipotezlere daha yakın olduğunu fark etmem uzun sürmedi. Gerçekten daha fazla güven kazanmak ve iyi fikirleri kötü olanlardan ayırma konusunda daha iyi bir iş çıkarmak istiyordum.

Bu yüzden A/B testini duyduğumda beni oldukça heyecanlandırdı (güven aralığının ne olduğu hakkında hiçbir fikrim olmamasına rağmen). Bir ön uç geliştirici tuttum ve küçük bir optimizasyon ajansı kurduk. Bloglarda okuduğumuz, müşterilerimizden ve kendi ortaya çıkan GoodUI kalıp kitaplığımızdan duyduğumuz fikirleri test etmeye başladık. Müşterilerimizin çoğunun a/b testlerini açıkça yayınlamamıza izin vermesiyle, bazı kalıpların diğerlerinden daha iyi olduğu ortaya çıkmaya başladı. Bazıları pek yapmadı. Diğerleri iyi kopyalanmış. Ve diğerleri olumsuz sonuçlarla sonuçlandı.

Şimdi bu deneyleri tartmamız gerekiyordu.

Ve böylece GoodUI.org, tam döngü bir geri bildirim döngüsüne sahip benzer ve karşılaştırılabilir deneylerden oluşan bir havuza hızla dönüşmeye başladı. Daha yüksek bir sıklık ve etkiyle daha iyi performans gösteren şeyler (ortalama toplam verileri kullanılarak) en üstte gösterildi. Benzer kalıplar için test sonuçları veri tabanımıza geri beslenirken, tahminlerimizi düzeltiyor ve doğruluğu artırıyor.

Yani evet, hem harika yöntem hem de daha iyi tahminler yapmamızı sağlayan güçlü bir profesyonel bilgi kaynağı olarak deney yapmaktan hoşlanıyorum.

Kaç yıldır optimizasyon yapıyorsunuz? Kalkınan test edicilere ve optimize edicilere önerdiğiniz tek kaynak nedir?

İlk sıçrama a/b testimizi 2014 yılının Mayıs ayında büyük bir sigorta şirketinin teklif açılış sayfasında gerçekleştirdik. Varyasyon, kendi sınırlı deneyimimize dayalı olarak formları, kopya ve öncü formları geliştirmek hakkında o sırada bildiğimiz her şeyi içeriyordu. Sonuç, derivasyonlarda göreceli +%53'lük bir artıştı (±28, p-val 0.0002). Bu beni bağımlı kılan ilk deneyimim.

Bir kaynak olarak, başkalarının test ettiğinden öğrenmeyi seviyorum. Özellikle Netflix, Airbnb ve Amazon gibi iyi bir örneklem büyüklüğüne sahip olduğunu bildiğimiz ve çok sayıda test çalıştıran büyük oyuncuların deneylerine bakmak heyecan verici ve değerli. Genel olarak, birkaç adım ilerideki insanlardan bir şeyler öğrenmenin her zaman iyi bir fikir olduğunu düşünüyorum (birçoğunun önerdiği gibi, Robert Greene'in Ustalık kitabı da dahil).

5 veya daha az kelime ile cevap verin: Size göre optimizasyon disiplini nedir?

Optimizasyon, bir şeyleri iyileştirdiğimiz anlamına gelir.

(Sonuçlar optimizasyon için kritik öneme sahiptir. Örneğin, yüzlerce düz veya istenmeyen deney sonucu yeterince iyi değildir. Bir ton öğrenebilirsin, evet. Ancak bir şeyi optimize edebilmemiz için iğneyi istediğimiz yöne hareket ettirmemiz gerekiyor. .)

İnsanların optimizasyona başlamadan önce anlamaları GEREKEN 3 şey nedir?

KEŞİF – mümkün olduğu kadar çok fikir üretmek.

Sömürü – daha fazla hız için geçmiş sonuçları olan fikirlere öncelik vermek.

DENEYLEME - fikirlerimizi tahrif etmek veya doğrulamak için açmak.

Size tarafsız bir hikaye anlatabilmesi için nitel ve nicel verileri nasıl ele alırsınız?

a/b test sonuçlarını doğrulama fikrine katılıyorum. Genel olarak, ne kadar tutarlı olan ölçümlerimiz olursa, deneylerimiz o kadar güvenilir ve güvenilir hale gelebilir.

Sonuçları karşılaştırmaya gelince, bunu yapmanın birkaç yolu vardır:

• Aynı Deneyden Birden Fazla Metriğin Karşılaştırılması (ör. etki tutarlılığı: sepete eklemeler, satışlar, gelir, iade alımları vb.)
• Ayrı Deneylerde Geçmiş Verileri Karşılaştırma (ör. 2 ayrı web sitesinde yürütülen iki ayrı deney arasındaki etki tutarlılığı)

Optimizasyon ekibiniz için ne tür bir öğrenme programı kurdunuz? Ve neden bu özel yaklaşımı aldınız?

Deney çoğaltmanın , test sonuçlarını tahmin etmede (profesyonel bilgi oluşturma) daha iyi hale gelmede kritik bir unsur olduğuna kuvvetle inanıyorum.

Bu nedenle, kendi platformumuzda benzer deneyleri gruplandırıyor ve benzer metrikleri topluyoruz.

Deneylerden bir bilgi tabanı oluştururken, diğer önemli şey yayın yanlılığını en aza indirmektir . Yani, sonuçlarından bağımsız olarak tüm deneylerin kaydını tutmak (olumlu, olumsuz, anlamlı ve önemsiz olanlar dahil).

Gitmesini istediğiniz en sinir bozucu optimizasyon efsanesi nedir?

Son zamanlarda, deney yapmanın hiçbir dezavantajı olmadığını iddia eden insanlar beni rahatsız etti (bu harika LinkedIn dizisi tarafından güzel bir şekilde yakalandı). Bunun bazen ortaya çıkmasının incelikli bir yolu, kulağa "kaybedilen sınavlar yoktur, sadece öğrenmeler vardır" gibi gelen ifadelerdir.

Bu, öğrenmenin temel hedef olduğu ve deneycinin maliyetlerden korunduğu fildişi kule dünyalarında doğru olabilir.

Ancak, bir meslek olarak, müşterilerin web sitelerini optimize etmek için bir araç olarak deneyi kullandığımızda, bedava öğle yemeği yoktur. Denemeler yapmak, maliyetleri, riskleri, dezavantajları ve artıları ile birlikte gelir. Bu açıdan, sonuçların gerçekte ne olduğunu takip etmek ve kabul etmek son derece sağlıklı olduğunu düşünüyorum (negatif testlerin serilerini kabul etmekte rahat olmak ve onları aklamamak dahil). Tüm meslekler, daha iyi olmaya devam etmek için hem olumlu hem de olumsuz geri bildirim döngülerine ihtiyaç duyar.

Umarım Jakub ile yaptığımız röportaj, dönüşüm stratejinizi doğru yönde yönlendirmenize yardımcı olur! Sizi en çok hangi tavsiye etkiledi?

Bizi daha da gelişmiş stratejilere götüren bir CRO uzmanıyla yapacağımız bir sonraki röportaj için bizi izlemeye devam edin! Henüz yapmadıysanız, OptiPhoenix'ten Gursimran Gujral, Speero'dan Haley Carpenter, Frictionless Commerce'den Rishi Rawat, ConversionAdvocates'ten Sina Fak ve Green Light Copy'den Eden Bidani ile yaptığımız röportajlara göz atın!