A/B Testinizle Yerel ve Küresel Maksimumu Ne Zaman Aramalısınız?

Amnezi ile yoğun bir sisin içinde Everest Dağı'na tırmandığınızı hayal edin. Sadece uzattığınız el kadar uzağı görebilirsiniz. Nerede olduğunuzu veya hangi yöne gideceğinizi bilmiyorsunuz, sadece zirveye ulaşmanız gerekiyor. Yapma ihtimalin nedir?

Muhtemelen dağ kadar alçaktır.

Bu kadar dramatik bir benzetme, popüler bir A/B testi yönteminin temeline atıfta bulunularak yapılmıştır. Bu zirve, tıklama sonrası açılış sayfanızın en iyi versiyonudur ve kafanız karışmış, neredeyse kör ve mevcut sayfanızın dağın yamacında kaybolmuş durumdasınız.

Daha da kötüsü, muhtemelen en sevdiğiniz pazarlama blog yazarları tarafından size yanlış bir harita verildi. A/B testini doğru şekilde yaptığınızı, o zirveye doğru ilerlediğinizi düşünebilirsiniz. Yine de büyük olasılıkla, yakında bir çıkmaza girersiniz ve tıklama sonrası açılış sayfanızın en yüksek performans gösteren varyasyonunu asla bulamayacaksınız.

Yeni başlayanların kafasını karıştıran A/B testi efsanesi

İnternetteki en popüler pazarlama bloglarından bazıları, yeni başlayanları baştan mahveden bir A/B testi efsanesini sürdürmeye devam ediyor. Başladığımda beni de mağdur etti.

“A/B testi başına birden fazla sayfa öğesini değiştirmeyin” Defalarca okumaya devam ettim. Kaynaklar güvenilir olduğu ve çoğunlukla mantıklı geldiği için bunu sorgulamadım.

A/B testinin amacı, bir sayfayı, e-postayı, reklamı veya test ettiğiniz her şeyi optimize etmek için kullanabileceğiniz verileri toplamaktır. "A" ve "B" sürümleri arasında birden fazla ayarlama yaparsam, testin sonunda dönüşüm oranındaki değişikliğe neyin neden olduğunu nasıl bilebilirdim? Bu ne tür bir veri olurdu?

Bu nedenle, öğeleri teker teker test ettim: tıklama sonrası açılış sayfası "A" başlığına karşı tıklama sonrası açılış sayfası "B" başlığı. Ardından, tıklama sonrası açılış sayfası "A"daki mavi düğme ile tıklama sonrası açılış sayfası "B"deki yeşil düğmeydi. Profesyoneller, Amazon ve Google böyle yaptı. Milyarlarca dolarlık şirketler için yeterince iyiyse, benim için de yeterince iyiydi.

Gözden kaçırdığım ve aylar sonra acı bir şekilde farkına vardığım sorun, Amazon ya da Google olmadığımdı. Web siteleri çok fazla trafik oluşturuyor, bu da bu anlamsız düğme renk testleriyle kazanılan küçük artışların milyonlarca dolarlık gelire dönüşebileceği anlamına geliyor.

Ancak çoğu insan için zaman ve kaynak kaybıdır. Çoğu insan için, bu A/B testi yöntemini kullanmak, yoğun bir sisin içinde amnezi ile Everest Dağı'na tırmanmaya benzer.

Tepeye tırmanma buluşsal yöntemi

Günlük hayatımızda karşılaştığımız ve çözümü net olan problemler vardır. Ancak, alışılmadık ve büyük ölçüde benzersiz bir engelle karşılaştığınızda ne olur? Örneğin bu labirenti ele alalım:

Bu özel labirentte gezinmenin en iyi yolu hakkında yazılmış hiçbir blog yazısı yok. Arkadaşınız (büyük olasılıkla) size bu konuda rehberlik edemez. Haritanız yok. Peki, A noktasından B noktasına nasıl gidilir?

Cevap, 1963'te Newell, Simon ve Shaw tarafından yapay zekayı incelemek için inşa edilen "Genel Problem Çözücü" adlı bir bilgisayar programında bulunabilir. Araştırmaları aynı zamanda insanın problem çözmesine de uygulandı. Dr. Russ Dewey şöyle açıklıyor:

Newell ve Simon, her problemi bir boşluk olarak tanımladılar. Alanın bir ucunda başlangıç ​​noktası, diğer ucunda hedef yer alır. Problem çözme prosedürünün kendisi, o alanı geçmek, başlangıç ​​noktasından hedef duruma adım adım ulaşmak için bir dizi operasyon olarak tasarlanır.

Genel Problem Çözücü'de program, hangisinin onu hedef duruma yaklaştıracağını görmek için (Newell ve Simon'ın operatörler olarak adlandırdığı) çeşitli eylemleri test eder. Operatör, sistemin durumunu değiştiren herhangi bir faaliyettir. Genel Problem Çözücü, her zaman kendisini hedefine yaklaştıracak görünen işlemi seçer. Bu taktiğe tepe tırmanma denir, çünkü her zaman bir tepenin veya dağın zirvesine doğru adım atma taktiğine benzer.

Yukarıdaki labirentte, her çıkmaz bir "boşluktur" - sizi hedefinize ("A"dan "B"ye gitmek) yaklaştıran eylemler olan "operasyonlar" ile üstesinden gelmeniz gereken bir sorun.

Yani “A”dan başlayıp sizi en hızlı “B”ye götüreceğini düşündüğünüz yolu takip ediyorsunuz. Bir çıkmaz sokağa geldiğinizde geri dönüp alternatif bir rota denersiniz. Hedefinize ulaşana kadar süreci tekrarlarsınız.

Küçük öğeleri A/B testi yaparken yaptığınız şey budur. Örneğin fark edilmeyen bir düğme gibi bir sorunu tanımlarsınız. Ardından, daha iyi olduğunu varsaydığınız şeyi test ederek, tıklama sonrası açılış sayfanızın en iyi sürümünü (veya öyle düşündüğünüzü) oluşturma hedefinize adım adım yaklaşırsınız. Bu işe yaramazsa, başka birini test edersiniz.

Yine de bir noktada, "yerel maksimum" adı verilen azalan getiri noktasına ulaşacaksınız.

Yerel maksimum ve genel maksimum

Yukarıdaki yöntemin "tepeye tırmanma" buluşsal yöntemi olarak adlandırılmasının nedeni, en iyi tıklama sonrası açılış sayfanızın olduğu dağın zirvesine bakan bir tepede başınızı kaşımanıza neden olabilecek önemli bir sınırlamaya sahip olmasıdır. Dr. Dewey şöyle açıklıyor:

Tepe tırmanışı basit bir stratejidir, ancak her zaman işe yaramaz. Potansiyel bir tuzak, "tepenin eteği sorunu" dur. Sizi yokuş yukarı (veya belirli bir yöne) götüren adımı seçerseniz, etrafını dolaşmanın çok daha verimli prosedürünü göz ardı ederek, kendinizle dağ arasında uzanan bir eteğe tırmanabilirsiniz. Başka bir deyişle, bir hedefe esneklik göstermeden doğrudan giderseniz, çok yüksek bir bedel ödeyebilir, çok fazla enerji harcayabilir veya hedefe katkıda bulunmadan kendinize daha fazla iş yükleyebilirsiniz.

Optimizasyon terimleriyle bu "etek", "yerel maksimum" olarak adlandırılır. A/B daha fazla test edildiğinde azalan getiriler sağlayacak mevcut sayfanızın en iyi versiyonudur. Dağın zirvesine "küresel maksimum" denir. Bu, tıklama sonrası açılış sayfanızın en iyi versiyonudur. İşte göstermek için yararlı bir grafik:

Tekil bir tıklama sonrası açılış sayfasıyla başlayarak ve küçük öğeleri teker teker A/B testiyle iyileştirerek, o yerel maksimuma yaklaşıyorsunuz, ancak bu yöntem sizi asla o dağın zirvesine çıkarmayacak. Peki oraya nasıl gidiyorsunuz?

Küresel maksimuma ulaşmak için A/B testi

Moz'dan Rand Fishkin, "A/B Testi Minutiae Tuzağına Düşmeyin" başlıklı bir blog gönderisinde, eve çok yaklaşabilecek sinir bozucu bir senaryoyu açıklıyor:

Diyelim ki nispeten memnun olduğunuz bir sayfa/konsept buldunuz ve küçük şeyleri test etmeye başlayın - yerel minimum etrafında optimizasyon yapın. 4-6 ay boyunca testler yapabilir, genel dönüşüm oranınızda %5'lik bir iyileşme elde edebilir ve kendinizi oldukça iyi hissedebilirsiniz. A kadar...

Başka bir büyük, yeni fikri bir testte çalıştırır ve daha da geliştirirsiniz. Artık, genel konsepti az önce ilk kez test ettiğiniz yeni, pürüzlü, optimize edilmemiş sayfa kadar iyi olmayan bir sayfayı optimize etmek ve mükemmelleştirmek için zamanınızı boşa harcadığınızı biliyorsunuz.

Bunun yerine Fishkin, diğer pazarlama etkileyicileri gibi, önce A/B testinin "revizyonları" ve "büyük fikirleri" veya başka bir deyişle, tamamen farklı sayfaları test etmesini önerir. Tamamen farklı olan bu sayfalardan en iyi performansı göstereni, küresel maksimuma en yakın olanıdır. Bu, çok değişkenli testte ince ayar yapmanız gereken şeydir: düğme ve düğme, başlık ve başlık vb. Çeşitli vaka çalışmaları bu yöntemi desteklemektedir.

Küresel maksimum için A/B testi

1. Facebook

2008'de Facebook tamamen yeni bir navigasyon tasarımını test etti. Ekipleri, onu sayfanın solundan sağdaki bir açılır menüye taşıdı. Ancak bunu yaparken, navigasyon içindeki uygulamaları kullanıcılar için daha az görünür hale getirdiler ve bu da bu uygulamalara çok daha az trafik gelmesine neden oldu. Facebook için değerli bir gelir kaynağı oldukları için bu bir problemdi.

Yeni tasarımı birkaç etkileşim numarasıyla kurtarmaya çalıştıktan sonra, optimizasyon ekibi yerel maksimuma ulaştıklarını fark etti ve her şeyi rafa kaldırdı. Facebook Ürün Geliştiricisi Adam Mosseri'den:

Burada yaptığımız şey, yerel bir maksimum için optimizasyon yapmaktı. Bu çerçevede, uygulamalara yönlendirebileceğimiz kadar trafik vardı. Ve ihtiyacımız olan şey yapısal bir değişiklikti. Mekanımız kapalıydı. Çıkarlarımız bizi yanlış yola sürüklüyordu. Farkında değildik [...] yerel olarak bir şeyi optimize ediyorduk ve bundan kurtulmak için biraz yıkıcı olmamız gerekiyordu.

2. Moz

Dönüşüm Oranı Uzmanları tarafından Moz için oluşturulan bu varyasyon sayfası, orijinalinden altı kat daha uzundu. Orijinal sayfada olmayan diğer öğelerin yanı sıra daha fazla infografik, farklı bir başlık ve bir video içeriyordu. Kontrolden %52 daha iyi performans gösterdi.

Ekip yalnızca orijinal sayfadaki öğeleri iyileştirmeye çalışsaydı, dönüşümleri yarı yarıya artıran içeriği asla eklemezdi. Test edenlerden:

Rand'ın etkili yüz yüze sunumuna ilişkin analizimizde, Moz'un ücretli ürünü için savunma yapması için en az beş dakikaya ihtiyacı olduğunu fark ettik. Mevcut sayfa daha çok bir dakikalık bir özet gibiydi. Rand'ın sunumunun ana unsurlarını eklediğimizde sayfa çok daha uzun oldu.

3. Sunucu Yoğunluğu

Çevrimiçi olarak bulacağınız çoğu A/B testi vaka çalışması, web sayfalarının görünümüyle ilgilidir. Düğme rengine karşı düğme rengi veya görüntüye karşı görüntü ve bunların sayısı her geçen gün artıyor. Sonuç olarak, A/B testine giren çoğu kişi, bunun yalnızca web tasarımı için kullanılabileceğini varsayar.

Ancak, A/B testi kavramı, Sever Density'den bu örnekte göreceğiniz gibi, ürün tasarımı ve hatta fiyatlandırma yapısı da dahil olmak üzere her şeye uygulanabilir.

Bir sunucu ve web sitesi izleme hizmeti olan şirket, müşterisinin izlenmesi gereken sunucu ve web sitesi sayısına göre ödeme yapmasına izin verdi:

Yapı, müşteri tabanını genişletmeyi amaçlıyordu, ki bunu yaptı, ancak ekibin gözü artık daha yüksek gelirdeydi. Bu nedenle, A/B, paket bir modelle fiyatlandırmalarının tamamen elden geçirilmesini test ettiler:

Yeni yapı aslında daha az dönüşüm sağladı, ancak her birinin değeri birdenbire arttı. İşte sonuçlar:

Ortalama sipariş değeri, eski siparişle karşılaştırıldığında artık 55 doların üzerindeydi: 19,70 dolar. Çıkarımlar, test kullanıcılarına iki önemli şeyi hatırlatır:

A/B testi, yüzeysel tasarım değişikliklerinden daha fazlası için kullanılabilir.
Dönüşümler her şeyin sonu değildir. Bazen daha az dönüşüm size daha iyi sonuçlar verir.

Küresel ve yerel maksimumu nasıl buluyorsunuz?

Unutmayın: A/B testinin gücü, büyük değişikliklerle mümkün olduğunca küresel maksimuma yaklaşmaktır. Yerel maksimumu bulmak için bunun yerine çok değişkenli testi kullanmanız daha iyi olur.

Her seferinde yalnızca bir sayfa öğesini test etme tuzağına mı düştünüz? Genel maksimumu bulmak için test başına birden fazla değişiklik yapıyor musunuz?

Bugün bir Instapage Enterprise Demosu ile sahip olduğunuz her kitle için nasıl 1:1 reklam kişiselleştirme sağlayacağınızı öğrenin.