"Her Şeyi Test Edin" — Kağıt Üzerinden Uygulamaya

Açık olalım.

Satışları ve geliri doğrudan etkilemeseler bile, bunları iyi uyguladığınız ve süreçten ders aldığınız sürece, daha fazla A/B testi yapmak asla hata değildir.

Fakat…

Her test, zaman, çaba, insan sermayesi ve daha fazlasının yatırımını gerektirir.

Öyleyse neden bazı uzmanlar her şeyi test etmeyi savunuyor? Ve orta yol nedir… özellikle sizin için… evet… bu makaleyi okuyorsunuz.

Artık tonlarca iyi test fikriniz olabilir ve hepsini test etmeniz gerekip gerekmediğini bilmek isteyebilirsiniz. Ama mesele bu değil! Natalia'nın Speero'dan Ben Labay ile yaptığı bir röportajda bahsettiği gibi:

Dışarıda yüzlerce harika fikir var, ama mesele bu değil. Önemli olan, üzerinde çalışmak için doğru zamanda doğru olanı bulmaktır .

Her şeyi rastgele test etmeye başlamak cazip gelebilir, ancak doğru zamanda doğru hipotezi test etmeye öncelik vermek anahtardır.

Doğru önceliklendirme ile “her şeyi test et” zihniyetini geliştirebilirsiniz. Bununla birlikte, çoğu hipotez önceliklendirme modeli yetersiz kalmaktadır.

Her şeyi A/B testi yapmanız gerekip gerekmediğini, önceliklendirmenin karar vermenize nasıl yardımcı olduğunu ve geleneksel seçeneklerin sınırlamalarının üstesinden gelen kendi önceliklendirme modelinizi nasıl oluşturacağınızı anlamak için biraz daha derine inelim.

Her Şeyi Test Edin: Neden Tavsiye Edilir?

Bu tartışmalı yaklaşımı inceleyerek başlayalım: Her şeyi test etmek mantıklı mı?

Haydi, bir taraf seçin.

Varsayılan eyleminiz nedir?

Bu makalenin geri kalanını okumadan ve daha fazla veri toplamadan sizin için “lezzetli” olan nedir?

Tamamlandı?

Şimdi bakalım bizim mantığımız sizinkiyle örtüşüyor mu?

“Her şeyi test etme” bilmecesini ele almadan önce, A/B testinin ve sonuçlarının ne anlama geldiğini anlamamız gerekiyor.

İstatistiksel Geçerlilik

A/B testi, aklınızdaki değişikliklerin Temel Performans Göstergelerinizi (KPI'lar) etkileyip etkilemediğini görmenin istatistiksel olarak geçerli bir yoludur.

Örneğin, amacınız blogunuzun daha fazla ziyaret edilmesini sağlamaksa, onu ana gezinme menüsüne ekleyebilirsiniz. Yeni menü artık eskisinin bir kopyası değil. Ancak bu değişiklik, site ziyaretçilerinizin davranışlarını olumlu yönde etkilemiyorsa işe yaramaz.

İki versiyonun yapısal olarak farklı olduğu basit gerçeği önemli değil. Genel olarak, önemli olan arzu ettiğiniz ve beklediğiniz sonucun gerçekleşmesidir. İnsanlar blogu ana menüde gördüklerinde , altbilgide saklandıklarından daha mı çok ziyaret etmeye meyilliler?

Sağduyu EVET diyebilir, (olumlu) bir etkisi olmalıdır. Ancak testiniz, bir etki ölçüsü olarak izlemeyi seçtiğiniz metriklerde herhangi bir değişiklik göstermeyebilir.

Bu doğruysa, A/B testleri de riski azaltır.

Risk azaltma

Site genelinde değişiklikleri uygulamak karmaşık ve tamamen farklı bir top oyunudur.

Kullanıcıların istemediği özellikler oluşturarak ve beklenen sonuçları vermeyen web sitesi öğelerini özelleştirerek bir değişiklik yapabilir ve kaynakları israf etme riskiyle karşı karşıya kalabilirsiniz. Bu, önerilen çözüm için gerçekten uygulanmadan önce yapılan asit testi olduğundan, A/B testinin gerekli olmasının ana nedenlerinden biridir.

A/B testi derlemeleri (özellikle istemci tarafı derlemeleri) , sabit kodlanmış web sitesi değişikliklerine ve aslına uygun özelliklere göre daha az kaynak gerektirir. Bu, özellikle sonuçlar temel KPI'ların doğru yönde hareket etmediğini gösterdiğinde, belirli bir rotayı izlememeniz için size yeşil ışık verir.

Test etmeden, basitçe çalışmayan deneyimlere yatırım yaparsınız. Geliri ve performansı korumak için önceki tasarıma geri dönmeniz gerekebileceğini bilmeden aldığınız kör bir risktir.

Analytics-toolkit.com'un yaratıcısı Georgi, A/B testinin özü gereği bir risk yönetimi aracı olduğunu bile savunuyor:

Test etmek varken neden riske giresiniz ki?

(—Bununla ilgili daha sonra blogda. Okumaya devam edin!—)

Moda analizi

'dan öğrendiğiniz testleri tutarlı bir şekilde çalıştırdığınızda , hedef kitlenizin belirli girdilere verdiği yanıttaki eğilimleri tespit etmeye başlarsınız. Tek bir yinelemeden değerli bir şey elde edebileceğinizi varsaymamak en iyisidir. Ancak meta-analiz (tek değişkenli bir A/B test ortamında), zaman içinde, belirli bir hipotezi test etmeye diğerlerine göre potansiyel olarak öncelik verme konusunda size güven verebilir.

Bazı uzmanlar, denemenin birçok faydası olduğu göz önüne alındığında, her şeyi test etmenin arkasında durur.

Öte yandan, birçok uzman , büyük soruları yanıtlamak için en azından önceki deneylerin tekrarlanabilir sonuçlarından ilham almayı savunuyor.

GoodUI'nin Baş Editörü Jakub Linowski, en dikkat çekenler arasında. Deneylerin tahmine olanak sağlayan bilgi ürettiğini savunuyor. Bilgiyi, taktikleri, kalıpları, en iyi uygulamaları ve buluşsal yöntemleri takip etmenin önemli olduğunu düşünüyor.

Deneylerden edindiğiniz bilgiler, daha güvenilir tahminler yapmanıza yardımcı olur. Bu da daha doğru hipotezler oluşturmanıza ve bunları daha iyi önceliklendirmenize olanak tanır.

İlk bakışta, bu bakış açıları çelişkili görünebilir. Ancak aynı argümanı pekiştiriyorlar, “ deney, belirsiz bir dünyada kesinlik getirir .”

Ya veri kümeniz üzerinde varsayımlarda bulunursunuz ya da birden fazla dikey ve sektörde benzer istenen nihai sonuçlar için yürütülen testlerden inançları aktarırsınız.

Convert'te her iki görünümden de ilham alıyoruz ve aşağıdaki iki basit yolla bir yüzün diğerini nasıl oluşturduğunu görüyoruz.

Öğrenme ve Test Etme: İlham Veren Testler İçin Pratik İkili

Herşeyi sorgula

Bu, Stoacı ustalardan kalıcı bir öğretidir.

Etrafınızdaki her şeyi sorguladığınızda, tanıştığınız insanlardan öğrendiklerinizin, içinde yaşadığınız kültürün ve beyninizin izlemeyi seçtiği buluşsal yöntemlerin bir bileşimi olduğunuzu fark edersiniz.

Genellikle bizi harekete geçiren bu “içgüdü” genellikle bizim değildir.

Örneğin, çoğumuz tüketim odaklı cömert bir yaşam tarzı sürmeyi hayal ediyoruz. Ama bu gerçekten bizden mi geldi? Yoksa reklamın, medyanın ve Hollywood'un kurbanı mıyız?

Medya ve reklam, bireyin öncelikle tüketici olma hayallerini ve arzularını şekillendirmede önemli bir rol oynamaya başladı… ve bireyi baştan çıkarmak ve istediğinin içeriden kaynaklanan özgür bir karar olduğuna inandırmak mümkün oldu. (ama aslında öznel olduğunu söylediği arzuyu yaratan ve onun için otomatik arzuyu yaratan yüzlerce reklamın tutsağıdır .

Abdel Wahab El-Messiri

SADECE kendi “içgüdülerinizi” kullanarak değişiklik yapmak ve iş kararları vermek akıllıca değildir. Yapmak istediğimiz değişikliklerin ve işimizde uygulamak istediğimiz kararların bizden geldiğinden emin olamıyorsak, neden onlara bağlıyız?

Her şeyi sorgulamak esastır . Bağırsaklarınız, en iyi uygulamalarınız, önceliklendirme modelleriniz vb.

Ve her şeyi sorgularsak, bir sonraki adım, onu deneyler yoluyla matematiksel doğrulamaya tabi tutmaktır. Çünkü sorgulamada durmak, belirsizlikten kesinliğe giden döngüyü kapatmaz.

Deneylerden Öğrenin

Test etmezseniz öğrenemezsiniz.

İçgörülerinizi doğru bir şekilde ölçtüğünüzden emin olun. Öğrendiklerinizi anlamlı bir şeye dönüştürmek için A/B testlerinde hem nitel hem de nicel verilerden yararlanmanız gerekir. Örneğin, ortalama etkiyi bağlama, test türüne, test konumuna, izlenen KPI'lara, test sonucuna vb. göre gruplandırın.

Bu metodik yaklaşımın harika bir örneği GOODUI veritabanıdır .

A/B testlerinde tekrar tekrar performans gösteren kalıpları belirleyerek işletmelerin daha iyi ve daha hızlı dönüşümler elde etmesine yardımcı olur.

GOODUI, 366 teste dayalı 124 model içerir (yalnızca üyeler) ve her ay 5'ten fazla yeni güvenilir test ekler. GOODUI veritabanı, deneylerden öğrenerek ve bu öğrenmeleri kalıplara dönüştürerek, sıkıcı A/B test sürecini kısaltır ve müşterilerin daha fazla kazanç elde etmesini sağlar!

Bu kalıplardan biraz ilham alın:

Desen #2: Simge Etiketleri: https://goodui.org/patterns/2/

Model #20: Hazır Yanıt: https://goodui.org/patterns/20/

Model #43: Uzun Başlıklar: https://goodui.org/patterns/43/

Ama Odaklanın… Fikirlere Öncelik Vermek

Şirkete özel sonuçları göz önünde bulundurarak, kapsamlı iş hedeflerinizle uyumlu fikirlere öncelik verin.

Bunu hayal et.

İyi bir müşteri tabanına sahip bir işletme yönetiyorsunuz. Ancak bu müşterilerin elde tutma oranı %15'in altındadır . Ana hedefiniz, müşterileri çok daha yüksek oranda tutan sürdürülebilir bir iş kurmaktır. Bu hedef, önceliklendirmenizi etkilemelidir.

Diyelim ki iki fikriniz var ve ilk olarak hangisini test edeceğinizi bilmek istiyorsunuz – biri elde tutma oranını artıracak, diğeri ise yeni müşterilerden elde edilen satışları artıracak . İkinci fikrin iyileştirme potansiyeli çok daha yüksek olmasına rağmen, muhtemelen ilk fikre öncelik vermelisiniz.

Bunun nedeni, daha yüksek müşteri elde tutma oranının, uzun vadede daha istikrarlı bir iş anlamına gelmesidir. Bu, kapsamlı iş hedefleriniz ve stratejinizle mükemmel uyum sağlar.

Diğer fikir size çok daha fazla yeni satış sağlayabilir. Ancak sonunda, işletmeniz müşterilerinin %85'inden fazlasını sızdırıyor olacak.

Deneme için önceliklendirme modelleri, test edilen şeyin stratejik önemini her zaman göz önünde bulundurmaz. Çok çeşitli farklı fikirlerin olası etkisine, çabasına vb. bakarlar, ancak bu fikirlerden hangisinin iş stratejisi ve yönüne en uygun olduğunu düşünmezler .

Jonny Longden, Test Everything aracılığıyla

Çoğu Önceliklendirme Modeli Nerede Yetersiz Kalır?

Keskin bir optimize ediciyseniz, uzun bir A/B testi fikirleri listeniz olabilir. Ancak sınırlı trafik ve kaynaklar nedeniyle her şeyi test etmeye karar verseniz bile hepsini aynı anda test edemezsiniz.

Uzun bir yapılacaklar listesine sahip olmak ve aynı anda her şeyin üstesinden gelemeyeceğinizi bilmek gibi. Böylece önceliklerinizi belirleyin ve EN YÜKSEK ÖNCELİKLİ olanlardan başlayın. Bu, deneylerle kâr elde etmek için geçerlidir. Doğru önceliklendirme ile test programınız çok daha başarılı olacaktır.

Ancak David Mannheim'ın makalesinde yazdığı gibi A/B testinde önceliklendirme çok zor. Bunun başlıca nedeni

• Genellikle iş hedeflerine odaklanmayan ve bunlarla uyumlu olmayan fikirler üretirsiniz .
• Tekrarlamayı ve önceki deneylerden öğrenmeyi düşünmeyin .
• İşlevsel olmayan önceliklendirme modelleri kullanın ve soruna keyfi çerçeveler eklemeye çalışın.

Ve bunlar aynı zamanda en popüler önceliklendirme modellerinin bile gözden kaçırdığı ve bazı şeyleri yanlış anladığı alanlardır. Ama neden bu? Uygun önceliklendirme eksikliğine katkıda bulunan bazı kritik unsurlar aşağıda belirtilmiştir.

• Yanıltıcı faktörler: Testleri seçmek için kullandıkları faktörler oldukça yanıltıcıdır. Birincisi, az çaba gerektiren fikirlerin hızlı bir önceliklendirmeyi hak ettiği izlenimini veren çabadır.
• Ağırlık fonksiyonu: Çoğu model, faktörlere keyfi ağırlıklar atar. Rastgele öncelik veremezsiniz; bunun için bir nedene ihtiyacın var.
• Karmaşık yinelemeler: Önceliklendirme amacıyla mevcut test yinelemelerini (öğrenmeye dayalı) yepyeni fikirlerden ayırt edemezler.

Yeni başlayanlar için, PIE önceliklendirme çerçevesi , hipotezleri aşağıdakilere dayalı olarak sıralar:

• İyileştirme Potansiyeli
• Önem
• Kolaylaştırmak

Ancak bir test fikrinin potansiyelini nesnel olarak nasıl belirlersiniz? Kurucusu Peep Laja olarak bunu önceden bilseydik CXL, önceliklendirme modellerine ihtiyacımız olmayacağını açıkladı.

PIE modeli çok özneldir. Ayrıca iş hedefleriyle pek uyumlu değildir ve düşük riskli çözümleri teşvik eder. Kolaylık, az çaba gerektiren fikirlere öncelik verilmesi gerektiğini öne sürdüğü için yanıltıcıdır.

Risk ne kadar büyükse, ödül de o kadar büyük olur .

Ve bu sadece daha sofistike fikirlerle kendinize meydan okuyorsanız geçerlidir.

Bir diğer popüler model olan ICE (Etki, Güven ve Kolaylık) puanlama modeli, PIE'ye çok benzer ve PIE ile aynı kusurlara sahiptir.

PXL çerçevesi , bu ikisi üzerinde bir gelişmedir ve herhangi bir "potansiyel" veya "etki" değerlendirmesini çok daha objektif hale getirir. Ancak yine de eksiklikleri var.

İlk olarak, iş hedefleriyle uyumlu olmayı düşünmez . İkincisi, mevcut test yinelemelerini yepyeni fikirlerden ayırmaz.

Brainlabs, Dönüşüm Oranı Optimizasyonu Küresel Başkan Yardımcısı David Mannheim, eski danışmanı User Conversion'da bir müşteri için inşa ettikleri 200'den fazla deneyin %50'sinin birbirinin yinelemeleri olduğunu ortaya koydu. Ayrıca bir zamanlar orijinal hipotezden %80 daha iyi bir değer yarattılar ve şunları belirttiler:

"Kavramın" işe yaradığını biliyorduk, ancak uygulamayı değiştirerek, 6'dan fazla farklı yineleme ekleyebilirim, orijinalde %80'in üzerinde artan bir kazanç gördük .

Convert , "Çalışma Deneyimi Bilgili Deneyler raporunda ", görüşülen uzmanların neredeyse tamamının öğrenmenin başarılı bir düşünceyi desteklediği konusunda hemfikir olduğunu buldu. Bu, H&M'in öğrenme modellerini ele almasıyla daha da desteklenebilir.

Ürün ekibimizde H&M'de yürüttüğümüz hemen hemen tüm diğer deneyler, önceki bir deney veya başka bir araştırma metodolojisinin belgelenmiş öğrenimiyle desteklenir .

Matthias Mandiau

Kendi A/B Testi Önceliklendirme Modelinizi Nasıl Oluşturursunuz?

Önceliklendirme, “her şeyi test etme” zihniyetini teşvik eder. En acil problemde en büyük engeli oluşturan fikirleri ve hipotezleri test etmek (önce) güven verir.

Ama her işletme farklıdır. Dolayısıyla, tüm deneylere uyan tek bir önceliklendirme yaklaşımı olamaz. David'in işaret ettiği gibi bağlam kraldır .

Esasen, tüm modeller yanlıştır, ancak bazıları faydalıdır .

George EP Box, bir istatistikçi

Yukarıdaki örneklerden tüm modellerin kusurlu olduğunu ancak bazılarının kullanışlı olduğunu söyleyebiliriz. İşin sırrı, işiniz için en kullanışlı ve etkili modeli oluşturmaktır.

Bir model oluşturmak için dört adım:

1. Örneklerden İlham Alın

İyi bir önceliklendirme modeli geliştirmenin en verimli yollarından biri, farklı modellerden yetenekler seçmek, karıştırmak ve eşleştirmek ve sınırlı nitpicking ile bir karışım üretmektir.

Örneğin, PXL'in “Öğe ekle veya kaldır?” gibi sorular soran daha objektif değerlendirme yaklaşımından ilham alabilirsiniz. . Aynı zamanda ICE'nin çarpma açısını da değerlendirebilir ve ekleyebilirsiniz.

2. Önemli Faktörlere Yer Açın

İş hedeflerinizle uyumlu faktörleri dahil edin. Bu, yalnızca yüzey düzeyinde metrikler ve sonuçlar değil, müşteri yaşam boyu değeri (LTV) ve müşteriyi elde tutma oranı gibi temel büyüme faktörlerine ve KPI'lara daha fazla odaklanmanıza yardımcı olacaktır.

Daha önce de belirtildiği gibi, deneylere öncelik verilirken şirkete özel öğrenme de çok önemlidir. Belirli çözümler, kitleniz için tutarlı ve tarihsel olarak diğerlerinden daha iyi performans gösteriyor mu?

Ayrıca, yineleme potansiyelini de göz önünde bulundurun. Yinelemeler, belirli bir iş sorununu çözmede daha fazla ilerleme sağlanmasına yardımcı olabilir ve daha başarılıdır. Doğruysa, yineleme potansiyeli olan hipotezler, bağımsız testlere göre önceliklendirilebilir ve önceliklendirilmelidir. Ek olarak, deney, çabaların birbirini beslediği bir volan değilse hiçbir şeydir.

Son olarak, karmaşıklık, zaman, maliyet ve deneylere öncelik vermek için kullanılan geleneksel ölçüler dahil olmak üzere kaynak yatırımını hesaba katın.

3. Ağırlık Kritiktir

Yürüttüğünüz testlerden ne elde etmek istediğinize karar verin. Yeni, çığır açan fikirleri keşfetmek mi? Veya bir çözüm bulana kadar sorunlu bir alanı kullanmak mı?

Puanlama sistemini ihtiyaçlarınıza göre özelleştirin. Bunu daha iyi anlamak için iki farklı deney türünü ele alalım.

1. Blogu gezinme menüsüne eklemek, blog ziyaretlerini artıracaktır.
2. Ödeme sayfasındaki form doldurma sayısını azaltmak, sepetten ayrılma oranını azaltacaktır.

Bu örnek için, önceliklendirme modelimiz için yalnızca iki faktör seçtiğimizi varsayalım. Biri yineleme potansiyeli, diğeri ise etki potansiyeli ve her bir hipotezi her faktör için 1-5 arasında derecelendirin.

Şimdi test etmek için ana hedefimiz , bir e-ticaret sitesi için kart terk sorununu çözmektir . Muhtemelen bunu bir testle düzeltemeyeceğimiz için yineleme potansiyeline daha fazla ağırlık vermeliyiz. Ve alışveriş sepetini terk etmeyi gözle görülür şekilde azaltmadan önce, muhtemelen tek bir hipotez içinde birçok kez yineleme yapacağız.

Puanını ikiye katlayarak yineleme potansiyeli faktörünü tartabiliriz.

Etki potansiyeli faktörü için ilk hipoteze “4” verelim. Ve yineleme potansiyeli için “2”. Ardından, form doldurma hipotezi için hem etki hem de yineleme potansiyeli faktörleri için “3”.

Yineleme potansiyeli vurgusu olmasaydı, bu bir bağ olurdu: “4 + 2 = 3 + 3”

Ancak bu faktördeki puanı iki katına çıkardıktan sonra, iki numaralı hipotez kazanır:

İlk hipotez için nihai puan : “4 + 2(2) = 8 ”

İkinci hipotez için nihai puan : “3 + 3(2) = 9 ”

Sonuç olarak, aynı çerçevenin önceliklendirme çıktısı, dış ve iç hususlar değiştikçe değişmelidir.

4. Durulayın ve Doğru Kısaltmayı Bulana Kadar Tekrarlayın

Tek bir yinelemeyle iyi sonuçlar beklememeye çalışın. İşletmeniz için doğru önceliklendirme modelini bulana kadar değişiklik yapmaya devam edin.

Örneğin, ConversionAdvocates, şu anlama gelen kendi çerçevesi IIEA'yı oluşturdu:

• İçgörü
• fikir
• deney
• analiz

IIEA , başlatmadan önce her deneyin öğrenme ve iş hedeflerini listeleyerek çoğu modelin iki ana sorununu çözmeye çalışır.

Hangi kısaltmayı yaratırsanız oluşturun, onu sürekli gözden geçirin ve yeniden değerlendirin. ConversionAdvocates Optimizasyon Başkanı Sina Fak, son beş yıldır IIEA'yı iyileştirdiklerini belirtti.

2013'ten beri bu özel çerçeveyi, birçok işletmenin maliyetleri düşürme ve dönüşümleri artırma gibi kritik sorunları çözmesine yardımcı olmak için kullandılar.

Sizinki uygun bir ICE veya PIE olmayabilir, ancak sonuçlar lezzetli olacaktır.

Yeni ultra kullanışlı önceliklendirme modeliniz ile eski öğrenimden ödünç alabilir VE potansiyel olarak "her şeyi test edebilirsiniz" .

Kitabımızda bir kazan-kazan!