Deneyime Dayalı Deneyler Çalıştırmak için bir A/B Testi Öğrenme Havuzuna ihtiyacınız var (Uzmanlar Diyor)

Test programınız, yapısından veya etkisinden yoksun gibi mi hissediyor?

Saldırı planı olmadan testler mi yapıyorsunuz ve neye öncelik vereceğinizden veya bir sonraki adımda nerede çalışacağınızdan emin değil misiniz?

Belki de daha önce hangi testleri denediğinizi, neyin işe yaradığını ve neyin başarısız olduğunu hatırlamaya çalışırken kayboluyorsunuz?

Ya da belki mevcut bir programa yeni katıldınız ve zaten ne işledikleri, nasıl performans gösterdiği veya nereden başlayacağınız hakkında hiçbir fikriniz yok mu?

A/B testi yaparken yabani otların arasında kaybolmak kolay olabilir ama neyse ki tüm bunları çözmenin basit bir yolu var.

Kısa süre önce 5 profesyonel CRO ile görüştük ve bir şey hemen netleşti: Deneyime dayalı deneyler yapmak ve test kültürünüzü geliştirmek istiyorsanız, merkezi bir içgörü havuzuna sahip olmanız gerekir.

Öğrenme Deposu Nedir?

Basitçe söylemek gerekirse, çalıştırdığınız geçmiş testlerle ilgili tüm bilgileri depolamak için tekil bir konumdur.

• hedef sayfa,
• Hipotez ve uyguladığınız şey,
• Test elemanları ve varyantları,
• Sonuçlar,
• Önemli metrikler vb. üzerindeki etkisi.

Bir dizüstü bilgisayardaki veya bir Asana projesindeki bir klasör kadar basit olabilir, ancak bir öğrenme havuzu, yalnızca yüceltilmiş bir dosyalama sisteminden çok daha fazlasıdır…

Bir 'deneysel öğrenme havuzu', daha geniş işletme ve paydaşların bugüne kadar hangi deneylerin yapıldığını ve hangi öğrenmelerin kazanıldığını görmelerini sağlar. Depo, okuyucuya, küresel bir işletmede önemli olan içeriği kendi zaman ve hızında tüketme yeteneği sağlar.

– Max Bradley, Zendesk'te Web Deneyini Yönetme

Bu, tüm geçmiş testlerinizin tüm ekibinize kolay erişim anlamına gelir ve bu, aslında bu test kültürünü oluşturmanıza yardımcı olabilir.

Nasıl?

Test etme ve testlerin çalıştığını görme sürecine ne kadar çok kişi katılırsa, zihniyet o kadar hızlı benimsenir.

Hangi testlerin yapıldığını ve sonuçlarını görmek, bu bilgilere erişimi olan herkes için yeni fikirler ve bakış açıları sağlayabilir. Bu daha sonra bir aha'ya yol açabilir! Test ekibinin dışında şirketin farklı alanlarında, daha sonra kendileri için test edebilecekleri veya test ekibine iletebilecekleri an.

Örneğin, ücretli reklamlar departmanı, sayfa testlerinde artış elde eden en etkili dili belirlediyse, bunu reklam metinlerinde, ücretli aramalarında veya sosyal medyada denemek isteyebilir, çünkü bu, izleyicilerde açıkça yankı uyandırır.

Geçmiş testlere erişim, yalnızca harici ekip üyeleriyle yeni fikirler ortaya çıkarmakla kalmaz, aynı zamanda önemli bilgileri bulmaya çalışmak için harcanan zamanı da azaltır.

Öğrenim havuzunda şirket çapında erişimden ve zamandan tasarruf etmekten çok daha fazlası vardır:

Öğrenmeler, anlamlı ve etkili ürünler oluşturmanın temel ilkesidir ve anlamlı ve doğrulanmış öğrenmeleri toplamanın tek yolu, deneyler yapmak ve tüm bu öğrenmeleri merkezi bir havuzda toplamaktır. Bu veri havuzundaki öğrenmeler, örneğin, birkaç farklı çözüm yaklaşımıyla belirli bir kullanıcı hedefine doğru çalıştığınız fırsat/çözüm ağaçları gibi birçok alıştırmada kullanılabilir.

Deneyime dayalı deneyler yürütmenin anahtarı, erişilebilir, yapılandırılmış, aranabilir ve uygun şekilde güncellenen/yönetilen merkezi bir havuza sahip olmaktır. Bunu başarılı bir şekilde yapmak, genel deney programı çıktısının üretkenliği ve kalitesi üzerinde üstel bir etkiye sahip olabilir .

– Matthias Mandiau, H&M Group'ta Deney ve Veri Analitiği Uzmanı

Matthias'ın dediği gibi, hedef kitlemizi ne kadar iyi anlarsak, onlara ürün ve hizmetleri o kadar iyi sunabiliriz.

İçgörüyü hemen elde edemeyebiliriz, ancak bu bizi doğru yola sokabilir ve oradan daha da geliştirebilir ve en iyi ürün ve kullanıcı deneyimini sunabiliriz.

Halen daha iyi?

Testlerimizin sonuçlarını öğrenmeye ve yönetmeye devam etmek, maliyetli hatalardan kaçınmamıza yardımcı olabilir…

Deneyler Yaptınız, Şimdi Bu Hatalardan Kaçının

Geçmiş verileri depolamak ve bunlara erişmek için bir yere sahip olmak harika, ancak tek faydası bu değil.

Aslında, görüşmelerimiz sırasında, tekrar tekrar konuşulan bir dizi yaygın test programı hatası bulduk - bunların neredeyse tamamı bir öğrenme havuzuna sahip olarak düzeltildi.

“Pahalı” Şirket Verilerine Saygı Duymamak

Bir öğrenme havuzu için en ikna edici argümanlardan biri , testlerden elde edilen tüm verilerin şirket mülkü olduğu basit gerçeğidir.

Bu verileri toplamak için değerli zaman ve para harcıyorsunuz. Yapmak isteyeceğiniz son şey, onu saklamamak veya kullanmamak ya da daha kötüsü, yeni testler planlamanıza ve geçmiştekilerden öğrenmenize yardımcı olması için asla geri dönmemektir:

Ana çıktısı (öğrenmeler) ile ilgilenilmediğinde neden bir deney programına bu kadar çok para yatıralım?

İyi bir genel bakış, neyin üzerinde çalışıldığını, şimdi neyin odak noktası olması gerektiğini ve yakında neyin üzerinde çalışılması gerektiğini anlamak için çok önemlidir. Ayrıca bu şekilde bilgi insanlara bağlı değildir, çünkü insanlar şirketlere gelir ve gider.

Bunun da ötesinde, daha iyi bilgi paylaşımına, daha iyi katılıma, daha iyi iş vakaları hazırlamaya, daha iyi araştırmaya olanak tanır…

– Matthias Mandiau

Test programınızın kilometrelerce yüksek bir görünümüne sahip olmak, yalnızca daha iyi test yapmanıza değil, aynı zamanda yeni personel ve hatta ekip liderleri yetiştirmenize de yardımcı olabilir. (Ve CRO yöneticisi şirketten ayrıldığında tüm içgörüleri kaybetme sorununu atlayın).

Nasıl?

Eh, şimdi yeni üyeler daha önce nelerin denendiğini, nelerin işe yaradığını ve belki de nelerin çalışma potansiyeline sahip olduğunu ancak doğru şekilde uygulanmadığını veya daha sonra tekrarlanabileceğini görebilirler…

Deneyim (Ve Veri) Bilgisine Sahip Şirket Genelinde Bir “İçgüdüsel İçgüdü” Geliştirmeyi Kaçırmak

Test fikirleri bulmak için içgüdülerinizi kullanmanın yanlış bir tarafı yok. Bazen, bir hipotez oluşturmanıza ve bir ilk testi tamamlamanıza yardımcı olabilecek verilerden veya deneyimlerden bir sezgiye sahip olursunuz.

Ancak, her zaman bu içgüdüsel içgüdüye güvenmeye ve bunun yerine araştırma ve verilere dikkat etmemeye dikkat etmelisiniz.

Ekibime (Bouqs'ta) söylediğim bir şey var... veriniz olmadığında (günlüğe kaydedilen öğrenme/testlerden elde edilen eserler), ya içgüdülerinize ya da paydaşların içgüdülerine dayalı kararlar vermeniz gerekir. Öğrenimlerden oluşan bir veri tabanı,
hepimiz için içgüdüsel bir kontrol olarak kullanabileceğimiz, ancak sadece bize ait olmayan ya da önyargılı olmayan bir içgüdü.

– Natalia Contreras-Brown, The Bouqs Ürün Yönetimi Başkan Yardımcısı

En olgun CRO programlarına sahip en büyük şirketlerin neredeyse tamamı veriye dayalıdır. Verilerin kendilerine en önemli olduğunu söylediği şeylere göre seçimler yaparlar ve genellikle pazar lideri olmalarının nedeni budur.

Yalnızca içgüdüsel seçimler ve fikirler üzerinde test yapmaktan suçlu olmayın ve yalnızca metriklere odaklanmayın. Her test sonucundan bağlamsal içgörü bulmak için zaman ayırın. Bilgileri takip edin ve en önemlisi, ne olduğunu ve neden olduğunu düşündüğünüzü takip edin ve kaydedin, böylece neyi denediğinizi ve neden işe yaradığını unutma hatasına düşmeyin.

Daha Önce Yürütülen Testlerin Tekrarı

Bunu zaten ima etmiştik, ancak ne yaptığınızı izlemeden, daha önce denemiş olduğunuz bir test fikrini yeniden çalıştırmak veya zaten uygulanmış olduğunu düşündüğünüz için bir test fikrini kaçırmak çok kolay hale gelir.

Bir öğrenme havuzu, daha önce yapılmış deneylerin tekrar çalıştırılmasını önlemeye yardımcı olur. Ayrıca, deney ekibi için paydaşlardan alınan sonuçlar ve öğrenilenler hakkındaki soruları yanıtlamak için harcanan zamanı da azaltır.

- Max Bradley

Kendinize ve gelecekteki ekibinize iyi davranın ve ne yaptığınızı ve her testin tüm ayrıntılarını kaydedin.

Benzer bir şey çalıştırmak isteyebilirsiniz, ancak daha önce denediğiniz şeylerin ayrıntıları olmadan, kaçırmak veya kaydetmeniz gereken verileri almak için 30 gün daha harcamak kolay olabilir.

Kötü İletişim veya Bilgiye Erişim Eksikliği

Olgun CRO ekiplerindeki en büyük farklılıklardan biri, hızlı ve kolay bir şekilde iletişim kurma veya bilgiye erişme yetenekleridir. Sadece erişim kolaylığı değil, aynı zamanda doğru bilgiyi ne kadar verimli sağlayabilecekleri konusunda.

İyi belgelenmiş ve organize edilmiş bir öğrenim havuzuna sahip olmak, iletişim engellerini azaltabilir ve hatta siz bilgi ararken ve işleri duraklatırken test iş akışlarını bir kenara bırakmamaya yardımcı olabilir.

(Deneme havuzu), tüm verileri ayrıntılı bir dereceye kadar tutan ve genel olarak ekip tarafından erişilebilir olan, ancak en önemlisi, doğru kişiler için doğru formatta iletişim yapılarının (iletişim katmanı) doğru formatta üretilmesini kolaylaştıran bir bilgi yönetim sistemidir. doğru zaman.

Burada görüldüğü gibi, test iş akışındaki 'veri katmanı'dır:

– Ben Labay, Genel Müdür / CRO & Experimentation @ Speero by CXL

Öğrenmeyi (ve Parayı) Masada Bırakmak

Testlerin çoğunun başarısız olduğunu unutmayın. Yalnızca yineleme ve geçmiş testlerden öğrenerek geliştirebilir ve yatırım getirisini etkileyen bu kazançları elde edebilirsiniz.

Ne koştuğunuzu ve nerede olduğunuzu takip etmeden ilerlemek ve ilerlemeyi görmek, hatta test sürecinizden emin olmak çok zor hale gelir.

Stefan Thomke, “Bugünün yöneticileri, her yönden gelen bilgilerle dolup taşmalarına rağmen, stratejik ve taktik kararları vermek için doğru verilerden yoksun oldukları belirsiz bir dünyada faaliyet gösteriyorlar” dedi. Deney doğrulama ve doğrulama öğrenmemize yardımcı olur . Bu öğrenmeleri gelecekteki kararlar için gözden geçirmek için kolayca erişilebilen bir havuzda toplamak çok önemlidir.

– David Mannheim, CRO Başkan Yardımcısı, BrainLabs

İşte Ruben de Boer'den ideal sürecin görsel bir temsili:

Yaptığınız her testten öğrenmek ve geliştirmek inanılmaz derecede önemlidir. Sadece gelecekteki testlerinizin başarısına doğrudan bağlı olmakla kalmaz, aynı zamanda mevcut kazançlarınızı diğer alanlara ve hatta başka sitelere genişletmenize bile yardımcı olabilir.

Ürün ekibimizde H&M'de yürüttüğümüz hemen hemen tüm diğer deneyler, önceki bir deney veya başka bir araştırma metodolojisinin belgelenmiş öğrenimiyle desteklenir.

– Matthias Mandiau

Bu öğrenme ve tekrar etme alışkanlığı, görüştüğümüz hemen hemen herkeste tekrar tekrar karşımıza çıkıyor.

Brainlabs'ta, iyi bilinen bir erkek giyim mağazası olan Flannels için yaptığımız deneylerin yaklaşık %40-50'si birbirinin tekrarıydı. Bu, tek bir deneyde öğrenmenin gücünü ve bunun nasıl başka bir şeye dönüşebileceğini gösterdi; çünkü her zaman pratik uyaranın bir değişkeni nasıl etkileyebileceğini öğreniyoruz .

– David Mannheim

Size başka bir örnek verelim.

Bir müşteri adayı yakalama sayfanız olduğunu ve kullandığınız düzenin bir sayfa için iyi çalıştığını varsayalım. Daha sonra, orada da kaldırmayı artırıp artırmadığını görmek için sitenizdeki diğerlerine uyarlayabilirsiniz.

Benzer nişlerde birden fazla müşterisi olan bir ajanssanız ne olur?

Bir şirketten elde edilen içgörüler ve kazanımlar, diğer müşterileriniz için de işe yarayabilecek fikirlere ve tasarımlara yol açabilir…

Bir kez işe yarayan, henüz tam olarak kullanılmamış olma şansına sahiptir:

• Daha yoğun bir şekilde tekrar çalışabilir (aynı müşteri için)
• Başka bir yerde tekrar çalışabilir (aynı müşteri için)
• Tamamen farklı biri için tekrar işe yarayabilir

Başka bir deyişle, geçmiş kazançlar, optimizasyonu hızlandırabilecek tahmin potansiyeline sahiptir (daha fazla kazanç, daha büyük başarı olasılığı, daha büyük etki büyüklüğü).

– Jakub Linowski, GOODUI.org

Drip Agency, 2 müşterisiyle tam olarak bunu yaptı.

Kazanan sayfa düzeni tasarımlarını bir müşteriden aldılar, ardından dönüşümlerde anında artış sağlamak için başka bir müşteride test ettiler.

GoodUI benzer bir şey yaptı. Bir müşteriden kazanan test fikirlerini ve bilgilerini aldılar ve bunu sitedeki diğer sayfaları test etmek için temel olarak kullandılar.

Bu onlara dönüşümlerde %42'lik bir artış sağladı!

Daha sonra bir adım daha ileri götürdüler.

Sadece bir müşteri için kazanan tasarımları uygulamak yerine, birden fazla web sitesinde önceki kampanyalara dayalı olarak kazanan testleri tahmin edip edemeyeceğinizi görmek için bir vaka çalışması yürüttüler.

Teori, belirli UX tasarımlarının diğer endüstrilerde çalışabileceğidir.

Böylece önceki kazanan tasarım düzenlerini kullanarak 51 test yaptılar ve diğer sitelerde yeni testler tasarlamaya yardımcı olmak için önceki kazananları kullanırken %71'lik bir başarı oranı elde ettiler.

Oldukça havalı, değil mi?

İşte bir öğrenme havuzunun bu kadar yararlı olmasının başka bir nedeni ve iyi testçilerin geçmiş kazananlara bakmalarının nedeni de bu.

Bunu düşünürseniz, GoodUI temelde bir tür öğrenme deposudur, çünkü bu, birden fazla site ve sektördeki geçmiş testlerin ve kazananların bir veritabanıdır.

Mesele şu ki, genellikle başka sitelerde yeniden kullanılan tasarımları görecekler ve belirli kalıpların artış sağlayacağını fark edecekler. Belki başka biri testi yaptı ama işe yaradı, vb.

Akıllı çerezler oldukları için GoodUI, bu belirli kalıpları yeni müşteriler için testler yapmak için ilham kaynağı olarak kullanır…

Ve mantıklı, değil mi? Teknik sorunları giderdikten ve test edilecek bir sayfaya karar verdikten sonra, benzer sayfalardaki geçmiş test öğelerine ve nelerin işe yaradığına bakmaktan zarar gelmez.

Başlarken ilham almak için diğer siteleri kullanabilirsiniz, ancak tüm uzmanlar aynı fikirde. Mümkün olan en kısa sürede kendi deponuzu oluşturmaya başlamanız gerekir.

Bir Deneme Havuzuna Yatırım Yapın

Jakub Linowski, LinkedIn'de doktorlar, mühendisler, sporcular ve ordu gibi mesleklere bakarsanız, başarılarının ve büyümelerinin çoğunun geçmiş deneylerden elde ettikleri öğrenmelere dayandığını göreceğinizi söyledi.

Bu zihinsel görüntüyle, deneylerin her zaman 0 seviyesinden başlaması gerekmediğinde, CRO alanının bir bütün olarak ne kadar hızlı büyüyebileceğini hayal edebilirsiniz. Ancak bir öğrenme deposu olmadan, durum tam olarak budur.

Ve birçok şirket içi CRO ekibi bundan suçludur.

Bu fikri eve yaklaştırırsanız, zaten bildiklerinizin üzerine inşa etmenin, deney programınızın çabalarını birleştirmenin sağlam bir yolu olduğu açıktır.

Depo = Daha Yüksek Deney Başarı Şansı

Yalnızca öğrenme testleri (ve geçmiş testler) zihniyetine sahip olduğunuzda, bağlam ve koşullar göz önüne alındığında, deneyin ne sunduğuna, yani neyin işe yarayıp neyin yaramadığına dair bir fikre gerçekten değer verirsiniz.

UX, UI, Ürün, Pazarlamada (deneyler sayesinde) 20 "iyi karar", karar verme kaslarını esnetmeye ve içgüdüyü keskinleştirmeye yardımcı olabilir. Görüşlerinizin ne kadar çok azaldığını veya doğrulandığını ne kadar çok görürseniz, neyin işe yaradığını ve kitlenizin neye ihtiyacı olduğunu bulmak için o kadar çok pusulanız olur.

Dönüşüm oranları uğruna test edenler bu büyük resmi kaçırıyorlar. Bu, hedef kitlenizin neye ihtiyacı olduğunu öğrenmekle ilgilidir, haklı olmakla ilgili değil.

Size nasıl olduğunu gösterelim:

Öğrenim Deponuzu Nasıl Yapılandırırsınız

Bir öğrenme havuzu, veri silolarını ortadan kaldırmak, işbirliğini geliştirmek ve iletişimi güçlendirmek içindir.

Sizinki düzgün yapılandırılmamışsa, bu temel gereksinimleri karşılamak son derece zor olacaktır. Ancak öğrenme havuzunuzu yapılandırmakla ilgili olan şey, seçeneklerin olmasıdır. Farklı kuruluşlar için farklı çalışırlar.

Bu bir sorun değil çünkü size 3 modeli anlatacağız ve ardından ekibiniz, departmanınız veya organizasyonunuzla mükemmel uyum sağlayacak bir resim çizebilirsiniz. Daha da iyisi, uzmanlar belirli bir model önermektedir.

Deneysel ekip yapısı açısından bir kazanan var gibi görünüyor: Mükemmellik Merkezi.

1. Bir Mükemmellik Merkezi (CoE), departmana özel deney ekiplerini etkinleştirir ve donatır

Bu modelde, deney ekibi, tüm organizasyonun deney programı için CoE'dir.

Yani, diğer departmanlarda deney yapmak isteyen herkes için bir tür kapıcı. Onlardan geçersiniz ve kurulmasına yardımcı olurlar.

Ardından, bu deneylerin bütünlüğünü denetler ve her şeyi kuruluşun geniş deney hedefleriyle uyumlu tutar.

Bugün bu şekilde yapılanma, yarın alt sıra sorunlarını ortadan kaldıracaktır. Her şey aynı yolda tutulduğundan, izlenmesi kolay ve bu şekilde bir öğrenme havuzu oluşturmak, koordine etmek kolaydır.

Buradaki en büyük zorluk, merkezi olmayan bir model kadar erişilebilir olmamasıdır.

2. Merkezi olmayan birimler departmanlar arasında oturur ve herkesi gemiye alır

Merkezi olmayan birimler çeşitli departmanlardadır ve gerçek testleri yürütür. Bu harika bir strateji çünkü kendi büyüme döngüleri ve ölçümleri hakkında en fazla bilgi birikimine sahipler, bu nedenle yüksek etkili deneyler tasarlamak ve yürütmek için en iyi konumdalar.

Bu modelde, bölümü ve deneyim düzeyi ne olursa olsun herkes testler yapabilir. CoE ile birleştiğinde bazı hayranlar çekiyor…

Kalite kontrol ve AB testlerini yaymak için bir mükemmellik merkezinin yanında çalışan, merkezi olmayan deneylerin büyük bir hayranıyım. Tecrübelerime göre, bu yapılar, deneylerin gücünü gerçekten benimseyen kültürler için en iyi sonucu verir. Bir öğrenme deposu açısından, bu aşağıdaki gibi olmalıdır; ekip üyeleri, deneyler yürütme ve emeklerinin meyvelerinden öğrendiklerini vurgulama konusunda yetkilendirilmelidir .

– David Mannheim

Öğrenme deposunu sürdürme sorumluluğu da buna uygundur.

3. Deneysel öğrenmeleri toplamak ve sürdürmek için bir kişi tarafından yönetilir

Ancak, tek başına CoE modelinden farklı olarak, merkezi olmayan modelin öğrenme deposunu koordine etmek daha zordur.

Öğrenilenleri belgelemek ve sürdürmekten sorumlu belirlenmiş bir role sahip olmaya yardımcı olur. Ve bununla ilgili faydalı bir şey var:

Program/proje yöneticisi (izleme) ve birincil test stratejisti ("hikayeleri" yazan) tarafından yönetilir, ancak uygun şekilde yapılırsa, girdiler sorun formları, yeni kampanya izleyicileri, yeni test çözümü fikirleri vb .

– Ben Labay , Genel Müdür / CRO & Experimentation @ Speero by CXL

Matthias Mandiau, Ben ile aynı fikirde.

Merkezi/merkezi olmayan arasında bir melezi tercih ederim:

Deponun her zaman erişilebilir olması gerekir (bulut).

Güçlü hipotezler oluşturmak için farklı araştırma metodolojilerini birleştirebilmeniz gerekir.

Deponun kurulumu ve yönetimi ve sahiplik 1 ekip/yönetici (merkezileştirilmiş) ile olmalıdır. Merkezi düzeyde üst düzey makro deney performansı KPI'sını takip etmek iyidir.

Deneylerle çalışan her ürün ekibinin, merkezi veri havuzuna doğru biçimde yüklenen tüm toplanan öğrenmelere uygun şekilde bakma sorumluluğuna sahip bir paydaşı (veri analisti/CRO) olmalıdır. Merkezi olmayan ekip içinde ürün ekibi düzeyinde mikro deney performansı KPI'sını takip etmek de iyidir. Örneğin, GA'ya veya veri havuzuna bağlı bir gösterge panosu olabilir .

Zendesk'te deponun bakımından bir yönetici sorumludur, ancak girdiler "test sahiplerinden" gelir:

Şu anda, işletme içindeki bir ekip tarafından yönetilen ve bir kişinin genel sahipliğini alan bir depomuz var. Test "sahiplerinden", test tamamlandıktan sonra öğrendiklerini havuzun ilgili alanına eklemeleri istenir.

- Max Bradley

Ve bu şekilde merkezi olmayan tipte bir modeli yöneten bir kişi (veya küçük bir ekip), deneysel öğrenme havuzunu verimli ve kaliteli tutabilir.

GoodUI'nin yaptığına benzer - mükemmel bir deneme içgörüleri kaynağı oluşturmak için sektörler ve müşterilerden edinilen bilgilerden yararlanır.

Bu nedenle, henüz bir öğrenme havuzunuz olmasa bile, yararlanabileceğiniz çok sayıda bilgi birikimine sahipsiniz. Convert'in planları bir GoodUI indirimli aboneliği ile birlikte gelir.

Öğrenimlerinizi Nasıl Belgelersiniz?

Herhangi bir organize dosyalama sistemi gibi, öğrenme deponuz da veri dökümü için bir yer olamaz. Öğrenilenleri belgelemek için kesin ve uygun bir yöntem olması gerekir ki bu herkes için faydalı olur.

Bu, verilerin sezgisel bir görsel temsili, jargon içermeyen veri öyküleri ve gerektiğinde belirli testleri bulmak için kolay bir yöntem anlamına gelecektir.

İşte nasıl.

Testlerden Tüm Meta Verileri Yakalayın ve Kaydedin

Açık olan ilk adım, testlerden veri toplamaktır. Ama hangi verileri topluyorsunuz? Her şeyi topla demek kolay ama bu kolayca bunaltıcı ve cesaret kırıcı olabilir.

Peki, deney deponuza dahil edilecek veriler nelerdir?

Bir test konseptinin tam meta verileridir. Ve öncelikle, kategorilerde standart olan, sorulması gereken sorulara dayalı olarak girdileri izlemek olmalıdır:

• Test türleri
• Sayfalar
• Temas noktaları
• Kitleler
• Büyüme yüzey alanları

Ancak bu kategoriler İÇERİSİNDE standart değildir, örneğin hedef kitleler şirkete bağlı olarak farklılık gösterecektir, ancak tüm şirketler farklı hedef kitle segmentleri üzerinde test yapacaktır.

– Ben Labay

Ve bu neye benziyor?

Daha net bir resim elde edebilmeniz için bu kategorilerin her birini inceleyelim:

• Test türleri

Nasıl bir testti? A/B testi mi? MVT? A/B/n testleri?

• Sayfalar

Burada, sitenizde testin gerçekleştiği sayfayı veya sayfaları belirtirsiniz. Ana sayfa mı? Belirli bir ürün sayfası mı? SaaS markanızın fiyatlandırma sayfası?

• Temas noktaları

Temas noktaları, müşterinizin yolculuğunda markanızla etkileşime girdiği alanlardır. Bu bir reklam, ürün kataloğu, blog yazısı, pazarlama e-postaları, uygulamanız vb. olabilir.

• Kitleler

Test için hedef kitleniz kim? Herhangi bir kritere göre belirli segmentleri mi hedefliyorsunuz? Davranışsal veriler? Hedefler? Ziyaretçi kaynağı? Coğrafi konum? Yoksa hepsi rastgele mi seçildi?

• Büyüme yüzey alanları

Bu, kullanıcıları sitenizde kalmaya veya markanızla olan ilişkilerini daha derine inmeye teşvik eden bir etkileşimi veya özelliği ifade eder. Yani, her ziyaretçinin değerini artıran bir tür kanca. Bu, ücretsiz bir deneme teklifi veya bir demo olabilir.

Meta verilerinizi zenginleştirmek için şunları da eklemek istersiniz:

• Tarih
• URL/Normal İfade
• Önceki testte yineleme — rapor ettiğiniz testin temeli olan önceki bir teste bağlantı.

Ve bunu daha etkili bilgilerle mühürlersiniz. Katmak…

• A ve B'nin ekran görüntüleri
• Yalıtılmış veya değil (değişiklik sayısı)
• Güven aralıklarıyla etki yüzdesi
• Metrik türü

– Jakub Linowski

Ne kadar çok, o kadar iyi. Ama ilgili ve yararlı tutun.

İşte Zendesk'in Max Bradley'inden başka bir örnek:

Temel bir izleme raporu veya veri havuzu için, Convert'in raporu size kazananı ve neyi test ettiğinizi de gösterecektir.

Bilgileri Korurken Farklı Öğrenme Stillerine Saygı Gösterin

Deney verilerini depolarken insanların bilgi tüketmeyi tercih ettiği çeşitli yollara başvurmanız gerekir.

Bunu yaparken akılda tutulması gereken bazı şeyler var…

Birçok farklı yöntem denedik. Bir ajans olarak, herhangi bir zamanda farklı işletmelerden çok sayıda farklı paydaşla ilgileniyoruz. Zorluk burada yatıyor - insanlar bilgiyi alıyor ve farklı şekilde öğreniyor. Görsel, işitsel veya kinestetik öğrenenler mi? Myers-Briggs anahtarının neresindeler? Paydaşlarınızla nasıl iletişim kuracağınız neredeyse iletişim kurduğunuz içerik kadar önemlidir. Deneyimlerime dayanarak, bir öğrenme deposunun başarılı olmak için iki şey olması gerektiğini öğrendim:

• Temaya uygun ve not alındı, böylece kolayca filtrelenebilir
• Taranabilir öğrenmeler için özlü.

– David Mannheim

Bildirilen deney hakkında mümkün olduğunca fazla bilgi sağlayabilirsiniz. Ve bunu çeşitli formatlarda yapın. Bu yüzden tüm sayılara bağlam kazandırmak için ekran görüntülerine, video kayıtlarına ve bir hikayeye ihtiyacınız var.

Bunu alakalı, özlü ve taranabilir tutmayı unutmayın.

Öğrenmeleri En Üst Düzeye Çıkarmak için Testlerinizi Etiketleyin

Testlerinizi etiketlemek, her şeye kolayca ulaşmanızı sağlar.

Ayrıca bir bakışta bir testin amacını anlamanıza yardımcı olur.

Deponuz istikrarlı bir şekilde büyüyorsa, bir gün kaydedilmiş binlerce testiniz olacak ve yüzlerce kişi bunu fikirleri kaydırmak, içgörüler elde etmek ve kararları bilgilendirmek için kullanacak.

İnsanlar, kuruluşunuzun çözüm yelpazesindeki her bir testin konumu hakkında bir fikir edinebilirse, öğrenmeler daha faydalı olacaktır.

Maksimum Etki için Öğrendiklerinizi Nasıl İletebilirsiniz?

Öğrenme havuzunuz, yalnızca insanlar onu gerçekten kullandığında deney programınıza fayda sağlayacaktır.

Bu nedenle, erişilebilir kılmanın yanı sıra, ekibinizin ve kuruluşunuzun geri kalanına mantıklı ve denemeye ilgi uyandıracak şekilde sunun.

Ama bunu nasıl yaparsın? Bunlar, yanlış anlaşılabilecek sayılar ve sektöre özgü bazı terimlerdir. Çeşitli disiplinlerden insanların topladığınız bilgileri takdir etmesini nasıl sağlarsınız?

A/B testlerini iletmek zor olabilir, ancak bu adımları izlerseniz bu engelleri ortadan kaldıracak ve öğrenme havuzunuzdan en iyi şekilde yararlanacaksınız.

Bunu bir alışkanlık haline getirin

Öncelikle, deneyimleme bulunduğunuz yere yabancı bir kavramsa, öğrenmeyi alışkanlık haline getirmek biraz zaman alabilir. O halde, bu yolculukta yanınıza biraz sabır katın.

Buradaki göreviniz, bu bölümü olağan haftalık etkinliklerinizin bir parçası yapmaktır. Beyin fırtınasının ilham verici bölümünün bir parçası veya toplantıları kapatmak için oynadığınız bir oyun olabilir. Örneğin, kendi versiyonunuz “hangi test kazandı?”

Deney yapmanın bir norm olduğu bir kültür inşa etmenin büyük resminin bir parçası…

Tutarlı, eğlenceli ve ilham verici bir şekilde ekiple birlikte öğrenmeleri gerçekleştirmeyi alışkanlık haline getirin. Her zamanki gibi işin bir parçası olması gerekiyor. Haftada en az bir kez hipotezlerin ve deney sonuçlarının gözden geçirilmesi için bir toplantı yapılmalıdır. Her sprint en az 1 veya 2 deney içermelidir ve deneyi alışkanlık haline getirmek olumlu bir kültür yaratır.

– Matthias Mandiau

Ekip toplantılarında yer almasının yanı sıra, bilgi havuzu testlerini öğrenme bültenlerinde paylaşmak da çok kolaydır. Bunları buraya ekleme alışkanlığının olması, site genelinde denemelerin benimsenmesini de kolaylaştırır.

Güven Oluşturmak için Alçakgönüllü ve Şeffaf Olun

İnsanları, deneylerin tüm cevaplara sahip olduğuna ikna etmek harika görünebilir, ancak bu yanıltıcı olacaktır. İş arkadaşlarınızın her şeyin nasıl çalıştığını, sayıların neyi temsil ettiğini ve çizdiğiniz belirli bir içgörüye ne kadar güvenebileceğinizi anlamalarına yardımcı olun.

Görüşleri %100 kesinlik ile geliyormuş gibi sunmayın. Bunun yerine onlara bunun "içgüdüsel his" ve en iyi uygulamalar yerine karar vermenin en iyi yollarından biri olduğunu gösterin.

Tersini yapmak, oluşturduğunuz öğrenme havuzuna olan güvenlerini kaybetmelerine neden olur ve toz toplamak için terk edilebilir.

Sonuçların nasıl iletileceği konusunda Speero'dan Ben Labay'dan bazı ipuçları:

Kaybedilen testleri saklamayın. Bunun yerine, bunu test etmenin çift taraflı faydasını göstermek için bir fırsat olarak kullanın.

Kazanırsanız, neyin işe yaradığına dair fikir edinmişsinizdir. Kaybederse, neyin işe yaramadığını öğrenmiş olursunuz, böylece temel metriklere zarar veren bir değişiklik yapmaktan kaçınırsınız.

Her iki durumda da, geliştirilebilecek bir şey öğrendiniz.

Sunum yaptığınızda, bunu içgörülerin gerçek dünyadaki uygulamasını gösteren bir hikayede yapılandırın ve paydaşları tıpkı Max'in yaptığı gibi hikayeyi yazmaya katılmaya davet edin:

En yeni öğrendiklerimizi daha geniş ekibimize iki haftada bir ve daha geniş işletmeye aylık olarak sunuyoruz. Kazananlar kadar kaybeden testleri de sunarak mümkün olduğunca şeffaf olmaya çalışıyoruz. Buna ek olarak, tüm gözden geçirenlerden fikirlerini göndermelerini veya sorularını özel Slack kanalımızda sormalarını istiyoruz. Mümkün olduğunda, yüzde artışına ek olarak gerçek anlamda faydayı da göstermeye çalışıyoruz, bu da onu okuyucular için daha etkili hale getiriyor.

- Max Bradley

Öğrenmeyi Geçmeyin, Herkesi Dahil Edin

Deneme sadece pazarlama, optimizasyon, üretim ve/veya büyüme ekipleri için değildir. Veri odaklı bir organizasyon olmak, iyi yapılmış testlerden elde edilen içgörülerle karar verme süreçlerinin çoğunu doyurmak anlamına gelir.

Ve öğrenme deponuz tüm görevin tam ortasında yer alır.

Öyleyse, herkesi gemiye alın.

Evet, insanlar bu alanda değişen seviyelerde deneyime sahip olacaklar, ancak bunun programa zarar vermesine izin vermeyin. Her takımda deneyler konusunda daha derin deneyime sahip biri veya kişiler olduğu sürece, bir şeyler yolunda gidiyor demektir.

Ayrıca, deneye daha aşina olan ve deneyle ilgili daha az tecrübesi olan bazı kişilerin takımda olması da cesaret verici. Ekipte deney konusunda deneyimli en az 2 veya 3 kişinin olması büyük fark yaratıyor .

– Matthias Mandiau

Etki doğal olarak bu şekilde yayılır.

Yeni Bir Çift Göze ve Fikirlerin Çapraz Tozlaşmasına Yatırım Yapın

Bazen farklı bir bakış açısı size hiç düşünmediğiniz fikirler verir. Bu nedenle, deneysel öğrenmelerinizin bir balonun içinde kalmasına izin vermeyin.

Alanınızdaki diğer uzmanlarla paylaşmaya istekli olun ve geri bildirimlerinden neler öğrenebileceğinizi görün.

Belki bir müşteri segmentinde işe yaramayan bir şey var, ancak başka bir müşteri segmentinde işe yarayabilecek biraz farklı bir versiyonu var mı?

Veya belki de herkesin tartıştığı bir şeye rastladınız ve şimdi daha fazlasını öğrenmek için sohbete katılabilirsiniz?

Diğer CRO uzmanlarını dahil ettiğinizde keşfedebileceklerinizden heyecan duyacaksınız. Koçluk görüşmeleri bile farklı bir bakış açısı elde etme stratejinizin bir parçası olabilir.

Koçluk – www.goodui.org/coaching – deney ekipleriyle bir veya iki ayda bir, test planlarını gözden geçirmek, test tasarımları hakkında geri bildirim sağlamak ve başkaları için neyin işe yaradığını ortaya çıkarmak için görüşme yapar.
– Jakub Linowski

Öğrenmeyi Paylaşılabilir Hale Getirin

Bazı insanlar Notion kullanıyor, diğerleri Google Slaytlar kullanıyor ve bazı CRO uzmanları Miro panolarının kullanılmasını öneriyor, ancak amaç aynı…

Öğrenilenlerin yeterli erişime sahip olduğundan emin olmak için test verilerinin ve içgörülerin ekibin geri kalanıyla (veya diğer herhangi bir paydaşla) iletilmesi.

Notion, Google Slides, Miro ve ekibiniz için çekici bulduğunuz diğer çevrimiçi araçları kullandığınızda, depoya herhangi bir cihazdan ve her yerden erişmeyi kolaylaştırırsınız.

Bu, uzaktaki ekipler ve daha önce bahsettiğimiz yeni bir çift göze sahip olmak için harika.

Taşınabilirdir ve kolayca paylaşılabilir. Şimdi, tam bir etki yaratmak için gerçekten deneme öğrenimlerinize kanatlar veriyorsunuz.

Testleri Planlamak için Insights'ı kullanın

One extra (but priceless) perk of keeping records of tests in a repository is upcycling .

Let's say you run a test and it doesn't yield anything earth-shattering. But you've recorded it in your learning repository.

10 or 20 tests down the line you unravel a fresh insight that sheds light on that non-earth-shattering test from months ago. Do you know what you have in your hands now?

Without a place to turn to for details on this old test, you get your insight and move on to the next thing. But now you have more information that enriches an insight you had before.

Now you can “upcycle” the old test, design a better one, and see what you find. Your experimentation program just keeps getting better and better. That's the compounding effort we spoke about earlier.

Another thing is, you don't have to be the one who ran the old test. The person who did is communicating with you through their entry in the learning repository.

Take Bets

This is one way to add excitement to testing. Who said it had to be boring?

When you've presented experimentation learnings to your team (as you now do regularly), and you've decided on the next thing to test, you can take bets on how it'll turn out.

Not only are you exercising team members' judgment on how prior tests predict the outcome of future tests, but you're also getting a vested interest in experimentation.

This is an experience Laura Borghesi of MongoDB.com shared in this video.

When you've made it a habit to check out the learnings on a weekly or bi-weekly basis, built trust, got everyone on board, and gotten vested interests in experiments, you'd see your repo get more traffic. And usage.

The next question is: What do you need to build a repository?

Learning Repository Tools Breakdown & Comparison (+ A Checklist of Desirable Features to Get Started)

Now you understand how important a learning repository is to your testing program and you know how to use it to hit your testing goals.

But how can you make it even better with tools? What tools are those? Can you buy them or build your own?

That's what we're going to cover now:

• What features your repository needs to have (and which are a bonus),
• What tools or services you can use, and
• How to set up a basic repository with simple tools.

Öyleyse hepsini parçalayalım…

Your learning repository tool should be able to let you:

• structure your experiments data when documenting,
• facilitate easy collaboration and sharing, and
• give you a mile-high view of your entire experimentation program.

Anything more is a plus, depending on what matters most to you or your team.

Use these features to build your own bootstrapped version. But honestly, you don't have to build it. You can cobble it together instead.

Get Started With Your Own Learning Repository

Now, let's show you how you can build yours in 4 steps:

1. Use Simple Tools When Starting Out

There are some great tools out there that you can use to build a repository:

Effective Experiments

Effective Experiments is a tool for documenting experiment data with additional features that help you scale your program and get access to CRO experts for training and consultation.

Özellikleri şunları içerir:

• Experimentation workflows and processes
• Enhanced quality of data
• Experimentation program insights (so you get that mile-high view of your entire program)
• Collaboration and communication tools

GrowthHackers Tool

Experiments by GrowthHackers helps you build your experimentation learning center in a structured process based on the Growth Hacking methodology.

The key features you'll find are:

• A dashboard for strategy and metrics
• Collaboration and communication tools
• Hypothesis builder
• Progress reports
• Experiments status tracker

Both of these will work great for you. However, almost all of the experts that we spoke to recommended just using simple tools when starting out — especially if your budget is tight.

Neden? Niye?

Because you don't need to have a 'perfect' repository from day 1. Instead, you just need something that you can store tests in and use ASAP.

This will help you to start seeing results and learn from your A/B testing, but it also helps you to get buy-in and provide proof that a learning repository is an asset that can work for you before you invest cash in more expensive options.

Airtable. Quick and easy and free. Otherwise, I like Effective Experiments for bigger programs if they want a tool that bridges the different layers .

– Ben Labay

Build a repository that can be shared across the business easily (we utilise Google Slides for example). Try to keep the repository to one slide per experiment where possible, this will make it easier for the user to digest and for you to present on calls. The repository should be kept up to date so that there is always something new to digest. I would also recommend categorising your repository and providing an index, readers can then drill down into the area of interest.

– Max Bradley

And as we mentioned earlier, even Notion can do the trick.

2. Set the Right Expectation Once You Start Using Your LR

The rep experimentation has among non-experts is somewhat way too optimistic. Blame it on the marketing it's gotten over the last decade?

Well, you can't change that.

What you can change—or at least, influence—is what stakeholders in your organization think about experimentation. Because if they walk in with the wrong expectation and your learning repository doesn't deliver, it's going to be tough to keep it alive.

From the start, let them know that experimentation gives insights; that most times, it won't give them definitive pathways to higher revenue as they may have heard.

Depoyu 1. günden başlatın. Paydaşları, deneylerin parayla değil, doğrulama ve öğrenmeyle ilgili olduğu konusunda eğitmeye başlayın. “X'i bu testten öğrendik” veya “Y'yi bu testten öğrendik” ne kadar çok gösterirseniz, siz ve paydaşlarınız o kadar uyumlu olursunuz.

– David Mannheim

3. Kanıtla Satın Alma Oluşturun

Hiç kimse veya yalnızca birkaç kişi testlerini belgelemiyor ve departmanlar arasında içgörü paylaşmıyorsa, diğer herkesin neden bu çabaya katılması gerektiğini göstermeniz gerekir.

C-suites desteği için bir öğrenme deposunun faydalarını başarıyla göstermek sadece ilk adımdır. Yapmanız gereken bir sonraki şey, bu faydaları diğer paydaşlara da iletmek.

Matthias bununla ilgili harika bir yol paylaştı:

Küçük, yalın ve çevik başlayın. Deneyleri çalıştırın, öğrendiklerinizi toplayın ve bunları belgelemek için çok çaba harcayın. Her deneyden sonra düzgün bir rapor hazırlayın ve ayrıca sık sık gönderi yapın (aylık, üç aylık, yıllık). İlk başta olumlu etki ve güçlü öğrenmelerle büyük balık deneylerine odaklanın. Olumlu sonuçlar, insanları başlamak için motive eder.

Birkaç güçlü etkili öğrenme topladıktan sonra, olumsuz sonuçları göstermek ve bunu deney yapmadan uygularsak bunun ne gibi olumsuz etkileri olacağını açıklamak da yararlı olabilir. Ardından, bu öğrenmelerin iş ve daha iyi ürün kararları almak için ne kadar önemli olduğunu açıklayın.

4. Çalıştığında, Belirli Araçlara Bakmaya Başlayın (Önce Öğrenin ve Harekete Geçin, Sonra Satın Alın)

Google Slaytlar'da veya seçtiğiniz herhangi bir ücretsiz platformda basit bir repo kurduğunuzda ve 2. ve 3. adımları tamamladığınızda, bir araca para yatırabilirsiniz.

Gerçekleştirmek için cesaret verici bir yatırım getirisi olduğundan emin olana kadar acele etmeyin ve bir öğrenme havuzuna para pompalamayın.

Çözüm

Bu makaleden çıkaracağınız büyük bir çıkarım varsa, deneme amaçlı öğrenmeleri bir şirket varlığı olarak görmeye başlamanız gerektiğidir. Bu varlık size zaman ve para kazandıracak. Ve kuruluşunuzda daha veriye dayalı bir optimizasyon programını güçlendirecektir.

Sadece bir test yapmayın, kazanın veya başarısız olun ve ardından bir sonraki fikriniz için acele etmeyin. Öğrenme havuzunuzda keşfettiklerinizi iletişim kurmak ve yapılandırmak için zaman ayırmak, deneme yolculuğunuzun yapısını oluşturacaktır.

Bunun da ötesinde, bayrağı geçmenin, testlerin etkisini değerlendirmenin ve heyecan verici bir deney kültürünü teşvik etmenin en kolay yolu.

Ve tüm bunları almaya nasıl başlarsınız?

Uzmanların dediği gibi yapın: Basitten başlayın.