A/B Testlerini Kazanmak için Niteliksel Veriler ve Niceliksel Veriler Nasıl İşlenir?

Temel kavramlarına ayırırsak, CRO, dönüşümlerden çok, kitlenizi ve web sitenizle nasıl etkileşim kurduklarını anlamakla ilgilidir.

Onları, ne istediklerini ve sitenizde nasıl hareket ettiklerini ne kadar iyi anlarsanız, o kadar iyi müşteri deneyimi ve sunabilirsiniz.

Bu , test kullanıcıları olarak birincil hedefimizin mümkün olduğunca fazla bilgi edinmek olduğu anlamına gelir. Elimizde ne kadar fazla veri olursa, testleri o kadar iyi planlayabilir ve sonuçlarda bir artış görmeye çalışabiliriz.

Sorun?

Bu verileri toplamakta veya anlamakta her zaman çok iyi değiliz. Belki kullanacağımız araçları, bilgiyi bulma süreçlerini bilmiyoruz ya da belki de deneyim eksikliğinden ya da daha kötüsü, sonuçları bozan kendi önyargımızı ekleyerek analiz etmiyor ve doğru içgörüler alamıyoruz.

Bugünün kılavuzunda ele alacağımız şey bu: Kitleniz hakkında bilgi nasıl toplanır, anlaşılır ve kullanılır. Hatta yeni testleriniz için daha da fazla fikir ve içgörü toplayabilmeniz için derinlemesine dalış yapıp diğer testçilere ve süreçlerine bakacağız.

Daha fazlasını öğrenmek için okumaya devam edin veya “kazanan A/B testlerini yönlendirmek için verileri nasıl kullanacağınızı” öğrenmek için burayı tıklayın.

Siteniz veya uygulamanız için test etme ve bilgi bulma söz konusu olduğunda, bakmak istediğimiz iki tür veri vardır.

Nicel veri analizi örnekleri şunlar olabilir:

• Bir sayfaya gelen trafiği ölçme
• Bu trafiğin hemen çıkma oranı
• TO
• Abone oranı
• satış oranı
• Ortalama satış değeri.

Çoğu test programı, bir web sitesinde neyin işe yaradığı veya bozulduğu hakkında veri almak için hem teknik bir analizle hem de nitel bir analize geçmeden önce sitenin şu anda nasıl performans gösterdiğine ilişkin bir temel elde etmek için nicel bir analizle başlayacaktır.

Nitel veri örnekleri şunlardır:

• Kullanıcı araştırması
• Haritaları kaydır
• Tıklama izleme
• Isı haritası
• Anketler.

Hedef kitleyi ve nasıl etkileşim kurduklarını daha iyi anlamaktır, böylece site kullanımındaki olası sorunları tespit edebiliriz veya sitedeki eylemlerini etkileyebilecek harici sorunları öğrenebiliriz.

Örneğin, bir CTA'nın çok fazla tıklama almadığını bilsek de, dilin net olmadığını veya kitlede yankı uyandırmadığını yalnızca müşteri görüşmeleri yoluyla anlıyoruz.

A/B Testinde Verileri Kullanmanın Doğru Yolu Nedir?

Yalnızca belirli dönüşüm olaylarını veya kullanıcı davranışını izliyor gibi görünsek de, amaç hem nicel hem de nitel verileri birleştirmektir . Belki teknik hataları veya ortak sorunları bulmak için, ancak ideal olarak, kendimizi eğitebilmek ve hedef kitlemiz hakkında daha bütünsel bir içgörü kazanabilmek için bunları birleştiririz.

Biz de sadece anında bilgi istemiyoruz. Olayların neden olduğunu bulmak ve ardından temel nedeni bulmak için bir adım daha ileri gitmek istiyoruz.

Diyelim ki nicel araştırma yapıyoruz ve bir sayfadaki dönüşüm oranının düşük olduğunu görüyoruz. Teklif veya ürün istenmiyor mu? Yoksa süreci iyileştirmemiz mi gerekiyor?

Daha sonra açılış sayfasında bir ısı haritası çalıştırırız ve hedef kitlenin çoğunluğunun belirli bir CTA'yı tıklamadığını görürüz ve böylece nedenini varsayabiliriz. Belki dil açık değildir?

Ancak daha derin bir incelemede, bazı cihazlarda bunun sadece ekran dışı olduğunu görüyoruz, diğerlerinde ise bunun basılması gereken bir düğme olduğu net olarak anlaşılacak kadar göze çarpmıyor.

• Baktığımız tek şey nitel veriler olsaydı, bunun düşük bir TO olduğunu düşünürdük.
• Baktığımız tek şey nitel verilerse, insanların tıklamadığını varsayabiliriz.

Ama onları birleştirerek çok daha derinleri görebiliriz. (A/B testindeki verileri gerçekten bu şekilde anlıyoruz.)

Eski deyim, “ölçülen şey yönetilir” anlamında doğrudur. Anahtar, elbette, sınırlı veya kusurlu veri kümelerine dayalı kararlar almadığımızdan emin olmaktır, böylece DAİMA birden fazla veri kaynağına bakarız.

Yavaşlamayı, nedenini sormayı ve verilerin içeri girmesine izin vermeyi öğrenmek, çok daha iyi bir testçi ve problem çözücü olmanıza yardımcı olacaktır.

Cevabı hemen bulmaya çalışmak yerine, kendinize yeterli bilgiye sahip olup olmadığınızı sorun:

• Kullanıcılarınızın kolayca düzeltilebilir bir sorunu var mı (bozuk düğme veya zayıf CTA) veya bunun iyileştirilebilecek başka bir sorunu olabilir mi?
• İlk fikirlerinizi etkileyen doğal bir önyargınız veya önceki deneyiminiz var mı?
• Önce kitleniz hakkında daha fazla bilgi edinebilir misiniz?

Bu CTA ve düzen sorununa daha yakından bakarak, hedef kitlenizin çoğunluğunun farklı ekran çözünürlüklerine ve yükleme hızlarına sahip eski mobil cihazlar kullandığını fark ederseniz? Yalnızca CTA ve satış sayfalarınızı değil, içeriğinizin ve etkileşimlerinizin çoğunu kaçırıyor olabilirler. Sosyal medya ve blog içeriğiniz bile etkilenebilir!

Tekrar derine in. Neden bu cihazlara sahipler? Daha pahalı bir cihaz alamazlar mı? Onlar için önemli değil mi? Değilse, o zaman nedir?

Tüm kararlarınızı şu ana kadar sahip olduklarınızdan almaya çalışmayın. Acele etmeyin, düşünün ve elde ettiğiniz herhangi bir sonuçla daha derine dalın. Nedenini bulun.

Veri Toplama ve Analiz Etme Sırasında Kaçınılması Gereken Büyük Hatalar

Şimdi, bu konuda yalnız olmadığınızdan, ilk araştırmalarından anında bir fikir bulmaya çalışan türden bir testçiyseniz endişelenmeyin.

Bu, çoğu insanın verilerini toplamaya veya anlamaya çalışırken yaptığı tekrar eden birkaç sorundan sadece biri…

Sorun 1: Bir Görüşü Kanıtlamak İçin Veri Toplama

Yeni içgörüler bulmak için verileri mi kullanıyorsunuz? Yoksa mevcut fikirleri doğrulamak için verileri mi kullanıyorsunuz?

Bir fikri doğrulamak için verileri kullanmak sorun değil. Hipotezin amacı budur. Neyin yanlış olduğu ve nasıl düzeltileceği konusunda bir fikrimiz var ve bunu test ve sonuçlarıyla kanıtlamaya çalışıyoruz.

Ama bilimsel yöntemi unutma! Fikirlerimize ve görüşlerimize bağlı kalamayız. Verilere güvenmeli ve gerçek sebebi bulmalıyız. Bizim umursadığımız şey bu. Bir hipotezle 'yanlış' olmak sorun değil. Başarısız bir testten farklı bir içgörü bulmak, size hedef kitleniz hakkında daha fazla şey öğretir!

Sadece size bir şey söyleyen verilere karşı dikkatli olun, ancak başka bir şeyi denemek ve kanıtlamak için onu çarpıtıyorsunuz.

Sorun #2: Sorunu Açıkça Belirtmeden Sponsorluk Analizi

Test etmede (ve hatta çoğu işletmede) yaygın bir sorun, verileri analiz eden kişinin her zaman analist olmamasıdır.

Bunun yerine analist, bir sorunu çözmeye çalışan bir üçüncü taraf için bilgileri raporlara çekmek için bir araç olarak kullanılır. (Neredeyse yüceltilmiş bir gösterge panosu haline gelirler.)

İşte bir örnek:

• Patronunuzun bir hedefi ve bir sorunu var.
• Çözüm ve neden hakkında kabaca bir fikirleri var ve bu nedenle analistten XYZ ile ilgili verileri isteyin, ancak bağlam olmadan. Bu problemin ve çözümün işe yarayıp yaramayacağını anlamaya çalışıyorlar.
• Genellikle, daha fazla veri istemek için ileri geri vardır. Bu istek ya fikri yanlış bir şekilde destekliyor ya da başka bir anlayış gerçekleşmedi.
• Ve böylece yeni testler veya fikirler öne sürülür ve sorun çözülmeden kalır.

Harika değil, değil mi?

Ama patronun analiste belirli bir problemin bağlamı ile gelip, sorunu dile getirmek ve temel nedeni bulmak için birlikte çalıştıklarını hayal edin?

Bu, hem anlamayı hızlandırabilir hem de onu çözmek için yeni testler yapabilir.

Sorun #3: Farklı Perspektiflere Dalmadan Tek Bir Veri Kaynağına Güvenmek

Bunu daha önce ima etmiştik, ancak anlayışınızı ve potansiyel test çözümlerini ve fikirlerinizi ciddi şekilde sınırladığınız için yalnızca tek bir veri kaynağına bağlı kalmamak çok önemlidir.

Ne kadar çok kaynağınız varsa, neler olup bittiğinin ve neden olduğunun bir resmini o kadar iyi çizebilirsiniz.

Evet, zaman alır ancak dönüşüm oranı optimizasyonu tamamen o kitleyi anlamakla ilgilidir. İşi yapın ve mümkün olduğunca çok şey öğrenin.

Ne kadar çok bilirsen o kadar iyi!

GIPHY aracılığıyla

Sorun #4: Eleştirel Düşünmeye Bir Beceri Olarak Öncelik Vermemek

Beynimiz bir tuhaf. Temel dürtüler, duygusal sürücüler ve önceki deneyimlerden oluşan bir sistem üzerinde çalışırız. Amaç, çok fazla enerji harcamadan bizi hayatta tutmak, üremek ve karar vermek.

Bunu bilerek, testçilerin (ve herhangi bir işletme sahibinin) hem Eleştirel Düşünme hem de Bilişsel Önyargılar sürecinin ve bunların anlayışımızı ve kararlarımızı nasıl etkilediğinin farkında olması her zaman akıllıca olur…

Eleştirel Düşünme Nedir?

Eleştirel düşünme, önyargısız bir yargı oluşturmak için gerçekleri ve verileri analiz etme yeteneğidir.

Karar verme sürecimize giren yüzlerce farklı şey var, bunlardan biri önceki yaşam deneyimlerine veya durumlarına dayanan kararların önyargısı. Bunlara bilişsel önyargılar diyoruz.

Eleştirel düşünmeyi uygulayanlar bunu anlarlar, bu nedenle tarafsız kararlar vermelerine yardımcı olmak için belirli bir süreç kullanırlar:

• kimlik . Sorunu bulun.
• Veri toplayın . Birden fazla kaynak kullandığınızdan emin olun. Kaynak seçimine önyargı eklemediğinizden emin olun.
• Analiz . Bu kaynaklara güvenebilir misiniz? Güvenilirler mi? Veri kümesi doğru olacak kadar büyük mü?
• Yorum + Çıkarsama. Bu verilerden hangi kalıpları görebilirsiniz? Şimdiye kadar sana ne anlatıyor? En önemli nedir? Nedensellik veya korelasyon görüyor musunuz?
• Açıklama Sizce bu neden oluyor?
• Öz Düzenleme . Bu analizi ve test hipotezlerini etkileyen herhangi bir bilişsel önyargınız var mı? Yanlış varsayımlarda bulunuyor musunuz? Emin olmak için onların üzerinden çalışın.
• Açık Fikirlilik ve Problem Çözme. Mevcut anlayışınızla, bu sorunu nasıl çözebilirsiniz? Önce daha fazlasını öğrenmeniz mi gerekiyor?

Gördüğünüz gibi, bu bilgiyi analiz etmek için bir sürece sahip olmak inanılmaz derecede önemlidir. O zaman bile, karar verme ve bu verileri analiz etme şeklinizi etkileyebilecek bilinçaltı önyargılara bakıyor olmalısınız.

Bilişsel Önyargılar Nelerdir?

Bilişsel önyargılar, örüntü tanımayı kullanarak kararlarda enerji tasarrufu yapmak için beynimizin hile kodlarıdır. Tabii ki sorun şu ki, önyargılarımız her zaman doğru değil ve kararlarımızı ve eylemlerimizi olumlu ya da olumsuz etkileyebilir. Ik Bu, özellikle test söz konusu olduğunda fark edilir.

İşte bazı örnekler:

• Eylem Önyargısı : Veriler hiçbir iyileştirme yapılamayacağını öne sürdüğünde bile harekete geçme eğilimi?
• Çapalama Önyargısı: Kararları önceden edinilmiş bilgilere dayandırma eğilimi.
• Otorite Önyargısı: Otorite pozisyonlarından gelen görüşlere daha fazla değer verme eğilimi.

Bunların veri analizinizi ve test fikirlerinizi nasıl etkileyebileceğini görebiliyor musunuz?

Burada ele almam için bunlardan çok fazla var (bazıları toplamda 150 civarında tahmin ediyor). Kendinize bir liste yapmanızı şiddetle tavsiye ederim. Ardından, daha önce açıkladığımız gibi verilerinizi analiz etmek için eleştirel bir düşünme süreci oluşturmaya çalışabilir ve analizinizi etkileyebilecek olası önyargıları 'kontrol listesi' haline getirebilirsiniz.

Sorun #5: Korelasyonu Nedensellik Olarak Almak

Bu, verilerde var olabilecek, ancak sonucun nedeni olmayabilecek örüntüler gördüğümüz için, neredeyse bilişsel bir önyargıya bağlanır.

Genellikle bir yan ürün veya basit bir tesadüf olarak birlikte ortaya çıkarlar.

Örneğin, çoğu sörfçü sabahları çalışmaz ve bunun yerine sörf yapar. (Dalgalar için en iyi açık deniz rüzgarına sahip olduğunuz zamandır).

Sahilde seyreden kişiye, belki de bu insanların işleri olmadığını ya da hasta olduklarını düşünürdünüz. Bununla birlikte, okyanusta birden fazla konuşma yaptıktan sonra, sörf yapan hemen hemen herkesin kendi başına çalıştığı ve bu nedenle saatlerini seçip seçebildiği anlaşıldı.

Şimdi bazıları bu esnekliğe ve boş zamana sahip oldukları için sörf yapmaya başladılar (Korelasyon), bazıları ise sörf yapabilmek için bu esnekliğe sahip olabilecekleri meslekleri seçtiler (Nedensellik).

Oldukça havalı, değil mi?

Gerçek şu ki, ilk araştırma ve 'görüşmelerden' sonra bile, veri seti hakkında yanlış bir görüş elde etmek kolay olacaktır. Verilerinize açık bir zihinle baktığınızdan ve gerçek nedeni bulmak için daha derine indiğinizden emin olun.

Nitel ve Nicel Veri Toplamanın Farklı Yöntemleri

Bu verileri toplamak için ne kullanabiliriz?

Nicel veri toplama için genellikle iki tür araca bakıyoruz:

• Güncel sonuçları almak için Google Analytics veya bir 3. taraf sağlayıcı gibi bir analiz aracı.
• Varyasyonlar ve kontrol arasındaki performanstaki sayısal değişimi ölçebilmeniz için Deneyimleri Dönüştür gibi bir A/B test aracı.

Bunların her ikisi de bize ham sayısal veriler verecektir.

(A/B test araçlarıyla ilgili karşılaştırma kılavuzumuza göz atın, böylece hangisinin sizin için en iyi sonucu verdiğini görebilirsiniz.)

Nitel araştırma için, birden fazla farklı unsuru test ettiğimiz için daha geniş bir seçime bakıyoruz:

• Isı haritası
• Tıklama izleme
• Göz takibi
• Kullanıcı kayıtları
• Yerinde anketler ve
• Doğrudan müşteri anketleri.

Göz izleme, donanım gereksinimleri nedeniyle en yüksek maliyetli araç olma eğilimindedir. Kurum içinde kurmak ve kullanmak için bazı yazılım seçenekleri mevcutken, başka bir seçenek de göz hareketlerini ve ilgilenilen yerleri kontrol etmek için göz izleme gözlüğü veya kameraları kuran harici şirketler kiralamaktır.

Isı haritası, tıklama takibi, temel kullanıcı kaydı ve anketler için, tüm bu özellikleri bir araya getiren Hotjar gibi düşük maliyetli bir araç kullanabilirsiniz. Üçüncü taraf yardımı almak zorunda kalmadan genel sorunları tespit etmenize ve neredeyse anında bilgi edinmenize yardımcı olur ve *neredeyse* göz izleme ile benzer işlevleri gerçekleştirir.

Son olarak, kullanıcı kaydını bir adım daha ileri götürebilir ve web sayfanızı kullanmaları için bağımsız kullanıcılar getirecek, onların belirli görevleri gerçekleştirmelerini sağlayacak ve ardından etkileşimlerini kaydedip bilgileri size iletecek ajanslar kiralayabilirsiniz.

Kenar notu:

Bunları Nicel araçlar bölümünde listelememiş olsak da, bazen Nicel veri toplama için Nitel araçların kullanılabileceği bir örtüşme olabilir.

Satış kopyası hakkındaki düşüncelerinin sayısal bir değerini ve buna nasıl yanıt vereceklerini düşündüklerini elde etmek için bir anket aracı kullanabilir ve X sayıda katılımcının yanıtlarını ölçebilirsiniz.

Ancak… Bu hala özneldir , çünkü insanların söyledikleri her zaman yaptıkları değildir .

Bir eylem için geri bildirimlerini (söyledikleri) ölçmek ve ardından gerçek eylem yanıtını da (yaptıkları eylem) ölçmek her zaman iyi bir fikirdir. Bazen bu size ne sağlayacağınız ve nasıl çerçeveleyeceğiniz konusunda daha derin bir fikir verebilir.

Deneme Uzmanları Nitel ve Nicel Verilere Nasıl Yaklaşıyor?

Profesyonellerin verileri nasıl topladığını ve kullandığını bilmek ister misiniz? Yakın zamanda “Bir CRO profesyoneli gibi düşünün” serimizin bir parçası olarak 7 CRO uzmanıyla görüştük.

Onları okumanızı şiddetle tavsiye ettiğim için röportajlarını mahvetmeyeceğim, ancak aşağıdaki veriler hakkında nasıl düşündükleri hakkında bazı ilginç bilgiler ve yöntemleri hakkındaki düşüncelerimi çıkardım…

Gürsimran Gürjal – OptiPhoenix

Nicel veriler, kullanıcıların nerede düştüğünü, farklı kanalların nasıl performans gösterdiğini, farklı cihazlardan gelen CR'yi, kullanıcıların web sitesinden çıktığı yerleri vb. anlamak için temel dönüşüm boşluklarını ortaya çıkarmak için genellikle iyidir; nitel veriler, kullanıcıların neden düştüklerine veya belirli bir eylemde bulunduklarına ilişkin ayrıntıları ortaya çıkarmamıza yardımcı olur. .

“Nerede+Neden”i deneylerle birleştirmek, kullanıcı davranışının tam bir resmini çizer.

Isı haritaları, oturum kayıtları, anket sonuçları gibi nitel verileri incelemek veya kullanılabilirlik testi yapmak, istatistiksel olarak anlamlı bir model oluşturmak için çok daha fazla zaman gerektirirken nicel verilerin analiz edilmesi daha kolaydır. Daha ayrıntılı ve anlamlı içgörüler toplamak istediğinizde, bu önemlidir. veri toplamak için yalnızca GA veya Hotjar'a güvenmekle kalmayıp, ödeme sürecinde hata alan tüm kullanıcılar için kaydı etiketlemek, hangi filtre için GA'ya bir olay göndermek gibi verileri daha anlamlı hale getirmek için kendi özel olaylarınızı zorlamak veya sıralama seçeneği en çok kullanılıyor vb., böylece mevcut verilerden en iyi şekilde yararlanabilirsiniz .

Bir veri hattı elde etmek için özel etiketler eklemek harika bir fikir. Bu şekilde, yalnızca sorunu ve nereye yol açtığını değil, aynı zamanda nereden geldiğini ve trafik kaynağını da görebilirsiniz.

Haley Carpenter, Kıdemli CRO Strateji Uzmanı

Kendinize sürekli olarak hepimizin önyargıları olduğunu hatırlatın. Mümkün olduğunca doğru ve doğru bir şekilde raporlamanın sizin işiniz olduğunu bilin. Dürüstlük, yüksek tutulması gereken önemli bir değerdir.

Ayrıca, bir şeyden emin değilseniz, çalışmanızı iki kez kontrol edin veya başka birinin incelemesini sağlayın. Özellikle saatlerce, günlerce veya haftalardır bir şeye bakıyorsanız, ikinci bir çift göz bazen son derece faydalı olabilir.

Bir keresinde kayıtları yazıya dökmemiz gereken bir antropoloji dersi almıştım. Profesör, transkripsiyonların sözleri söyleyen kişiye sadık kalmasının son derece önemli olduğunu vurguladı. İki harfli bir kelimeyi kesmek veya küçük bir gramer hatasını düzeltmek kadar küçük bir şey bile yapmıyorduk.

Bu dersi bugüne kadar yanımda taşıdım ve veri analizine uyguluyorum… özellikle kullanıcı test kayıtları. Analizinizi mümkün olduğunca orijinal verilere sadık tutmanız önemlidir.

Araştırma ve sonuçlar üzerinde birden fazla göze sahip olmak, hiçbir sorunu gözden kaçırmamanın, olası önyargıları ortadan kaldırmanın ve farklı bakış açıları edinmenin harika bir yoludur. Bu, genellikle tek bir test kullanıcısının gözden kaçıracağı içgörülere yol açabilir.

Rishi Rawat – Sürtünmesiz Ticaret

Nicel verilerle ilgili görüşlerim:

Veri, veridir. Anlamak için gözlerini kısma. Duygusal olarak buna bağlı olmayın. Veri toplama başlamadan önce hipotezinizi belirtin. Veriler içgüdülerinizi çürütüyorsa, yeni bir testi yeniden tasarlayın ve başlatın. Veri, veridir. Saygı duy.

Nitel veriler hakkındaki görüşlerim:

Bu konuda tartışmalı bir yaklaşımımız var. Son kullanıcı araştırmasına inanmıyoruz, yani ürünü satın alan kişilerle konuşmuyorum. Bu tür araştırmaların önemli olduğunu düşünmediğimden değil, önemli olan; sadece pahalı. Tüm nitel verilerimi üzerinde çalıştığım ürünün kurucusundan veya mucidinden almayı tercih ederim.

Son alıcının kullanıcı deneyimi, o anda yapılan bir satın alma işleminin yalnızca bir anlık görüntüsü olduğunda, mucit tüm yolculuk hakkında bir içeriğe sahiptir. Kurucudan nicel 'hislerimi' almak istiyorum. Kurucu/mucit o kadar çok kurumsal bilgiye sahip ki, başınızı döndürecek. Sadece o kadar uzun zamandır "ortadalar" ve nereden başlayacaklarını bilmiyorlar. Optimize edicinin soru sorma becerilerinin devreye girdiği yer burasıdır. Optimize edici, içerik oluşturucuya dış görünümde yardımcı olur. Bu tür nitel verilere çok değer veriyorum

Şimdi, bu ilginç bir fikir…

CRO'da müşteri yolculuğunu anlamak için kullanıcıya odaklanma eğilimindeyiz. Sorun, müşterilerin bazen neyin yanlış olduğunu veya bunu nasıl ifade edeceklerini bilmemeleridir.

Bununla birlikte, aynı şekilde, işletme sahibi ürünü içinin dışını bilebilir, ancak onu iletme konusunda zayıf olabilir. Onlara göre bu çok açık çünkü tüm deneyime sahipler ama müşteriye göre bu mesajda bir şeyler eksik olabilir. İdeal bir dünyada, başka bir şirket için testler yapıyorsanız, hem kitleyle hem de şirket sahibiyle konuşmak istersiniz.

Zaman veya kaynak sıkıntısı çekiyorsanız, işletme sahibiyle konuşun. Rishi'nin dediği gibi, çoğu zaman çıkarılabilecek tüm bu içgörüye sahipler. Test uzmanları olarak bizim işimiz, bunun nerede eksik olduğunu ve müşteriyle nasıl bağlantı kurabileceğini bulmaktır.

Sina Fak – Dönüşüm Avukatları

Gerçek şu ki, tüm veriler kendi içinde yerleşik bir önyargıya sahiptir.

Verilerin nasıl toplandığından, analiz için kullanılan örnek verilere, verileri inceleyen ve analizi yürüten kişiye kadar her şey - tam olarak kontrol edemediğimiz bir önyargı unsuru var.

Veri tek başına size tüm hikayeyi vermez. Size yalnızca hikayenin bir kısmını anlamanız ve içgörüler elde etmeniz için bir başlangıç ​​noktası verecektir. Verileri tarafsız bir hikaye anlatacak şekilde ele almanın tek yolu, onu test etmek ve onunla bir deney yapmaktır.

Bu, daha önce söylediklerimizle bağlantılı.

Her test ve araştırmanın yanlılığı vardır. Eleştirel düşünme ve analiz süreçleriyle bunların bir kısmını inkar etmeye çalışabiliriz ama yine de içeri sızabilir.

Fikri test edin, öğrenin ve biraz daha test edin. Bilimsel yöntemi unutma. 'İleriye gidemez' ve aradığımız cevapları da bulabiliriz.

Jakub Linowski – GoodUI

Genel olarak, ne kadar tutarlı olan ölçümlerimiz olursa, deneylerimiz o kadar güvenilir ve güvenilir hale gelebilir.

A/B testi sonuçlarını karşılaştırmaya gelince, bunu yapmanın birkaç yolu vardır:

● Aynı Deneyden Birden Fazla Metrik'i Karşılaştırma (ör. sepete eklemeler, satışlar, gelir, iade alımları vb. genelindeki etki tutarlılığı)

● Ayrı Deneylerde Geçmiş Verileri Karşılaştırma (ör. 2 ayrı web sitesinde yürütülen iki ayrı deney arasındaki etki tutarlılığı)

Unutmayın ki Quant ve Qual veri analizi ilk planlamamızda olduğu kadar POST TEST kadar önemlidir.

'Hah anı' için olası sorunlar ve konumlar aracılığıyla kontrol listesi oluşturacak bir sürece sahip olmak, ilk bakıştan çok daha iyi sonuçlar verebilir.

(Bazen veriler tam oradadır ve biz onu özlüyoruz.)

Eden Bidani – Yeşil Işık Kopyası

Her iki veri türüyle de mümkün olduğunca yan yana önümde çalışmaya çalışıyorum. Benim için bu, resmin tamamını dengelemeye yardımcı oluyor.

Niteliksel veriler, niceliğe derinlik ve anlam verir ve nicelik verileri, nitel verinin hangi öğelerine daha fazla ağırlık verilmesi gerektiği konusunda genel bir yön sağlar .

Karşılaştırabilmeniz ve karşılaştırabilmeniz için her iki veri kümesini bir arada bulundurmak, neler olduğunu analiz etmenin ve anlamanın en iyi yoludur.

Bu, sorunları ve çözümleri bulmak için tek bir veri setine sahip olmak hakkında daha önce söylediklerimizle bağlantılıdır. Eğer sahip olduğumuz tek şey bir olsaydı, o zaman farklı sonuçlara varırdık. Bu korelasyonu bulmak için her ikisini de kullanın.

Shiva Manjunath - Speero

Quant + Qual analizine yaklaşma şeklim bir polis sorgulaması gibi. Bir sebep ya da hipotez var ama sorgulamak için getirdiğiniz kişinin masum ya da suçlu olduğunu varsayamazsınız. Getirilen kişinin (deney verileri) masum olduğu varsayılır ve onları makul şüphenin ötesinde (istatistiksel önem) kanıtlamak sizin görevinizdir.

Böylece verilere kendiniz bakabilir, diğer insanlarla röportaj yapabilir (niteliksel veriler) ve belki de banka hesap özetlerine bakabilir veya birisinin mazeretlerinin kontrol edilip edilmediğini (nicel veriler) görmek için işe giriş/çıkış saatlerine bakabilirsiniz.

Belki en iyi örnek değil, ama her zaman nesnel olarak yaklaşmanız gerekiyor. Ve bir hikaye ortaya çıkarmak için veri kaynaklarını (örneğin, nicel verilerle sitedeki anketleri olan ısı haritaları) doğrulayın ve bunun hipotezi destekleyip desteklemediğini görün. İstatistiksel titizlik ile, açıkçası y!

Bu benzetmeyi seviyorum ve bana Sherlock Holmes'u hatırlatıyor ve doğrudan teste bağlı.

Henüz veri yok. (Ya da yeterli değil). Veriye sahip olmadan önce teori kurmak büyük bir hatadır. Kişi, teorileri gerçeklere uydurmak yerine, gerçekleri teorilere uydurmak için farkında olmadan çarpıtmaya başlar.

Deneyciler olarak, tüm önyargıları ortadan kaldırmamız gerekiyor. Ya deneyimlendi ya da sadece hipotezi bulduğumuz için. Bunun yerine, sonuçları adil bir şekilde ele almalı ve gerçeği bulmalıyız.

Amacımız haklı olmak değil. Neyin işe yaradığını bulmak, böylece üzerine inşa edebiliriz!

Kazanan Testler Tasarlamak için Verileri Kullanmanın En İyi Yolu Nedir?

Bir süredir test yapıyorsanız, çoğu testin kazanan oluşturmadığını bilirsiniz. Aslında, diğerleri başarısızlık olarak kabul edilirken, yalnızca 3/10 civarında kazanacaktır.

Yine de kazan ya da başarısızlığın terminolojisi harika değil. Evet, test artış sağlamadı, ancak bize geliştirmek ve nedenini bulmak için kullanabileceğimiz veriler veriyor.

Unutma:

Tek bir teste odaklanmıyoruz. Kazansa bile, yinelemeli bir öğrenme ve iyileştirme süreci kullanıyoruz. Test ediyoruz, öğreniyoruz, hipotez kuruyoruz ve tekrar test ediyoruz.

Bu, fikirleri desteklemek veya çürütmek için yeni verilerden oluşan bir geri bildirim döngüsü oluşturmamıza yardımcı olur.

• Test edip başarısız oluyoruz ama öğreniyoruz.
• Bu öğrenmeleri alır ve kazanana ve bir gelişme elde edene kadar test ederiz.
• Ardından, yerel maksimuma ulaşana ve daha fazla gelişemeyene kadar test etmeye devam ederiz.

Hemen bir kazanan elde etmeye odaklanmayın. Bu, CRO'nun sizin için çalışmadığını iddia etmenin hızlı yoludur. Bunun yerine, verileri içgörülere dönüştürün ve her seferinde daha fazla bilgi edinin.

Bir kazanana yakın olabilirsiniz, ancak bunun daha iyi bir uygulamaya ihtiyacı var.

Veya tüm mesajlaşmanızı temelden değiştirebilecek bir aha anına yakın olabilirsiniz. Buna bağlı kalın ve her testte öğrenmeye devam edin!

Bu geri bildirim döngüsünü veri işleme ve test sürecinize dahil edin.

Ama en önemlisi? Topladığınız verilere erişebildiğinizden ve anladığınızdan, bu verileri doğru kullandığınızdan ve bunlara güvenebildiğinizden emin olun!…

Kuruluşta Veri Erişilebilirliği Nasıl İyileştirilir

Çalışmak için veriye sahip olmak çok iyi, ancak öğrenmek için erişemiyorsanız işe yaramaz!

Bazı şirketler, yalnızca veri bilimcileri aracılığıyla verilerine erişerek veri akışlarında genellikle bir darboğaz yaşarlar. Bilgiye ihtiyacınız varsa, o zaman ya erişmeniz ya da doğrudan onlarla çalışmanız gerekir, bu da sorunlara neden olur.

Bunu aşmanın harika bir yolu, veri erişimini demokratikleştirmektir:

• İhtiyacı olan ekiplere geleneksel olarak tek rol araçları (GA vb.) için veri erişimine izin verin,
• Tüm ekibin kullanabileceği veri raporlama yeteneklerine sahip self servis araçları kullanmaya bakın,
• Veri sonuçlarından oluşan merkezi bir öğrenme havuzu oluşturun. Bu, yalnızca doğrudan test ekibinin değil, tüm kuruluşun veri içgörüleri almasına olanak tanır.

Veri erişimini neden önemsiyorsunuz?

Çünkü verilere erişim, işletmenizin yatırım getirisini etkileyebilecek, alınabilecek kararların sayısını artırır.

İşin püf noktası, bir kez eriştiğinizde, istediğinizi bulabilmenizi sağlamak elbette…

Güvenilir Olabilecek Verileri Toplayarak Veri Kullanılabilirliği Nasıl İyileştirilir

Veri Kullanılabilirliği, verilerin soruları yanıtlamak için kullanılabileceği kolaylığı ifade eder.

Bir genel bakıştan bakarsak, verilerinizle ilgili hedef şu olmalıdır:

• İş yatırım getirisini etkileyen içgörüler bulmak için . Bu olmadan, hiçbir amacı olmayan sadece bilgi verileridir.
• Onları hızlı bir şekilde bulmak ve bilgi almak için mücadele etmek zorunda kalmamak.
• Ve bu bilgileri hızlı ve güvenilir kararlar almak için kullanmak . Ya verilere güvenildiği için ya da anladığınız ve sonuçları manipüle etmediğiniz ya da yanlış pozitiflerle beslendiğiniz için.

Tahmin edebileceğiniz gibi, sahip olduğunuz sistemlere ve süreçlere bağlı olarak burada bazı sorunlar olabilir.

Bu bilgilere erişmenin ne kadar önemli olduğunu ve şirket çapında veri raporları açmak için self servis yetenekleri olan araçlara veya süreçlere sahip olmanın faydalarını zaten tartışmıştık.

Ancak artık bu verilere erişimimiz olduğuna göre, hem istediğimiz bilgiyi bulabileceğimizden hem de ona güvenebileceğimizden emin olmamız gerekiyor.

İdeal olarak, veri kümelerinizi düzenlemek için proaktif olarak çalışan süreçler olmanız gerekir:

• En önemli metrikleri kolayca bulunabilir hale getirin.
• Geleneksel araçların izleyemeyebileceği belirli veri kümelerini bulmak için referans modelleri ve hedefleri kullanın.
• Güncellemeler, düzenlemeler ve yeni bilgilerin kaybolmaması için veri kaynakları arasında senkronizasyon sağlayın.
• Ve veri bilimi ekibinizin büyük verilerinizi ezmesine izin verin, böylece tüm bu bilgileri kolayca bulabilir ve ona güvenebilirsiniz!

Verileriniz için bu nihai hedefi göz önünde bulundurduğunuzda, gelecek yeni veri setleri için önceden hazırlık süreçleri oluşturmaya başlamak daha kolay hale gelir. (Olmak istediğinizi bildiğinizde belirli eylemleri önceden etiketlemeyi hatırlamak çok daha kolaydır. daha sonra bulabilirler).

Hipotezlere Yönelik İçgörüler Üretmek İçin Tarafsız Veri Analizi Nasıl Yapılır?

Peki, içgörü ve fikir edinmek için bu verileri nasıl kullanırız?

Pekala, spoiler uyarısı, aslında şimdiye kadar bu kılavuz boyunca bunu ele aldık.

• Daha geniş bir resim için birden fazla veri kaynağı kullanmayı hedefleyin.
• Bu verileri toplamak için tarafsız süreçler kullanmaya çalışın. Mümkünse belirli demografi veya cihazlarla sınırlamayın.
• Bilgileri değerlendirmek için eleştirel düşünmeyi kullanın.
• Bilişsel önyargılara ve bunların analizinizi nasıl etkileyebileceğine bakın.
• Her bir veri kaynağını bir araya getirdiğinizden emin olun. (Teknik, Niceliksel ve Niteliksel birlikte).

Daha Fazla Teste İlham Vermek için Testlerden Öğrenmeye İzin Verin

Daha fazla iyileştirme için testlerinizi bir geri bildirim döngüsü olarak ele almalısınız. Bu, gelişmeye devam etmek ve daha fazla artış sağlamak için mevcut testinizde olabilir veya bunu, yeni içgörülerinizin daha da yardımcı olabileceği eski testlere bile uygulayabilirsiniz.

Her iki durumda da amaç, daha fazla artış elde edemeyecek duruma gelene kadar test etmek, öğrenmek, geliştirmek ve tekrar etmek olmalıdır.

Ama… Bu test sonuçlarından gerçekten nasıl ders çıkaracağız?

İyi haber şu ki, buradan kontrol edebileceğiniz A/B testi sonuçlarınızdan öğrenmek için 7 adımlık bir kılavuz yazdık.

Şu anda vaktiniz yoksa, işte kısa bir özet:

• Sonuçlarınıza güvenebileceğinizden emin olarak başlayın. Onlar doğru mu? Önemliler mi? Onlara güveniyor musun? Test yeterince uzun sürdü mü? Onları etkileyen herhangi bir dış faktör var mıydı?
• Mikro ve makro gidin. Sırf bir test kazandı veya başarısız olduğu için, korkuluk ölçümlerinizi nasıl etkilediğini görmeniz gerekir. İronik olarak, TO'daki artış, yanlış kitleye hitap ederse daha düşük satışlar anlamına gelebilir. Aynı şekilde, şu anda yalnızca en iyi kitleye hitap edebileceğinden, TO'daki düşüş satışlarda artış olabilir. Bu nedenle, yalnızca test sonuçlarınızı değil, metriklerinizi de kontrol edin.
• Daha derine inin ve sonuçlarınızı bölümlere ayırın. Her izleyici, trafik kanalı ve cihaz aynı performansı göstermez. Bazı kanallar bozuk olabilir. Bu, ayrıntılı bir resminiz olmadığı için sonuçların iyi veya kötü göründüğü yerlerde çarpıtabilir. (Bu ayrıca, belirli kanallarda en iyi performansı gösterecek varyantlar hakkında fikir verebilir ve yayınınızı daha yüksek bir artış için segmentlere ayırmanıza yardımcı olabilir).
• Performansı ve kullanıcı davranışını kontrol edin. Just because we ran a qualitative and quantitative data analysis before, doesn't mean you should skip it after the test. In fact, this is the best way to understand what happened and how you got these results.
• Learn from the failures. What went wrong? How can you fix this?
• Learn from the winners and improve further. Did you get a new aha moment? Do you have more ideas of how to improve the page again after the QA and Qual analysis? Keep pushing for more lift!
• Don't forget what you did! Get in the habit of creating and using a learning repository. This way you can see past tests, learn from them, train new staff and even go back and apply new insights to old ideas.

Çözüm

İşte orada. Our entire guide to using technical, quantitative, and qualitative data to create winning tests.

It doesn't matter if it's A/B, split URL, or multivariate testing. You can use this same methodology to learn more from every test you run, so go ahead. Run those tests, learn from those mistakes, analyze that data and then let us know how much lift you got!