Google Tarama İstatistikleri Raporu ve Günlük Dosyası Analizi: Kazanan hangisi?

Yayınlanan: 2020-12-22

24 Kasım'da Google, Search Console Tarama İstatistikleri raporunun yeni bir sürümünü yayınladı. Bu güncelleme, tarama sorunlarının hatalarını ayıklamak ve sitenizin durumunu kontrol etmek için kullanabileceğiniz veriler sağlar.

Önceki sürüm yalnızca günde taranan sayfa sayısını, günlük indirilen kilobayt sayısını, sayfaları indirmek için harcanan süreyi günlere göre gösterir.

Bu yeni sürümle, aynı bilgiler, Search Console'un geri kalanıyla eşleşecek şekilde güncellenmiş bir görünüm ve tarzla birlikte sunulur:

Ama orada bitmiyor. Google, sitenizi nasıl taradıkları hakkında çok daha fazla bilgi sağlar. Ve doğrudan Google'dan edinilebilen bu kadar çok bilgi, şu soruyu akla getiriyor: Günlük dosyalarına hâlâ ihtiyacımız var mı?

Yeni raporun kendisine bakarak başlayalım.

Google Arama Konsolu Tarama İstatistikleri Raporu hakkında bilmeniz gereken her şey

Yeni Tarama İstatistikleri Raporunu nerede bulabilirsiniz?

Yeni tarama istatistikleri raporu, Google Arama Konsolu hesabı olan herkes tarafından otomatik olarak kullanılabilir.

Arama Konsolunda oturum açın ve sol kenar çubuğundaki "Ayarlar"a gidin. Ardından “Tarama İstatistikleri”ne tıklayın.

Yeni Tarama İstatistikleri Raporunda neler var?

Kapsamlı yeni bilgilerde yolunuzu bulmanıza yardımcı olmak için, Twitter'da Tomek Rudzki'nin adım adım açıklamasını öneriyoruz:

Tomek, her biri için yeni verileri ve SEO kullanım durumlarını vurgular:

  • En çok Googlebot isabetine sahip barındırıcılar: Google tarafından en sık taranan alt alanları bulun.
  • Googlebot'a döndürülen durum kodları: Tarama bütçenizin yüzde kaçının 200 olmayan (yani yönlendirmeler, eksik sayfalar ve hatalar) yanıtları tarafından kullanıldığını öğrenin.
  • Dosya türü: Googlebot'un CSS dosyaları, JavaScript dosyaları ve resimler gibi kaynak dosyalarını ne sıklıkta istediğini anlayın.
  • Googlebot ziyaretinin amacı: Google'ın yeni içerik mi keşfettiğini yoksa zaten bildiği içeriği mi yenilediğini öğrenmek.
  • Akıllı telefon Googlebot tarafından yapılan istekler ile masaüstü Googlebot tarafından yapılan istekler arasındaki ayrım: Sitenizin Mart 2021'de Mobil Öncelikli Dizine Eklemeye tam geçiş için hazır olup olmadığını onaylayın.
  • Taranan URL'lerin bir örneği: Sitenizde en son taranan URL'lerden bazıları hakkında fikir edinin.
  • Ana bilgisayar durumu: Sunucunuzun yakın zamanda sorun yaşayıp yaşamadığını gösteren yeni bir ölçüm. Örneğin, bu robots.txt kullanılabilirliğini ve DNS çözümlemesini hesaba katar.

Tarama İstatistikleri Raporu hakkında en sevdiğimiz üç şey

Tarama İstatistikleri Raporu'nun sunduğu, özellikle günlük dosyalarına erişiminiz yoksa, hepsini listelemek için çok fazla avantaj vardır. Ama işte ilk üçümüz:

1. Bu rapor herkes içindir.
Okunması kolay, üst düzey Googlebot tarama istatistikleri sağlar. İşlerin ne zaman iyi gittiği ve ele alınması gerekebilecek sorunlar olduğu açıktır. Bazı durumlarda daha da ileri gider: örneğin, ana bilgisayar durumu için yeşil/sarı/kırmızı durum göstergeleri gibi ipuçları sağlar.

Bot ve tarama bütçe takibi konusunda yeni olsanız bile, bu raporlara bakarken kaybolmamalısınız.

2. Belgeler harika.
Belgeler yalnızca sorularınızın %99'unu yanıtlamakla kalmaz, aynı zamanda sunucu sağlığı, kırmızı bayraklar, tarama sıklığı yönetimi ve temel googlebot tartışmaları için en iyi uygulamaları ve ipuçlarını da sağlar.

3. Googlebot isteklerinin arkasındaki "neden" ile ilgili veriler
Googlebot'u takip edebiliriz, ancak Google'ın bir sayfayı neden ziyaret ettiğine ilişkin birçok sonuç, sınırlı verilere dayanarak çıkarılmalıdır. Amaca Göre Tarama bölümü ve "Sayfa Kaynak Yükü" altında görünen işleme istekleri, bazı sorularımıza net bir yanıt sağlar. Artık Google'ın bir sayfa mı keşfettiğini, sayfayı mı güncellediğini veya sayfayı oluşturmak için ayrı bir ikinci geçişte bir kaynak mı indirdiğini kesin olarak biliyoruz.

[Örnek Olay] Google'ın bot taramasını yönetme

26.000'den fazla ürün referansıyla 1001Pneus, SEO performanslarını izlemek ve Google'ın tarama bütçesini doğru kategorilere ve sayfalara ayırdığından emin olmak için güvenilir bir araca ihtiyaç duyuyordu. OnCrawl ile e-ticaret web siteleri için tarama bütçesini nasıl başarılı bir şekilde yöneteceğinizi öğrenin.
Örnek olayı okuyun

Günlük dosyalarında bulunan bilgiler ile Tarama İstatistikleri Raporu arasındaki fark nedir?

Tarama İstatistikleri, Googlebot'larla sınırlıdır

Tarama İstatistikleri: 0
 Günlükler: 1

Sunucunuzun günlük dosyaları, kimden gelirse gelsin, web sitenizi oluşturan dosya ve kaynaklardan herhangi biri için her isteği kaydeder. Bu, günlüklerin size Googlebot'tan daha fazlasını anlatabileceği anlamına gelir.

Ancak, Google'ın Tarama İstatistikleri Raporu (doğal olarak!) Google'ın sitenizdeki kendi etkinliğiyle sınırlıdır.

Tarama İstatistiklerinde görünmeyen günlük dosyalarından edinebileceğiniz bazı bilgiler şunlardır:

  • Bing gibi diğer arama motorları hakkında bilgiler. Sitenizi nasıl taradıklarını görebilir, ancak davranışlarının Googlebot'tan nasıl farklı olduğuna veya Googlebot'la nasıl uyumlu olduğuna da bakabilirsiniz:

  • Hangi araçların (ve rakiplerin) sitenizi taramaya çalıştığı hakkında bilgi. Mevcut bilgiler Googlebot ile sınırlı olmadığı için sitenizde başka botların etkin olup olmadığını da görebilirsiniz.
  • Yönlendirme sayfaları hakkında bilgi. Bu, en aktif geri bağlantılarınız hakkında daha fazla bilgi bulmanıza yardımcı olabilir. HTTPS'de, ziyaret edilen son sayfa veya "yönlendiren sayfa" da her istekle birlikte kaydedilir.
  • Organik trafik hakkında bilgiler… ve yalnızca Google'dan gelen trafik değil! Yönlendiren sayfaları kullanarak, arama motoru sonuç sayfalarından gelen trafiği belirleyebilir ve bu ziyaretçilerin sitenizle nasıl etkileşime girdiğini daha iyi görebilirsiniz. Bu tür bilgiler, kullanıyorsanız, Analytics çözümünüz tarafından sağlanan sayıları doğrulamak veya düzeltmek için kullanılabilir.
  • Yetim sayfaların belirlenmesi. Günlükleriniz, ziyaretçiler tarafından istenen tüm URL'leri içerdiğinden, site yapınızda bağlantısı olmayan bot veya insan trafiğine sahip “aktif” sayfalar günlüklerinizde görünecektir. Günlük dosyalarınızdaki bir URL listesini, bir taramadan site yapınızdaki bir URL listesiyle karşılaştırarak, yetim sayfaları tespit etmek kolay olacaktır.

Eksiksiz ve güncel mi?

Tarama İstatistikleri: 0
 Günlükler: 2

Verileriniz eksiksiz ve güncel mi? Günlükleriniz. Ve Tarama İstatistikleriniz olabilir.

Birçok kişi, Google Arama Konsolu raporu ile günlük dosyaları arasındaki %20-40'lık farkları hemen fark etti: Tarama İstatistikleri raporu, şu anda Googlebot etkinliğini eksik rapor ediyor. Bu, Tarama İstatistiklerinde bilinen bir sorundur, ancak günlüklerinizde yoktur!

Ayrıca, Search Console'daki tüm bilgiler gibi, verilerin mevcut olduğu son tarih ile bugünün tarihi arasında bir gecikme olabilir. Şimdiye kadar, Tarama İstatistikleri raporunda sekiz güne kadar bir fark gördük.

Öte yandan, günlük dosyalarınızı gerçek zamanlı izleme için kullanabilirsiniz: asla gecikme olmaz!

Taranan URL'lerin tam listesi ile toplu karşılaştırma

Tarama İstatistikleri: 0
 Günlükler: 3

Tarama İstatistikleri, tüm URL'leriniz için toplu veriler sağlar. Rapor, bir gösterge panosuna eşdeğerdir. Belirli bir metriğin arkasındaki URL'lerin listesini aramaya gittiğinizde, bir "örnekler" listesi göreceksiniz. Örneğin, görüntü dosyaları için 4.56K isteklerinize ilişkin birkaç yüz örneğiniz olabilir:

Ancak günlük dosyalarında, herhangi bir metriğin arkasındaki URL'lerin tam listesine sahipsiniz. TÜM istekleri yalnızca bir örnek değil, günlüklerinizde görebilirsiniz.

Bölgeler, tarihler, URL'ler için filtreleme…

Tarama İstatistikleri: 0
 Günlükler: 4

Gerçekten yararlı olması için Tarama İstatistikleri, yalnızca örnekler için değil tüm istekler için geçerli olan daha geniş filtrelerden yararlanabilir:

Aşağıdakiler için daha fazla esnekliğe sahip olmak harika olurdu:

  • Baktığımız tarih aralığını değiştirin
  • IP aramasıyla belirli bir coğrafi bölgeye odaklanın
  • URL gruplarına göre daha iyi filtreleme
  • Grafiklere filtre seçeneklerini uygulama

Tüm bunları ve çok daha fazlasını günlük dosyalarında yapabilirsiniz.

Googlebot'a özel bilgiler

Tarama İstatistikleri: 1
 Günlükler: 4

Gördüğümüz gibi Google, taramalarının amacı hakkında bilgi sağlamak için Tarama İstatistikleri Raporunu kullanır:

    • Yenileme ve Keşif

  • Sayfa kaynakları (ikincil getirme)

Günlük dosyalarınızdaki verilere ne kadar akıllıca bakarsanız bakın, bu bilgi başka hiçbir yerde bulunamaz.

Kolay erişim

Tarama İstatistikleri: 2
 Günlükler: 4

Tarama İstatistikleri raporuna erişim basittir: Tarama İstatistikleri, Search Console'a erişimi olan herkes tarafından otomatik olarak kullanılabilir.

Teknik olarak, günlük dosyaları da herhangi bir web yöneticisi tarafından erişilebilir olmalıdır. Ama bu çoğu zaman böyle olmaz. Genellikle geliştirme ekipleri, BT ekipleri veya müşteri şirketleri, günlük dosyalarına erişim sağlamanın önemini anlamaz. AB gibi, gizlilik yasalarının IP adresleri gibi "kişisel olarak tanımlanabilir verilere" erişimi kısıtladığı alanlarda, günlük dosyalarına erişim yasal bir sorun oluşturabilir. Hassas bilgileri depolamayan OnCrawl gibi belirli araçları kullanabilirsiniz.

Günlük dosyalarına erişiminiz olduğunda, verileri analiz etmek için ücretsiz araçlar vardır ve birkaç özel format vardır. Başka bir deyişle, günlük dosyaları oldukça demokratik bir veri kaynağıdır… bir kez elinize geçtiğinde.

Bu bir gerçek: Birçok SEO, günlüklere erişim konusunda sorun yaşıyor. Dolayısıyla, teorik olarak günlük dosyaları verilere kolay erişim sağlarken, buradaki nokta, Google'ın ücretsiz aracından iki tıklamayla erişilebilen Tarama İstatistikleri Raporu'na gidiyor.

Oncrawl Günlük Analiz Aracı

Bot izleme ve tarama bütçesi optimizasyonu için günlük dosyası analizi. Site sağlığı sorunlarını tespit edin ve tarama sıklığınızı iyileştirin.
Daha fazla bilgi edin

Diğer araçlara ve analizlere entegrasyon için (henüz) mevcut değil

Tarama İstatistikleri: 2
 Günlükler: 5

Google Arama Konsolu, Tarama İstatistikleri Raporunun web arayüzü aracılığıyla mevcut bilgileri dışa aktarmanıza ve indirmenize olanak tanır. Ancak bu, indirilen bilgilerin ekrandaki sürümlerle aynı sınırlamalara sahip olduğu anlamına gelir.

Ek olarak, Tarama İstatistikleri (henüz?) API aracılığıyla mevcut değildir, bu nedenle bu bilgileri raporlama ve analiz için otomatik süreçlere bağlamak ve hatta geçmiş verilerin daha geniş bir görünümü için yedeklemek zor olabilir.

Günlük dosyaları ile depolama, erişim ve yeniden kullanım genellikle size bağlıdır. Bu, sıralama izleme, tarama verileri veya analiz verileri gibi diğer veri kaynaklarıyla birleştirilirken günlük dosyalarının kullanımını çok daha kolay hale getirir. Ayrıca raporlama, pano oluşturma ve veri görselleştirme akışlarına entegre edilmeleri daha kolaydır.

Son kazanan: günlük dosyaları!

Tarama İstatistikleri raporu için beş puandan yalnızca iki puana kadar, arama motorlarının sitenizle nasıl etkileşime girdiğine dair tam içgörüler istiyorsanız, günlük dosyaları burada açık ara kazanandır.

Ancak açık olalım: Yükseltilmiş Tarama İstatistikleri raporu birçok yeni bilgi sağlar: durum kodları, dosya türleri, alt alanlar (alan mülkleri için), ana bilgisayar durumu ayrıntıları ve daha fazlası. Web sitenizin nasıl tarandığını anlamanız için size daha ayrıntılı bilgiler ve eyleme geçirilebilir veriler sağlar ve artık tarama modellerindeki değişiklikleri izleyebilirsiniz.

Kendilerinin veya müşterilerinin günlük dosyalarına erişemeyen kişiler için ileriye doğru büyük bir adım olacaktır.

Ancak, hepsi profesyonel değil!

Yeni raporun dezavantajları, Googlebot izleme için iyi bir gösterge panosu ve günlük dosyası analizini tamamlamak için harika bir ek olmasına rağmen, birçok yönden sınırlı olmasıdır. Unutmayın, yalnızca günlük dosyalarınız, toplu bir eğilim yerine tüm isteklerinizi URL başına gösterecektir.

Ayrıca, GSC raporunda, bazı isteklerin şu anda sayılmadığı ve verilerin Tarama İstatistikleri raporunda görünmesinin -bunun yazıldığı sırada- bir hafta kadar sürebildiği bilinen bir sorun vardır. (Ancak, Google'ın bu sorunlar üzerinde çalıştığına ve yakında ortadan kalkacağına inanıyoruz!)

Önerdiğimiz şey şudur: Günlük dosyalarınızda tam olarak neyi arayacağınızı öğrenmek için bu raporu kullanın. Ve sonra günlük analizinize dalın!