Tarama bütçesi nasıl tanımlanır?

SEO'lar olarak hepimiz bundan bahsediyoruz, ancak tarama bütçesi gerçekte nasıl çalışıyor? Müşterimizin web sitelerini ziyaret ettiklerinde arama motorlarının taradığı ve dizine eklediği sayfaların sayısının organik aramadaki başarıları ile ilişkili olduğunu biliyoruz, ancak daha büyük bir tarama bütçesine sahip olmak her zaman daha mı iyidir?

Google'daki her şey gibi, web sitelerinizin tarama bütçesi ile sıralama/SERP performansı arasındaki ilişkinin %100 basit olduğunu düşünmüyorum, bu bir dizi faktöre bağlı.

Tarama bütçesi neden önemlidir? 2010 Kafein güncellemesi nedeniyle. Bu güncellemeyle Google, artımlı indeksleme ile içeriği indeksleme şeklini yeniden oluşturdu. 'Sızdırıcı' sistemini tanıtarak, dizine eklenen sayfaların 'darboğazını' kaldırdılar.

Google, tarama bütçesini nasıl belirler?

Her şey PageRank, Alıntı Akışınız ve Güven Akışınızla ilgilidir.

Etki Alanı Otoritesinden neden bahsetmedim? Dürüst olmak gerekirse, bence SEO'lar ve içerik pazarlamacıları için mevcut olan en yanlış kullanılan ve yanlış anlaşılan metriklerden biri, yeri var, ancak çok fazla ajans ve SEO, özellikle bağlantılar oluştururken buna çok fazla değer veriyor.

PageRank, özellikle araç çubuğunu düşürdüklerinden, elbette artık güncel değil, bu nedenle her şey bir sitenin Güven Oranı ile ilgili (Güven Oranı = Güven Akışı/Alıntı Akışı). Esasen, daha güçlü alan adlarının daha büyük tarama bütçeleri vardır, bu nedenle web sitenizdeki Google bot etkinliğini nasıl belirlersiniz ve daha da önemlisi, herhangi bir bot tarama sorununu nasıl tanımlarsınız? Sunucu günlük dosyaları.

Artık hepimiz biliyoruz ki, indekslediğimiz (ve sıraladığımız) sayfaları Google botuna göstermek için dahili bağlantı yapısını kullanıyoruz ve URL boyunca 5 alt klasör değil, onları kök etki alanına yakın tutuyoruz. Peki ya daha teknik sorunlar? Tarama bütçesi israfı, bot tuzakları veya Google sitedeki formları doldurmaya çalışıyorsa (bu oluyor).

Tarayıcı etkinliğini belirleme

Bunu yapmak için, bazı sunucu günlük dosyalarına sahip olmanız gerekir. Bunları müşterinizden talep etmeniz gerekebilir veya bunları doğrudan barındırma şirketinden indirebilirsiniz.

Bunun arkasındaki fikir, sitenize isabet eden Google botunun bir kaydını bulmaya çalışmaktır - ancak bu planlanmış bir etkinlik olmadığı için birkaç günlük veri almanız gerekebilir. Bu dosyaları analiz etmek için çeşitli yazılım parçaları mevcuttur.

Aşağıda bir Apache sunucusuna isabet eden bir örnek verilmiştir:

50.56.92.47 – – [31/Mayıs/2012:12:21:17 +0100] “GET” – “/wp-content/themes/wp-theme/help.php” – “404” “-” “Mozilla/ 5.0 (uyumlu; Googlebot/2.1; +http://www.google.com/bot.html)” – www.hit-example.com

Buradan, günlük dosyalarını analiz etmek ve Google'ın PPC sayfalarını taraması veya JSON komut dosyalarına yönelik sonsuz GET istekleri gibi sorunları belirlemek için araçları (OnCrawl gibi) kullanabilirsiniz - bunların her ikisi de Robots.txt dosyası içinde çözülebilir.

Tarama bütçesi ne zaman sorun olur?

Sitenizde çok sayıda URL varsa ve orantılı bir 'tarama' tahsisi varsa, tarama bütçesi her zaman bir sorun değildir. Peki ya web sitenizin 200.000 URL'si varsa ve Google her gün sitenizde yalnızca 2.000 sayfa tararsa? Google'ın yeni veya yenilenmiş URL'leri fark etmesi 100 gün kadar sürebilir - artık bu bir sorun.

Tarama bütçenizin sorun olup olmadığını anlamak için hızlı bir test, 'tarama sayınızı' hesaplamak için Google Arama Konsolu'nu ve sitenizdeki URL sayısını kullanmaktır.

• Öncelikle sitenizde kaç sayfa olduğunu belirlemeniz gerekiyor, bunu bir site yaparak yapabilirsiniz: arama, örneğin oncrawl.com'un indeksinde kabaca 512 sayfa var:

• İkinci olarak, Google Arama Konsolu hesabınıza gitmeniz ve Tarama'ya ve ardından Tarama İstatistikleri'ne gitmeniz gerekir. GSC hesabınız düzgün yapılandırılmamışsa, bu verilere sahip olmayabilirsiniz.
• Üçüncü adım, web sitenizdeki "Günlük taranan sayfalar" ortalama sayısını (ortadaki) ve toplam URL sayısını alıp bunları bölmektir:

Sitedeki Toplam Sayfa / Günde Taranan Ortalama Sayfa Sayısı = X

X, 10'dan büyükse, tarama bütçenizi optimize etmeye bakmanız gerekir. 5'ten küçükse bravo. Devamını okumanıza gerek yok.

'Tarama bütçesi' kapasitenizi optimize etme

İnternetteki en büyük tarama bütçesine sahip olabilirsiniz, ancak bunu nasıl kullanacağınızı bilmiyorsanız bunun bir değeri yoktur.

Evet, bu bir klişe, ama doğru. Google, sitenizin tüm sayfalarını tararsa ve bunların büyük çoğunluğunun kopya olduğunu, boş olduğunu veya çok yavaş yüklendiğini tespit ederse, zaman aşımı hatalarına neden olabilir, bütçeniz çok fazla olabilir.

Tarama bütçenizden en iyi şekilde yararlanmak için (sunucu günlük dosyalarına erişiminiz olmasa bile) aşağıdakileri yaptığınızdan emin olmanız gerekir:

Yinelenen sayfaları kaldırın

Genellikle e-ticaret sitelerinde, OpenCart gibi araçlar aynı ürün için birden fazla URL oluşturabilir, hedef ve kök arasında değişen alt klasörlere sahip 4 URL'de aynı ürünün örneklerini gördüm.

Google'ın her sayfanın birden fazla sürümünü dizine eklemesini istemezsiniz, bu nedenle Google'ı doğru sürüme yönlendiren standart etiketlerin yerinde olduğundan emin olun.

Bozuk Bağlantıları Çöz

Google Search Console veya tarama yazılımını kullanın ve sitenizdeki tüm bozuk iç ve dış bağlantıları bulun ve düzeltin. 301'leri kullanmak harikadır, ancak bunlar bozuk olan gezinme bağlantıları veya altbilgi bağlantıları ise, bir 301'e güvenmeden yalnızca işaret ettikleri URL'yi değiştirin.

İnce Sayfalar Yazmayın

Sitenizde, kullanıcılara veya arama motorlarına çok az veya hiç değer sunmayan çok sayıda sayfa bulundurmaktan kaçının. Bağlam olmadan Google, sayfaları sınıflandırmayı zor bulur; bu, sitenin genel alaka düzeyine hiçbir katkıda bulunmadıkları ve yalnızca tarama bütçesini alan yolcular oldukları anlamına gelir.

301 Yönlendirme Zincirlerini Kaldır

Zincir yönlendirmeleri gereksiz, dağınık ve yanlış anlaşılmıştır. Yönlendirme zincirleri, tarama bütçenize çeşitli şekillerde zarar verebilir. Google bir URL'ye ulaştığında ve bir 301 gördüğünde, her zaman onu hemen takip etmez, bunun yerine yeni URL'yi bir listeye ekler ve ardından onu takip eder.

Ayrıca, XML site haritanızın (ve HTML site haritanızın) doğru olduğundan ve web siteniz çok dilliyse, web sitesinin her dili için site haritalarına sahip olduğunuzdan emin olmanız gerekir. Ayrıca akıllı site mimarisi, URL mimarisi uygulamanız ve sayfalarınızı hızlandırmanız gerekiyor. Sitenizi CloudFlare gibi bir CDN'nin arkasına koymak da faydalı olacaktır.

TL; DR:

Herhangi bir bütçe gibi tarama bütçesi bir fırsattır, teoride bütçenizi Googlebot, Bingbot ve Slurp'un sitenizde geçirdiği zamanı satın almak için kullanıyorsunuz, bu zamanı en iyi şekilde değerlendirmeniz önemlidir.

Tarama bütçesi optimizasyonu kolay değildir ve kesinlikle 'hızlı bir kazanç' değildir. Küçük bir siteniz veya bakımlı orta büyüklükte bir siteniz varsa, muhtemelen iyisinizdir. On binlerce URL'ye sahip bir site deviniz varsa ve sunucu günlük dosyaları kafanızı karıştırıyorsa - uzmanları aramanın zamanı gelmiş olabilir.