Google'ın Tarama Bütçesi: Nasıl Çalışır ve Sizin Bütçenizi Nasıl En Üst Düzeye Çıkarırsınız?

İnternetteki her web sitesi için Google, botlarının kaç sayfa tarayabileceği ve taramaya istekli olduğu konusunda sabit bir bütçeye sahiptir. İnternet büyük bir yer, bu nedenle Googlebot, web sitelerimizi taramak ve dizine eklemek için yalnızca çok fazla zaman harcayabilir. Tarama bütçesi optimizasyonu, web sitelerimizin doğru sayfalarının Google'ın dizininde yer almasını ve sonuçta arama yapanlara gösterilmesini sağlama sürecidir.

Google'ın tarama bütçesini optimize etme önerileri oldukça sınırlıdır, çünkü Googlebot çoğu web sitesinde sınırına ulaşmadan tarar. Ancak binlerce açılış sayfasına sahip kurumsal düzeydeki ve e-ticaret siteleri, bütçelerini maksimuma çıkarma riskiyle karşı karşıyadır. 2018'de yapılan bir araştırma, Google'ın tarayıcılarının, deneydeki daha büyük sitelerin web sayfalarının yarısından fazlasını taramadığını bile buldu.

Tarama bütçesinin nasıl harcandığını etkilemek, stratejistler için uygulaması daha zor bir teknik optimizasyon olabilir. Ancak kurumsal düzeyde ve e-ticaret siteleri için, mümkün olan her yerde tarama bütçesini en üst düzeye çıkarmak için harcadığınız çabaya değer. Birkaç ince ayar ile site sahipleri ve SEO stratejistleri, Googlebot'a en iyi performans gösteren sayfalarını düzenli olarak tarama ve dizine ekleme konusunda rehberlik edebilir.

Google, tarama bütçesini nasıl belirler?

Tarama bütçesi, esasen Google'ın web sitenizi taramak için harcamak istediği zaman ve kaynaklardır. Denklem aşağıdaki gibidir:

Tarama Bütçesi = Tarama Oranı + Tarama Talebi

Etki Alanı Yetkilisi, geri bağlantılar, site hızı, tarama hataları ve açılış sayfalarının sayısı, bir web sitesinin tarama hızını etkiler. Daha büyük siteler genellikle daha yüksek bir tarama hızına sahipken, daha küçük siteler, daha yavaş siteler veya aşırı yönlendirme ve sunucu hataları olan siteler genellikle daha az taranır.

Google ayrıca tarama bütçesini "tarama talebi" ile belirler. Google, kullanıcılara en yeni içeriği sağlamak istediği için popüler URL'ler daha yüksek bir tarama talebine sahiptir. Google, dizinindeki eski içeriği sevmez, bu nedenle bir süredir taranmamış sayfalar da daha yüksek talep görecektir. Web siteniz bir site taşıma sürecinden geçerse Google, dizinini yeni URL'lerinizle daha hızlı güncellemek için tarama talebini artıracaktır.

Web sitenizin tarama bütçesi dalgalanabilir ve kesinlikle sabit değildir. Sunucu barındırma veya site hızınızı artırırsanız, Googlebot, kullanıcıların web deneyimini yavaşlatmadığını bilerek sitenizi daha sık taramaya başlayabilir. Sitenizin mevcut ortalama tarama hızı hakkında daha iyi bir fikir edinmek için Google Arama konsolu Tarama Raporunuza bakın.

Her web sitesinin tarama bütçesi konusunda endişelenmesi gerekir mi?

Yalnızca birkaç açılış sayfası sıralaması almaya odaklanan daha küçük web sitelerinin tarama bütçesi konusunda endişelenmesine gerek yoktur. Ancak daha büyük web siteleri, özellikle de aşırı bozuk sayfalara ve yönlendirmelere sahip sağlıksız siteler, tarama limitlerine kolayca ulaşabilir.

Tarama bütçelerini en üst düzeye çıkarma riskiyle karşı karşıya olan büyük web sitelerinin türleri genellikle on binlerce açılış sayfasına sahiptir. Özellikle büyük e-ticaret web siteleri genellikle tarama bütçelerinden olumsuz etkilenir. Önemli sayıda açılış sayfası dizine eklenmemiş, yani Google'da sıfır sıralama şansı olan birden fazla kurumsal web sitesine rastladım.

Özellikle e-ticaret sitelerinin tarama bütçelerinin nereye gittiğine daha fazla dikkat etmesi gerekmesinin birkaç nedeni vardır.

• Birçok e-ticaret sitesi, SKU'ları veya ürünlerini sattıkları her şehir veya eyalet için programlı olarak binlerce açılış sayfası oluşturur.
• Bu tür siteler, öğeler stokta kalmadığında, yeni ürünler eklendiğinde veya diğer envanter değişiklikleri olduğunda açılış sayfalarını düzenli olarak günceller.
• E-ticaret siteleri, yinelenen sayfalara (örn. ürün sayfaları) ve oturum tanımlayıcılarına (örn. çerezler) yönelir. Her ikisi de Googlebot tarafından tarama hızını olumsuz etkileyen "düşük katma değerli" URL'ler olarak algılanır

Tarama bütçesini etkilemenin diğer bir zorluğu da Google'ın bütçeyi istediği zaman artırıp azaltabilmesidir. Bir site haritası, büyük web sitelerinin en önemli sayfalarının taranmasını ve dizine eklenmesini iyileştirmesi için önemli bir adım olsa da, Google'ın düşük değerli veya düşük performans gösteren sayfalarda tarama bütçenizi maksimuma çıkarmamasını sağlamak için yeterli değildir.

Peki web yöneticileri tarama bütçesi optimizasyonunu nasıl gerçekleştirebilir?

Site sahipleri, Google Arama Konsolu hesaplarında daha yüksek tarama sınırları belirleyebilse de, bu ayar, artan tarama isteklerini garanti etmez veya Google'ın hangi sayfaları taramayı sonlandıracağını etkilemez. En doğal çözüm, Google'ın web sitenizi daha sık taramasını sağlamak gibi gelebilir, ancak artan tarama hızıyla doğrudan ilişkisi olan çok sınırlı optimizasyonlar vardır.

İyi bütçelemenin harcama limitlerinizi artırmakla ilgili olmadığını hepimiz biliyoruz; paranızı neye harcadığınız konusunda daha seçici olmakla ilgili. Bu aynı konsepti tarama bütçesine uyguladığınızda çok büyük sonuçlar elde edebilirsiniz. Google'ın bütçenizi lehinize harcamasına yardımcı olacak birkaç stratejik adımı burada bulabilirsiniz.

1. Adım: Google'ın sitenizde gerçekte hangi sayfaları taradığını belirleyin

Yakın zamana kadar, Google Search Console'un tarama raporu, site sahiplerine yalnızca sitelerinin belirli günlerde kaç tarama isteği aldığını söylüyordu. Google'ın yeni Tarama İstatistikleri Raporu, tarama hakkında çok daha ayrıntılı bilgiler sunsa da, Google'ın sitenizi nasıl taradığını anlamak için en iyi yer sunucu günlük dosyalarınızdadır.

Google web sitenizi ziyaret ettiğinde belirli bir kullanıcı aracısını kullanır. Bu, sunucunuzun trafiğin gerçek bir kişi değil, aslında Googlebot olduğunu bilmesini sağlar.

(Bingbot ve Ahrefs'in botunu da orada bulacaksınız).

Oncrawl Günlük Analiz Aracı

Bot izleme ve tarama bütçesi optimizasyonu için günlük dosyası analizi. Site sağlığı sorunlarını tespit edin ve tarama sıklığınızı iyileştirin.

Daha fazla bilgi edin

Bu günlük dosyasının içeriğini analiz eden site sahipleri, Google'ın siteleri için tarama bütçesi hakkında birçok bilgi alacaklardır. Dosya birkaç şeyi ortaya çıkaracaktır:

• Kullanıcı aracısının hangi sayfaları ziyaret ettiği
• Aracının günde kaç sayfa taradığı
• Taranan sayfalardan herhangi birinin 404 veya bozuk olup olmadığı

İdeal olarak, Google'ın web sitenizdeki en yüksek değerli anahtar kelimeler için optimize edilmiş açılış sayfalarını taramasını istersiniz. Ayrıca site sahipleri, 404'lerde asla tarama bütçesini boşa harcamamalıdır. Google Arama Konsolu size yalnızca soft 404 hatalarınızın bazılarını gösterir, ancak hepsini sunucu günlüklerinizde tanımlayabilirsiniz.

Web sitenizin hangi sayfalarının tarandığı hakkında daha ayrıntılı bilgiye sahip olduğunuzda, aşağıdaki işlem öğelerini tamamlayın:

• Robot etiketleri ekleyin: Googlebot bu 404'leri veya bozuk sayfaları tarıyorsa, Googlebot'un bu sayfaları taramasını ve dizine eklemesini önlemek için bir numaralı öncelik robot etiketleri [noindex, nofollow] eklemek olmalıdır.
• Site haritanızı ayarlayın: Sunucu günlükleriniz, Google'ın potansiyel olarak yüksek performanslı sayfalarınızı taramadığını gösteriyorsa, tarandıklarından emin olmak için onları site haritanızda daha yukarılara yerleştirin.

2. Adım: Tüm açılış sayfalarınızın Google'da sıralanması gerekmediğini kabul edin

Kurumsal düzeydeki bu kadar çok web sitesinin tarama bütçesini boşa harcamasının birincil nedeni, Google'ın sitelerindeki her açılış sayfasını taramasına izin vermeleridir. Hatta birçok web sitesi, Google'ın hepsini bulup tarayabilmesi için tüm sayfalarını mobil uygulamalarına yerleştirmeyi sever. Bu bir hatadır çünkü gerçekte tüm açılış sayfalarımız sıralanmayacaktır.

Google'ın dizininde bir açılış sayfasına sahip olmanın değeri nedir? Sıralama ve dönüştürme. Web sitenizde, birden fazla anahtar kelime için sıralama yaparak veya site ziyaretçilerini olası satışlara ve gelire dönüştürerek ağırlığını çekmeyen açılış sayfaları varsa, neden Google'ın bunları taramasına izin verme riskini alasınız?

Kurumsal düzeydeki ve e-ticaret sitesi sahipleri, web sitelerinin hangi sayfalarının dönüşüm açısından optimize edildiğini ve en yüksek sıralama ve dönüşüm şansına sahip olduğunu bilmelidir. Ardından, Google'ın tarama bütçesini bu yüksek performanslı sayfalara harcamasını sağlamak için ellerinden gelen her avantajdan yararlanmaları gerekir.

Web sitenizin yüksek sıralama ve dönüşüm potansiyeline sahip açılış sayfaları, tarama bütçesini harcamaya değer. Googlebot'un bu sayfaları bütçenize dahil etmesini sağlamak için birkaç ipucu.

• Site haritanızdaki sayfa sayısını azaltın . Yalnızca, gerçekten sıralama ve organik trafik alma şansı yüksek olan sayfalara odaklanın.
• Düşük performans gösteren veya gereksiz sayfaları silin . Sıralamaları, dönüştürmeleri veya işlevsel amaçları olmadığı için değer getirmeyen sayfaları kaldırın.
• İçerik budama . Gerçekte organik trafik almayan sayfaları budayın ve bunları sitenizdeki alakalı ve trafik alan diğer açılış sayfalarına yönlendirin. Yönlendirmelerin tarama bütçenizin bir kısmını tükettiğini unutmayın, bu nedenle bunları dikkatli bir şekilde kullanmaya çalışın ve asla arka arkaya iki kez kullanmayın.

Herhangi bir site sahibinin içeriği bırakması zordur, ancak Google'ın belirli sayfaları taramasını engellemek, Google'ın genel tarama bütçenizi artırmasını sağlamaktan çok daha kolaydır. Tarama bütçenizi akıllıca harcamak istiyorsanız, Google tarayıcılarının en iyi öğeleri bulma ve dizine ekleme olasılığının daha yüksek olması için sitenizi temizlemek en büyük önceliktir.

3. Adım: Google tarayıcıları için yüksek performanslı sayfaları yükseltmek için dahili bağlantıları kullanın

Google'ın hangi sayfaları taradığını belirledikten, gerekli robot etiketlerini ekledikten, düşük performans gösteren sayfaları sildikten veya budandıktan sonra ve site haritanızda ayarlamalar yaptıktan sonra, Google'ın tarayıcıları bütçelerini web sitenizin doğru sayfalarına harcamaya daha yatkın olacaktır.

Ancak bu bütçeyi gerçekten en üst düzeye çıkarmak için sayfalarınızın sıralanmak için gereken özelliklere sahip olması gerekir. Sayfa içi SEO en iyi uygulamaları önemlidir, ancak daha gelişmiş bir teknik strateji, potansiyel olarak yüksek performanslı sayfaları yükseltmek için dahili bağlantı yapınızı kullanmaktır.

Tıpkı Googlebot'un yalnızca sınırlı bir tarama bütçesine sahip olması gibi, web sitenizin de İnternet ayak izine dayalı olarak yalnızca belirli bir miktarda site öz varlığı vardır. Öz sermayenizi akıllı bir şekilde yoğunlaştırmak sizin sorumluluğunuzdadır. Bu, site hakkını, sıralamada yüksek bir şansa sahip olduğunuz anahtar kelimeleri hedefleyen sayfalara ve size doğru türde müşterilerle trafik getirenlere, dönüşüm sağlama olasılığı yüksek ve aslında ekonomik değere sahip olanlara yönlendirmek anlamına gelir.

Bu SEO stratejisi, PageRank şekillendirme olarak bilinir. Binlerce açılış sayfası olan büyük bir web siteniz varsa, gelişmiş bir stratejist, daha iyi PageRank dağıtımı için web sitenizin dahili bağlantı profilini optimize etmek için SEO deneyleri çalıştırabilir. Yeni bir web sitesiyseniz, PageRank biçimlendirmesini site mimarinize dahil ederek ve oluşturduğunuz her yeni açılış sayfasıyla site eşitliğini düşünerek eğrinin önüne geçebilirsiniz.

PageRank şekillendirmeden hangisinin en çok fayda sağlayacağını belirlemek için sayfalarımı analiz etmek için en sevdiğim iki stratejiyi burada bulabilirsiniz.

• Web sitenizin trafiği iyi olan ancak yeterli PageRank'e sahip olmayan sayfalarını bulun . Bu sayfalara daha fazla dahili bağlantı almanın ve oraya daha fazla PageRank göndermenin yollarını bulun. Bunları web sitenizin üstbilgisine veya altbilgisine eklemek, bunu hızlı bir şekilde yapmanın harika bir yoludur, ancak gezinme menünüzdeki bağlantıları aşırıya kaçmayın.
• Çok sayıda dahili bağlantıya sahip olan, ancak çok az anahtar kelime için çok fazla trafik, arama gösterimi ve sıralama elde etmeyen sayfalara odaklanın . Çok sayıda dahili bağlantı alan sayfalar genellikle çok fazla PageRank içerir. Sitenize organik trafik getirmek için bu PageRank'i kullanmıyorlarsa, boşa harcıyorlar. Bu PageRank'i iğneyi gerçekten hareket ettirebilecek sayfalara taşımak daha iyidir.

Web sitenizdeki her bağlantının yalnızca Googlebot'u web sitenize göndermede değil, aynı zamanda bağlantı değerinizi dağıtmada oynadığı rolü anlamak, tarama bütçesi optimizasyonundaki son adımdır. Dahili bağlantı yapınızı doğru yapmak, para sayfalarınız için çarpıcı sıralama iyileştirmelerine yol açabilir. Sonuç olarak, tarama bütçenizi harcamanın en iyi yolu, gelirinizi cebinize koyma olasılığı en yüksek olan açılış sayfalarına gitmektir.

Değişikliklerinizi uyguladıktan sonra, bir Google Arama Konsolu aracındaki bu iyileştirilmiş sayfalar için anahtar kelime sıralamalarına göz atın. Bu sayfalar için sıralama iyileşirse, tarama bütçesi optimizasyonunuzun işe yaradığını gösterir. Ardından, web sitenize yeni sayfalar eklerken, tarama bütçenizi tüketmeyi hak edip etmedikleri konusunda daha seçici olun. Değilse, tarayıcıları yalnızca markanız için en çok çalışan sayfalara yönlendirmeye devam edin.