Tarama bütçenizi nasıl optimize edebilirsiniz?

Mayıs ayında, Google'ın tarama bütçesiyle ilgili Fransızca bir web semineri düzenledik. OnCrawl ile yaptığı ikinci web semineri için Orange & Sosh (Fransız İnternet sağlayıcısı) için SEO eski başkanı ve şimdi OnCrawl için Müşteri Başarı Yöneticisi Erle Alberton, tarama bütçesi kavramını, onu optimize etmek için en iyi uygulamaları, nelerden kaçınılması gerektiğini vb. tanıtıyor. Pratik örnekler, Google ekibi tarafından yakın zamanda onaylanan bu kavramı açıklayacaktır.

Google, tarama bütçesi hakkında ne diyor?

Ocak ayının ortalarında Google , bloglarında şunu belirten bir makale yayınladı: ""tarama bütçesinin" harici olarak temsil ettiği her şeyi açıklayacak tek bir terimimiz yok. ” Başka bir deyişle, biz SEO'lar tarama bütçesi olarak görüyoruz.

Web devi ayrıca, yeni sayfalarınız genellikle yayınlandıkları gün taranıyorsa, tarama bütçesi konusunda gerçekten endişelenmenize gerek olmadığını belirtiyor. Ayrıca, bir sitenin URL'si birkaç binden azsa, tarama bütçesi genellikle yüksek hacimli siteler için ayrıldığından doğru taranacağını belirtir… Bu hem doğru hem de yanlış çünkü Google Search Console'daki tüm sitelerin bir tarama bütçesi var. Bunu Google metriklerinde rahatlıkla görebiliriz.

Bu makalede, Google'ın belirli bir site için maksimum getirme oranını sınırlayan bir "tarama hızı sınırı" elde etmeye çalıştığını da öğreniyoruz. Örneğin, bir yükleme süresi çok uzun olduğunda Google'ın bütçesini neredeyse 2'ye indirdiğini görebiliyoruz. Bununla birlikte, kötü mimari (sistem, durum kodları, iç yapı) gibi tarama bütçesini etkileyebilecek faktörler var. ), zayıf ve/veya yinelenen içerik, örümcek tuzakları vb.

Google'ın tarama bütçesi nasıl çalışır?

Google'ın taraması, her site için özyinelemeli olarak çalışan bir dizi basit adımdır. İşte, taramanın bir txt robotunda bir isabetle başladığını ve ardından bir listede derlenen bir dizi URL'de ayrıldığını gördüğümüz bir Google grafiği. Google Afterwords, zaten yedekte sahip olduklarına ek olarak zaten bildiği URL'lerle karşılaştırarak onları getirmeye çalışır.

Amacı, indeksini kapsamlı ve hassas bir şekilde tamamlamaktır. Site JavaScript'te olsa bile Google'ın üçüncü seviye tarayıcılar göndereceğini görüyoruz. Çok fazla bot kaynağı tükettikleri ve ortalama olarak yalnızca üç ayda bir gönderildikleri için JavaScript sitelerine yine de dikkat etmelisiniz. Google'ın JavaScript gezintisi dışındaki sayfalara erişebilmesi için yöntemimizi yeniden düşünmemiz gerekiyor.

Ardından Google, sayfanın önemli mi yoksa daha az önemli mi olduğunu değerlendirmek için sayfa güncellemesinin durumunu (önceden dizine eklenen içerikle karşılaştırma) kontrol eder. Gerçekten de Google, tüm web sitelerinin her sayfasını tarayamadığı için tarama kaynaklarını optimize etmesi gerekiyor. Buna sayfa önemi denir… takip edilmesi gereken ve aşağıda ayrıntılarıyla göreceğimiz çok önemli bir puan!

Gerçek: Google optimizasyon yapıyorsa bunun bir nedeni vardır

Tarama bütçesi şunlara bağlıdır:

• Sitenin hızlı cevap verme kapasitesi;
• Sitenin akıl sağlığı – 4xx, 5xx, 3xx (bir site 404'ler veya 500'lere sahip olmaya başladığında, tarama bütçesi etkilenir, çünkü düzeltmelerin yapılıp yapılmadığını her zaman iki kez kontrol eder);
• İçeriğin kalitesi – anlambilim ve kapsamlılık;
• Anchor'ın çeşitliliği (bir sayfa çok sayıda bağlantı aldığında önemli kabul edilir. OnCrawl'ın InRank'i ile her şeyi analiz edebilirsiniz);
• Sayfa popülerliği – harici ve dahili;
• Optimize edilebilir faktörler – taramayı basitleştirin (görüntü boyutunu küçültün, css, js, gif, yazı tiplerine sahip olma kapasitesini vb.)

[Örnek Olay] Stratejik sayfalarda tarama bütçesini artırın

Manageo'nun trafiğinin çoğu organik aramadan gelir. Bu trafik esas olarak uzun kuyruklu aramalara dayanır ve aynı anda milyonlarca anahtar kelime için optimize etme ihtiyacı yaratır. Tarama bütçesi hızla bir sorun haline geldi.

Örnek olayı okuyun

Google Page Önemi'nin temel bileşenleri

Sayfa önem tanımı, Sayfa Sıralaması ile aynı değildir:

• Web sitesinde sayfa konumu – tarama hızının derinliği;
• Sayfa Sıralaması: Sayfanın TF/CF – Majestic;
• Dahili Sayfa Sıralaması – OnCrawl'ın InRank'i;
• Belge türü : PDF, HTML, TXT (PDF genellikle son nitel bir belgedir, bu nedenle çok fazla taranır);
• sitemap.xml'ye dahil etme;
• Dahili bağlantı sayısı:
• Anchor'ın kalitesi/önemi;
• Niteliksel içerik: kelime sayısı, neredeyse yinelenenler (Sayfalar içerik olarak çok yakınsa Google benzer içeriği cezalandırır);
• “Ana sayfa” sayfasının önemi.

Taranacak önemli URL'ler nasıl planlanır?

URL planlaması: Google hangi sayfaları ve ne sıklıkla ziyaret etmek istiyor?

Yukarıdaki örnekte (aynı sitenin bir tarama sıklığının gözlemlenmesi) Google farklı gruplarda aynı sıklıkta tarama yapmaz. Google sitenin bir bölümünü taradığında, sıralamanın etkisinin hızlı bir şekilde görüldüğünü görüyoruz.

Google'ın tarama bütçesi hakkında daha fazla bilgi

• Google Search Console'un web sitelerinin %100'ünde tarama verileri bulunur;
• Botun davranışındaki bir anormalliği hızlı bir şekilde tespit etmenize yardımcı olan bir günlük analizi sayesinde gezinme davranışını takip edebiliriz;
• Kötü bir iç yapı (sayfalandırma, yetim sayfalar, örümcek tuzakları) Google'ın doğru sayfaları taramasını engelleyebilir;
• Tarama bütçesi, sıralama ile doğrudan bağlantılıdır.

Önce Sayfa Hızı

En önemli faktör, tarama bütçesinde belirleyici bir rol oynadığı için sayfanın yüklenme süresidir. Gerçekten de bugün mobil bir dünyadayız. Bu nedenle en iyi varlığınız, tarama bütçenizi ve SEO'nuzu optimize etmek için sayfanın yüklenme süresidir. Mobil devrimle birlikte yükleme süresi, bir sitenin kalitesini değerlendirmede önemli bir faktördür. Hızlı yanıt verme yeteneği - özellikle mobil ve dizin mobil için öncelikle.

Optimize etmek için Cloudflare gibi CDN çözümlerini (İçerik Dağıtım Ağı) kullanabiliriz. Bu çözümler, Google'ın robotlarının kaynaklara mümkün olduğunca yakın olmasına ve sayfaları olabildiğince hızlı yüklemesine olanak tanır.

Google, bir sitenin hızlı yanıt verme yeteneğini sürekli olarak test eder. Mimari ve kodlama kalitesi, Google'ın notasyonu üzerinde güçlü bir etkiye sahiptir.

Yükleme zamanı

Bu, tarama bütçesinin ilk tahsis faktörüdür!

Sunucu bilge, yapmanız gerekenler:

• Yönlendirmelerden kaçının;
• Sıkıştırmaya izin ver;
• Yanıt süresini iyileştirin.

Yukarıda, doğrusal bir tarama bütçesine sahip olan ve doğrusal bir artış görebileceğimiz Manageo'nun sitesi ile ilgili bir örnek. Mayıs ayında, günlük taranan sayfa sayısında bir düşüş ve buna bağlı olarak sitenin hızında bir değişiklik oldu. Google, sitenin daha az hızlı yanıt verdiğini görür ve bu nedenle tarama bütçesini yarıya indirir. Tüm bunları düzeltmek için sunucu tarafında kodlarınızı optimize etmeniz, yönlendirmeleri azaltmanız, sıkıştırma kullanmanız vb.

Ön bilge, yapmanız gerekenler:

• Tarayıcı önbelleğini çalıştırma
• Kaynak boyutunu küçültün (görüntü optimizasyonu, görüntülemeyi engelleyen CDN/tembel yükleme/silme JS kullanın;
• Eşzamansız komut dosyaları kullanın.

Kalitede düşüş = aşk yok = bütçe yok

IS'nin temiz olduğundan emin olmak için Google'ın robotlarına geri gönderilen durum kodlarını kontrol etmek gerekir. Google'ın kodunuzun ve mimarinizin kalitesinin temiz olduğunu doğrulamasının tek yolu budur.

Zaman içindeki gelişimlerini izlemek, kod güncellemelerinin SEO dostu olmasını sağlar. Google kaynaklara (css, img, js) çok para harcıyor, bu yüzden kusursuz olduklarından emin olun.

Benzersiz ve zengin içerik

Bir sayfa ne kadar önemliyse, metni o kadar zengindir. Yukarıda gösterildiği gibi, Google tarafından taranan ve taranmayan sayfa sayısı, sayfada bulunan kelime sayısı ile ilgilidir. Bu nedenle sayfalarınız mümkün olduğunca düzenli olarak geliştirilmeli ve güncellenmelidir.

Kurallara ve yinelenen içeriğe dikkat edin

Benzer iki sayfa aynı standart URL'yi göstermediğinde Google iki kat daha fazla bütçe harcar. Bu nedenle, kurallı yönetim, yönleri olan siteler veya queryString ile harici bağlantılar için kritik hale gelebilir.

Neredeyse kopya ve standartlarda içerik yönetimi, tarama bütçesi optimizasyonunun önemli yönleri haline gelir.

Dahili yapı ve InRank dağıtımı

SEO ziyaretleri oluşturan sayfalar aktif olarak kabul edilir. Bunlar site mimarisinin en üstünde olanlardır. Öte yandan, burada 15. sayfada bir grup sayfanın ortaya çıktığını görüyoruz. Belki de bu sayfalar, kullanıcılarınız tarafından düşündüğünüzden çok daha fazla aranıyor ve sıralamalarını iyileştirmek için mimaride yükseltilmeleri gerekiyor.

Bildiğimiz gibi, sayfalar ne kadar derinse, Google onları o kadar az ziyaret eder!

Para sayfalarım iyi yerleştirilmiş mi?

İpucu: Belirli sayfa gruplarının derinliğini optimize etmek istiyorsanız, derinliğinizi yönetmek için çok önemli olan sayfalar anlamına gelen html site planları oluşturmaktan çekinmeyin.

Google, yapınızın sayfalarını taranan ve etkin olanla karşılaştırır. Bununla birlikte, Google'ın gereksiz yere bütçe harcadığı yetim sayfalar sorununu çözmek ve site mimarisini aktif ancak yapısız sayfalara yönlendirmek için site mimarisini düzeltmek sizin yararınıza olacaktır.

Bazen sayfalar artık bağlantı almaz, bunlara yetim sayfalar denir. Öte yandan Google onları da unutmadı. Onları ziyaret etmeye devam edecek. Artık bağlantı almıyorlar, bu yüzden önemlerini kaybediyorlar, ancak doğru grafikte, bazı yetim sayfalar SEO ziyaretleri almaya devam ediyor. Bilmeniz gereken, bunları hızlı bir şekilde nasıl tanımlayacağınız ve mimarideki bağlantı sorunlarını nasıl çözeceğinizdir. Bu, tarama bütçenizi optimize etmenin harika bir yoludur.

Uzak durulması gereken hatalar

• 404'te Robots.txt;
• Sitemap.xml ve sitemap.html güncel değil;
• 50x / 40x / soft 404 hataları;
• Zincir yönlendirmelerine sahip olmak;
• Kanonik hatalar;
• Yinelenen içerik (altbilgi) / yinelenene yakın / HTTP ve HTTPS;
• Çok uzun tepki süresi;
• Sayfa ağırlığı çok önemli;
• AMP/ hatalar. Bu protokol, Google tarafından özellikle e-ticaret siteleri (sadece medya siteleri değil) için yaygın olarak kullanılmaktadır;
• Kötü dahili bağlantı + Rel=nofollow;
• JS'yi başka bir alternatif olmadan kullanmak.

Sonuçlar

Tarama bütçenizi optimize etmek için yapmanız gerekenler:

• Para sayfalarınızı bilin ve Google'ın tepkilerini bilin;
• Yükleme süresini iyileştirin;
• Dahili bağlantınızı optimize edin: tüm para sayfalarınızı yapının en üstüne koyun;
• Yetim kalan sayfalarınızı düzeltin;
• Para sayfalarınıza metin ekleyin;
• Para sayfalarınızı sonuna kadar güncelleyin – tazelik;
• Zayıf içeriğinizi ve kopyalarınızı azaltın;
• Kanoniklerinizi, resimlerinizi, kaynak ağırlığınızı optimize edin;
• Zincir yönlendirmelerinden kaçının;
• Günlüklerinizi izleyin ve anormallikler olduğunda tepki gösterin (konuyla ilgili SEOcamp Lyon sırasında Manageo'dan bu kullanım örneğine bakın).

Tarama bütçenizi optimize etmek için Google'ın tarayıcısını tam olarak izlemeniz gerekir.

Google'ın sitenizdeki yolunun bazı anları diğerlerinden daha önemlidir, bu nedenle onları nasıl optimize edeceğinizi bilmeniz gerekir.

Tarama bütçenizi optimize etmek için HTTPS (HTTP2) taşıma işleminizi doğru şekilde yönetmeniz gerekir

Takip edebilmeniz ve izleyebilmeniz gerekir. BT ekiplerinize HTTPS ile HTTP2'ye geçiş yapmaları için meydan okuyun.
OnCrawl, Google'ın tarama bütçesini günlük olarak izlemenize yardımcı olur ve SEO performansınızı iyileştirmek için düzeltmeleri ve yapısal değişiklikleri hızla hedefler.

14 günlük ücretsiz denemenizi başlatın

Oncrawl'ın neden piyasadaki en tanınmış teknik ve veri SEO platformu olduğunu kendiniz öğrenin! Kredi kartı gerekmez ve herhangi bir koşul eklenmez: tam özellikli deneme için yalnızca 14 gün.

Denemenizi başlatın