Sıralamalar İçin Bot Sürü ve Örümcek Güreşi Nasıl Başa Çıkılır?

Yayınlanan: 2020-01-23

Sıralamalar İçin Bot Sürü ve Örümcek Güreşi ile Başa Çıkın

Google tarayıcıları, web sitenizde yayınladığınız her içeriği dizine ekler. Bu tarayıcılar, bağlantıları ve kodları takip eden ve bir algoritmaya teslim eden programlanmış yazılımlardır. Ardından, algoritma onu indeksler ve içeriğinizi geniş bir veritabanına ekler. Bu şekilde, bir kullanıcı bir anahtar kelime aradığında, arama motoru zaten dizine eklenmiş sayfaların veritabanından ilgili sonuçları çıkarır ve sıralar.

Google, her web sitesine bir tarama bütçesi atar ve tarayıcılar sitenizin taramasını buna göre yürütür. Tüm web sitenizin akıllıca taranmasını ve dizine eklenmesini sağlamak için tarama bütçesini yönetmeniz ve kullanmanız gerekir.

Bu gönderide, arama motorlarının botların/örümceklerin veya tarayıcıların web sitenizi nasıl taradığını ve dizine eklediğini ele almak için püf noktaları ve araçlar hakkında bilgi edinebilirsiniz.

1. Robot.txt için Disallow Direktifinin Optimizasyonu:

robots.txt

Robots.txt, örümceklerin sitenizi nasıl tarayacağını belirlemesi için bir kılavuz gibi çalışan katı bir söz dizimine sahip bir metin dosyasıdır. Tarayıcıların URL'leri aradığı web sitenizin ana makine havuzlarına bir robots.txt dosyası kaydedilir. Bu Robots.txt veya "Robots Hariç Tutma Protokolü"nü optimize etmek için sitenizin URL'lerinin daha yüksek sıralamalar için Google tarayıcıları tarafından taranmasına yardımcı olabilecek bazı hileler kullanabilirsiniz.

Bu hilelerden biri “İzin Vermeme Yönergesi” kullanmaktır, bu, web sitenizin belirli bölümlerine “Kısıtlı Alan” tabelası koymak gibidir . İzin Verme Yönergesini optimize etmek için, ilk savunma hattını anlamalısınız: “Kullanıcı aracıları”.

Kullanıcı Aracısı Yönergesi nedir?

Her Robots.txt dosyası bir veya daha fazla kuraldan oluşur ve bunlar arasında kullanıcı-aracı kuralı en önemlisidir. Bu kural, tarayıcılara web sitesindeki belirli bir listeye erişim ve erişim izni vermez.

Bu nedenle, user-agent yönergesi, belirli bir tarayıcıya hitap etmek ve ona taramanın nasıl yürütüleceği konusunda talimatlar vermek için kullanılır.

Yaygın Olarak Kullanılan Google Tarayıcı Türleri:

İzin verme yönergesi:

Artık, web sitenizi taramak için atanan botu öğrendikten sonra, kullanıcı aracısının türüne göre farklı bölümlerini optimize edebilirsiniz. Web sitenizin izin vermeme yönergesini optimize etmek için izleyebileceğiniz bazı temel püf noktaları ve örnekler şunlardır:

- Disallow yönergesi için kullanılmak üzere tarayıcıda gösterilebilecek bir tam sayfa adı kullanın.
- Tarayıcıyı bir dizin yolundan yeniden yönlendirmek istiyorsanız, bir "/" işareti kullanın.
- Yol öneki, son ek veya tüm dize için * kullanın.

Disallow yönergelerini kullanma örnekleri şunlardır:

# Örnek 1: Yalnızca Googlebot'u engelle
Kullanıcı aracısı: Googlebot
izin verme: /

# Örnek 2: Googlebot ve Adsbot'u engelleyin
Kullanıcı aracısı: Googlebot
Kullanıcı aracısı: AdsBot-Google
izin verme: /

# Örnek 3: AdsBot tarayıcıları hariç hepsini engelle
Kullanıcı aracısı: *
izin verme: /

2. Robots.txt için dizin dışı bir yönerge:

Diğer web siteleri sitenize bağlantı verdiğinde, tarayıcının dizine eklemesini istemediğiniz URL'nin açığa çıkma olasılığı vardır. Bu sorunun üstesinden gelmek için indeks olmayan bir yönerge kullanabilirsiniz. İndeks olmayan yönergeyi Robots.txt'ye nasıl uygulayabileceğimizi görelim:

Web siteniz için indeks olmayan bir yönerge uygulamak için iki yöntem vardır:

<Meta> Etiketler:

Meta etiketler, sayfanızın içeriğini kısa ve şeffaf bir şekilde açıklayan ve ziyaretçilerin ne olacağını bilmelerini sağlayan metin parçacıklarıdır. Tarayıcıların sayfayı dizine eklemesini önlemek için aynısını kullanabiliriz.

İlk olarak, sayfanızın “<head>” bölümüne tarayıcıların dizine eklemesini istemediğiniz bir “<meta name= “robots” content=” noindex”>” meta etiketi yerleştirin.

Google tarayıcıları için “<head>” bölümünde “<meta name="googlebot” content=”noindex”/>” kullanabilirsiniz.

Farklı arama motoru tarayıcıları sayfalarınızı ararken, dizin dışı yönergenizi farklı yorumlayabilirler. Bu nedenle, sayfalarınız arama sonuçlarında görünebilir.

Bu nedenle, tarayıcılara veya kullanıcı aracılarına göre sayfalar için yönergeler tanımlamanız yardımcı olacaktır.
Yönergeyi farklı tarayıcılara uygulamak için aşağıdaki meta etiketleri kullanabilirsiniz:
<meta name=”googlebot” content=”noindex”>
<meta name=”googlebot-news” content=”nosnippet”>

X-Robots etiketi:

Müşterinin veya arama motorunun web sayfalarınızla ilgili konum veya onu sağlayan sunucu gibi ek bilgi talebine yanıt olarak kullanılan HTTP başlıklarını hepimiz biliyoruz. Şimdi, bu HTTP başlık yanıtlarını dizin dışı yönerge için optimize etmek için, web sitenizin herhangi bir URL'si için HTTP başlık yanıtının bir öğesi olarak X-Robots etiketlerini ekleyebilirsiniz.

Farklı X-Robots etiketlerini HTTP başlık yanıtlarıyla birleştirebilirsiniz. Virgülle ayrılmış bir listede çeşitli yönergeler belirtebilirsiniz. Aşağıda, X-Robots etiketleriyle birleştirilmiş farklı yönergelere sahip bir HTTP başlık yanıtı örneği verilmiştir.

HTTP/1.1 200 TAMAM
Tarih: 25 Ocak 2020 Salı 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Tem 2020 15:00:00 PST
(…)

3. Kanonik Bağlantılarda Ustalaşmak:

Bugün SEO'da en çok korkulan faktör nedir? Sıralamalar? Trafik? Numara! Yinelenen içerik için web sitenizi cezalandıran arama motorlarının korkusudur. Bu nedenle, tarama bütçenizi planlarken yinelenen içeriğinizi açığa çıkarmamaya dikkat etmelisiniz.

Burada, kurallı bağlantılarınızda uzmanlaşmak, yinelenen içerik sorunlarınızı çözmenize yardımcı olacaktır. Yinelenen içerik kelimesinin anlamı bu değildir. Bir e-ticaret sitesinin iki sayfasını örnekleyelim:

Örneğin, bir akıllı saat için birbirinin aynısı iki sayfaya sahip bir e-ticaret siteniz var ve her ikisi de benzer içeriğe sahip. Arama motoru botları URL'nizi taradığında, yinelenen içeriği kontrol edecekler ve URL'lerden herhangi birini seçebilirler. Bunları sizin için önemli olan URL'ye yönlendirmek için sayfalar için kanonik bir bağlantı ayarlanabilir. Bunu nasıl yapabileceğinizi görelim:

- - Standart sürümünüz için iki sayfadan herhangi birini seçin.
  - Daha fazla ziyaretçi alan birini seçin.
  - Şimdi standart olmayan sayfanıza rel=”canonical” ekleyin.
  - Standart olmayan sayfa bağlantısını standart sayfaya yönlendirin.
  - Her iki sayfa bağlantınızı da tek bir kurallı bağlantı olarak birleştirecektir.

4. Web Sitesinin Yapılandırılması:

Tarayıcılar, sitenizin önemli URL'lerini keşfetmelerine yardımcı olmak için işaretçilere ve tabelalara ihtiyaç duyar ve web sitenizi yapılandırmazsanız, tarayıcılar URL'lerinizde taramayı yürütmekte zorlanır. Bunun için site haritalarını kullanıyoruz çünkü bunlar tarayıcılara web sitenizin tüm önemli sayfalarına bağlantılar sağlıyor.

Web siteleri ve hatta mobil uygulama geliştirme süreçleri aracılığıyla geliştirilen uygulamalar için standart site haritası biçimleri XML site haritaları, Atom ve RSS'dir. Taramayı optimize etmek için XML site haritalarını ve RSS/Atom beslemelerini birleştirmeniz gerekir.

- - XML site haritaları, tarayıcılara web sitenizdeki veya uygulamanızdaki tüm sayfalara yol tarifi sağladığından.
  - Ve RSS/Atom beslemesi, web sitenizin sayfalarında tarayıcılara güncellemeler sağlar.

5. Sayfa Gezinmeleri:

Sayfada gezinme, örümcekler ve hatta web sitenizi ziyaret edenler için çok önemlidir. Bu botlar web sitenizdeki sayfaları arar ve önceden tanımlanmış hiyerarşik yapı, tarayıcıların web siteniz için önemli olan sayfaları bulmasına yardımcı olabilir. Daha iyi sayfa gezintisi için izlenecek diğer adımlar şunlardır:

- - Kodlamayı HTML veya CSS'de tutun.
  - Sayfalarınızı hiyerarşik olarak düzenleyin.
  - Daha iyi sayfa gezintisi için sığ bir web sitesi yapısı kullanın.
  - Başlıktaki menüyü ve sekmeleri minimal ve spesifik tutun.
  - Sayfa gezinmesinin daha kolay olmasına yardımcı olacaktır.

6. Örümcek Tuzaklarından Kaçınmak:

Örümcek tuzakları, tarayıcılar web sitenizi taradığında aynı sayfalarda aynı içeriğe işaret eden sonsuz URL'lerdir. Bu daha çok boşlukları vurmaya benziyor. Sonuçta, tarama bütçenizi tüketecektir. Bu sorun her taramada artar ve tuzakta taranan her URL benzersiz olmayacağından web sitenizin yinelenen içeriğe sahip olduğu kabul edilir.

Bölümü Robots.txt üzerinden engelleyerek veya belirli sayfaları engellemek için takip et veya takip etme yönergelerinden birini kullanarak tuzağı kırabilirsiniz . Son olarak, sonsuz URL'lerin oluşumunu durdurarak sorunu teknik olarak düzeltmeye çalışabilirsiniz.

7. Bağlantı Yapısı:

Ara bağlantı, tarama optimizasyonunun temel parçalarından biridir. Tarayıcılar, web sitenizdeki iyi yapılandırılmış bağlantılarla sayfalarınızı daha iyi bulabilir. Harika bir bağlantı yapısı için bazı önemli püf noktaları şunlardır:

- - Arama motorları kolayca taradığından metin bağlantılarının kullanımı: <a href=”new-page.html”>metin bağlantısı</a>
  - Bağlantılarınızda açıklayıcı bağlantı metni kullanımı
  - Bir spor salonu web sitesi işlettiğinizi ve tüm spor salonu videolarınızı bağlamak istediğinizi varsayalım, bunun gibi bir bağlantı kullanabilirsiniz - Tüm <a href=”videos.html”>spor salonu videolarımıza</a> göz atmaktan çekinmeyin.

8. HTML mutluluğu:

Tarayıcıların URL'leri hızlı bir şekilde taramasına olanak tanıdığından, HTML belgelerinizi temizlemek ve HTML belgelerinin yük boyutunu minimumda tutmak önemlidir. HTML optimizasyonunun bir başka avantajı da, arama motorları tarafından yapılan birkaç tarama nedeniyle sunucunuzun yoğun bir şekilde yüklenmesidir ve bu, SEO veya arama motoru taraması için harika bir işaret olmayan sayfa yüklemenizi yavaşlatabilir. HTML optimizasyonu, sayfa yüklemelerinin hızlı olmasını sağlayarak sunucudaki tarama yükünü azaltabilir. Ayrıca, sunucu zaman aşımları veya diğer hayati sorunlardan kaynaklanan tarama hatalarının çözülmesine de yardımcı olur.

9. Basitleştirin:

Bugün hiçbir web sitesi, içeriği yedekleyen harika görseller ve videolar olmadan içerik sunamaz, çünkü içeriklerini görsel olarak daha çekici ve arama motoru tarayıcıları için elde edilebilir kılan budur. Ancak, bu gömülü içerik optimize edilmezse, yükleme hızını düşürebilir ve tarayıcıları sıralanabilecek içeriğinizden uzaklaştırabilir.

Burada, gömülü içeriğiniz için HTML'ye bağlı kalmak, arama motorlarından daha iyi tarama elde etmenize yardımcı olabilir. AJAX, Javascript, vb. gibi teknolojiler yeni özellikler sağlamada oldukça iyidir, ancak aynı zamanda arama motorlarının taranmasını oldukça zorlaştırır.

Çözüm:

SEO'ya daha fazla odaklanılması ve daha yüksek trafiğe sahip olan her web sitesi sahibi, bot sürüleri ve örümcek kavgalarını ele almanın daha iyi yollarını arıyor. Ancak çözümler, web sitenizde yapmanız gereken ayrıntılı optimizasyonlarda ve arama motoru taramasını daha spesifik ve arama motoru sonuç sayfalarında daha üst sıralarda yer alabilecek web sitenizin en iyilerini temsil edecek şekilde optimize edebilecek tarama URL'lerinde yatmaktadır.