كيفية التعامل مع رعي الروبوتات ومشاحنات العنكبوت للحصول على التصنيف؟
نشرت: 2020-01-23
تقوم برامج الزحف من Google بفهرسة كل جزء من المحتوى الذي تنشره على موقع الويب الخاص بك. هذه الزواحف هي برامج مبرمجة تتبع الروابط والأكواد وتسليمها إلى خوارزمية. بعد ذلك ، تقوم الخوارزمية بفهرستها وإضافة المحتوى الخاص بك إلى قاعدة بيانات ضخمة. بهذه الطريقة ، كلما بحث المستخدم عن كلمة رئيسية ، يقوم محرك البحث باستخراج النتائج ذات الصلة وترتيبها من قاعدة بيانات الصفحات المفهرسة بالفعل.
تخصص Google ميزانية الزحف لكل موقع ويب وتقوم برامج الزحف بتنفيذ الزحف إلى موقعك وفقًا لذلك. يجب عليك إدارة واستخدام ميزانية الزحف لضمان الزحف الذكي والفهرسة لموقعك بالكامل.
في هذا المنشور ، يمكنك التعرف على الحيل والأدوات للتعامل مع كيفية قيام الروبوتات / العناكب أو برامج الزحف في محركات البحث بالزحف إلى موقع الويب الخاص بك وفهرسته.
1. تحسين توجيه Disallow لـ Robot.txt:
Robots.txt هو ملف نصي ببنية صارمة تعمل كدليل للعناكب لتحديد كيفية الزحف إلى موقعك. يتم حفظ ملف robots.txt في مستودعات المضيف لموقع الويب الخاص بك حيث تبحث برامج الزحف عن عناوين URL. لتحسين ملف robots.txt أو "بروتوكول استبعاد الروبوتات" ، يمكنك استخدام بعض الحيل التي يمكن أن تساعد عناوين URL لموقعك على الزحف إليها بواسطة برامج زحف Google للحصول على تصنيفات أعلى.
إحدى هذه الحيل هي استخدام "عدم السماح" ، وهذا يشبه وضع لافتة "منطقة محظورة" على أقسام معينة من موقع الويب الخاص بك. لتحسين توجيه Disallow ، يجب أن تفهم خط الدفاع الأول: "وكلاء المستخدم".
ما هو توجيه وكيل المستخدم؟
يتكون كل ملف Robots.txt من قاعدة واحدة أو أكثر ومن بينها قاعدة وكيل المستخدم هي الأكثر أهمية. توفر هذه القاعدة لبرامج الزحف إمكانية الوصول وعدم الوصول إلى قائمة معينة على موقع الويب.
لذلك ، يتم استخدام توجيه وكيل المستخدم للتوجيه إلى زاحف محدد وإعطائه إرشادات حول كيفية تنفيذ الزحف.
أنواع برامج زحف Google المستخدمة بشكل شائع:
أمر Disallow:
الآن ، بعد التعرف على الروبوت المخصص للزحف إلى موقع الويب الخاص بك ، يمكنك تحسين أقسام مختلفة منه بناءً على نوع وكيل المستخدم. بعض الحيل والأمثلة الأساسية التي يمكنك اتباعها لتحسين توجيه عدم السماح لموقعك على الويب هي:
- استخدم اسم صفحة كامل يمكن أن يظهر في المستعرض لاستخدامه في أمر عدم السماح.
- إذا كنت تريد إعادة توجيه الزاحف من مسار دليل ، فاستخدم علامة "/".
- استخدم * لبادئة المسار أو اللاحقة أو سلسلة كاملة.
أمثلة على استخدام التوجيهات disallow هي:
# مثال 1: حظر Googlebot فقط
وكيل المستخدم: Googlebot
عدم السماح: /
# المثال الثاني: حظر Googlebot و Adsbot
وكيل المستخدم: Googlebot
وكيل المستخدم: AdsBot-Google
عدم السماح: /
# مثال 3: حظر الكل ما عدا برامج زحف AdsBot
وكيل المستخدم: *
عدم السماح: /
2. التوجيه غير الفهرسي لملف Robots.txt:
عندما ترتبط مواقع الويب الأخرى بموقعك ، فهناك احتمالية أن يتم كشف عنوان URL الذي لا تريد أن يقوم الزاحف بفهرسته. للتغلب على هذه المشكلة ، يمكنك استخدام توجيه بدون فهرس. دعنا نرى كيف يمكننا تطبيق التوجيه غير الفهرسي على ملف Robots.txt:
هناك طريقتان لتطبيق التوجيه غير الفهرس لموقعك على الويب:
العلامات:
العلامات الوصفية هي المقتطفات النصية التي تصف محتوى صفحتك بطريقة شفافة تسمح للزائرين بمعرفة ما سيأتي؟ يمكننا استخدام نفس الشيء لتجنب قيام برامج الزحف بفهرسة الصفحة.
أولاً ، ضع علامة وصفية "<meta name =" robots "content =" noindex ">" في قسم "<head>" من صفحتك والتي لا تريد أن تقوم برامج الزحف بفهرستها.
بالنسبة إلى برامج الزحف من Google ، يمكنك استخدام “<meta name =” googlebot ”content =” noindex ”/>” في قسم “<head>”.
نظرًا لأن برامج الزحف المختلفة لمحركات البحث تبحث عن صفحاتك ، فقد تفسر توجيهات عدم الفهرس بشكل مختلف. نتيجة لذلك ، قد تظهر صفحاتك في نتائج البحث.
لذلك ، من المفيد تحديد توجيهات للصفحات وفقًا لبرامج الزحف أو وكلاء المستخدم.
يمكنك استخدام العلامات الوصفية التالية لتطبيق الأمر على برامج زحف مختلفة:
<meta name = ”googlebot” content = ”noindex”>
<meta name = ”googlebot-news” content = ”nosnippet”>
علامة X-Robots:
نعلم جميعًا عن رؤوس HTTP المستخدمة كردود على طلب العميل أو محرك البحث للحصول على معلومات إضافية تتعلق بصفحات الويب الخاصة بك مثل الموقع أو الخادم الذي يوفرها. الآن ، لتحسين استجابات رأس HTTP هذه للتوجيه غير الفهرسي ، يمكنك إضافة علامات X-Robots كعنصر في استجابة رأس HTTP لأي عنوان URL محدد لموقعك على الويب.
يمكنك دمج علامات X-Robots المختلفة مع استجابات رأس HTTP. يمكنك تحديد توجيهات مختلفة في قائمة مفصولة بفاصلة. يوجد أدناه مثال على استجابة رأس HTTP بتوجيهات مختلفة مقترنة بعلامات X-Robots.
HTTP / 1.1 200 موافق
التاريخ: الثلاثاء ، 25 يناير 2020 21:42:43 بتوقيت جرينتش
(...)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jul 2020 15:00:00 PST
(...)
3. إتقان الروابط الأساسية: 
ما هو العامل الأكثر رعبا في تحسين محركات البحث اليوم؟ الترتيب؟ حركة المرور؟ رقم! إنه الخوف من معاقبة محركات البحث لموقعك على المحتوى المكرر. لذلك ، أثناء وضع إستراتيجيات لميزانية الزحف الخاصة بك ، يجب أن تكون حريصًا بشأن عدم الكشف عن المحتوى المكرر الخاص بك.
هنا ، سيساعدك إتقان الروابط الأساسية في التعامل مع مشكلات المحتوى المكررة. كلمة محتوى مكرر ليست ما تعنيه. دعنا نأخذ مثالاً لصفحتين من موقع التجارة الإلكترونية:
على سبيل المثال ، لديك موقع ويب للتجارة الإلكترونية به زوج من الصفحات المتطابقة لساعة ذكية ، ولكل منهما محتوى متشابه. عندما تقوم روبوتات محرك البحث بالزحف إلى عنوان URL الخاص بك ، فسوف يتحققون من وجود محتوى مكرر ، وقد يختارون أيًا من عناوين URL. لإعادة توجيههم إلى عنوان URL الضروري بالنسبة لك ، يمكن تعيين ارتباط أساسي للصفحات. دعنا نرى كيف يمكنك القيام بذلك:
- اختر أي صفحة واحدة من الصفحتين لإصدارك الأساسي.
- اختر الشخص الذي يستقبل المزيد من الزوار.
- أضف الآن rel = ”canonical” إلى صفحتك غير المتعارف عليها.
- أعد توجيه رابط الصفحة غير الأساسي إلى الصفحة الأساسية.
- سيتم دمج ارتباطات صفحتك كرابط واحد أساسي واحد.
4. هيكلة الموقع:
تحتاج برامج الزحف إلى علامات ولوحات إرشادية لمساعدتها في اكتشاف عناوين URL المهمة لموقعك ، وإذا لم تقم ببناء موقع الويب الخاص بك ، فستجد برامج الزحف صعوبة في تنفيذ الزحف على عناوين URL الخاصة بك. لهذا ، نستخدم خرائط المواقع لأنها تزود برامج الزحف بروابط لجميع الصفحات المهمة في موقع الويب الخاص بك.
تنسيقات خرائط الموقع القياسية لمواقع الويب أو حتى التطبيقات التي تم تطويرها من خلال عمليات تطوير تطبيقات الأجهزة المحمولة هي خرائط مواقع XML و Atom و RSS. لتحسين الزحف ، تحتاج إلى دمج خرائط مواقع XML وخلاصات RSS / Atom.
- نظرًا لأن خرائط مواقع XML تزود برامج الزحف بالاتجاهات إلى جميع الصفحات على موقع الويب أو التطبيق الخاص بك.
- ويوفر موجز RSS / Atom تحديثات في صفحاتك من موقع الويب إلى برامج الزحف.
- نظرًا لأن خرائط مواقع XML تزود برامج الزحف بالاتجاهات إلى جميع الصفحات على موقع الويب أو التطبيق الخاص بك.
5. تنقلات الصفحة:
يعد التنقل في الصفحة أمرًا ضروريًا للعناكب وحتى لزوار موقع الويب الخاص بك. تبحث هذه الأحذية عن صفحات على موقع الويب الخاص بك ، ويمكن أن يساعد الهيكل الهرمي المحدد مسبقًا برامج الزحف في العثور على الصفحات التي تهم موقعك على الويب. الخطوات الأخرى التي يجب اتباعها لتحسين التنقل في الصفحة هي:
- احتفظ بالترميز بتنسيق HTML أو CSS.
- ترتيب صفحاتك بشكل هرمي.
- استخدم بنية موقع ويب ضحلة لتحسين التنقل في الصفحة.
- اجعل القائمة وعلامات التبويب الموجودة في الرأس صغيرة ومحددة.
- سيساعد التنقل في الصفحة ليكون أسهل.
6- تجنب فخاخ العنكبوت:
فخاخ العنكبوت هي عناوين URL لا نهائية تشير إلى نفس المحتوى على نفس الصفحات عندما تزحف برامج الزحف إلى موقع الويب الخاص بك. هذا أشبه بإطلاق النار على الفراغات. في النهاية ، سوف يلتهم ميزانية الزحف الخاصة بك. تتصاعد هذه المشكلة مع كل عملية زحف ، ويعتبر موقع الويب الخاص بك يحتوي على محتوى مكرر لأن كل عنوان URL يتم الزحف عليه في الفخ لن يكون فريدًا.
يمكنك كسر الملاءمة عن طريق حظر القسم من خلال ملف robots.txt أو استخدام أحد التوجيهات التالية أو عدم اتباعها لحظر صفحات معينة. أخيرًا ، يمكنك البحث عن حل المشكلة تقنيًا عن طريق إيقاف حدوث عناوين URL اللانهائية.
7. ربط الهيكل:
يعد الربط أحد الأجزاء الأساسية لتحسين الزحف. يمكن لبرامج الزحف العثور على صفحاتك بشكل أفضل من خلال روابط جيدة التنظيم في جميع أنحاء موقع الويب الخاص بك. بعض الحيل الرئيسية لهيكل ربط رائع هي:
- استخدام الروابط النصية ، حيث تزحف محركات البحث إليها بسهولة: <a href=”new-page.html”> text link </a>
- استخدام نص الرابط الوصفي في الروابط الخاصة بك
- لنفترض أنك تدير موقعًا إلكترونيًا لصالة الألعاب الرياضية ، وتريد ربط جميع مقاطع الفيديو الخاصة بالصالة الرياضية ، يمكنك استخدام رابط مثل هذا- لا تتردد في تصفح جميع مقاطع الفيديو الخاصة بنا <a href=”videos.html”> الخاص بالصالة الرياضية </a>.
8. HTML النعيم:
يعد تنظيف مستندات HTML الخاصة بك والحفاظ على الحد الأدنى من حجم حمولة مستندات HTML أمرًا مهمًا لأنه يسمح لبرامج الزحف بالزحف إلى عناوين URL بسرعة. ميزة أخرى لتحسين HTML هي أن الخادم الخاص بك يتم تحميله بشكل كبير بسبب العديد من عمليات الزحف بواسطة محركات البحث ، وهذا يمكن أن يبطئ تحميل صفحتك ، وهو ليس علامة رائعة على تحسين محركات البحث أو زحف محرك البحث. يمكن أن يقلل تحسين HTML من حمل الزحف على الخادم ، مما يجعل تحميل الصفحة سريعًا. كما أنه يساعد في حل أخطاء الزحف بسبب انتهاء مهلة الخادم أو المشكلات الحيوية الأخرى.
9. تضمينها بسيط:
لن يقدم أي موقع ويب اليوم محتوى بدون صور ومقاطع فيديو رائعة تدعم المحتوى ، وهذا ما يجعل محتواها بصريًا أكثر جاذبية ويمكن الحصول عليه من قبل برامج زحف محرك البحث. ولكن ، إذا لم يتم تحسين هذا المحتوى المضمن ، فيمكنه تقليل سرعة التحميل ، مما يؤدي إلى إبعاد برامج الزحف عن المحتوى الخاص بك الذي يمكنه الترتيب.
هنا ، يمكن أن يساعد التمسك بـ HTML للمحتوى المضمن في تحقيق زحف أفضل من محركات البحث. تعد تقنيات مثل AJAX و Javascript وما إلى ذلك جيدة جدًا في توفير ميزات جديدة ، ولكنها أيضًا تجعل محركات البحث عملية الزحف صعبة للغاية.
استنتاج:
مع زيادة التركيز على تحسين محركات البحث وزيادة عدد الزيارات ، يبحث كل مالك موقع ويب عن طرق أفضل للتعامل مع رعي الروبوتات ومشاحنات العنكبوت. لكن الحلول تكمن في التحسينات الدقيقة التي تحتاج إلى إجرائها في موقع الويب الخاص بك وعناوين URL للزحف التي يمكن أن تجعل محرك البحث يزحف أكثر تحديدًا ومحسّنًا لتمثيل أفضل موقع على الويب يمكن أن يحتل مرتبة أعلى في صفحات نتائج محرك البحث.