[Webinar Digest] تحسين محركات البحث في Orbit: الكشف عن أسرار الفهرسة

نشرت: 2019-11-06

ندوة الويب "فتح أسرار الفهرسة " هي جزء من مُحسّنات محرّكات البحث في سلسلة Orbit ، وتم بثها في 12 حزيران (يونيو) 2019. في هذه الحلقة ، يشارك كيفن إنديغ أفكاره حول فهرسة الصفحات ، وكيف تؤثر الصفحات المفهرسة لموقع ما على مستوى الموقع. الترتيب ، والصفحات التي لا يجب فهرستها. ما هو النهج الصحيح تجاه هذه الخطوة الوسيطة بين اكتشاف الصفحات وجعلها تظهر على SERPs؟

SEO في Orbit هي أول سلسلة ندوات عبر الإنترنت ترسل تحسين محركات البحث إلى الفضاء. خلال السلسلة ، ناقشنا حاضر ومستقبل تحسين محركات البحث التقني مع بعض أفضل المتخصصين في تحسين محركات البحث وأرسلنا نصائحهم إلى الفضاء في 27 يونيو 2019.

شاهد الإعادة هنا:

تقديم كيفن إنديج

ساعد Kevin Indig الشركات الناشئة في اكتساب أكثر من 100 مليون مستخدم على مدار السنوات العشر الماضية. وهو VP SEO & CONTENT @ G2 ، وهو مرشد لموقع Growth @ GermanAccelerator ، وأدار SEO @ Atlassian و Dailymotion سابقًا. تخصصه هو اكتساب المستخدمين ، وبناء العلامة التجارية ، والاحتفاظ بالمستخدمين. تشمل الشركات التي عمل كيفن معها eBay و Eventbrite و Bosch و Samsung و Pinterest و Columbia و UBS والعديد من الشركات الأخرى. كما أنه يدير النشرة الإخبارية للتسويق التقني المنسقة ، Tech Bound.

استضافت هذه الحلقة Rebecca Berbel ، مديرة المحتوى في OnCrawl. مفتونًا بمعالجة اللغات الطبيعية ونماذج الآلة للغة على وجه الخصوص ، وبالأنظمة وكيفية عملها بشكل عام ، فإن ريبيكا لا تخسر أبدًا موضوعات تحسين محركات البحث التقنية التي تثير حماستها. تؤمن بضرورة التبشير بالتكنولوجيا واستخدام البيانات لفهم أداء موقع الويب على محركات البحث.

تعريفات

أحد أسباب أهمية الحديث عن الفهرسة هو أنها موضوع معقد. يعاني العديد من مُحسّنات محرّكات البحث من الفهرسة وكيفية التأثير عليها.

- زحف

الزحف بعبارات بسيطة هو عملية الاكتشاف الفني لفهم محركات البحث لصفحة الويب وجميع مكوناتها.

يساعد هذا Google في العثور على جميع عناوين URL التي يمكنها بعد ذلك الرجوع إليها وعرضها ، ثم فهرستها وتصنيفها في النهاية.

- عملية Google المكونة من 3 خطوات

يعد الزحف جزءًا من عملية Google المكونة من 3 خطوات والتي تؤدي إلى القدرة على إنشاء نتائج البحث:

  1. زحف
  2. استدعاء
  3. الفهرسة

هذه عمليات مختلفة تقنيًا ، يتم التعامل معها بواسطة برامج مختلفة أو أجزاء من محرك البحث.

من المحتمل أن يكون الترتيب الخطوة الرابعة في هذه العملية.

- فهرسة

الفهرسة هي عملية قيام Google بإضافة عناوين URL إلى "قائمة" النتائج المحتملة الطويلة. إذا كان على Kevin تجنب كلمة "index" في تعريف الفهرسة ، فإنه يفضل التحدث عن "قائمة" مجازية: لدى Google "قائمة" من عناوين URL التي يمكن استخدامها للترتيب والعرض كأفضل النتائج للمستخدمين .

- ملفات الدخول

تحتفظ خوادم الويب بسجل في أي وقت يطلب أي شخص أو أي شيء صفحة أو مورد على الخادم.

كيفن متحمس حقًا لملفات السجل كمصدر للحقيقة عندما يتعلق الأمر بفهم كيفية قيام Google بالزحف إلى موقعك وعرضه.

في السجلات ، يمكننا العثور على معلومات الخادم حول عدد المرات التي يزور فيها Google موقعك وما يفعله هناك ، بعبارات بسيطة جدًا وبسيطة. تحتوي ملفات السجل على سجلات فردية لكل زيارة للموقع.

يمكنك الحصول على الكثير من المعلومات من ملفات السجل:

  • أخطاء رمز الحالة المحددة
  • مشاكل الزحف
  • مشاكل في التقديم
  • كم من الوقت يقضيه Googlebot على موقعك
  • أي Googlebots يأتي إلى موقعك. على سبيل المثال ، مع فهرس Mobile First ، تم مؤخرًا تحديث Googlebot الرئيسي المستخدم للفهرسة.
  • ما إذا كان هيكل موقعك التقني شيئًا تتبعه Google ، أو إذا كان لديك شيء هناك يمكن تحسينه.

طرق للتحقق من الفهرسة

- غير مستحسن: استعلامات "الموقع:"

عندما بدأ Kevin في تحسين محركات البحث قبل حوالي 10 سنوات ، كان يرى الصفحات الموجودة على موقعه والتي تمت فهرستها عن طريق تشغيل عمليات البحث "site:" على Google. بينما لا يزال يستخدم هذا أحيانًا ، لم يعد طريقة موثوقة لمعرفة ما إذا كان عنوان URL مفهرسًا أم لا.

في الآونة الأخيرة ، سأل جون مولر عن هذه الاستراتيجية ؛ لقد تحقق من أن هذه الطريقة لم تعد موصى بها للتحقق مما قام Google بفهرسته وما لم يقم بفهرسته.

- موصى به: فحص عنوان URL لـ Search Console

يوصي John Mueller بدلاً من ذلك باستخدام أداة فحص عنوان URL في Search Console للتحقق مما تمت فهرسته.

- موصى به: خرائط مواقع XML وتقرير التغطية

يعد إرسال خريطة موقع XML في Search Console إحدى الطرق للتحقق من مجموعة عناوين URL الخاصة بك ثم التحقق من خريطة الموقع في تقرير التغطية في وحدة تحكم البحث.

الأهمية في التمييز بين فهرس الزحف والعرض

كما ذكرنا ، هناك عملية من 3 خطوات يزحف فيها محرك بحث Google إلى الصفحة ويعرضها ويفهرسها. من المهم جدًا التمييز بين كل خطوة من هذه الخطوات. نظرًا لأن الويب أصبح أكثر تعقيدًا ، كان على Google التكيف وفصل وتحسين هذه العمليات بشكل فردي.

برامج Googlebots مختلفة

تستخدم Google العديد من برامج Googlebots للزحف إلى مواقع الويب وعرضها. لديك أنواع مختلفة من الموارد: الصور ومقاطع الفيديو والأخبار والنص ... تستخدم Google برامج Googlebots مختلفة لفهم كل نوع من أنواع المحتوى.

أعلنت Google منذ حوالي شهر أنها قامت بترقية محرك العرض الخاص بها ليعمل على Googlebot دائم الخضرة وأحدث محرك Chromium.

هذا مهم ، لأن الزحف والعرض خطوات ضرورية تؤدي إلى الفهرسة.

تغيير الأولويات في عملية جوجل

لأغراض الفهرسة ، اعتاد Google على الزحف باستخدام Googlebot لسطح المكتب. لقد تغير ذلك. يستخدمون الآن الهاتف الذكي Googlebot لأغراض الفهرسة.

سيتم فرض فهرسة Mobile-First اعتبارًا من يوليو 2019 لجميع المواقع الجديدة ، وستظهر لجميع المواقع الحالية المعروفة إذا لم يتم تبديلها بالفعل.

الزحف: الطرق التي يعثر بها Google على عناوين URL لفهرستها

لتتمكن من فهرسة صفحة ، يجب على Google الزحف إليها.

كخطوة أولى في العملية التي تؤدي إلى الفهرسة ، للتأكد من فهرسة صفحاتك بشكل صحيح وسريع ، تحتاج إلى التأكد من أن الزحف الخاص بك "آمن وسليم".

هناك ثلاث طرق أساسية يعثر بها محرك بحث Google على عناوين URL:

  1. الروابط: هذا ما استندت إليه براءة اختراع PageRank بأكملها - العثور على مواقع جديدة من خلال الارتباطات التشعبية
  2. خرائط موقع XML
  3. عمليات الزحف السابقة

- كيف تعطي Google الأولوية لعناوين URL (ميزانية الزحف)

تعطي Google الأولوية للمواقع التي تقوم بالزحف إليها وعدد المرات. غالبًا ما يشار إلى هذا باسم "ميزانية الزحف".

كانت هناك مقالة في مدونة مشرفي المواقع من Google حول ميزانية الزحف والتي قدمت بعض الأفكار حول كيفية قيام Google بتحديد أولويات المواقع التي يجب الزحف إليها.

- الشعبية: الروابط الخلفية ونظام ترتيب الصفحات

إحدى النقاط التي حددتها هذه المقالة هي أن PageRank هي المحرك الرئيسي وراء سرعة الفهرسة وحجم موقع الويب.

تعد الروابط الخلفية ، بالطبع ، مكونًا رئيسيًا في نظام ترتيب الصفحات ، وبالتالي لها تأثير على معدل الزحف والفهرسة.

- أكواد الحالة

يتم أخذ رموز الحالة أيضًا في الاعتبار. على سبيل المثال ، إذا كان لديك الكثير من صفحات 404 على موقعك ، فمن المحتمل أن يؤدي ذلك إلى تقليل تكرار عمليات الزحف.

مثال آخر هو إعادة توجيه السلاسل والحلقات.

- نظافة الموقع

إذا تم تنظيم موقعك بطريقة تهدر الكثير من ميزانية الزحف ، فقد تقلل Google مقدار الوقت الذي يقضيه على موقعك.

- سرعة الصفحة ووقت استجابة الخادم

ميزانية الزحف تتأثر أيضًا بسرعة الصفحة ووقت استجابة الخادم. لا تريد Google DDoS لموقعك ؛ إذا رأى أن الخادم الخاص بك يواجه صعوبة في توفير الصفحات والموارد بالسرعة التي يطلبها ، فسوف يتكيف مع ما يمكن لخادمك التعامل معه من حيث الزحف.

التقديم: تحديث الكافيين

كان تحديث Caffeine الذي تم إصداره قبل بضع سنوات في الأساس تحديثًا لهيكل عرض Google.

الفهرسة: مجموعات مختلفة لأنواع المحتوى

هناك أرشيفات مختلفة من الفهارس التي يستخدمها Google لإرجاع نتائج مختلفة. من المعقول تخيل وجود مجموعات مختلفة في فهرس نتائج الأخبار وأخرى لنتائج الصور وما إلى ذلك.

الترتيب: خوارزميات منفصلة

أخيرًا ، يتم ترتيب عناوين URL المفهرسة — لكن هذه خوارزمية مختلفة تمامًا.

تحسين سرعة الفهرسة

يتأثر كل من الحصول على فهرسة الصفحات بشكل أسرع وفهرسة المزيد من الصفحات بشكل كبير بنظام ترتيب الصفحات وبالتالي الروابط الخلفية. لكن استراتيجيات تحسين كل واحدة مختلفة.

إذا كنت تريد فهرسة الصفحات بشكل أسرع ، فأنت تريد تحسين أول خطوتين (الزحف والعرض). سيتضمن ذلك مكونات مثل:

  • الربط الداخلي
  • خرائط المواقع
  • سرعة الخادم
  • سرعة الصفحة

تحسين عدد الصفحات المفهرسة

إذا كنت ترغب في فهرسة المزيد من الصفحات ، فهذا هو المكان الذي يكون فيه جانب الزحف أكثر أهمية. سترغب في تسهيل عثور Google على جميع صفحاتك. يعد هذا أمرًا بسيطًا على موقع ويب صغير يحتوي على آلاف عنوان URL ، ولكنه يكون أصعب بكثير على موقع أكبر يحتوي على ملايين عناوين URL.

على سبيل المثال ، يحتوي G2 على عدد كبير من الصفحات من أنواع صفحات مختلفة. يريد فريق تحسين محركات البحث في Kevin التأكد من قدرة Google على العثور على جميع الصفحات ، بغض النظر عن عمق الزحف وبغض النظر عن عدد الصفحات الموجودة من هذا النوع ؛ هذا تحد كبير يجب تناوله من زوايا مختلفة.

التباين في معدلات الزحف وفقًا لملف تعريف الصفحة

استنادًا إلى نوع الصفحة ، غالبًا ما يجد Kevin معدلات زحف مختلفة بواسطة Google. يعتمد هذا غالبًا على ملف تعريف الرابط الخلفي لعنوان URL والارتباط الداخلي. هذا هو المكان الذي يجد فيه معظم استخدامات ملفات السجل.

لقد قام بتقسيم موقعه حسب نوع الصفحة لفهم المكان الذي يفتقر فيه الموقع إلى كفاءة الزحف أو حيث تكون كفاءة الزحف عالية جدًا.

العلاقة بين معدل الزحف وسرعة الفهرسة والترتيب

لاحظ كيفن تمامًا وجود ارتباطات محددة بين معدل الزحف وسرعة الفهرسة والترتيب لكل نوع من الصفحات. كان هذا صحيحًا ليس فقط عبر المواقع التي عمل معها ، ولكن أيضًا في المراسلات مع مُحسّنات محرّكات البحث الأخرى في الصناعة.

بدون فرض علاقة سببية بين الزحف والفهرسة والترتيب ، يبدو أيضًا أن العناصر المماثلة التي تدفع الفهرسة يتم أخذها في الاعتبار عندما يتعلق الأمر بترتيب الصفحة. على سبيل المثال ، إذا كان لديك عدد كبير من الروابط الخلفية لقالب صفحة معين لنوع معين من الصفحات (على سبيل المثال: الصفحات المقصودة) ، فإن ما ستجده في ملفات السجل هو أنه إذا كان لدى Google معدل زحف أعلى على هذه الصفحات عبر الموقع ، يقوم Google أيضًا بفهرسة هذه الصفحات بشكل أسرع وعادةً ما يصنف هذه الصفحات أعلى من الصفحات الأخرى.

من الصعب إصدار بيانات عامة صالحة لجميع المواقع ، لكن Kevin يشجع الجميع على التحقق من ملفات السجلات الخاصة بهم لمعرفة ما إذا كان هذا صحيحًا أيضًا على مواقعهم الخاصة. وجد OnCrawl أيضًا أن هذا هو الحال عبر العديد من المواقع المختلفة التي قاموا بتحليلها.

هذا جزء مما حاول توضيحه من خلال نموذج TIPR للربط الداخلي الذي توصل إليه.

قياس معدل الزحف

لقياس معدل الزحف ، تريد الإجابة على السؤال: كم مرة يأتي Googlebot معينًا لزيارة عنوان URL معين؟

كيف "تقطع وتقطّع" هذا سؤال آخر. يحب Kevin إلقاء نظرة على عدد زيارات Googlebot على أساس أسبوعي. يمكنك أيضًا الاطلاع عليه يوميًا أو شهريًا.

- التركيز على ما قبل / بعد

الأهم من الفترة التي تستخدمها هو النظر في التغييرات في معدل الزحف. يجب أن تنظر إلى المعدل قبل إجراء التغييرات وبعد تنفيذها.

- التركيز على الفروق بين أنواع الصفحات

مفتاح آخر لقياس معدل الزحف هو النظر في مكان وجود الفجوات على موقعك. على مستوى نوع الصفحة ، أين الاختلافات بين معدلات الزحف؟ ما نوع الصفحات التي يتم الزحف إليها طن؟ ما هي أنواع الصفحات التي يصعب الزحف إليها؟

- الملاحظات الشائعة في سلوك الزحف

تتضمن بعض الملاحظات المثيرة للاهتمام التي أدلى بها كيفن في الماضي ما يلي:

  • أكثر عناوين URL التي يتم الزحف إليها: robots.txt
  • معظم الوقت الذي تقضيه على عنوان URL / مجموعة عناوين URL: خرائط مواقع XML ، خاصةً عندما تصبح أكبر قليلاً

يعد البحث في ملفات السجل للعثور على الاختلافات في سلوك الزحف بين أنواع الصفحات أمرًا رائعًا للغاية. ابحث عن عناوين URL التي يتم الزحف إليها يوميًا مقابل عناوين URL التي يتم الزحف إليها شهريًا. يمكن أن يخبرك هذا كثيرًا عن مدى كفاءة بنية موقعك في الزحف (والفهرسة - على الرغم من وجود خطوة بينهما).

توزيع ميزانية الزحف على أساس نموذج الأعمال

لتحسين كفاءة الزحف ، تتمثل الإستراتيجية عادةً في تقليل الاهتمام الذي توليه Google لبعض أنواع الصفحات وإعادة توجيهها إلى الصفحات الأكثر أهمية في موقع الويب.

ستعتمد الطريقة التي تريدها للتعامل مع هذا على كيفية معالجة التحويلات على الموقع. يميز كيفن بين نموذجين أساسيين للموقع: نماذج الأعمال المركزية واللامركزية:

  • يمكن للنماذج اللامركزية تحويل المستخدمين على أي صفحة. وخير مثال على ذلك هو Trello: يمكنك التسجيل في أي صفحة. جميع أنواع صفحاتهم متشابهة نسبيًا. نظرًا لعدم وجود صفحة أكثر قيمة من صفحة أخرى بالنسبة للاشتراكات ، فقد يكون الهدف هو الحصول على معدل زحف متساوٍ عبر الموقع بالكامل: تريد الزحف إلى جميع أنواع الصفحات بنفس المعدل تقريبًا.
  • قد تكون النماذج المركزية شيئًا مثل Jira. لا يوجد لدى Jira نوع صفحة واحد يمكننا نسخه مليون مرة: لا يوجد سوى عدد قليل من الصفحات المقصودة حيث يمكن للأشخاص الاشتراك. تريد التأكد من أن ميزانية الزحف الخاصة بك على موقع مثل هذا تتركز حول نقاط التحويل (صفحاتك المقصودة).

كيف تريد توزيع ميزانية الزحف الخاصة بك يعود إلى السؤال عن كيفية جني موقعك للأموال ، وما هي أنواع الصفحات التي تلعب الدور الأكثر أهمية في ذلك.

معالجة نفايات الزحف

لمنع Googlebots من إنفاق ميزانية الزحف على الصفحات الأقل أهمية بالنسبة للتحويلات ، هناك عدة طرق.

أفضل طريقة لتخطي الزحف هي ملف robots.txt:

  • في 99.99999٪ من الحالات ، تحترم Google توجيهات robots.txt.
  • يمكن أن يساعد ملف robots.txt في منع الزحف إلى أقسام كبيرة من موقعك ذات محتوى ضعيف أو مكرر (أمثلة كلاسيكية: ملفات تعريف المستخدمين في المنتدى ؛ عناوين URL للمعلمات ...)

هناك حالات مشروعة حيث قد ترغب في عدم فهرسة الصفحة ، ولكن لا تزال تساعد في الزحف. قد يعتبر كيفن أن بعض صفحات المحور تندرج ضمن هذه الفئة. هذا هو المكان الذي سيستخدم فيه العلامة الوصفية noindex.

لقد أدرك أن جون مولر قال إن العلامات الوصفية noindex يتم التعامل معها في النهاية على أنها nofollow ، لكن كيفن لم ير هذا يحدث على أرض الواقع حتى الآن. يعترف أن هذا قد يكون لأنه يستغرق وقتًا طويلاً جدًا (أكثر من عام ، أو أكثر). بدلاً من ذلك ، فإنه يميل إلى العثور على Googlebots على أنها "جشعة" والبحث عن أكبر عدد ممكن من الروابط ومتابعتها.

نصيحة Kevin هي استخدام ملف robots.txt ، واستخدامه إلى أقصى حد. يمكنك استخدام أحرف البدل وبعض الأساليب المعقدة للغاية لحماية أشياء معينة من الزحف إليها.

القاعدة الأساسية التي يجب اتباعها هي أنه كلما كان المحتوى أرق ، زادت احتمالية استبعاده من الزحف.

الصفحات المستبعدة من الزحف من خلال ملف robots.txt تظل قابلة للفهرسة بواسطة Google إذا كانت تحتوي على روابط داخلية أو روابط خلفية تشير إليها. إذا حدث ذلك ، فسيظهر نص الوصف في نتائج البحث أن Google لم يتمكن من الزحف إلى الصفحة بسبب قيود في ملف robots.txt. بشكل عام ، على الرغم من ذلك ، لا تحصل هذه الصفحات على مرتبة عالية إلا إذا تم استبعادها مؤخرًا في ملف robots.txt.

مشاكل الفهرسة بسبب صفحات مماثلة

- أخطاء متعارف عليها

برمجيًا ، من السهل جدًا فهم الإعلانات المتعارف عليها بشكل خاطئ. لقد شاهد كيفن الحالة عدة مرات حيث كان لدى المتعارف عليه فاصلة منقوطة (؛) بدلاً من النقطتين (:) ثم واجهت الكثير من المشاكل.

تعتبر Canonical حساسة للغاية في بعض الحالات ويمكن أن تؤدي إلى عدم ثقة Google في جميع العناصر الأساسية الخاصة بك ، مما قد يمثل مشكلة كبيرة.

واحدة من أكثر المشاكل شيوعًا مع Canonical ، على الرغم من ذلك ، هي المنسية المتعارف عليها.

- هجرات الموقع

غالبًا ما تكون عمليات ترحيل المواقع مصدرًا للمشاكل مع المتعارف عليه ؛ شهد Kevin مشكلات حيث نسي الموقع للتو إضافة النطاق الجديد إلى العناصر الأساسية.

من السهل جدًا نسيان هذا الأمر ، خاصةً عندما يحتاج نموذج CSM الخاص بك إلى تعديل يدوي (وليس برمجيًا) لإجراء التغيير أثناء الترحيل.

الإعداد الافتراضي هو أن الصفحة الأساسية يجب أن تشير إلى نفسها ، ما لم يكن هناك سبب محدد للإشارة إلى عنوان URL آخر.

- HTTP إلى HTTPS

هذا خطأ أساسي شائع آخر يمنع فهرسة عنوان URL الصحيح. يستخدم البروتوكول الخاطئ أحيانًا في الكنسي.

- البحث عن مصدر الخطأ عندما يتجاهل Google النص الأساسي المعلن

ستختار Google أحيانًا عنوانها الأساسي. عندما لا يثقون في قانونك الأساسي المعلن ، عادة ما يكون هناك سبب جذري.

يقترح كيفن تجنب المواقف التي قد ترسل فيها إشارتين متعارضتين إلى Google:

  • ابحث في خرائط مواقع XML الخاصة بك
  • الزحف إلى موقعك الخاص والبحث عن العناصر الأساسية المعيبة
  • انظر إلى إعدادات المعلمات في Search Console للعثور على الإعدادات المتعارضة
  • لا تستخدم noindex و Canonical في نفس الوقت

أنواع الصفحات التي تساهم في فهرسة bloat

في مُحسّنات محرّكات البحث قبل عشر سنوات ، كنت ترغب في إرسال أكبر عدد ممكن من الصفحات لفهرستها: فكلما زاد عدد الصفحات المفهرسة ، كان ذلك أفضل.

اليوم ، لم يعد هذا هو الحال. أنت تريد فقط الأشياء عالية الجودة في متجرك. لا تريد أي محتوى دون المستوى في الفهرس.

عادةً ما يُستخدم مصطلح "حجم الفهرس" لوصف نوع صفحة لا يقدم أي قيمة. غالبًا ما يعود هذا إلى أي نوع من المحتوى الرقيق ، خاصةً الحالات التي تقوم فيها بمضاعفة أو تضخيم عدد الصفحات الموجودة دون تقديم قيمة جوهرية في كل صفحة جديدة.

تتضمن الحالات التقليدية التي قد ترغب في إلقاء نظرة على عدد الصفحات التي تمت فهرستها فيها ، وما إذا كانت توفر قيمة إضافية:

  • المعلمات
  • ترقيم الصفحات
  • المنتديات
  • صفحات متعلقة بالدليل أو صفحات المدخل
  • صفحات محلية (مدينة) واسعة النطاق لا تفرق بين الخدمات أو المحتوى
  • التنقلات ذات الأوجه

كيف تؤثر الفهرسة على الموقع ككل

لا تريد فهرسة الصفحات الفرعية اليوم لأنها تؤثر على كيفية رؤية Google لموقعك وتقييمه ككل.

يعود الكثير من هذا إلى الزحف إلى الميزانية. بينما قال Gary Illyes و John Mueller في كثير من الأحيان أن معظم المواقع لا تحتاج إلى القلق بشأن ميزانية الزحف ، فإن جمهور نوع المناقشة التي نجريها اليوم هم مواقع أكبر حيث تحدث فرقًا كبيرًا.

تريد التأكد من أن Google لا يعثر إلا على المحتوى عالي الجودة.

مثل العلاقة التي لاحظها كيفن بين معدل الزحف والفهرسة والترتيب ، لاحظ أيضًا أن الانتباه إلى جودة الصفحات المفهرسة يبدو أنه يؤتي ثماره على الموقع بأكمله. في حين أنه من الصعب إصدار بيانات عامة ، يبدو أن لدى Google نوعًا من مقاييس جودة الموقع التي تعتمد على الصفحات المفهرسة لذلك الموقع. بمعنى آخر ، إذا كان لديك الكثير من المحتوى منخفض الجودة الذي تمت فهرسته ، فيبدو أنه يضر بموقعك.

هذا هو المكان الذي يكون فيه تضخم الفهرس ضارًا: فهو وسيلة لتخفيف "نقاط" جودة موقعك الإجمالية أو خفضها ، كما أنه يهدر ميزانية الزحف الخاصة بك.

خرائط مواقع XML للفهرسة السريعة

يرى كيفين أنه نظرًا لأن Google أصبحت أكثر ذكاءً ، فقد تقلص عدد "الاختراق" بمرور الوقت.

ومع ذلك ، فيما يتعلق بموضوع الفهرسة ، وجد أن إحدى الطرق لفهرسة شيء ما بسرعة هي استخدام خريطة موقع XML.

هاجر G2 مؤخرًا إلى مجال جديد. لديهم نوع صفحة واحد يستغرق وقتًا طويلاً لإعادة الزحف إليه ، لذلك في فهرس Google ، ما زلت ترى النطاق القديم في مقتطفات الصفحات من هذا النوع. عندما رأى كيفن أن عمليات إعادة التوجيه 301 لم تؤخذ في الاعتبار لأنه لم يتم الزحف إليها بعد ، فقد وضع جميع الصفحات من هذا النوع في خريطة موقع XML وقدم خريطة الموقع إلى Google في Search Console.

يمكن أيضًا استخدام هذه الإستراتيجية إذا كان هناك تغيير تقني كبير على الموقع يريد كيفن أن تفهمه Google في أسرع وقت ممكن.

تزايد شهرة تحسين محركات البحث الفني

اكتسبت تقنية تحسين محركات البحث (Technical SEO) مكانة بارزة على مدار السنوات الثلاث الماضية. في كثير من الأحيان ، تُبرز أسئلة تحسين محركات البحث الفنية المجالات التي تم التقليل من شأنها حقًا.

غالبًا ما تسمع أن المحتوى والروابط الخلفية هي الأشياء الوحيدة التي تحتاج إلى الاهتمام بها. بينما يعتقد Kevin أن هذه مجالات ذات تأثير كبير في تحسين محركات البحث ، إلا أنه يعتقد أنه يمكن أن يكون لها تأثير أكبر إذا كنت قد حصلت على مُحسنات محركات البحث الفنية بشكل صحيح.

[كتاب إلكتروني] قابلية الزحف

تأكد من أن مواقع الويب الخاصة بك تلبي متطلبات محرك البحث الخاصة بإمكانية الزحف لتعزيز أداء تحسين محركات البحث.
اقرأ الكتاب الإلكتروني

سؤال وجواب

- Bing والفهرسة 10،000 URLs / يوم

يوفر Bing لمشرفي المواقع القدرة على إرسال ما يصل إلى 10000 عنوان URL يوميًا من خلال أدوات مشرفي المواقع الخاصة بهم لفهرسة أسرع.

يعتقد كيفن أن هذا هو الاتجاه الذي قد تتجه إليه Google أيضًا. حتى Google ، باعتبارها واحدة من أكثر الشركات قيمة في العالم ، عليها حماية مواردها. هذا هو أحد الأسباب التي تجعل ، إذا أهدرت موارد الزحف الخاصة بهم ، فسوف يتم تعديلها وفقًا لذلك.

ما إذا كان هذا النوع من الميزات جديرًا بالاهتمام لمشرفي المواقع سيعتمد أيضًا على حجم موقعك. عدد المواقع التي ستستفيد من القدرة على إرسال العديد من عناوين URL في اليوم محدود - ربما بالآلاف أو عشرة آلاف. يفترض كيفن أن Google تخصص بالفعل موارد مهمة لهذه المواقع. يبدو أنه بالنسبة لأكبر المواقع على الويب ، تقوم Google بعمل جيد في فهرستها ، مع الاستثناءات المعتادة بالطبع.

من المحتمل أن يكون من الأسهل على Bing تنفيذ شيء على هذا النطاق: لسبب واحد ، فإن حصتهم في السوق أصغر كثيرًا ، وبالتالي فإن الطلب على هذه الميزة أقل. من المحتمل أيضًا أن يكون حجم مؤشرهم أصغر كثيرًا ، لذا فمن المحتمل أن يستفيدوا أكثر.

- عندما يتجاهل Google ملف robots.txt

نادرًا ما يتجاهل Google ملف robots.txt.

ما يقودنا في بعض الأحيان إلى افتراض أن Google يتجاهل ملف robots.txt هو أنه ، كما تحدثنا من قبل ، يمكن لـ Google أحيانًا فهرسة الصفحات التي تم حظرها بواسطة ملف robots.txt ، والتي لا يزال من الممكن العثور عليها من خلال عدة طرق أخرى.

قد تتمكن أيضًا من جعل Google يتجاهل التوجيهات في ملف robots.txt إذا كانت البنية في ملف robots.txt غير صحيحة:

  • شخصيات خاطئة
  • استخدام العلامات التي لا تعمل أو لا يجب أن تعمل ، مثل توجيهات noindex

[ملاحظة: يستشهد كيفن بدراسة حالة وجدت أن Google تحترم توجيهات noindex المقدمة في ملف robots.txt. ومع ذلك ، بعد وقت قصير من بث هذا البرنامج التعليمي على الويب ، أعلنت Google عن انتهاء الدعم الضمني لهذا التوجيه في ملفات robots.txt ، اعتبارًا من 1 سبتمبر 2019.]

ومع ذلك ، تعد Google واحدة من الشركات التي تحمل برامج الروبوت الخاصة بها وفقًا لمعايير عالية ولا تتجاهل ملف robots.txt.

أهم تلميح

"نظام ترتيب الصفحات هو المحرك الرئيسي وراء سرعة الفهرسة وحجمها."

ذهب تحسين محركات البحث في Orbit إلى الفضاء

إذا فاتتك رحلتنا إلى الفضاء يوم 27 يونيو ، فاحصل عليها هنا واكتشف كل النصائح التي أرسلناها إلى الفضاء.