كيفية تحسين ميزانية الزحف الخاصة بك

في شهر مايو ، عقدنا ندوة عبر الإنترنت باللغة الفرنسية حول ميزانية الزحف من Google. بالنسبة لندوة الويب الثانية مع OnCrawl ، يقدم Erle Alberton ، الرئيس السابق لكبار المسئولين الاقتصاديين في شركة Orange & Sosh (مزود الإنترنت الفرنسي) والآن مدير نجاح العملاء في OnCrawl ، مفهوم ميزانية الزحف ، وأفضل الممارسات لتحسينها ، وما يجب تجنبه ، وما إلى ذلك. عملي ستوضح الأمثلة هذا المفهوم الذي أكده مؤخرًا فريق Google.

ماذا تقول Google عن ميزانية الزحف

في منتصف شهر كانون الثاني (يناير) ، نشرت Google مقالًا على مدونتها جاء فيه: "ليس لدينا مصطلح واحد يصف كل شيء ترمز إليه" ميزانية الزحف "خارجيًا. بعبارة أخرى ، ما نعتبره نحن ، SEO ، ميزانية الزحف.

يشير عملاق الويب أيضًا إلى أنه إذا تم الزحف إلى صفحاتك الجديدة في نفس يوم نشرها ، فلا داعي للقلق حقًا بشأن ميزانية الزحف. كما ينص على أنه إذا كان الموقع يحتوي على أقل من بضعة آلاف من عناوين URL ، فسيتم الزحف إليه بشكل صحيح نظرًا لأن ميزانية الزحف عادةً ما تكون محجوزة للمواقع ذات الحجم الكبير ... وهذا صحيح وخاطئ لأن جميع المواقع في Google Search Console بها ميزانية زحف. يمكننا أن نرى ذلك بسهولة في مقاييس Google.

اكتشفنا أيضًا في هذه المقالة أن Google تحاول تحقيق "حد معدل الزحف" الذي يحد من الحد الأقصى لمعدل الجلب لموقع معين. يمكننا أن نرى أنه ، على سبيل المثال ، عندما يكون وقت التحميل طويلًا جدًا ، تقوم Google بتخفيض ميزانيتها تقريبًا في 2. ومع ذلك ، هناك عوامل يمكن أن تؤثر على ميزانية الزحف مثل البنية السيئة (النظام ، أكواد الحالة ، الهيكل الداخلي ) ، محتوى رديء و / أو مكرر ، مصائد العنكبوت ، إلخ.

كيف تعمل ميزانية الزحف من Google؟

يعد زحف Google مجموعة من الخطوات البسيطة التي تعمل بشكل متكرر لكل موقع. إليك رسمًا بيانيًا من Google حيث نرى أن الزحف يبدأ بضربة على روبوت txt ثم يفصل في مجموعة من عناوين URL التي تم تجميعها في قائمة. بعد الكلمات ، يحاول Google جلبها أثناء المقارنة مع عناوين URL التي يعرفها بالفعل بالإضافة إلى تلك الموجودة بالفعل في النسخة الاحتياطية.

هدفها هو إكمال فهرسها بشكل شامل ودقيق. نرى أنه حتى لو كان الموقع بلغة جافا سكريبت ، فإن Google سترسل برامج زحف من المستوى الثالث. لا يزال يتعين عليك توخي الحذر مع مواقع JavaScript ، حيث إنها تستهلك الكثير من موارد الروبوت ويتم إرسالها في المتوسط ​​مرة واحدة فقط كل ثلاثة أشهر. نحتاج إلى إعادة التفكير في طريقتنا حتى يتمكن Google من الوصول إلى صفحات خارج التنقل عبر JavaScript.

سيتحقق Google بعد ذلك من حالة تحديث الصفحة (مقارنة بالمحتوى المفهرس سابقًا) لتقييم ما إذا كانت الصفحة مهمة أو أقل أهمية. في الواقع ، يحتاج Google إلى تحسين موارد الزحف الخاصة به لأنه لا يمكنه الزحف إلى كل صفحة من جميع مواقع الويب. إنها تسمى أهمية الصفحة ... إنها نتيجة مهمة جدًا يجب اتباعها وسنرى بالتفصيل أدناه!

حقيقة: إذا قامت Google بالتحسين ، فذلك لأن هناك سببًا

تعتمد ميزانية الزحف على:

• قدرة الموقع على الرد بسرعة ؛
• سلامة الموقع - 4xx ، 5xx ، 3xx (عندما يبدأ الموقع في الحصول على 404s أو 500s ، ستتأثر ميزانية الزحف ، لأنه سيتحقق دائمًا مما إذا كان قد تم إجراء إصلاحات) ؛
• جودة المحتوى - الدلالات والشمولية ؛
• تنوع المرساة (تعتبر الصفحة مهمة عندما تتلقى الكثير من الروابط. باستخدام InRank في OnCrawl ، يمكنك تحليل كل شيء) ؛
• شعبية الصفحة - الخارجية والداخلية ؛
• عوامل قابلة للتحسين - تبسيط الزحف (تقليل حجم الصورة ، والقدرة على الحصول على css ، و js ، و gif ، والخطوط ، وما إلى ذلك)

[دراسة حالة] زيادة ميزانية الزحف على الصفحات الإستراتيجية

تأتي معظم حركة مرور Manageo من البحث العضوي. تعتمد حركة المرور هذه بشكل أساسي على عمليات البحث الطويلة ، مما يخلق الحاجة إلى تحسين ملايين الكلمات الرئيسية في نفس الوقت. أصبحت ميزانية الزحف بسرعة مشكلة.

اقرأ دراسة الحالة

المكونات الرئيسية لأهمية صفحة Google

تعريف أهمية الصفحة ليس هو نفسه ترتيب الصفحة:

• موقع الصفحة في موقع الويب - عمق معدل الزحف ؛
• ترتيب الصفحة: الصفحة TF / CF - مهيب ؛
• ترتيب الصفحة الداخلية - InCrawl's InRank ؛
• نوع المستند: PDF ، HTML ، TXT (عادةً ما يكون PDF هو مستند نوعي نهائي لذلك يتم الزحف إليه كثيرًا) ؛
• التضمين في ملف sitemap.xml ؛
• عدد الروابط الداخلية:
• جودة / أهمية المرساة ؛
• المحتوى النوعي: عدد الكلمات ، القليل من التكرارات (ستعاقب Google المحتوى المماثل إذا كانت الصفحات قريبة جدًا من المحتوى) ؛
• أهمية الصفحة "الرئيسية".

كيفية التخطيط لعناوين URL المهمة للزحف

جدولة عناوين URL: ما الصفحات التي تريد Google زيارتها وكم مرة؟

في المثال أعلاه ، (ملاحظة تكرار الزحف لنفس الموقع) لا يزحف Google بنفس التردد على المجموعات المختلفة. نرى أنه عندما يزحف محرك بحث Google إلى جزء من الموقع ، يُلاحظ تأثير الترتيب بسرعة.

مزيد من المعلومات حول ميزانية الزحف من Google

• 100٪ من مواقع الويب الخاصة بـ Google Search Console لديها بيانات زحف ؛
• يمكننا متابعة سلوك الزحف الخاص به بفضل تحليل السجل الذي يساعدك على اكتشاف أي خلل في سلوك الروبوت بسرعة ؛
• يمكن للبنية الداخلية السيئة (ترقيم الصفحات ، الصفحات اليتيمة ، فخاخ العنكبوت) أن تمنع Google من الزحف إلى الصفحات الصحيحة ؛
• ميزانية الزحف مرتبطة مباشرة بالترتيب.

سرعة الصفحة أولا

العامل الأكثر أهمية هو وقت تحميل الصفحة حيث إنها تلعب دورًا حاسمًا في ميزانية الزحف. في الواقع ، نحن اليوم في عالم متنقل. لذلك فإن أفضل ما لديك هو وقت تحميل الصفحة لتحسين ميزانية الزحف وتحسين محركات البحث. مع ثورة الأجهزة المحمولة ، يعد وقت التحميل عاملاً أساسيًا في تقييم جودة الموقع. قدرتها على الاستجابة بسرعة - خاصةً للجوال وفهرسة الجوال أولاً.

لتحسينها ، يمكننا استخدام حلول CDN (شبكة توصيل المحتوى) مثل Cloudflare. تسمح هذه الحلول لروبوتات Google بأن تكون قريبة من الموارد قدر الإمكان وتحميل الصفحات في أسرع وقت ممكن.

تختبر Google باستمرار قدرة الموقع على الاستجابة بسرعة. تؤثر جودة البنية والترميز تأثيراً قوياً على تدوينات Google.

وقت التحميل

إنه أول عامل تخصيص لميزانية الزحف!

خادم الحكمة ، تحتاج إلى:

• تجنب إعادة التوجيه ؛
• يصرح بالضغط ؛
• تحسين وقت الاستجابة.

أعلاه ، مثال لموقع Manageo الذي يحتوي على ميزانية زحف خطية وحيث يمكننا أن نرى زيادة خطية. في شهر مايو ، حدث انخفاض في عدد الصفحات التي يتم الزحف إليها يوميًا وبالتالي تغير في سرعة الموقع. يرى Google أن الموقع يستجيب بسرعة أقل ، لذا فهو يقطع نصف ميزانية الزحف الخاصة به. لتصحيح كل هذا ، عليك تحسين الأكواد الخاصة بك على جانب الخادم ، وتقليل عمليات إعادة التوجيه ، واستخدام الضغط ، وما إلى ذلك.

من الناحية الأمامية ، تحتاج إلى:

• تشغيل ذاكرة التخزين المؤقت للمتصفح
• تقليل حجم الموارد (تحسين الصورة ، استخدام CDN / التحميل البطيء / حذف JS الذي يحظر العرض ؛
• استخدم البرامج النصية غير المتزامنة.

انخفاض في الجودة = لا مزيد من الحب = لا مزيد من الميزانية

من الضروري التحقق من رموز الحالة المرسلة إلى روبوتات Google للتأكد من نظافة IS. هذه هي الطريقة الوحيدة لـ Google للتحقق من أن جودة شفرتك وبنيتك نظيفة.

يضمن تتبع تطورها بمرور الوقت أن تكون تحديثات الكود مناسبة لكبار المسئولين الاقتصاديين. تنفق Google الكثير على الموارد (css ، img ، js) لذا تأكد من أنها خالية من العيوب.

محتوى فريد وغني

والأهم من ذلك أن الصفحة هي نصها أغنى. كما هو موضح أعلاه ، يرتبط عدد الصفحات التي تم الزحف إليها ولم يتم الزحف إليها بواسطة Google بعدد الكلمات الموجودة في الصفحة. لذلك يجب تحسين صفحاتك وتحديثها بانتظام قدر الإمكان.

احذر من المحتوى الأساسي والمكرر

ستنفق Google ضعف الميزانية عندما لا تشير صفحتان متشابهتان إلى نفس عنوان URL الأساسي. وبالتالي ، يمكن أن تصبح الإدارة الأساسية مهمة للمواقع ذات الواجهات أو الروابط الخارجية مع سلسلة الاستعلام.

أصبحت إدارة المحتوى شبه المكررة والمتعارف عليها جوانب مهمة في تحسين ميزانية الزحف.

الهيكل الداخلي وتوزيع InRank

تعتبر الصفحات التي تنشئ زيارات لتحسين محركات البحث نشطة. هذه هي تلك الموجودة في الجزء العلوي من هندسة الموقع. من ناحية أخرى ، نرى هنا أنه في الصفحة 15 تظهر مجموعة من الصفحات. ربما يتم البحث في هذه الصفحات من قبل المستخدمين لديك أكثر مما كنت تعتقد وستحتاج إلى ترقيتها في البنية لتحسين ترتيبها.

كما نعلم ، كلما كانت الصفحات أعمق ، قل عدد زيارات Google لها!

هل صفحات أموالي موجودة في مكان جيد؟

تلميح: إذا كنت ترغب في تحسين عمق مجموعات معينة من الصفحات ، فلا تتردد في إنشاء خطط موقع html ، والتي تعني الصفحات المهمة لإدارة العمق.

سيقارن محرك بحث Google بين صفحات البنية الخاصة بك مقابل الصفحات التي تم الزحف إليها مقابل تلك التي تم الزحف إليها. ومع ذلك ، سيكون من مصلحتك حل مشكلة الصفحات المعزولة التي تنفق Google عليها ميزانية غير ضرورية وإصلاح بنية الموقع لإرجاع الروابط إلى صفحات نشطة ولكن خارج الهيكل.

في بعض الأحيان لا تتلقى الصفحات روابط بعد الآن ، ويطلق عليها اسم الصفحات اليتيمة. من ناحية أخرى ، لم تنسهم Google. سوف يواصل زيارتهم. لم يعدوا يتلقون روابط لذلك يفقدون أهميتها ، ولكن في الرسم البياني الصحيح ، تستمر بعض الصفحات المعزولة في تلقي زيارات تحسين محركات البحث. ما تحتاج إلى معرفته هو كيفية التعرف عليها بسرعة وإصلاح مشاكل الربط الموجودة في البنية. هذه طريقة رائعة لتحسين ميزانية الزحف الخاصة بك.

أخطاء الابتعاد عنها

• Robots.txt في 404 ؛
• ملف Sitemap.xml & sitemap.html قديم ؛
• أخطاء 50x / 40x / soft 404 ؛
• وجود سلسلة من عمليات إعادة التوجيه ؛
• أخطاء Canonicals ؛
• محتوى مكرر (تذييل) / بالقرب من مكرر / HTTP مقابل HTTPS ؛
• وقت استجابة طويل جدًا ؛
• ثقل الصفحة مهم جدًا ؛
• AMP / الأخطاء. تستخدم Google هذا البروتوكول على نطاق واسع خاصةً لمواقع التجارة الإلكترونية (وليس فقط مواقع الوسائط) ؛
• ارتباط داخلي سيئ + Rel = nofollow ؛
• استخدام JS دون أي بديل آخر.

الاستنتاجات

لتحسين ميزانية الزحف الخاصة بك ، تحتاج إلى:

• تعرف على صفحات أموالك وتعرف على ردود أفعال Google ؛
• تحسين وقت التحميل ؛
• قم بتحسين الارتباط الداخلي الخاص بك: ضع جميع صفحات أموالك في الجزء العلوي من الهيكل ؛
• إصلاح الصفحات اليتيمة الخاصة بك ؛
• إضافة نص إلى صفحات أموالك ؛
• تحديث على أكمل وجه صفحات أموالك - نضارة ؛
• تقليل المحتوى السيئ والتكرارات ؛
• قم بتحسين الكتب الأساسية والصور ووزن الموارد ؛
• تجنب إعادة توجيه السلسلة ؛
• راقب سجلاتك وتفاعل عندما تكون هناك حالات غير طبيعية (راجع حالة الاستخدام هذه من Manageo أثناء SEOcamp Lyon حول الموضوع).

لتحسين ميزانية الزحف الخاصة بك ، تحتاج إلى مراقبة زاحف Google بدقة

تعتبر بعض لحظات مسار Google على موقعك أكثر أهمية من غيرها ، لذا عليك أن تعرف كيفية تحسينها.

لتحسين ميزانية الزحف ، من الضروري إدارة ترحيل HTTPS (HTTP2) بشكل صحيح

يجب أن تكون قادرًا على متابعته ومراقبته. تحدي فرق تكنولوجيا المعلومات لديك للترحيل إلى HTTP2 باستخدام HTTPS.
يساعدك OnCrawl على تتبع ميزانية الزحف من Google على أساس يومي ويستهدف بسرعة الإصلاحات والتغييرات الهيكلية لتحسين أداء SEO الخاص بك.

ابدأ تجربتك المجانية لمدة 14 يومًا

اكتشف بنفسك سبب كون Oncrawl أكثر منصات تحسين محركات البحث التقنية والبيانات شهرة في السوق! لا يلزم وجود بطاقة ائتمان ، ولا شروط مرفقة: 14 يومًا فقط من نسخة تجريبية كاملة المواصفات.

ابدأ تجربتك