تتبع ميزانية الزحف قبل التحديث وبعده

Psst… هناك سر أريد أن أخبرك به.

يحتوي موقعك على "ميزانية زحف" حددتها Google.

هذا هو المقياس السري الذي تستخدمه Google لقياس شيئين:

1. كيف يتم بناء موقعك بشكل جيد
2. مدى شعبية موقعك

هذه المقالة سوف تركز على النقطة الأولى.

سيؤدي تحسين جودة إنشاء موقعك إلى زيادة ميزانية الزحف.

كلما زادت ميزانية الزحف لديك ، زاد تكرار توقف Google عن العمل وقراءة صفحاتك.

لنبدأ بمشاركة فهم ما هي ميزانية الزحف.

ما هي ميزانية الزحف

يستخدم Google برنامجًا خاصًا يسمى زاحف الويب (أو العنكبوت) لقراءة الصفحات الموجودة على موقعك.

يسمون هذا زاحف الويب ، Googlebot.

ميزانية الزحف هي المصطلح لوصف عدد المرات التي يزحف فيها Googlebot إلى صفحاتك.

عن طريق تحسين موقعك يمكنك زيادة ميزانية الزحف الخاصة بك.

قالت Google أن ميزانية الزحف الخاصة بك هي مزيج من:

• معدل الزحف - السرعة التي يستطيع بها Googlebot الزحف إلى موقعك دون كسر الخوادم
• طلب الزحف - ما مدى أهمية صفحة الويب الخاصة بك لمستخدمي Google

كلما تحسنت هذه المقاييس ، سترى Googlebot يزور كثيرًا. قراءة المزيد من الصفحات في كل زيارة.
بمجرد أن يزحف محرك بحث Google إلى صفحة ما ، فإنه سيضيف المحتوى إلى فهرس Google. والذي يقوم بعد ذلك بتحديث المعلومات المعروضة في نتائج بحث Google.

من خلال تحسين ميزانية الزحف ، يمكنك تحسين سرعة التحديثات من موقعك إلى بحث Google.

لماذا يجب عليك تحسين ميزانية الزحف الخاصة بك

لدى Google مهمة صعبة. إنهم بحاجة إلى الزحف إلى كل صفحة على الإنترنت وفهرستها.

القوة التي يحتاجون إليها للقيام بذلك هائلة ولا يمكنهم فهرسة كل صفحة.

تحسين ميزانية الزحف سيعطي موقعك أفضل فرصة للظهور في البحث.

[دراسة حالة] إدارة زحف روبوت Google

مع وجود أكثر من 26000 مرجع للمنتج ، احتاج 1001Pneus إلى أداة موثوقة لمراقبة أداء مُحسنات محركات البحث والتأكد من أن Google كانت تخصص ميزانية الزحف الخاصة بها على الفئات والصفحات الصحيحة. تعرف على كيفية إدارة ميزانية الزحف بنجاح لمواقع التجارة الإلكترونية باستخدام OnCrawl.

اقرأ دراسة الحالة

كيفية تحسين ميزانية الزحف الخاصة بك

يتعلق تحسين موقع ما بجعل وقت Googlebot على الموقع بأكبر قدر ممكن من الكفاءة.

لا نريد:

• Googlebot يقرأ الصفحات التي لا نريدها في بحث Google.
• يرى Googlebot أخطاء الخادم
• يتبع Googlebot الروابط المعطلة / الميتة
• Googlebot في انتظار تحميل الصفحة
• برنامج Googlebot يقرأ محتوى مكررًا

كل ما سبق يهدر الموارد الثمينة لـ Google ويمكن أن يشهد انخفاضًا في معدل الزحف.

ميزانية الزحف وكبار المسئولين الاقتصاديين التقني

الكثير مما تحتاج إلى القيام به كجزء من مُحسّنات محرّكات البحث التقني هو نفس تحسين ميزانية الزحف.

نحن نحتاج:

• قم بتحسين ملف robots.txt وتحقق من وجود أخطاء
• أصلح أي علامات ارتباط hreflang و canonical
• حل غير 200 صفحة
• إصلاح عمليات إعادة التوجيه وأي حلقات إعادة توجيه
• تأكد من خلو أي خرائط مواقع من الأخطاء

دعنا نلقي نظرة بعد ذلك على كيفية إنشاء الصفحة المثالية لبرنامج Googlebot.

كيفية إنشاء الصفحة المثالية

حسنًا ، ربما لا تكون الصفحة المثالية ولكن يجب أن نحاول تحسين الصفحة قدر الإمكان.

لنلقِ نظرة على بعض المشكلات الشائعة في الصفحة والتي يمكنك تحسينها.

مشاكل الصفحة

• محتوى مكرر - قم بتمييز أي محتوى مكرر على موقعك بعلامة ارتباط أساسية.
• الصفحات غير SSL - ابحث عن أي روابط HTTP وقم بتحويلها إلى HTTPS. إذا لم يكن لديك شهادة SSL ، فاحصل على شهادة مجانية من Let's Encrypt.
• الزحف إلى الصفحات المفيدة فقط - استخدم ملف robots.txt لتقليل المكان الذي يمكن لـ Googlebot الذهاب إليه. على سبيل المثال ، إذا كانت لديك صفحات مستخدمة لمسؤول ، فقم بعدم السماح بذلك في ملف robots.txt الخاص بك.

• محتوى ضعيف - ضع في اعتبارك حظر تجريف الصفحات ذات المحتوى الرقيق أو المنخفض جدًا. إذا كانت لديك صفحات ذات قيمة قليلة للمستخدم ، فلا تضيع وقت Googlebot في هذه الصفحات.
• أخطاء الخادم - أخطاء الخادم هي علامة على وجود خادم ويب غير صحي. إذا كان موقعك يعرض أخطاء 5xx ، فيمكن أن يؤدي إصلاحها إلى زيادة معدل الزحف.

بطء تحميل الصفحات

تتمثل إحدى طرق تحسين ميزانية الزحف في جعل الصفحة سريعة.

تجعل الصفحات السريعة Googlebot أسرع وهذه إشارة إلى Google على أن خادم الويب "سليم".

قالت Google بالفعل أن سرعة الصفحة تزيد من معدل الزحف:

يؤدي جعل الموقع بشكل أسرع إلى تحسين تجربة المستخدمين مع زيادة معدل الزحف أيضًا.

• وزن الصفحة - هذا المقياس هو الحجم الكلي لصفحتك. وهذا يشمل جميع Javascript CSS والصور الموجودة على الصفحة. يجب أن يكون هذا أقل من 1 ميغا بايت في المجموع.
• الصور المحسّنة - يجب أن تكون الصور صغيرة بقدر الإمكان في كيلوبايت دون أن تفقد الجودة. يمكن أن يساعد استخدام أداة مثل Squoosh في ذلك.

• Minified CSS و JS - تصغير ملفات JS و CSS. هذه هي عملية إزالة جميع الأحرف غير الضرورية من الملف. استخدم CSSNano و UglifyJS لتقليل الملفات.
• الضغط والتخزين المؤقت - تأكد من ضغط GZip أو BR على الخادم. سيؤدي ذلك إلى تسريع الوقت الذي يستغرقه الحصول على ملف. أضف التخزين المؤقت بحيث يتم تنزيل الملف مرة واحدة فقط.

للحصول على قائمة بتحسينات سرعة الصفحة ، ألق نظرة على مراجعة أداء موقع الويب المتعمق. لديها 30 خطوة لتحسين أداء الموقع.

طرق قياس التغييرات الخاصة بك

بصفتك أحد كبار المسئولين الاقتصاديين الذكيين ، فأنت تعرف قبل البدء في أي تحسين ، تحتاج إلى تتبع التغييرات.

تحتاج إلى اختيار نقطة بيانات بخاصيتين:

1. يجب أن تكون قادرًا على تتبع نقطة البيانات بمرور الوقت.
2. يجب أن تكون قادرًا على التأثير على تلك البيانات بأفعالك.

إذن ما هي نقطة البيانات التي يجب أن نتتبعها لميزانية الزحف؟

قلنا سابقًا أن Google تستخدم عاملين عند اتخاذ قرار بشأن ميزانية الزحف:

• معدل الزحف - السرعة التي يستطيع بها Googlebot الزحف إلى موقعك دون كسر الخوادم
• طلب الزحف - ما مدى أهمية صفحة الويب الخاصة بك لمستخدمي Google

نظرًا لأننا متخصصون في تحسين محركات البحث (SEO) تقنيًا ، فإن مهمتنا هي تحسين معدل الزحف.

إذن هذه هي نقطة البيانات التي يجب أن نتتبعها.

تتبع معدل الزحف

فكيف نتتبع معدل زحف Googlebot؟

نحن بحاجة إلى استخدام سجلات الوصول إلى خادم الويب الخاص بك.

تخزن السجلات كل طلب يتم تقديمه إلى خادم الويب الخاص بك. في كل مرة يزور فيها مستخدم أو Googlebot موقعك ، تتم إضافة إدخال سجل إلى ملف سجل الوصول.

هذا هو الشكل الذي سيبدو عليه الإدخال لبرنامج Googlebot:

 127.0.0.1 - [11 / نوفمبر / 2019: 08: 29:01 +0100] "GET / example HTTP / 1.1" 200 2326 "-" "Mozilla / 5.0 (متوافق ؛ Googlebot / 2.1 ؛ + http: // www .google.com / bot.html) "

هناك ثلاث نقاط بيانات مهمة في كل سجل. التاريخ:

 [11 / نوفمبر / 2019: 08: 29: 01 +0100]

عنوان URL:

"الحصول على / مثال HTTP / 1.1"

ووكيل المستخدم الذي يخبرنا أن Googlebot هو من يقوم بالطلب:

 "Mozilla / 5.0 (متوافق ؛ Googlebot / 2.1 ؛ + http: //www.google.com/bot.html)"

السجل أعلاه مأخوذ من خادم ويب Nginx. ولكن ، سيكون لجميع خوادم الويب مثل Apache أو IIS إدخال سجل وصول مماثل.

اعتمادًا على الإعداد الخاص بك ، قد يكون لديك شبكة توصيل المحتوى (CDN). ستقوم شبكة CDN مثل Cloudflare أو Fastly أيضًا بإنشاء سجلات وصول.

لا يعتبر تحليل سجل الوصول يدويًا هو الأكثر متعة على الرغم من إمكانية ذلك.

يمكنك تنزيل access.log وتحليله باستخدام Excel. ومع ذلك ، أوصي باستخدام محلل السجل مثل ذلك من OnCrawl.

سيسمح لك ذلك بمشاهدة معدل زحف Googlebot على الرسم البياني وفي الوقت الفعلي. بمجرد الانتهاء من إعداد المراقبة هذا لتتبع معدل الزحف ، يمكنك البدء في تحسينه.

إجراء التغييرات

الآن نحن نعرف ما الذي نتتبعه ، يمكننا النظر في إجراء بعض التحسينات. لكن لا تقم بإجراء العديد من التغييرات في نفس الوقت. كن منهجيًا وقم بإجراء التغييرات واحدة تلو الأخرى.

بناء وقياس وتعلم.

باستخدام هذه التقنية ، يمكنك تكييف التغييرات التي تجريها أثناء التعلم. التركيز على المهام التي تعمل على تحسين معدل الزحف.

إذا تعجلت وتغيرت كثيرًا في وقت واحد ، فقد يصعب فهم النتائج.

جعل من الصعب معرفة ما الذي نجح وما لم ينجح.

بمرور الوقت كلما تحسنت الصفحة ، ستلاحظ زيادة في ميزانية الزحف مع ارتفاع معدل الزحف.

الخلاصة ، تتبع تتبع الميزانية بالزحف قبل التحديث وبعده

لقد غطينا بالضبط ما هي ميزانية الزحف.

بصفتك أحد كبار المسئولين الاقتصاديين التقني ، لديك القدرة على زيادة معدل الزحف إلى الموقع.

لتحسين الصحة التقنية ، يمكنك جعل وقت Googlebot على موقعك فعالاً.

تتبع معدل الزحف باستخدام سجلاتك للحصول على نتائج دقيقة.

استخدم البناء والقياس والتعلم كأسلوب لإجراء تغيير واحد في كل مرة وتحسينه كلما تقدمت.

بمرور الوقت سيزداد معدل الزحف الخاص بك. ستظهر صفحاتك بشكل أسرع في نتائج بحث Google. وسيحظى المستخدمون بتجربة رائعة على موقعك.