كيف تحدد ميزانية الزحف؟

نتحدث جميعًا عن ذلك على أنه مُحسّنات محرّكات البحث ، ولكن كيف تعمل ميزانية الزحف بالفعل؟ نحن نعلم أن عدد الصفحات التي تقوم محركات البحث بالزحف إليها وفهرستها عند زيارتهم لمواقع عملائنا على الويب يرتبط بنجاحهم في البحث العضوي ، ولكن هل الحصول على ميزانية زحف أكبر أفضل دائمًا؟

مثل كل شيء مع Google ، لا أعتقد أن العلاقة بين ميزانية الزحف إلى مواقع الويب الخاصة بك وأداء الترتيب / SERP واضحة بنسبة 100٪ ، فهي تعتمد على عدد من العوامل.

لماذا تعد ميزانية الزحف مهمة؟ بسبب تحديث الكافيين 2010. مع هذا التحديث ، أعادت Google بناء الطريقة التي قامت بها بفهرسة المحتوى ، من خلال الفهرسة المتزايدة. عند تقديمهم لنظام "percolator" ، قاموا بإزالة "عنق الزجاجة" من الصفحات التي تتم فهرستها.

كيف تحدد Google ميزانية الزحف؟

الأمر كله يتعلق بنظام ترتيب الصفحات وتدفق الاقتباس وتدفق الثقة.

لماذا لم أذكر دومين اثورتي؟ بصراحة ، في رأيي ، يعد هذا أحد أكثر المقاييس التي يتم إساءة استخدامها وإساءة فهمها والمتاحة لمُحسّنات محرّكات البحث ومسوقي المحتوى ، وله مكانه ، ولكن الكثير من الوكالات ومُحسّنات محرّكات البحث تضع قيمة كبيرة عليه ، لا سيما عند إنشاء الروابط.

يعد نظام PageRank الآن ، بالطبع ، قديمًا ، لا سيما بعد أن أسقطوا شريط الأدوات ، لذا فالأمر كله يتعلق بنسبة الثقة للموقع (Trust Ratio = Trust Flow / Citation Flow). بشكل أساسي ، تتمتع المجالات الأكثر قوة بميزانيات زحف أكبر ، فكيف يمكنك تحديد نشاط Google bot على موقع الويب الخاص بك والأهم من ذلك ، تحديد أي مشكلات في الزحف الآلي؟ ملفات سجل الخادم.

الآن نعلم جميعًا أنه من أجل الإشارة إلى الصفحات إلى Google bot التي قمنا بفهرستها (وترتيبها) ، فإننا نستخدم بنية ارتباط داخلية ونبقيها قريبة من المجال الجذر ، وليس 5 مجلدات فرعية على طول عنوان URL. ولكن ماذا عن المزيد من القضايا الفنية؟ مثل الزحف إلى إهدار الميزانية أو فخاخ الروبوت أو إذا كان Google يحاول ملء النماذج على الموقع (يحدث ذلك).

تحديد نشاط الزاحف

للقيام بذلك ، تحتاج إلى الحصول على بعض ملفات سجل الخادم. قد تحتاج إلى طلبها من عميلك ، أو يمكنك تنزيلها مباشرة من الشركة المضيفة.

الفكرة وراء ذلك هي أنك تريد محاولة العثور على سجل لروبوت Google الذي يضرب موقعك - ​​ولكن نظرًا لأن هذا ليس حدثًا مجدولًا ، فقد تحتاج إلى الحصول على بيانات تكفي لبضعة أيام. هناك العديد من البرامج المتاحة لتحليل هذه الملفات.

يوجد أدناه مثال تم ضربه لخادم Apache:

50.56.92.47 - - [31 / May / 2012: 12: 21: 17 +0100] "GET" - "/wp-content/themes/wp-theme/help.php" - "404" "-" "Mozilla / 5.0 (متوافق ؛ Googlebot / 2.1 ؛ + http: //www.google.com/bot.html) ”- www.hit-example.com

من هنا يمكنك استخدام أدوات (مثل OnCrawl) لتحليل ملفات السجل وتحديد المشكلات مثل زحف Google لصفحات الدفع لكل نقرة أو طلبات GET اللانهائية لنصوص JSON النصية - وكلاهما يمكن إصلاحه داخل ملف Robots.txt.

متى تكون ميزانية الزحف مشكلة؟

ميزانية الزحف ليست مشكلة دائمًا ، إذا كان موقعك يحتوي على الكثير من عناوين URL ولديه تخصيص متناسب لـ "عمليات الزحف" ، فلا بأس. ولكن ماذا لو كان موقع الويب الخاص بك يحتوي على 200000 عنوان URL ويقوم Google بالزحف فقط إلى 2000 صفحة على موقعك كل يوم؟ قد يستغرق الأمر ما يصل إلى 100 يوم حتى تلاحظ Google عناوين URL الجديدة أو المحدثة - وهذه مشكلة الآن.

أحد الاختبارات السريعة لمعرفة ما إذا كانت ميزانية الزحف لديك تمثل مشكلة أم لا هو استخدام Google Search Console وعدد عناوين URL على موقعك لحساب "رقم الزحف".

• تحتاج أولاً إلى تحديد عدد الصفحات الموجودة على موقعك ، يمكنك القيام بذلك عن طريق إجراء موقع: البحث ، على سبيل المثال ، يحتوي موقع oncrawl.com على ما يقرب من 512 صفحة في الفهرس:

• ثانيًا ، تحتاج إلى الانتقال إلى حساب Google Search Console الخاص بك والذهاب إلى الزحف ، ثم إحصائيات الزحف. إذا لم يتم تكوين حساب GSC الخاص بك بشكل صحيح ، فقد لا تكون لديك هذه البيانات.
• الخطوة الثالثة هي أخذ متوسط ​​عدد "الصفحات التي يتم الزحف إليها يوميًا" (المتوسط) والعدد الإجمالي لعناوين URL على موقع الويب الخاص بك وتقسيمها:

إجمالي الصفحات في الموقع / متوسط ​​الصفحات التي يتم الزحف إليها يوميًا = X

إذا كانت X أكبر من 10 ، فأنت بحاجة إلى النظر في تحسين ميزانية الزحف الخاصة بك. إذا كان أقل من 5 ، برافو. لا تحتاج إلى القراءة.

تحسين قدرة "الزحف إلى الميزانية"

يمكنك الحصول على أكبر ميزانية للزحف على الإنترنت ، ولكن إذا كنت لا تعرف كيفية استخدامها ، فهذا لا قيمة له.

نعم ، إنها مبتذلة ، لكنها صحيحة. إذا قام محرك بحث Google بالزحف إلى جميع صفحات موقعك ووجد أن الغالبية العظمى منها مكررة أو فارغة أو يتم تحميلها ببطء شديد ، فإنها تتسبب في حدوث أخطاء في المهلة الزمنية ، فقد تكون ميزانيتك بلا قيمة.

لتحقيق أقصى استفادة من ميزانية الزحف (حتى بدون الوصول إلى ملفات سجل الخادم) تحتاج إلى التأكد من قيامك بما يلي:

إزالة الصفحات المكررة

في كثير من الأحيان على مواقع التجارة الإلكترونية ، يمكن لأدوات مثل OpenCart إنشاء عناوين URL متعددة لنفس المنتج ، لقد رأيت مثيلات لنفس المنتج على 4 عناوين URL بمجلدات فرعية مختلفة بين الوجهة والجذر.

لا تريد أن يقوم محرك بحث Google بفهرسة أكثر من إصدار واحد من كل صفحة ، لذا تأكد من وجود علامات أساسية تشير إلى الإصدار الصحيح من Google.

حل الروابط المقطوعة

استخدم Google Search Console ، أو برنامج الزحف ، وابحث عن جميع الروابط الداخلية والخارجية المعطلة على موقعك وأصلحها. يعد استخدام 301 أمرًا رائعًا ، ولكن إذا كانت روابط تنقل أو روابط تذييل معطلة ، فما عليك سوى تغيير عنوان URL الذي يشيرون إليه دون الاعتماد على 301.

لا تكتب صفحات رقيقة

تجنب وجود الكثير من الصفحات على موقعك التي تقدم القليل من القيمة للمستخدمين أو محركات البحث أو لا تقدم أي قيمة على الإطلاق. بدون سياق ، تجد Google صعوبة في تصنيف الصفحات ، مما يعني أنها لا تساهم بأي شيء في الأهمية العامة للموقع وأنهم مجرد مسافرين يأخذون ميزانية الزحف.

إزالة 301 Redirect Chains

عمليات إعادة التوجيه المتسلسلة غير ضرورية ، وتتسم بالفوضى ويساء فهمها. يمكن أن تؤدي سلاسل إعادة التوجيه إلى إتلاف ميزانية الزحف الخاصة بك بعدة طرق. عندما يصل Google إلى عنوان URL ويرى 301 ، فإنه لا يتبعه دائمًا على الفور ، بل يضيف عنوان URL الجديد إلى القائمة ثم يتبعه.

تحتاج أيضًا إلى التأكد من دقة خريطة موقع XML (وخريطة موقع HTML) ، وإذا كان موقعك متعدد اللغات ، فتأكد من أن لديك خرائط مواقع لكل لغة من لغات الموقع. تحتاج أيضًا إلى تنفيذ بنية الموقع الذكية وبنية URL وتسريع صفحاتك. سيكون من المفيد أيضًا وضع موقعك خلف شبكة CDN مثل CloudFlare.

TL ؛ DR:

تعد ميزانية الزحف مثل أي ميزانية فرصة ، فأنت تستخدم ميزانيتك نظريًا لشراء الوقت الذي يقضيه Googlebot و Bingbot و Slurp على موقعك ، ومن المهم أن تحقق أقصى استفادة من هذا الوقت.

إن تحسين ميزانية الزحف ليس بالأمر السهل ، وهو بالتأكيد ليس "فوزًا سريعًا". إذا كان لديك موقع صغير ، أو موقع متوسط ​​الحجم يتم صيانته جيدًا ، فأنت على الأرجح بخير. إذا كان لديك موقع ضخم به عشرات الآلاف من عناوين URL ، وكانت ملفات سجل الخادم تتخطى رأسك - فقد يكون الوقت قد حان لاستدعاء الخبراء.