ميزانية الزحف من Google: كيف تعمل وكيف يمكنك تعظيمها

لكل موقع ويب على الإنترنت ، لدى Google ميزانية ثابتة لعدد الصفحات التي يمكن لبرامج الروبوت الزحف إليها وترغب في الزحف إليها. يُعد الإنترنت مكانًا كبيرًا ، لذلك يمكن لبرنامج Googlebot قضاء الكثير من الوقت فقط في الزحف إلى مواقعنا الإلكترونية وفهرستها. تحسين ميزانية الزحف هو عملية التأكد من أن الصفحات الصحيحة لمواقعنا الإلكترونية ينتهي بها المطاف في فهرس Google ويتم عرضها في النهاية للباحثين.

توصيات Google لتحسين ميزانية الزحف محدودة نوعًا ما ، لأن Googlebot يزحف عبر معظم مواقع الويب دون الوصول إلى حده. لكن مواقع التجارة الإلكترونية على مستوى المؤسسة والتي تحتوي على آلاف الصفحات المقصودة معرضة لخطر زيادة ميزانيتها. وجدت دراسة أجريت عام 2018 أن برامج الزحف من Google فشلت في الزحف إلى أكثر من نصف صفحات الويب الخاصة بالمواقع الأكبر في التجربة.

يمكن أن يكون التأثير على كيفية إنفاق ميزانية الزحف بمثابة تحسين تقني أكثر صعوبة على الاستراتيجيين للتنفيذ. ولكن بالنسبة لمواقع التجارة الإلكترونية على مستوى المؤسسة ، فإن الأمر يستحق الجهد المبذول لزيادة ميزانية الزحف إلى أقصى حد حيث يمكنك ذلك. مع بعض التعديلات ، يمكن لمالكي المواقع واستراتيجيي تحسين محركات البحث توجيه Googlebot للزحف بانتظام إلى صفحاتهم الأفضل أداءً وفهرستها.

كيف تحدد Google ميزانية الزحف؟

ميزانية الزحف هي في الأساس الوقت والموارد التي ترغب Google في إنفاقها في الزحف إلى موقع الويب الخاص بك. المعادلة كالتالي:

ميزانية الزحف = معدل الزحف + طلب الزحف

تؤثر سلطة المجال والروابط الخلفية وسرعة الموقع وأخطاء الزحف وعدد الصفحات المقصودة على معدل الزحف إلى موقع الويب. عادةً ما يكون للمواقع الأكبر حجمًا معدل زحف أعلى ، في حين أن المواقع الأصغر ، أو المواقع الأبطأ ، أو تلك التي تحتوي على عمليات إعادة توجيه مفرطة وأخطاء في الخادم ، عادةً ما يتم الزحف إليها بشكل أقل تكرارًا.

تحدد Google أيضًا ميزانية الزحف من خلال "طلب الزحف". تتطلب عناوين url الشائعة طلب زحف أعلى لأن Google تريد توفير أحدث محتوى للمستخدمين. لا يحب Google المحتوى القديم في فهرسه ، لذا فإن الصفحات التي لم يتم الزحف إليها في بعض الوقت سيكون لها طلب أعلى أيضًا. إذا كان موقع الويب الخاص بك يمر بعملية ترحيل ، فستزيد Google من طلب الزحف لتحديث فهرسها بسرعة أكبر باستخدام عناوين url الجديدة الخاصة بك.

يمكن أن تتقلب ميزانية الزحف إلى موقع الويب الخاص بك وهي بالتأكيد ليست ثابتة. إذا قمت بتحسين استضافة الخادم أو تحسين سرعة الموقع ، فقد يبدأ Googlebot في الزحف إلى موقعك في كثير من الأحيان مع العلم أنه لا يؤدي إلى إبطاء تجربة الويب للمستخدمين. للحصول على فكرة أفضل عن متوسط ​​معدل الزحف الحالي لموقعك ، انظر إلى تقرير الزحف الخاص بوحدة تحكم بحث Google.

هل يحتاج كل موقع إلى القلق بشأن ميزانية الزحف الخاصة بهم؟

مواقع الويب الصغيرة التي تركز فقط على الحصول على تصنيف صفحات مقصودة قليلة لا داعي للقلق بشأن ميزانية الزحف. لكن المواقع الكبيرة - خاصة المواقع غير الصحية ذات الصفحات المعطلة وعمليات إعادة التوجيه - يمكن أن تصل بسهولة إلى حد الزحف الخاص بها.

عادةً ما تحتوي أنواع مواقع الويب الكبيرة الأكثر تعرضًا لخطر زيادة ميزانية الزحف الخاصة بها على عشرات الآلاف من الصفحات المقصودة. غالبًا ما تتأثر مواقع التجارة الإلكترونية الرئيسية على وجه الخصوص سلبًا بميزانيات الزحف. لقد صادفت العديد من مواقع الويب الخاصة بالمؤسسات مع عدد كبير من صفحاتها المقصودة غير المفهرسة ، مما يعني عدم وجود فرصة للترتيب في Google.

هناك بعض الأسباب التي تجعل مواقع التجارة الإلكترونية على وجه الخصوص بحاجة إلى إيلاء المزيد من الاهتمام للمكان الذي تذهب إليه ميزانية الزحف الخاصة بهم.

• تنشئ العديد من مواقع التجارة الإلكترونية آلاف الصفحات المقصودة برمجيًا لوحدات SKU الخاصة بها أو لكل مدينة أو ولاية يبيعون فيها منتجاتهم.
• تقوم هذه الأنواع من المواقع بتحديث صفحاتها المقصودة بانتظام عندما تنفد العناصر أو تضاف منتجات جديدة أو تحدث تغييرات أخرى في المخزون.
• تميل مواقع التجارة الإلكترونية إلى الصفحات المكررة (مثل صفحات المنتج) ومعرفات الجلسات (مثل ملفات تعريف الارتباط). ينظر Googlebot إلى كلاهما على أنهما عناوين URL "منخفضة القيمة المضافة" ، مما يؤثر سلبًا على معدل الزحف

التحدي الآخر في التأثير على ميزانية الزحف هو أن Google قد تزيدها أو تنقصها في أي وقت. على الرغم من أن ملف Sitemap يعد خطوة مهمة لمواقع الويب الكبيرة لتحسين الزحف إلى صفحاتها الأكثر أهمية وفهرستها ، إلا أنها ليست كافية لضمان عدم قيام Google بزيادة ميزانية الزحف الخاصة بك للحد الأقصى على الصفحات ذات القيمة المنخفضة أو ذات الأداء المنخفض.

فكيف يمكن لمشرفي المواقع أداء تحسين ميزانية الزحف؟

على الرغم من أن مالكي المواقع يمكنهم تعيين حدود أعلى للزحف في حساباتهم في Google Search Console ، إلا أن الإعداد لا يضمن زيادة طلبات الزحف أو التأثير على الصفحات التي ينتهي Google بالزحف إليها. قد يبدو أن الحل الأكثر طبيعية هو حمل Google على الزحف إلى موقع الويب الخاص بك بشكل متكرر ، ولكن هناك تحسينات محدودة للغاية لها علاقة مباشرة بزيادة معدل الزحف.

نعلم جميعًا أن إعداد الموازنة الجيدة لا يعني زيادة حدود إنفاقك ؛ يتعلق الأمر بأن تكون أكثر انتقائية فيما تنفق أموالك عليه. عند تطبيق هذا المفهوم نفسه على ميزانية الزحف ، يمكن أن يؤدي إلى نتائج ضخمة. فيما يلي بعض الخطوات الإستراتيجية لمساعدة Google في إنفاق ميزانيتك لصالحك.

الخطوة 1: حدد الصفحات التي يزحف إليها محرك بحث Google بالفعل على موقعك

حتى وقت قريب ، لم يخبر تقرير الزحف الخاص بـ Google Search Console سوى مالكي المواقع عن عدد طلبات الزحف التي تلقاها موقعهم في أيام معينة. على الرغم من أن تقرير إحصاءات الزحف الجديد من Google يوفر معلومات أكثر تفصيلاً حول الزحف ، فإن أفضل مكان لفهم كيفية زحف Google إلى موقعك لا يزال موجودًا في ملفات سجل الخادم.

عندما تزور Google موقع الويب الخاص بك ، فإنها تستخدم وكيل مستخدم معين. يتيح ذلك لخادمك معرفة أن حركة المرور هي في الواقع Googlebot وليست شخصًا حقيقيًا.

(ستجد روبوت Bingbot و Ahrefs هناك أيضًا).

محلل سجل الزحف

تحليل ملف السجل لمراقبة الروبوتات والزحف إلى تحسين الميزانية. كشف مشاكل سلامة الموقع وتحسين معدل الزحف الخاص بك.

يتعلم أكثر

سيحصل مالكو المواقع الذين يحللون محتويات ملف السجل هذا على الكثير من المعلومات حول ميزانية الزحف من Google لموقعهم. سيكشف الملف عن بعض الأشياء:

• الصفحات التي يزورها وكيل المستخدم
• كم عدد الصفحات التي يزحف إليها الوكيل يوميًا
• ما إذا كانت أي من الصفحات التي تم الزحف عليها 404ing أو معطلة أم لا

من الناحية المثالية ، تريد أن يقوم Google بالزحف إلى الصفحات المقصودة على موقع الويب الخاص بك والتي تم تحسينها للحصول على الكلمات الرئيسية الأعلى قيمة. أيضًا ، يجب على مالكي المواقع عدم إهدار ميزانية الزحف على 404s. سيعرض لك Google Search Console بعض أخطاء soft 404 فقط ، ولكن يمكنك تحديدها جميعًا في سجلات الخادم.

بمجرد حصولك على مزيد من المعلومات التفصيلية حول صفحات موقع الويب التي يتم الزحف إليها ، أكمل عناصر الإجراءات التالية:

• إضافة علامات برامج الروبوت: إذا كان Googlebot يقوم بالزحف إلى تلك الصفحات 404 أو الصفحات المعطلة ، فيجب أن تكون الأولوية الأولى هي إضافة علامات برامج الروبوت [noindex، nofollow] لمنع Googlebot من الزحف إلى تلك الصفحات وفهرستها.
• ضبط خريطة الموقع: إذا كشفت سجلات الخادم أن Google لا يزحف إلى صفحاتك التي يحتمل أن تكون عالية الأداء ، ضعها في مكان أعلى في خريطة موقعك للتأكد من الزحف إليها.

الخطوة 2: اقبل أنه ليس كل صفحاتك المقصودة بحاجة إلى الترتيب في Google

السبب الرئيسي وراء إهدار العديد من مواقع الويب على مستوى المؤسسات لميزانية الزحف الخاصة بهم هو أنها تسمح لـ Google بالزحف إلى كل صفحة مقصودة على موقعهم. تحب العديد من مواقع الويب وضع كل صفحاتها في تطبيقات الأجهزة المحمولة الخاصة بها حتى يتمكن Google من العثور عليها والزحف إليها جميعًا. هذا خطأ ، لأنه في الواقع ، لن يتم ترتيب جميع صفحاتنا المقصودة.

ما قيمة وجود صفحة مقصودة في فهرس Google؟ الترتيب والتحويل. إذا كان موقع الويب الخاص بك يحتوي على صفحات مقصودة لا تستحوذ على ثقلها من خلال الترتيب لعدة كلمات رئيسية أو تحويل زوار الموقع إلى عملاء متوقعين وإيرادات ، فلماذا تخاطر بالسماح لـ Google بالزحف إليها؟

يجب أن يعرف مالكو مواقع التجارة الإلكترونية على مستوى المؤسسة ومواقع التجارة الإلكترونية صفحات مواقع الويب الخاصة بهم التي تم تحسين التحويل ولديها أقوى فرصة للترتيب والتحويل. بعد ذلك ، يجب عليهم الاستفادة من كل ميزة ممكنة للتأكد من أن Google تنفق ميزانية الزحف على تلك الصفحات عالية الأداء.

تستحق الصفحات المقصودة لموقعك على الويب التي تتمتع بترتيب عالٍ وإمكانية تحويل عالية إنفاق ميزانية الزحف عليها. فيما يلي بعض النصائح للتأكد من أن Googlebot يتضمن تلك الصفحات في ميزانيتك.

• قلل عدد الصفحات في خريطة موقعك . ركز فقط على الصفحات التي لديها بالفعل فرصة جيدة للترتيب والحصول على زيارات عضوية.
• حذف الصفحات ضعيفة الأداء أو غير الضرورية . قم بإزالة تلك الصفحات التي ليس لها قيمة لأنها ليس لها تصنيف أو تحويل أو غرض وظيفي.
• تقليم المحتوى . قم بتقليم الصفحات التي لا تحصل فعليًا على أي زيارات عضوية وأعد توجيهها إلى صفحات مقصودة أخرى على موقعك تكون ذات صلة وتحصل على زيارات. لاحظ أن عمليات إعادة التوجيه تستهلك القليل من ميزانية الزحف ، لذا حاول استخدامها باعتدال ولا تستخدمها أبدًا مرتين على التوالي.

يصعب على أي مالك موقع التخلي عن المحتوى ، ولكن من الأسهل بكثير منع Google من الزحف إلى صفحات معينة بدلاً من حث Google على زيادة ميزانية الزحف الإجمالية. يعد تنظيف موقعك بحيث تزداد احتمالية عثور برامج الزحف من Google على أفضل الأشياء وفهرستها ، أولوية قصوى إذا كنت ترغب في إنفاق ميزانية الزحف الخاصة بك بحكمة.

الخطوة 3: استخدم الروابط الداخلية لرفع مستوى الصفحات عالية الأداء لبرامج الزحف من Google

بمجرد تحديد الصفحات التي يزحف إليها محرك بحث Google ، وإضافة علامات الروبوت الضرورية ، وحذف الصفحات ذات الأداء الضعيف أو تشذيبها ، وإجراء تعديلات على خريطة موقعك ، ستكون برامج الزحف من Google أكثر عرضة لإنفاق ميزانيتها على الصفحات الصحيحة من موقع الويب الخاص بك.

ولكن من أجل تعظيم هذه الميزانية حقًا ، تحتاج صفحاتك إلى ما يلزم لترتيبها. تُعد أفضل ممارسات تحسين محركات البحث على الصفحة أمرًا أساسيًا ، ولكن تتمثل الإستراتيجية التقنية الأكثر تقدمًا في استخدام هيكل الارتباط الداخلي الخاص بك لرفع تلك الصفحات التي يُحتمل أن تكون عالية الأداء.

تمامًا مثل Googlebot لديه ميزانية زحف محدودة فقط ، فإن موقع الويب الخاص بك يحتوي فقط على قدر معين من ملكية الموقع بناءً على بصمته على الإنترنت. تقع على عاتقك مسؤولية تركيز رأس المال الخاص بك بطريقة ذكية. وهذا يعني توجيه ملكية الموقع إلى تلك الصفحات التي تستهدف الكلمات الرئيسية التي تتمتع بفرصة جيدة لترتيبها وعلى تلك التي تجلب لك حركة المرور مع الأنواع المناسبة من العملاء ، أولئك الذين من المحتمل أن يقوموا بالتحويل ولديهم بالفعل قيمة اقتصادية.

تُعرف إستراتيجية تحسين محركات البحث هذه باسم نحت نظام ترتيب الصفحات. إذا كان لديك موقع ويب كبير به آلاف الصفحات المقصودة ، فيمكن للاستراتيجي المتقدم تشغيل تجارب تحسين محركات البحث لتحسين ملف الارتباط الداخلي لموقعك على الويب من أجل توزيع أفضل لميزة PageRank. إذا كنت موقعًا جديدًا على الويب ، فيمكنك المضي قدمًا في المنحنى من خلال دمج نظام PageRank النحت في بنية موقعك والتفكير في المساواة في الموقع مع كل صفحة مقصودة جديدة تقوم بإنشائها.

فيما يلي استراتيجيتان مفضلتان لتحليل صفحاتي لتحديد أيهما أكثر فائدة من نحت نظام ترتيب الصفحات.

• ابحث عن صفحات موقعك على الويب التي تتمتع بحركة مرور جيدة ولكن ليس بها نظام ترتيب الصفحات الكافي . ابحث عن طرق للحصول على مزيد من الروابط الداخلية لتلك الصفحات وإرسال المزيد من نظام ترتيب الصفحات إلى هناك. تعد إضافتها إلى رأس أو تذييل موقع الويب الخاص بك طريقة رائعة للقيام بذلك بسرعة ، ولكن لا تطرف الروابط في قائمة التنقل الخاصة بك.
• ركز على الصفحات التي تحتوي على الكثير من الروابط الداخلية ، ولكن لا تحصل على الكثير من حركة المرور ، ومرات ظهور البحث ، وتصنيف لعدد قليل جدًا من الكلمات الرئيسية . عادةً ما تحتوي الصفحات التي تتلقى الكثير من الروابط الداخلية على قدر كبير من نظام ترتيب الصفحات. إذا كانوا لا يستخدمون نظام ترتيب الصفحات هذا لجلب حركة مرور عضوية إلى موقعك ، فإنهم يهدرونه. من الأفضل نقل نظام ترتيب الصفحات إلى الصفحات التي يمكنها تحريك الإبرة بالفعل.

إن فهم الدور الذي يلعبه كل رابط على موقع الويب الخاص بك ليس فقط في إرسال Googlebot حول موقع الويب الخاص بك ، ولكن في توزيع حقوق الارتباط الخاصة بك ، هو الخطوة الأخيرة في تحسين ميزانية الزحف. يمكن أن يؤدي الحصول على هيكل الارتباط الداخلي الخاص بك إلى تحسينات كبيرة في تصنيف صفحات الأموال الخاصة بك. في النهاية ، فإن أفضل طريقة لإنفاق ميزانية الزحف الخاصة بك هي الصفحات المقصودة التي من المرجح أن تضع إيرادات في جيبك.

بعد تنفيذ التغييرات ، راقب تصنيفات الكلمات الرئيسية لتلك الصفحات المحسّنة في أداة Google Search Console. إذا تحسنت التصنيفات لهذه الصفحات ، فهذا يدل على أن تحسين ميزانية الزحف الخاص بك يعمل. بعد ذلك ، عند إضافة صفحات جديدة إلى موقع الويب الخاص بك ، كن أكثر انتقائية فيما إذا كانت تستحق أن تلتهم ميزانية الزحف الخاصة بك أم لا. إذا لم يكن الأمر كذلك ، فاستمر في توجيه برامج الزحف إلى الصفحات التي تعمل بجد لعلامتك التجارية فقط.