كيف تبدأ في الترتيب الأعلى بميزانية زحف محسّنة بشكل أفضل

هناك العديد من العوامل التي تؤثر على التصنيف - الروابط الخارجية ، واستخدام الكلمات الرئيسية ، وسرعة الموقع وغيرها الكثير. ولكن عندما تبدأ في تحسين موقعك ، ما عليك أن تتذكره هو أنه بالنسبة لجميع جهود التحسين التي تبذلها لتسديد ثمار موقعك ، يجب الزحف إلى موقعك وفهرسته.

يتم تحديد طريقة الزحف إلى موقع الويب الخاص بك من خلال ميزانية الزحف الخاصة بك - عدد المرات التي يزور فيها Googlebot موقعك خلال فترة زمنية معينة. ويعتمد ظهور موقعك على مدى توازن ميزانية الزحف.

لماذا تؤثر ميزانية الزحف على ظهور موقعك في Google؟

ميزانية الزحف محدودة. هذا يخلق العديد من التحديات:

• عندما لا يتم تحسين ميزانية الزحف ، لا يقوم Googlebot بزيارة جميع صفحات الموقع. نتيجة لذلك ، لم تتم فهرستها ولا يتم ترتيبها في نتائج البحث.
• لا يمكن أن تحظى الصفحات المحدثة باهتمام من Googlebot لفترة طويلة بسبب تكرار الزحف لصفحات موقع الويب الآخر. يؤثر هذا سلبًا على الجدول الزمني لـ SEO الخاص بك: طالما أن Google لا تعرف جهود التحسين الخاصة بك ، فلن تتحسن رؤية SERP.

لذلك ، للتأكد من زيارة جميع الصفحات المهمة بانتظام ، يجب تحسين ميزانية الزحف. إليك كيف يمكنك القيام بذلك.

كيفية تحديد ميزانية الزحف الحالية الخاصة بك

لمعرفة ما إذا كانت ميزانية الزحف الخاصة بك تحتاج إلى تحسين ، تحقق أولاً مما إذا كنت تعاني من نقص في الميزانية على الإطلاق. وفقًا لـ Gary Illyes من Google ، تحتاج المواقع الكبيرة فقط حقًا إلى تحديد أولويات ما يجب الزحف إليه ، خاصة تلك التي تنشئ تلقائيًا الكثير من عناوين URL استنادًا إلى المعلمات. إذا كنت تعتقد أن موقعك يتطلب موازنة إضافية لميزانية الزحف ، فإليك الطريقة التي تبدأ بها.

في Google Search Console ، يمكنك العثور على إحصائيات الزحف لموقعك الحالي ومعرفة تفاصيل ميزانية الزحف الخاصة بك.

يمكن حساب ميزانية الزحف التقريبية على النحو التالي:

متوسط ​​عدد الصفحات التي تم الزحف إليها يوميًا × عدد أيام الشهر =
الميزانية التقريبية للزحف

على سبيل المثال ، من تقرير أدناه ، يمكنك أن ترى أن محرك بحث Google يزحف على موقع الويب هذا إلى 371 صفحة يوميًا.

الرسم البياني لإحصائيات الزحف في Google Search Console

وبالتالي ، فإن ميزانية الزحف التقريبية لهذا الموقع هي:

371 × 30 = 11130

ولكن لكي تعرف بالضبط عدد مرات وصول برامج الزحف من Google إلى موقع الويب الخاص بك ، فأنت بحاجة إلى التحقق من سجلات الخادم. تعرض Google Search Console ميزانية الزحف المجمعة لـ 12 روبوتًا ، ولمعرفة التوزيع الدقيق لميزانية الزحف ، ستحتاج إلى أداة تحليل السجل.

يمكن أن تكون حالات الصعود والهبوط في الرسم البياني للزحف علامة على وجود مشكلة ، ولكن هذا ليس هو الحال دائمًا. على سبيل المثال ، يمثل الارتفاع في الرسم البياني أعلاه خريطة موقع مُعاد إرسالها ، وهو ما يُحفز Googlebot على زيارة موقع الويب مرة أخرى.

كيفية تحسين ميزانية الزحف الخاصة بك

لتحسين ميزانية الزحف الخاصة بك ، تحتاج إلى الالتزام بقاعدة بسيطة:

تأكد من الزحف إلى ما يجب الزحف إليه وأن ما لا يلزم الزحف إليه لا يتم الزحف إليه.

وهذا يعني أن الصفحات المهمة تحظى باهتمام كافٍ ويتم استبعاد الصفحات التي لا تقدم أي قيمة لموقعك. فيما يلي الخطوات الدقيقة التي ستأخذك إلى هناك.

1- تأكد من إمكانية وصول Googlebot إلى جميع صفحاتك المهمة (على سبيل المثال ، ليست محظورة في ملف robots.txt)

من المثير للدهشة أن الأمر شائع جدًا عندما يكون للصفحات المهمة حالة التنصل في ملف robots.txt. بهذه الطريقة يتم تجاهلها بواسطة Googlebot وبالتالي يتم إخفاؤها من الفهرسة. مهمتك هي التأكد من أن الصفحات التي تريد الزحف إليها لا تحتوي على هذه الحالة ويمكن الوصول إليها من قبل برامج الزحف.

يمكنك العثور على ملف robots.txt في Google Search Console. للتأكد من عدم التنصل من صفحاتك المهمة ، ما عليك سوى تصفح الملف.

2. تحقق من الصحة العامة لموقعك لأنها تؤثر على معدل زيارات Googlebot (المعروف أيضًا باسم حد معدل الزحف)

كما تقول Google نفسها ، فإن حد معدل الزحف هو الحد الأقصى لمعدل الجلب لموقع معين. ببساطة ، فهو يحدد عدد الاتصالات المتوازية التي يمكن لبرنامج Googlebot إنشاؤها للزحف إلى الموقع والمدة التي يجب أن ينتظرها بين عمليات الجلب. عندما تكون سرعة الموقع عالية ويزداد الحد ويقوم Googlebot بإنشاء المزيد من الاتصالات المتزامنة. عندما يكون معدل استجابة الموقع منخفضًا أو يعرض أخطاء الخادم ، ينخفض ​​الحد ويقل زحف Googlebot.

وبالتالي ، فإن طريقة الزحف إلى موقعك تتأثر أيضًا بسلامة الموقع. يتضمن ذلك سرعة الموقع ، وملاءمة الهاتف المحمول ، ومقدار أخطاء 404 ، وما إلى ذلك.

يمكن التحقق من صحة الموقع باستخدام هذه الأدوات.

• يسمح لك OnCrawl بالعثور على صفحات ذات محتوى مكرر وشبه مكرر ، وصفحات 404 وصفحات يتيمة (لا تحتوي على روابط داخلية تشير إليها) وما إلى ذلك.

عناصر واجهة مستخدم محتوى مكررة في OnCrawl

أدوات الصفحات اليتيمة في OnCrawl

• يتحقق اختبار التوافق مع الأجهزة الجوّالة من Google من ملاءمة موقع الويب للجوّال
• يمكن التحقق من سرعة الموقع بمساعدة PageSpeed ​​Insights أو أدوات GTmetrix المجانية.

يمكنك بعد ذلك مراقبة معدل الزحف باستخدام محلل ملفات السجل مثل OnCrawl ومعرفة ما إذا كان Googlebot يضرب صفحاتك كثيرًا.

3. استبعاد الصفحات التي لا تقدم أي قيمة للمستخدمين

هذه هي الصفحات التي تحتوي على محتوى ضعيف أو لا يحتوي على صفحات فنية وما إلى ذلك. نظرًا لأنها مفهرسة ولديها عدد قليل من مرات الظهور ، يمكن العثور عليها في Google Search Console. مكان آخر لاكتشافها هو تقرير تأثير تحسين محركات البحث الخاص بـ OnCrawl. على سبيل المثال ، يظهر تأثير عدد الكلمات على وتيرة الزحف.

على سبيل المثال ، تتمثل المشكلة الشائعة لمواقع التجارة الإلكترونية الكبيرة في التنقل متعدد الأوجه. تحدث Ryan Stewart عن ذلك في مقطع الفيديو الخاص به حول تحسين ميزانية الزحف (يمكنك الانتقال إلى 7:20 للتحقق من ذلك ، لكن الفيديو بأكمله مفيد للغاية أيضًا). عندما يختار المستخدم فئة في موقع ويب ، تتم إضافة المعلمة إلى عنوان URL للصفحة. وفقًا لبرنامج Googlebot ، منذ تلك اللحظة ، أصبح عنوان URL مختلفًا ويتطلب زيارة منفصلة. نظرًا لأن عدد مجموعات الفئات الممكنة كبير ويمكن أن تفرط بشكل كبير في ميزانية الزحف ، يجب تصفية هذه الصفحات.

تحدث مشكلة مماثلة عندما يتم وضع معرف جلسة داخل عناوين URL. يجب تصفية هذه الصفحات أيضًا.

4. قم بترتيب صفحاتك حسب الأولوية بحيث يتم الزحف إلى أهم الصفحات بشكل متكرر

الصفحة مهمة إذا كان لديها حركة مرور كبيرة المحتملة.

بادئ ذي بدء ، هذه هي الصفحات التي بها عدد كبير من الزيارات ؛ يمكنك تحديدها في Google Analytics. ضمن تقرير السلوك ، انتقل إلى محتوى الموقع ← جميع الصفحات وفرز الصفحات حسب عدد مرات مشاهدة الصفحة.

ثانيًا ، الصفحات التي تتحسن مواضعها ، مما يعني أنها تزداد شعبيتها. يمكن العثور على مثل هذه الصفحات في Google Search Console ، ولكن مع محدودية خيارات التصفية ، فقد يستغرق الأمر بعض الوقت قبل أن تكتشفها.

قد يكون البديل هو استخدام AccuRanker لأنه يسمح لك بمعرفة نوع الصفحات التي لها اتجاه رؤية متزايد. لبدء استخدامه ، يمكنك استيراد قائمة الكلمات الرئيسية من Google Search Console بنقرة واحدة ثم تحديد الصفحات الواعدة.

بالإضافة إلى ذلك ، هناك طريقة لاكتشاف الصفحات التي يمكن أن تحتوي على حركة مرور إضافية لتحسين محركات البحث في الأسابيع والأشهر التالية. إنه ينطوي على بعض اللعب باستخدام Google Search Console API و Google Data Studio ، لكن النتيجة مذهلة إلى حد ما. باستخدام الصفحات المقصودة كبعد وظهور ونقرات URL ونسبة نقر إلى ظهور URL كمقاييس ، يمكنك العثور على الصفحات التي تزداد شعبيتها بشكل أسرع من الصفحات الأخرى.

عندما تكتشف الصفحات التي تتطلب تحديد الأولويات ، فإليك ما يمكنك فعله للتأكد من الزحف إليها كثيرًا:

• قم بتحريك أهم الصفحات بالقرب من الصفحة الرئيسية أو حتى قم بتمييز الرابط الخاص بها هناك. على سبيل المثال ، يمكنك إضافة رابط صفحة إلى قسم التنقل أو قسم "العروض الخاصة".
• ضع عمليات إعادة التوجيه 301 عبر جميع فئات الصفحات التي لا تحتوي على منتجات (نفاد المخزون / المنتجات الموسمية). لا تنس إيقاف تشغيل إعادة التوجيه هذه بمجرد عودة المنتج المعني إلى المخزون.

5. توفير روابط داخلية كافية للصفحة

الروابط الداخلية ضرورية للزحف باعتبارها المسار الرئيسي لبرنامج Googlebot. بدون ارتباط داخلي على الصفحة ، لا يمكن ببساطة المضي قدمًا. لذلك ، بإضافة روابط تؤدي إلى صفحة ، فإنك تزيد من فرص فهرستها في وقت أقرب.

على سبيل المثال ، إذا كنت تريد الزحف إلى صفحة قديمة كثيرًا ، فأضف ارتباطًا يؤدي إليها ، إلى صفحاتك الجديدة. عندما يزور Googlebot الصفحة الجديدة ، سيعيد فهرسة الصفحة القديمة أيضًا.

من خلال إضافة رابط الصفحة إلى قائمة التنقل الخاصة بالموقع الإلكتروني ، فإنك تجعل الوصول إليها سهلاً بواسطة المستخدمين ومن خلال Googlebot. يستخدم SEMrush هذه التقنية لتسريع الزحف إلى منشورات المدونة الجديدة. تظهر جميع المقالات الجديدة في قسم " المنشورات الحديثة " على صفحتها الرئيسية ، وبالتالي يتم ترتيب أولوياتها بواسطة Googlebot.

يمكن أيضًا استخدام هذه التقنية لتسريع فهرسة صفحات المنتجات الجديدة على مواقع التجارة الإلكترونية.

تغليف

كما ذكرنا سابقًا ، يعد تحسين ميزانية الزحف أكثر أهمية للمواقع الأكبر ذات البنية المتشعبة مثل مواقع التجارة الإلكترونية. ولكن نظرًا لأن الزحف الصحيح للصفحة هو أساس تحسين محركات البحث ويؤثر بشكل مباشر على رؤية SERP ، فقد ترغب في مراجعة إحصائيات الزحف وموازنة ميزانية الزحف لتسريع نتائج جهود تحسين محركات البحث.

تتضمن مجموعة الأدوات الأساسية لتحسين ميزانية الزحف ما يلي:

• Google Search Console للاطلاع على تقديرات ميزانية الزحف الحالية
• مدققي صحة الموقع مثل OnCrawl للعثور على محتوى مكرر ، صفحات 404 ، صفحات يتيمة ، إلخ.
• أدوات للتحقق من توافق موقعك مع الجوّال مثل اختبار التوافق مع الأجهزة الجوّالة من Google
• مدقق سرعة الموقع مثل PageSpeed ​​Insights أو GTmetrix
• أدوات للعثور على الصفحات ذات الشعبية العالية المحتملة - الصفحات التي تحتوي بالفعل على عدد كبير من الزيارات (يمكنك رؤية تلك الصفحات الموجودة في Google Analytics) أو الصفحات ذات الاتجاه المتزايد للظهور (يمكن العثور عليها بمساعدة AccuRanker).