تقرير إحصائيات الزحف من Google مقابل تحليل ملف السجل: أيهما الفائز؟

نشرت: 2020-12-22

في 24 تشرين الثاني (نوفمبر) ، أصدرت Google إصدارًا جديدًا من تقرير إحصاءات الزحف في Search Console. يمنحك هذا التحديث بيانات يمكنك استخدامها لتصحيح أخطاء الزحف والتحقق من سلامة موقعك.

يشير الإصدار السابق فقط إلى عدد الصفحات التي تم الزحف إليها يوميًا ، وعدد الكيلوبايتات التي تم تنزيلها يوميًا ، والوقت المستغرق في تنزيل الصفحات حسب اليوم.

مع هذا الإصدار الجديد ، تتوفر نفس المعلومات بمظهر وأسلوب محدثين لمطابقة بقية Search Console:

لكن الأمر لا يتوقف عند هذا الحد. يوفر Google مزيدًا من المعلومات حول كيفية زحفهم إلى موقعك. ومع وجود الكثير من المعلومات المتاحة مباشرة من Google ، فإنه يطرح السؤال: هل ما زلنا بحاجة إلى ملفات السجل؟

لنبدأ بإلقاء نظرة على التقرير الجديد نفسه.

كل ما تحتاج لمعرفته حول تقرير إحصائيات الزحف في Google Search Console

أين يمكنك العثور على تقرير إحصائيات الزحف الجديد؟

تقرير إحصاءات الزحف الجديد متاح تلقائيًا لأي شخص لديه حساب Google Search Console.

سجّل الدخول إلى Search Console وانتقل إلى "الإعدادات" في الشريط الجانبي الأيسر. ثم انقر فوق "إحصائيات الزحف".

ماذا يوجد في تقرير إحصائيات الزحف الجديد؟

لمساعدتك في العثور على طريقك في المعلومات الجديدة الشاملة ، نوصي بتصفح Tomek Rudzki على Twitter:

يسلط Tomek الضوء على البيانات الجديدة وحالات استخدام تحسين محركات البحث لكل منها:

  • المضيفون الذين حصلوا على أكبر عدد من نتائج Googlebot: ابحث عن النطاقات الفرعية التي يزحف إليها محرك بحث Google بشكل متكرر.
  • رموز الحالة التي تم إرجاعها إلى Googlebot: تعرف على النسبة المئوية لميزانية الزحف التي تستخدمها الردود غير 200 (أي: عمليات إعادة التوجيه والصفحات المفقودة والأخطاء).
  • نوع الملف: فهم مدى تكرار طلب Googlebot لملفات الموارد مثل ملفات CSS وملفات جافا سكريبت والصور.
  • الغرض من زيارة Googlebot: معرفة ما إذا كان Google يكتشف محتوى جديدًا أو يقوم بتحديث المحتوى الذي يعرف عنه بالفعل.
  • التقسيم بين الطلبات التي قدمها الهاتف الذكي Googlebot وتلك المقدمة من Googlebot لسطح المكتب: تأكد مما إذا كان موقعك جاهزًا للانتقال الكامل إلى Mobile-First Indexing في مارس 2021.
  • عينة من عناوين URL التي تم الزحف إليها: احصل على فكرة عن بعض عناوين URL التي تم الزحف إليها مؤخرًا على موقعك.
  • حالة المضيف: مقياس جديد يوضح ما إذا كان خادمك قد واجه مشكلات مؤخرًا. على سبيل المثال ، يأخذ هذا الأمر توافر ملف robots.txt ودقة نظام أسماء النطاقات في الحسبان.

أهم ثلاثة أشياء مفضلة لدينا حول تقرير إحصائيات الزحف

هناك العديد من المزايا التي يقدمها تقرير إحصائيات الزحف لإدراجها جميعًا ، خاصةً إذا لم يكن لديك حق الوصول إلى ملفات السجلات. ولكن ها هم الثلاثة الأوائل لدينا:

1. هذا التقرير مخصص للجميع.
يوفر إحصائيات زحف Googlebot عالية المستوى وسهلة القراءة. من الواضح متى تسير الأمور على ما يرام ، ومتى توجد قضايا قد تحتاج إلى معالجة. في بعض الحالات ، يذهب إلى أبعد من ذلك: على سبيل المثال ، يقدم تلميحات مثل مؤشرات الحالة الأخضر / الأصفر / الأحمر لحالة المضيف.

حتى إذا كنت جديدًا على تتبع الميزانية والزحف إليها ، فلا يجب أن تضيع عند النظر في هذه التقارير.

2. التوثيق رائع.
لا يجيب التوثيق عن 99٪ من أسئلتك فحسب ، بل يقدم أيضًا أفضل الممارسات والنصائح لصحة الخادم ، والعلامات الحمراء ، وإدارة تردد الزحف ، والجدل الأساسي في googlebot.

3. بيانات عن "السبب" وراء طلبات Googlebot
يمكننا تتبع Googlebot ، ولكن يجب استخلاص العديد من الاستنتاجات حول سبب زيارة Google لصفحة ما بناءً على بيانات محدودة. يوفر قسم الزحف حسب الغرض وطلبات العرض المرئية ضمن "تحميل مورد الصفحة" إجابة غير غامضة لبعض أسئلتنا. نحن نعلم الآن على وجه اليقين ما إذا كان محرك بحث Google يكتشف صفحة أو يقوم بتحديث الصفحة أو يقوم بتنزيل مورد في مسار ثانٍ منفصل لعرض الصفحة.

[دراسة حالة] إدارة زحف روبوت Google

مع وجود أكثر من 26000 مرجع للمنتج ، احتاج 1001Pneus إلى أداة موثوقة لمراقبة أداء مُحسنات محركات البحث والتأكد من أن Google كانت تخصص ميزانية الزحف الخاصة بها على الفئات والصفحات الصحيحة. تعرف على كيفية إدارة ميزانية الزحف بنجاح لمواقع التجارة الإلكترونية باستخدام OnCrawl.
اقرأ دراسة الحالة

ما الفرق بين المعلومات المتوفرة في ملفات السجل وتقرير إحصائيات الزحف؟

إحصائيات الزحف مقصورة على Googlebots

إحصائيات الزحف: 0
 السجلات: 1

تسجل ملفات سجل الخادم الخاص بك كل طلب لأي من الملفات والموارد التي يتكون منها موقع الويب الخاص بك ، بغض النظر عن مصدرها. هذا يعني أن السجلات يمكن أن تخبرك بأكثر من مجرد Googlebot.

ومع ذلك ، فإن تقرير إحصائيات الزحف من Google (بطبيعة الحال!) يقتصر على نشاط Google الخاص على موقعك.

فيما يلي بعض الأفكار التي يمكنك الحصول عليها من ملفات السجل التي لا تظهر في "إحصائيات الزحف":

  • معلومات حول محركات البحث الأخرى ، مثل Bing. يمكنك معرفة كيفية زحفهم إلى موقعك ، ولكن يمكنك أيضًا الاطلاع على كيفية اختلاف سلوكهم عن سلوك Googlebot أو توافقه معه:

  • معلومات حول الأدوات (والمنافسين) الذين يحاولون الزحف إلى موقعك. نظرًا لأن المعلومات المتاحة لا تقتصر على Googlebot ، يمكنك أيضًا معرفة ما إذا كانت برامج الروبوت الأخرى نشطة على موقعك.
  • معلومات حول إحالة الصفحات. يمكن أن يساعدك هذا في العثور على مزيد من المعلومات حول الروابط الخلفية الأكثر نشاطًا لديك. في HTTPS ، يتم أيضًا تسجيل آخر صفحة تمت زيارتها أو "صفحة الإحالة" مع كل طلب.
  • معلومات حول حركة المرور العضوية ... وليس مجرد حركة المرور من Google! باستخدام صفحات الإحالة ، يمكنك تحديد حركة المرور من صفحات نتائج محرك البحث ، ومعرفة كيفية تفاعل هؤلاء الزوار مع موقعك بشكل أفضل. يمكن استخدام هذا النوع من المعلومات لتأكيد أو تصحيح الأرقام التي يوفرها حل Analytics الخاص بك ، إذا كنت تستخدم واحدًا.
  • تحديد الصفحات اليتيمة. نظرًا لأن سجلاتك تحتوي على جميع عناوين URL التي يطلبها الزوار ، فإن أي صفحات "نشطة" بها روبوت أو حركة مرور بشرية غير مرتبطة بهيكل موقعك ستظهر في سجلاتك. من خلال مقارنة قائمة عناوين URL في ملفات السجل بقائمة عناوين URL في بنية موقعك من خلال عملية الزحف ، سيكون من السهل تحديد الصفحات اليتيمة.

كاملة ومحدثة؟

إحصائيات الزحف: 0
 السجلات: 2

هل بياناتك كاملة وحديثة؟ سجلاتك. وقد تكون إحصاءات الزحف الخاصة بك.

لاحظ العديد من الأشخاص بسرعة اختلافات بنسبة 20-40٪ بين تقرير Google Search Console وملفات السجل الخاصة بهم: تقرير إحصائيات الزحف ضمن تقارير نشاط Googlebot في الوقت الحالي. هذه مشكلة معروفة في "إحصائيات الزحف" - ولكن ليس في سجلاتك!

بالإضافة إلى ذلك ، مثل جميع المعلومات في Search Console ، يمكن أن تكون هناك فجوة بين آخر تاريخ متاح للبيانات وتاريخ اليوم. حتى الآن ، لاحظنا اختلافًا يصل إلى ثمانية أيام في تقرير إحصائيات الزحف.

من ناحية أخرى ، يمكنك استخدام ملفات السجل الخاصة بك للمراقبة في الوقت الفعلي: لا يوجد تأخير مطلقًا!

القوائم الإجمالية مقابل القوائم الكاملة لعناوين URL التي تم الزحف إليها

إحصائيات الزحف: 0
 السجلات: 3

توفر إحصائيات الزحف بيانات مجمعة لجميع عناوين URL الخاصة بك. التقرير مكافئ للوحة القيادة. عندما تذهب للبحث عن قائمة عناوين URL خلف مقياس معين ، سترى قائمة من "الأمثلة". على سبيل المثال ، قد يكون لديك بضع مئات من الأمثلة لطلباتك البالغة 4.56 ألفًا لملفات الصور:

ومع ذلك ، في ملفات السجل ، لديك قائمة كاملة بعناوين URL وراء أي مقياس. يمكنك رؤية جميع الطلبات في سجلاتك ، وليس مجرد عينة.

تصفية المناطق والتواريخ وعناوين URL ...

إحصائيات الزحف: 0
 السجلات: 4

لكي تكون مفيدة حقًا ، يمكن أن تستفيد "إحصاءات الزحف" من عوامل التصفية الأوسع نطاقًا التي تنطبق على جميع الطلبات ، وليس العينات فقط:

سيكون من الرائع التمتع بمزيد من المرونة من أجل:

  • قم بتغيير النطاق الزمني الذي نبحث فيه
  • ركز على منطقة جغرافية معينة عن طريق البحث عن IP
  • تصفية أفضل حسب مجموعات عناوين URL
  • تطبيق خيارات التصفية على الرسوم البيانية

يمكنك القيام بكل هذا - وأكثر من ذلك بكثير - في ملفات السجل.

معلومات خاصة بـ Googlebot

إحصائيات الزحف: 1
 السجلات: 4

كما رأينا ، تستخدم Google تقرير إحصائيات الزحف لتقديم معلومات حول الغرض من الزحف:

    • التحديث مقابل الاكتشاف

  • موارد الصفحة (جلب ثانوي)

لا يمكن العثور على هذه المعلومات في أي مكان آخر ، بغض النظر عن مدى ذكاءك في النظر إلى البيانات الموجودة في ملفات السجل الخاصة بك.

دخول سهل

إحصائيات الزحف: 2
 السجلات: 4

الوصول إلى تقرير إحصائيات الزحف واضح ومباشر: تتوفر إحصائيات الزحف تلقائيًا لأي شخص لديه حق الوصول إلى Search Console.

من الناحية الفنية ، يجب أن تكون ملفات السجل متاحة أيضًا لأي مشرف موقع. لكن هذا ليس هو الحال في كثير من الأحيان. غالبًا لا تفهم فرق التطوير أو فرق تكنولوجيا المعلومات أو الشركات العميلة أهمية توفير الوصول إلى ملفات السجل. في مناطق مثل الاتحاد الأوروبي ، حيث تقيد قوانين الخصوصية الوصول إلى "بيانات التعريف الشخصية" ، مثل عناوين IP ، يمكن أن يشكل الوصول إلى ملفات السجل مشكلة قانونية. يمكنك استخدام أدوات معينة ، مثل OnCrawl ، والتي لا تخزن المعلومات الحساسة.

بمجرد أن تتمكن من الوصول إلى ملفات السجل ، هناك أدوات مجانية لتحليل البيانات ، وهناك عدد قليل من التنسيقات الخاصة. بمعنى آخر ، تعد ملفات السجل مصدرًا ديمقراطيًا إلى حد ما للبيانات ... بمجرد حصولك عليها.

إنها حقيقة: العديد من مُحسّنات محرّكات البحث يواجهون صعوبة في الوصول إلى السجلات. لذا ، بينما ، من الناحية النظرية ، توفر ملفات السجل وصولاً سهلاً إلى البيانات ، فإن النقطة في هذا الأمر تنتقل إلى تقرير إحصائيات الزحف ، والذي يتوفر بنقرتين من أداة Google المجانية.

محلل سجل الزحف

تحليل ملف السجل لمراقبة الروبوتات والزحف إلى تحسين الميزانية. كشف مشاكل سلامة الموقع وتحسين معدل الزحف الخاص بك.
يتعلم أكثر

غير متاح (حتى الآن) للتكامل في الأدوات والتحليلات الأخرى

إحصائيات الزحف: 2
 السجلات: 5

تسمح لك Google Search Console بتصدير وتنزيل المعلومات المتاحة عبر واجهة الويب لتقرير إحصائيات الزحف. هذا يعني ، مع ذلك ، أن المعلومات التي تم تنزيلها لها نفس قيود الإصدارات التي تظهر على الشاشة.

بالإضافة إلى ذلك ، فإن إحصائيات الزحف ليست متاحة (حتى الآن) عبر واجهة برمجة التطبيقات ، لذلك قد يكون من الصعب ربط هذه المعلومات بالعمليات الآلية لإعداد التقارير والتحليل ، أو حتى نسخها احتياطيًا لعرض أوسع للبيانات التاريخية.

بالنسبة لملفات السجل ، فإن التخزين والوصول وإعادة الاستخدام أمر متروك لك بشكل عام. هذا يجعل ملفات السجل أكثر سهولة في الاستخدام عند الدمج مع مصادر البيانات الأخرى مثل تتبع الترتيب أو بيانات الزحف أو بيانات التحليلات. كما يسهل دمجها في تدفقات إعداد التقارير ولوحة المعلومات وتصور البيانات.

الفائز النهائي: ملفات السجل!

مع وجود خمس نقاط مقابل نقطتين فقط لتقرير إحصائيات الزحف ، فإن ملفات السجل هي الفائز الواضح هنا إذا كنت تريد رؤى كاملة حول كيفية تفاعل محركات البحث مع موقعك.

ولكن لنكن واضحين: يوفر تقرير إحصاءات الزحف الذي تمت ترقيته الكثير من المعلومات الجديدة: أكواد الحالة وأنواع الملفات والنطاقات الفرعية (لخصائص النطاق) وتفاصيل حالة المضيف والمزيد. يمنحك المزيد من الأفكار الدقيقة والبيانات القابلة للتنفيذ لفهم كيفية الزحف إلى موقع الويب الخاص بك والآن ، يمكنك تتبع التغييرات في أنماط الزحف.

ستكون خطوة كبيرة إلى الأمام للأشخاص الذين لا يستطيعون الوصول إلى ملفات سجلاتهم أو ملفات عملائهم.

ومع ذلك ، ليس كل شيء من المحترفين!

تتمثل الجوانب السلبية للتقرير الجديد في أنه على الرغم من كونه لوحة تحكم جيدة لمراقبة Googlebot وإضافة رائعة لتحليل ملف السجل التكميلي ، إلا أنه محدود من نواح كثيرة. لا تنس أن ملفات السجل الخاصة بك فقط هي التي ستظهر لك جميع طلباتك لكل عنوان URL بدلاً من الاتجاه الكلي.

بالإضافة إلى ذلك ، هناك مشكلة معروفة في تقرير GSC حيث لا يتم حساب بعض الطلبات في الوقت الحالي ، ويمكن أن تستغرق البيانات - في وقت كتابة هذا - ما يصل إلى أسبوع لتظهر في تقرير إحصائيات الزحف. (ومع ذلك ، فنحن على ثقة من أن Google تعمل على حل هذه المشكلات وستختفي قريبًا!)

إليك ما نوصي به: استخدم هذا التقرير لمعرفة ما الذي تبحث عنه بالضبط في ملفات السجل الخاصة بك. ثم الغوص في تحليل السجل الخاص بك!