لماذا يعد OnCrawl أكثر من مجرد برنامج زاحف لسطح المكتب: نظرة عميقة إلى نظام SEO القائم على السحابة

تم إنشاء OnCrawl وفقًا لاحتياجات تحسين محركات البحث (SEO) للاعب التجارة الإلكترونية الفرنسي رقم 1 في عام 2015. وهذا يعني أنه كان علينا توسيع نطاق تحليلنا والتعامل مع موقع ويب يحتوي على أكثر من 50 مليون عنوان URL في فترة زمنية قصيرة. صعبة ، كما تقول ، للاعب جديد؟ في الواقع ، جعلت بنيتنا التحتية ، التي أنفقنا عليها 1،5 مليون يورو فقط في البحث والتطوير والتي دعمت سابقًا مشاريع بيانات مختلفة ، الأمر سهلاً. نظرًا لأن التمييز بين برامج الزحف المستندة إلى سطح المكتب والمستندة إلى السحابة لا يزال غير واضح في بعض الأحيان ، فقد اعتقدنا أنه قد يكون من المفيد شرح سبب توفر OnCrawl الكثير لتقدمه أكثر من مجرد زاحف سطح المكتب البسيط - بدءًا من إمكانات القياس العالية إلى عمليات التكامل مع الجهات الخارجية وسرعة التحليل.

التحجيم إلى اللانهاية وما بعدها

برامج الزحف على سطح المكتب محدودة في سعة الزحف بسبب موارد وذاكرة الكمبيوتر الذي تعمل عليه. من المرجح أنها ستقتصر على الزحف إلى بضعة آلاف فقط من عناوين URL لكل عملية زحف. على الرغم من أن هذا قد يكون جيدًا بالنسبة إلى مواقع الويب الصغيرة ، إلا أنه لا يزال من الممكن أن يستغرق الزحف إلى عناوين URL هذه مزيدًا من الوقت مقارنةً بزاحف SaaS (برنامج كخدمة). يتم توزيع برامج الزحف المستندة إلى السحابة عبر العديد من الخوادم بحيث لا تكون مقيدًا بسرعة جهازك وحجمه.

هذا يعني أنه لا يوجد زحف لا يمكننا التعامل معه. لقد عملنا مع مواقع الويب الصغيرة وكذلك لمواقع الويب الكبيرة جدًا ، بما في ذلك بعض شركات Fortune 500. كما قيل في المقدمة ، قمنا بتطوير زاحف SEO الخاص بنا بعد Cdiscount ، أكبر موقع للتجارة الإلكترونية في فرنسا ، طلب منا بناء حل مخصص للتعامل مع أكثر من 50 مليونًا من عناوين URL واحتياجات تحسين محركات البحث في عملية زحف واحدة. بالإضافة إلى ذلك ، فقد جعلتنا قدراتنا في التوسع لمدة عامين متتاليين أفضل أداة لتحسين محركات البحث (SEO) في حفل توزيع جوائز البحث الأوروبية ، الحفل الرائد في صناعة البحث. حاليًا ، نجمع ما يصل إلى 25 مليونًا من عناوين URL يوميًا ولكل موقع ويب ، أو ما يقرب من 1 مليار صفحة ويب و 150 مليارًا من الروابط شهريًا. يمكنك معرفة المزيد حول تقنيتنا وكيفية تعاملنا مع سياسات الناتج المحلي الإجمالي هنا.

سرعة مخصصة وقدرات واسعة

نظرًا لأن تطبيقنا قائم على السحابة ، فلن تحتاج إلى التفكير في موارد جهازك وقدرات السرعة. هذا يعني أيضًا أنه لا توجد قيود فيما يتعلق بالتوقيت أو عدد عمليات الزحف التي يمكن إطلاقها. يمكنك تشغيل أكبر عدد ممكن من عمليات الزحف حسب ما يسمح به اشتراكك والقيام بأشياء أخرى أثناء الزحف. يعني استخدام حل قائم على السحابة أيضًا أنه يمكنك إغلاق نافذة التطبيق والانتظار حتى يتم الزحف - إنه يعمل من تلقاء نفسه ولا يحتاج إلى مراقبتك. يتيح لك OnCrawl جدولة عمليات الزحف بناءً على احتياجات تحسين محركات البحث لديك ، سواء كنت بحاجة إلى الزحف إلى موقعك مرة واحدة في الأسبوع أو كل شهر. يمكنك أيضًا أن تقرر تسريع تحليلك إذا كنت بحاجة إليه بشكل أسرع.
نظرًا لأنه يمكن استخدام تطبيق OnCrawl للزحف إلى أي موقع ويب ، فإن الروبوت الخاص بنا سيتبع توجيه Crawl-Delay المعبر عنه في ملف robots.txt الموجود على موقع الويب الهدف ، إن وجد.
وبخلاف ذلك ، فإننا نحد من معدل الزحف بسرعة صفحة واحدة في الثانية ، لذا فإن برنامج الروبوت الخاص بنا ليس عدوانيًا جدًا ضد موقع الويب المستهدف.
عندما يحتوي أحد مواقع الويب على توجيه Crawl-Delay أعلى من 1 ، يرسل تطبيقنا تحذيرًا ليخبرك أن الزحف سيكون أبطأ من السرعة المطلوبة.
إذا كان Crawl-Delay أعلى من 30 ، فإننا نعرض خطأ. لن نسمح لك ببساطة بتهيئة الزحف بمثل هذا التأخير الكبير في الزحف.
الطريقة الوحيدة لإعداد الزحف في ظل هذه الظروف هي استخدام ملف robots.txt افتراضي.
للقيام بذلك ، يجب عليك أولاً التحقق من صحة المشروع باستخدام حساب Google Analytics الخاص بك ، حتى نتمكن من التأكد من أن لديك نوعًا من الملكية على النطاق الذي تريد الزحف إليه.

لدينا بعض المعلمات المختلفة التي تتيح لك التحكم في الزحف الخاص بك:

• تسريع الزحف الخاص بك
• إيقاف الزحف مؤقتًا أو إيقافه أو إعادة تشغيله أو إجهاضه
• حدد موعدًا للزحف لتجنب أوقات ذروة حركة المرور ولتخفيف الضغط على خادمك عندما تأتي الروبوتات الخاصة بنا إلى موقعك
• انظر في الوقت الفعلي للصفحات التي تم جلبها وعدد عناوين URL التي استردناها حتى الآن ومعرفة ما إذا كانت هناك أي مشكلة تؤدي إلى إبطاء عملية الزحف.

جعل تحليل ملفات السجل سهلا

OnCrawl هو أكثر بكثير من مجرد زاحف SEO بسيط. على مدار السنوات الماضية ، أصدرنا أيضًا محلل ملفات سجل قويًا يعالج المشكلات التي لم يعثر عليها أي حل آخر لتحسين محركات البحث.

تعد ملفات السجل الكاملة انعكاسًا مثاليًا لحياة موقعك. سواء أكان زوارًا أو روبوتات أو صفحات معروضة أو استدعاءات للموارد ، فإن أي نشاط على موقعك مكتوب فيه.

باستخدام معلومات مثل عنوان IP ، ورمز الحالة ، ووكيل المستخدم ، والمرجع والبيانات الفنية الأخرى ، يمكن أن يساعدك كل سطر من السجلات (البيانات من جانب الخادم) في إكمال تحليل موقعك ، والذي يعتمد في الغالب على التحليلات (جانب العميل بشكل أكبر الموجهة).

يدعم محلل ملفات السجل لدينا أي نوع من تنسيقات السجلات ، بدءًا من التنسيقات القياسية مثل IIS و Apache على Ngnix إلى المزيد من التنسيقات المخصصة. لا يوجد تحليل لا يمكننا القيام به. كما نسمح لمستخدمينا باسترداد بيانات السجلات الخاصة بهم مباشرةً من حلول الجهات الخارجية مثل Splunk أو ELK / Elastic Stack أو Amazon S3 أو OVH (ES) أو Cloudflare.

هذا يعني أنك لن تكون عالقًا مع مدير ملفات سجلات تابع لجهة خارجية بعد الآن ، كما هو الحال مع بعض منافسينا.

تجعل واجهتنا من السهل تحميل ملفات السجل تلقائيًا من خلال بروتوكول FTP آمن وخاص. لا يستغرق الأمر سوى بضع خطوات لإكمال تحليل ملفات السجل.

يمكنك أيضًا مراقبة ملفاتك التي تتم معالجتها في الوقت الفعلي ومعرفة ما إذا كان هناك أي خطأ يمنع تحميلها.

عمليات تكامل غير محدودة لجهات خارجية

عمل OnCrawl على تطوير موصلات مضمنة مع حلول تسويق بحث رائدة لا يمكن لمحركات البحث (SEO) العيش بدونها: Google Search Console أو Google Analytics أو Adobe Analytics أو Majestic ، على سبيل المثال لا الحصر. إن دمج هذه الحلول في عملية التدقيق الخاصة بك ليس زائدًا عن الحاجة: فهو يوفر نظرة أكثر شمولاً لأداء موقع الويب الخاص بك وصحته على محركات البحث ويوضح كيف تتصرف برامج الروبوت والزائرين حقًا على موقع الويب الخاص بك. أنت أيضًا توفر الوقت والجهد حيث لا تحتاج إلى معالجة هذه البيانات يدويًا لاحقًا في جداول بيانات Excel.

تقرير Backlink

لقد بنينا علاقة جديرة بالثقة مع Majestic ، الحل الرائد لذكاء الروابط. يتيح لك تحليل البيانات المتقاطعة الخاص بنا دمج بيانات الزحف وبيانات السجلات مع بيانات الروابط الخلفية الخاصة بك لفهم تأثير الروابط الخلفية على حركة تحسين محركات البحث وتكرار الزحف. بمجرد قيامك بإعداد تقسيم على مستوى الموقع لمجموعات مخصصة من الصفحات بناءً على أهم مؤشرات الأداء الرئيسية الخاصة بك. يمكنك أيضًا تصور عدد الروابط الخلفية فيما يتعلق بمستوى عمق النقر على الصفحة أو فحص ما إذا كان عدد الروابط الخلفية له تأثير على سلوك Google.
التحليلات التي نقدمها ، والتي يتم فيها ربط بيانات الروابط الخلفية ودمجها على مستوى عناوين URL ونتائج برامج الروبوت ، هي التحليلات الوحيدة في السوق حاليًا.

تقرير الترتيب

لقد طورنا أيضًا موصلًا فريدًا لـ Google Search Console لفهم كيفية العثور على موقعك وفهرسته ، وكيف تؤثر التحسينات على الصفحة على حركة المرور والفهرسة. نحن نقدم رؤى قياسية وشاملة فيما يتعلق بتوزيع كلماتك الرئيسية ومرات الظهور والنقرات ونسبة النقر إلى الظهور بمرور الوقت ، سواء كان ذلك على سطح المكتب أو الهاتف المحمول ، أو للكلمات الرئيسية ذات العلامات التجارية أو التي لا تحمل علامة تجارية أو فيما يتعلق بمجموعات الصفحات الخاصة بك. والأهم من ذلك أننا نقدم أيضًا تحليلًا فريدًا لم يحققه أي من منافسينا.
يستخدم OnCrawl التقسيمات والبيانات من ملفات السجل لتفسير بيانات الترتيب الخاصة بك. يمكنك بالتالي تحديد الخصائص المشتركة للصفحات التي يتم ترتيبها وتلك التي لا تتعلق بالعمق والشهرة الداخلية وعدد الكلمات والروابط الداخلية ووقت التحميل وتقييم العنوان. ليس ذلك فحسب ، بل يمكنك أيضًا فحص تأثير طول الوصف والبيانات المنظمة على نسبة النقر إلى الظهور.
أخيرًا ، تتيح لك OnCrawl Rankings دمج الزحف وملفات السجل وبيانات Search Console على نطاق واسع لتسليط الضوء على الصفحات المرتبة وفهم ما إذا كانت ميزانية الزحف تؤثر على مواضعك. لا تدعم أي عمليات زحف أخرى ، سواء أكانت على سطح المكتب أم قائمة على السحابة ، مثل هذه الميزات.

تقرير التحليلات

نسمح لك بتوصيل Google Analytics أو Adobe Analytics (Omniture سابقًا) لفهم كيفية تأثير تحسين محركات البحث على الصفحة والتقنية على أداء حركة المرور العضوية من محركات البحث. نحن نساعدك على مراقبة أداء حركة تحسين محركات البحث وسلوك المستخدم فيما يتعلق بكل قسم من أقسام موقع الويب الخاص بك.

استيعاب CSV

بينما نعمل باستمرار على عمليات تكامل جديدة من حلول الجهات الخارجية ، لم نرغب في تركك بدون نوع معين من البيانات التي قد تحتاجها لإجراء عمليات تدقيق تحسين محركات البحث الفنية. لهذا السبب نسمح لك بتحميل ملفات CSV على نطاق واسع (يمكنك تحميل ملايين الصفوف) لإضافة طبقة جديدة من البيانات على مستوى عنوان URL. يمكنك إنشاء التقسيمات والفلاتر الخاصة بك بناءً على هذه البيانات المعينة (التصنيفات ، CRM ، الأعمال ، بيانات إعلانات Google ، إلخ) لمعرفة ما إذا كانت صفحاتك الأكثر إستراتيجية تلبي أهدافك.

فتح API ، تحليل مخصص

يعتمد OnCrawl على منصة مبنية حول API. يتم استخدام OnCrawl REST API للوصول إلى بيانات الزحف الخاصة بك وكذلك إدارة مشاريعك وعمليات الزحف الخاصة بك. من أجل استخدام واجهة برمجة التطبيقات هذه ، يجب أن يكون لديك حساب OnCrawl واشتراك نشط ورمز وصول.
يمكنك إنشاء التطبيق الخاص بك لطلب واجهة برمجة التطبيقات هذه بسهولة بالغة. يمكن القيام بذلك باستخدام رمز API تم إنشاؤه بواسطة حساب المستخدم أو باستخدام تطبيق OAuth للاتصال بـ OnCrawl باستخدام حساب المستخدم.

باستخدام واجهة برمجة التطبيقات الخاصة بنا ، يمكنك كتابة التطبيقات التي تحقق أقصى استفادة من ميزات OnCrawl العديدة ، المنتشرة في بيئتك الخاصة ، باستخدام لغة البرمجة والأنظمة الأساسية التي تفضلها. هذا يعني أنه يمكنك إنشاء لوحات معلومات مخصصة ، ودمج بياناتنا في الأنظمة الأساسية الأخرى وتشغيل الزحف تلقائيًا كلما تم تحديث موقع ما.

أيضًا ، لتسهيل التكامل بالنسبة لك ، تتضمن جميع مخططاتنا استدعاءات واجهة برمجة التطبيقات وتنسيق الاستجابة في أيقونة المعلومات.

الاتجاهات والتحسينات بمرور الوقت

ينظم OnCrawl عمليات الزحف الخاصة بك حسب التاريخ داخل مشاريعك. نقوم بتخزين بيانات الزحف الخاصة بك أثناء تنشيط اشتراكك ، مما يعني أنه يمكنك تتبع شهور أو حتى سنوات من التحليلات. يرجى ملاحظة أنه إذا كنت تستخدم ميزة مراقبة السجل الخاصة بنا ، فإن تطبيق OnCrawl يتعامل مع البيانات الشخصية في شكل عناوين IP لزوار موقع الويب الخاص بك. هذه المعلومات مطلوبة للتمييز بشكل موثوق بين Googlebots والزائرين الآخرين. لا يتم تخزين عناوين IP في تطبيق OnCrawl. هذه البيانات موجودة فقط في الملف الأصلي الذي تقوم بتحميله إلى FTP الخاص والآمن.

نقدم أيضًا ميزات شاملة تتيح لك مقارنة عمليتي زحف ، بناءً على نفس تكوين الزحف ، لاكتشاف الاتجاهات والتغييرات بمرور الوقت. هذه طريقة رائعة لمقارنة الإصدار المرحلي والنسخة الحية ومعرفة ما إذا كان كل شيء قد سار بسلاسة أثناء الترحيل.
يمكنك أيضًا مشاركة مشاريعك مع زملائك في الفريق أو العملاء ، وهي طريقة رائعة لإثبات قيمة التحسينات الخاصة بك ومشاركة النتائج.

إظهار تطور المحتوى المكرر بين عمليتي زحف

عرض تطور حركات العمق بين عمليتي زحف

دلالات في كل مكان

يكمن الابتكار في جوهرنا وقد عملنا على نشر تحسين محركات البحث التقني لسنوات. مع أكثر من 15 عامًا من العمل على مشكلات معالجة اللغة الطبيعية ، ساعدنا Tanguy Moal ، كبير مسؤولي التكنولوجيا في OnCrawl ، على دمج تقنيات البيانات الدلالية والبيانات الضخمة لفهم الحجم الهائل من البيانات المتاحة على الويب. لقد حققنا أول كاشف شبه مكرر للمحتوى باستخدام خوارزمية Simhash.

مجموعة من الصفحات المتشابهة ذات التقييم الأساسي - يمكن تصفية المجموعات حسب عدد الصفحات أو النسبة المئوية لتشابه المحتوى

لقد عملنا مؤخرًا أيضًا على كاشف محتوى مخطط الحرارة الذي يساعد مستخدمينا على تحديد كتل المحتوى الفريد ونسبة التكرار عبر صفحات الويب وموقع الويب بالكامل. تُعد الدلالات جزءًا من متتبع ارتباطات SEO الخاص بنا: يتوفر تحليل n-grams منذ البداية لمساعدتك على فهم كيفية توزيع تسلسل الكلمات داخل موقع الويب. نحن الزاحف الوحيد المستند إلى السحابة الذي يتمتع بمثل هذه الإمكانات الدلالية. في منطقة تتزايد فيها استعلامات البحث التخاطبية ، تساعدك مُحسّنات محرّكات البحث الدلالية على تحسين حركة المرور إلى موقع ويب من خلال بيانات وصفية ذات مغزى ومحتوى ذي صلة لغويًا يمكن أن يوفر إجابة واضحة لهدف بحث محدد.
OnCrawl هو أكثر بكثير من مجرد برنامج زاحف لسطح المكتب ويقدم تحليل SEO لا مثيل له وقائم على السحابة على نطاق واسع. يتيح لك OnCrawl التصرف لفهم كيفية تصرف محركات البحث على موقع الويب الخاص بك حقًا وإنشاء إستراتيجية تحسين محركات البحث بثقة.

لا تأخذ كلمتنا على محمل الجد. جربه بنفسك وابدأ تجربتك المجانية اليوم.