كيف يعمل Google: قصة مهندس تصنيف Google #SMX

يعمل مهندس برمجيات Google Paul Haahr في Google منذ أكثر من 14 عامًا. بالنسبة لاثنين منهم ، شارك مكتبًا مع مات كاتس. لقد أخذ منصة SMX West 2016 لمشاركة كيفية عمل Google من منظور مهندس Google - أو على الأقل مشاركة أكبر قدر ممكن في 30 دقيقة. بعد ذلك ، سينضم إليه محلل اتجاهات مشرفي المواقع Gary Illyes على خشبة المسرح وسيجيب الاثنان على أسئلة من جمهور SMX مع تنسيق محرك البحث Land Engine Danny Sullivan (انتقل إلى قسم الأسئلة والأجوبة!).

كيف يعمل جوجل

افتتح "هاهر" بإخبارنا بما يفعله مهندسو Google. تشمل وظيفتهم:

• كود الكتابة لعمليات البحث
• تحسين المقاييس
• البحث عن إشارات جديدة
• الجمع بين الإشارات القديمة بطرق جديدة
• تتحرك النتائج مع تصنيفات جيدة
• نقل النتائج مع انخفاض التقييمات السيئة
• تحديد إرشادات التصنيف
• تطوير مقاييس جديدة عند الضرورة

جزءان من محرك البحث:

• قبل الوقت (قبل الاستعلام)
• معالجة الاستعلام

قبل الاستعلام

• الزحف على الويب
• تحليل الصفحات التي تم الزحف إليها
  • استخراج الروابط
  • تقديم المحتويات
  • علق الدلالات
• أنشئ فهرسًا

مؤشر

• مثل فهرس الكتاب
• لكل كلمة ، قائمة الصفحات التي تظهر عليها
• مقسمة إلى مجموعات من ملايين الصفحات
• بالإضافة إلى البيانات الوصفية لكل مستند

معالجة الاستعلام

• فهم الاستعلام والتوسيع
  هل يسمي الاستعلام أي كيانات معروفة؟
• الاسترجاع والتسجيل
  • أرسل الاستعلام إلى جميع القطع
    كل شظية
    • يجد الصفحات المطابقة
    • يحسب نتيجة الاستعلام + الصفحة
    • يُعيد أعلى صفحة N حسب النتيجة
  • ادمج كل الصفحات العليا
  • فرز حسب النتيجة
• تعديلات ما بعد الاسترجاع
  • تجميع المضيف
  • هل هناك ازدواجية

إشارات التهديف

الإشارة هي:

• جزء من المعلومات المستخدمة في التهديف
• استعلام مستقل - سمة من سمات الصفحة
• يعتمد على الاستعلام

المقاييس

"إذا لم تتمكن من قياسه ، فلا يمكنك تحسينه" - اللورد كلفن

• ملاءمة
  • هل الصفحة تجيب بشكل مفيد على استفسار المستخدم
  • مقياس الخط الأعلى للترتيب
• جودة
  • ما مدى جودة النتائج التي نعرضها
• وقت النتيجة (الأسرع أفضل)

يقيس Google نفسه بالتجارب الحية:

• تجارب A / B على حركة المرور الحقيقية
• ابحث عن التغييرات في أنماط النقر
• هناك الكثير من الزيارات في تجربة أو بأخرى

في وقت واحد ، اختبرت Google 41 نوعًا مختلفًا من البلوز لمعرفة الأفضل.

تُجري Google أيضًا تجارب لتقييم الأشخاص:

• إظهار نتائج البحث التجريبية لأشخاص حقيقيين
• اسأل كيف النتائج
• التصنيفات الإجمالية عبر المقيّمين
• نشر مبادئ توجيهية لشرح المعايير للمقيمين
• تدعم الأدوات القيام بذلك بطريقة آلية ، على غرار Mechanical Turk

يحكم Google على الصفحات بناءً على عاملين رئيسيين:

• Needs Met (حيث يكون الهاتف المحمول في المقدمة والوسط)
• جودة الصفحة

يحتاج التقى درجات:

• يلتقي تماما
• يلتقي للغاية
• يلتقي بشدة
• يجتمع باعتدال
• يلتقي قليلا
• فشل في تلبية

مفاهيم جودة الصفحة:

• E xpertise
• نفاذة
• جدارة الصدأ

عملية تطوير مهندس Google:

• فكرة
• كرر حتى الاستعداد
  • اكتب الكود
  • توليد البيانات
  • قم بإجراء التجارب
  • حلل
• تقرير إطلاق من قبل المحلل الكمي
• إطلاق الاستعراض
• إطلاق

ما الخطأ الذي يحدث؟

هناك نوعان من المشاكل:

• تقييمات سيئة بشكل منهجي
• المقاييس لا تلتقط الأشياء التي نهتم بها

هذا مثال على التقييم السيئ. يبحث شخص ما عن [سماد مزرعة تكساس] وتوفر نتيجة البحث خريطة لمقر الشركة المصنعة. من غير المحتمل أن يكون هذا ما يريدونه. تحدد Google هذا من خلال التجارب الحية. إذا رأى المقيم الخرائط وصنفها على أنها احتياجات "تلبي احتياجات" ، فهذا يعد إخفاقًا في نقطة التقييم.

أو ماذا لو كانت المقاييس مفقودة؟ في 2009-2011 ، كان هناك الكثير من الشكاوى حول محتوى منخفض الجودة. لكن مقاييس الصلة استمرت في الارتفاع ، بسبب مزارع المحتوى. الخلاصة: لم تكن Google تقيس المقاييس التي يجب أن تكون. وبالتالي ، تم تطوير مقياس الجودة بصرف النظر عن أهميته.

إليك مجموعة الشرائح الخاصة بـ Paul Haahr ، والتي تستحق المشاهدة:
تحديث 7/19: تم الآن وضع علامة على العرض التقديمي خاصًا بواسطة المؤلف.

جاري إليس وبول هار يجيبان على أسئلة جمهور SMX

SMX: كيف يتناسب RankBrain مع كل هذا؟

Haahr: حصل RankBrain على مجموعة فرعية من الإشارات. لا يمكنني الخوض في الكثير من التفاصيل حول كيفية عمل RankBrain. نحن نفهم كيف يعمل ولكن ليس بقدر ما يفعل. يستخدم الكثير من الأشياء التي نشرناها حول التعلم العميق.

كيف يعرف RankBrain سلطة الصفحة؟

Haahr: إنها وظيفة للتدريب الذي تحصل عليه. يرى استفسارات وإشارات أخرى. لا أستطيع أن أقول أن أكثر من ذلك بكثير سيكون مفيدًا.

SMX: عندما تقوم بتسجيل الدخول إلى أحد تطبيقات Google ، هل تميز بالمعلومات التي تجمعها؟ إذا كنت تستخدم Google Now مقابل Chrome ، فهل يمكن أن يؤثر ذلك على ما تراه؟

Haahr: إنها حقًا مسألة ما إذا كنت قد قمت بتسجيل الدخول أم لا. نحن نقدم تجربة متسقة. يتبعك سجل التصفح الخاص بك إلى أي منهما.

هل تقدم Google نتائج مختلفة لنفس الاستعلامات في أوقات مختلفة من اليوم؟

إليس: لست متأكدًا. في الخرائط ، على سبيل المثال ، إذا عرضنا شيئًا متعلقًا بالخرائط ، فسنعرض الساعات. لا يغير ما يظهر ، على حد علم غاري.

SMX: ما الذي يحدث مع Panda و Penguin؟

إليس: لقد تخليت عن إعطاء تاريخ أو جدول زمني على Penguin. نحن نعمل على ذلك ، ونفكر في كيفية إطلاقه ، لكنني بصراحة لا أعرف موعدًا ولا أريد أن أقول موعدًا لأنني كنت مخطئًا بالفعل ثلاث أو أربع مرات ، وهو أمر سيء للعمل.

SMX: حقوق التأليف لما بعد Google ، كيف يمكنك تتبع سلطة المؤلف؟

Haahr: لن أخوض في أي تفاصيل هناك. ما سأقوله هو أنه من المتوقع أن يقوم المقيمون بمراجعة ذلك يدويًا للصفحة التي يشاهدونها. ما نقيسه هو: هل نحن قادرون على القيام بعمل جيد لخدمة النتائج التي يعتقد المقيمون أنها سلطات جيدة.

SMX: هل هذا يعني أن السلطة تستخدم كعامل مباشر أو غير مباشر؟

Haahr: لن أقول نعم ولا لا. الأمر أكثر تعقيدًا من ذلك بكثير ولا يمكنني إعطاء إجابة مباشرة.

SMX: عندما انتهت حقوق التأليف الصريحة ، قالت Google إنها تحافظ على وجود أسطر ثانوية. هل يجب أن تهتم بـ rel = author على الإطلاق؟

إيليس: لا يزال هناك فريق واحد على الأقل يبحث في استخدام علامة rel = author فقط من أجل التطورات المستقبلية. إذا كنت من كبار المسئولين الاقتصاديين ، فما زلت أترك العلامة. لا يضر الحصول عليه. على الرغم من ذلك ، في الصفحات الجديدة ، ربما لا يستحق ذلك. على الرغم من أننا قد نستخدمه لشيء ما في المستقبل.

SMX: ماذا تقرأ الآن؟

ههار: قرأت الكثير من الصحافة وقليل من الكتب. ومع ذلك ، فقد انتهيت للتو من "City on Fire" - إنها مدينة نيويورك في السبعينيات. هناك 900 صفحة وشعرت بخيبة أمل عندما انتهى. لقد بدأت للتو "لا يمكن أن يحدث هنا".