Cara Kerja Google: Kisah Insinyur Peringkat Google #SMX

Insinyur Perangkat Lunak Google Paul Haahr telah bekerja di Google selama lebih dari 14 tahun. Untuk dua dari mereka, dia berbagi kantor dengan Matt Cutts. Dia mengikuti panggung SMX West 2016 untuk berbagi cara kerja Google dari sudut pandang insinyur Google – atau, setidaknya, berbagi sebanyak yang dia bisa dalam 30 menit. Setelah itu, Analis Tren Webmaster Gary Illyes akan bergabung dengannya di atas panggung dan keduanya akan menjawab pertanyaan dari audiens SMX dengan moderator Editor Land Search Engine Danny Sullivan (lompat ke bagian T&J!).

Cara Kerja Google

Haahr dibuka dengan memberi tahu kami apa yang dilakukan teknisi Google. Pekerjaan mereka meliputi:

• Menulis kode untuk pencarian
• Mengoptimalkan metrik
• Mencari sinyal baru
• Menggabungkan sinyal lama dengan cara baru
• Memindahkan hasil dengan peringkat bagus naik
• Memindahkan hasil dengan peringkat buruk turun
• Memperbaiki pedoman peringkat
• Mengembangkan metrik baru bila perlu

Dua bagian dari mesin pencari:

• Sebelumnya (sebelum kueri)
• Pemrosesan kueri

Sebelum Pertanyaan

• Jelajahi web
• Analisis halaman yang dirayapi
  • Ekstrak tautan
  • Render konten
  • Semantik anotasi
• Buat indeks

Indeks

• Seperti indeks buku
• Untuk setiap kata, daftar halaman tempat kata itu muncul
• Dipecah menjadi kelompok jutaan halaman
• Ditambah metadata per dokumen

Pemrosesan Kueri

• Pemahaman dan perluasan kueri
  Apakah kueri menyebutkan entitas yang dikenal?
• Pengambilan dan penilaian
  • Kirim kueri ke semua pecahan
    Setiap pecahan
    • Menemukan halaman yang cocok
    • Menghitung skor untuk kueri+halaman
    • Mengirim kembali halaman N teratas berdasarkan skor
  • Gabungkan semua halaman teratas
  • Urutkan berdasarkan skor
• Penyesuaian pasca pengambilan
  • Pengelompokan tuan rumah
  • Apakah ada duplikasi?

Sinyal Skor

Sebuah sinyal adalah:

• Sepotong informasi yang digunakan dalam penilaian
• Permintaan independen – fitur halaman
• Tergantung permintaan

Metrik

"Jika Anda tidak dapat mengukurnya, Anda tidak dapat meningkatkannya" - Lord Kelvin

• Relevansi
  • Apakah halaman berguna menjawab pertanyaan pengguna?
  • Metrik peringkat teratas
• Kualitas
  • Seberapa bagus hasil yang kami tampilkan
• Waktu untuk hasil (lebih cepat lebih baik)

Google mengukur dirinya sendiri dengan eksperimen langsung:

• Eksperimen A/B pada lalu lintas nyata
• Cari perubahan pola klik
• Banyak lalu lintas dalam satu eksperimen atau lainnya

Pada suatu waktu, Google menguji 41 blues berbeda untuk melihat mana yang terbaik.

Google juga melakukan eksperimen penilai manusia:

• Tampilkan hasil pencarian eksperimental orang sungguhan
• Tanyakan bagaimana hasilnya
• Peringkat agregat di seluruh penilai
• Publikasikan pedoman yang menjelaskan kriteria untuk penilai
• Alat mendukung melakukan ini dengan cara otomatis, mirip dengan Mechanical Turk

Google menilai halaman berdasarkan dua faktor utama:

• Needs Met (di mana ponsel berada di depan dan di tengah)
• Kualitas Halaman

Kebutuhan Memenuhi nilai:

• Sepenuhnya Bertemu
• Sangat Sangat Memenuhi
• Sangat Bertemu
• Cukup Bertemu
• Sedikit Bertemu
• Gagal Bertemu

Konsep kualitas halaman:

• Keahlian
• Sebuah uthoritativeness
• ketangguhan

Proses pengembangan insinyur Google:

• Ide
• Ulangi sampai siap
  • Tulis kode
  • Hasilkan data
  • Jalankan eksperimen
  • Menganalisa
• Peluncuran laporan oleh analis kuantitatif
• Luncurkan ulasan
• Meluncurkan

Apa yang salah?

Ada dua macam masalah:

• Peringkat buruk secara sistematis
• Metrik tidak menangkap hal-hal yang kami pedulikan

Berikut adalah contoh peringkat yang buruk. Seseorang mencari [pupuk pertanian Texas] dan hasil pencarian memberikan peta ke markas besar produsen. Sangat tidak mungkin bahwa itulah yang mereka inginkan. Google menentukan ini melalui eksperimen langsung. Jika seorang penilai melihat peta dan menilainya sebagai kebutuhan "Sangat Memenuhi", maka ini adalah kegagalan pada titik penilaian.

Atau, bagaimana jika metrik tidak ada? Pada 2009-2011, ada banyak keluhan tentang konten berkualitas rendah. Tetapi metrik relevansi terus meningkat, karena kumpulan konten. Kesimpulan: Google tidak mengukur metrik yang seharusnya. Dengan demikian, metrik kualitas dikembangkan terlepas dari relevansi.

Inilah dek slide Paul Haahr, yang patut dilihat:
Pembaruan 19/7: Presentasi sekarang telah ditandai sebagai pribadi oleh penulis.

Gary Illyes dan Paul Haahr Menjawab Pertanyaan dari Audiens SMX

SMX: Bagaimana RankBrain cocok dengan semua ini?

Haahr: RankBrain dapat melihat sebagian dari sinyal. Saya tidak bisa menjelaskan terlalu banyak tentang cara kerja RankBrain. Kami memahami cara kerjanya tetapi tidak sebanyak apa yang dilakukannya. Ini menggunakan banyak hal yang telah kami publikasikan tentang pembelajaran mendalam.

Bagaimana RankBrain mengetahui otoritas halaman?

Haahr: Ini semua adalah fungsi dari pelatihan yang didapatnya. Ia melihat kueri dan sinyal lainnya. Saya tidak bisa mengatakan lebih banyak lagi yang akan berguna.

SMX: Saat Anda masuk ke aplikasi Google, apakah Anda membedakannya berdasarkan informasi yang Anda kumpulkan? Jika Anda menggunakan Google Now vs. Chrome, dapatkah hal itu memengaruhi apa yang Anda lihat?

Haahr: Ini benar-benar pertanyaan apakah Anda masuk atau tidak. Kami memberikan pengalaman yang konsisten. Riwayat penjelajahan Anda mengikuti Anda.

Apakah Google memberikan hasil yang berbeda untuk kueri yang sama pada waktu yang berbeda dalam sehari?

Illyes: Saya tidak yakin. Di Peta, misalnya, jika kami menampilkan sesuatu yang terkait dengan peta, kami akan menunjukkan jam. Itu tidak mengubah apa yang muncul, sepengetahuan Gary.

SMX: Ada apa dengan Panda dan Penguin?

Illyes: Saya menyerah memberikan tanggal atau garis waktu di Penguin. Kami sedang mengerjakannya, memikirkan bagaimana meluncurkannya, tetapi sejujurnya saya tidak tahu tanggalnya dan saya tidak ingin mengatakan tanggalnya karena saya sudah salah tiga atau empat kali, dan itu buruk untuk bisnis.

SMX: Post-Google Authorship, bagaimana Anda melacak otoritas penulis?

Haahr: Di sana saya tidak akan membahas detailnya. Apa yang akan saya katakan adalah penilai diharapkan untuk meninjau secara manual untuk halaman yang mereka lihat. Apa yang kami ukur adalah: apakah kami mampu melakukan pekerjaan dengan baik dalam menyajikan hasil yang menurut penilai adalah otoritas yang baik.

SMX: Apakah itu berarti otoritas digunakan sebagai faktor langsung atau tidak langsung?

Haahr: Saya tidak akan mengatakan ya atau tidak. Ini jauh lebih rumit dari itu dan saya tidak bisa memberikan jawaban langsung.

SMX: Ketika penulisan eksplisit berakhir, Google memang mengatakan untuk tetap memiliki byline. Haruskah Anda repot dengan rel=author sama sekali?

Illyes: Setidaknya ada satu tim yang masih menggunakan tag rel=author hanya untuk pengembangan di masa mendatang. Jika saya seorang SEO saya masih akan meninggalkan tag. Tidak ada salahnya untuk memilikinya. Pada halaman baru, bagaimanapun, itu mungkin tidak layak untuk dimiliki. Meskipun kita mungkin menggunakannya untuk sesuatu di masa depan.

SMX: Apa yang sedang kamu baca sekarang?

Haahr: Saya membaca banyak jurnalisme dan sangat sedikit buku. Namun, saya baru saja menyelesaikan “City on Fire” – ini tentang New York di tahun 70-an. Ada 900 halaman dan saya kecewa ketika itu berakhir. Saya baru saja memulai "Ini Tidak Dapat Terjadi Di Sini".