Cum funcționează Google: Povestea unui inginer de clasare Google #SMX

Inginerul software Google Paul Haahr este la Google de mai bine de 14 ani. Pentru doi dintre ei, a împărțit un birou cu Matt Cutts. El merge pe scena SMX West 2016 pentru a împărtăși modul în care funcționează Google din perspectiva unui inginer Google – sau, cel puțin, împărtășește cât de mult poate în 30 de minute. După aceea, pe scenă i se va alătura webmaster Trends Analyst, iar cei doi vor răspunde la întrebări din partea publicului SMX, cu moderarea editorului Search Engine Land Danny Sullivan (săriți la secțiunea de întrebări și răspunsuri!).

Cum funcționează Google

Haahr deschide spunându-ne ce fac inginerii Google. Munca lor include:

• Scrierea codului pentru căutări
• Optimizarea valorilor
• Caut semnale noi
• Combinarea semnalelor vechi în moduri noi
• Mutarea rezultatelor cu evaluări bune în sus
• Mutarea rezultatelor cu evaluări proaste în jos
• Fixarea ghidurilor de evaluare
• Dezvoltarea de noi valori atunci când este necesar

Două părți ale unui motor de căutare:

• Din timp (înainte de interogare)
• Procesarea interogărilor

Înainte de interogare

• Accesați cu crawlere web
• Analizați paginile accesate cu crawlere
  • Extrageți linkuri
  • Redați conținutul
  • Adnotă semantica
• Construiește un index

Indexul

• Ca indexul unei cărți
• Pentru fiecare cuvânt, o listă de pagini pe care apare
• Împărțit în grupuri de milioane de pagini
• Plus metadate per document

Procesarea interogărilor

• Înțelegerea și extinderea interogărilor
  Interogarea numește vreo entitate cunoscută?
• Recuperare și punctare
  • Trimiteți interogarea tuturor fragmentelor
    Fiecare ciob
    • Găsește paginile potrivite
    • Calculează un scor pentru interogare+pagină
    • Trimite înapoi primele N pagini după scor
  • Combină toate paginile de sus
  • Sortați după scor
• Ajustări post-recuperare
  • Clustering gazdă
  • Există dublare

Semnale de punctaj

Un semnal este:

• O informație folosită în notare
• Interogare independentă – caracteristică a unei pagini
• Depinde de interogare

Metrici

„Dacă nu o poți măsura, nu o poți îmbunătăți” – Lord Kelvin

• Relevanţă
  • O pagină răspunde în mod util la întrebarea utilizatorului
  • Valoarea de top a clasamentului
• Calitate
  • Cât de bune sunt rezultatele pe care le arătăm
• E timpul să rezulte (mai repede este mai bine)

Google se măsoară cu experimente live:

• Experimente A/B pe trafic real
• Căutați modificări ale modelelor de clic
• Mult trafic este într-un experiment sau altul

La un moment dat, Google a testat 41 de blues diferite pentru a vedea care era cel mai bun.

Google face, de asemenea, experimente de evaluare umană:

• Afișați rezultate de căutare experimentale pentru persoane reale
• Întrebați cum sunt rezultatele
• Evaluări agregate între evaluatori
• Publicați ghiduri care explică criteriile pentru evaluatori
• Instrumentele acceptă acest lucru într-un mod automat, similar cu Mechanical Turk

Google judecă paginile pe doi factori principali:

• Nevoi îndeplinite (unde mobilul este în față și în centru)
• Calitatea paginii

Necesită note îndeplinite:

• Îndeplinește pe deplin
• Întâlnește foarte bine
• Întâlnește foarte mult
• Întâlnește moderat
• Întâlnește ușor
• Nu se întâlnește

Concepte de calitate a paginii:

• Experienta
• O autoritate
• fiabilitate

Procesul de dezvoltare inginer Google:

• Idee
• Repetați până când este gata
  • Scrie cod
  • Generați date
  • Rulați experimente
  • A analiza
• Raport de lansare de către analist cantitativ
• Lansați recenzia
• Lansa

Ce merge prost?

Există două tipuri de probleme:

• Evaluări sistematic proaste
• Valorile nu surprind lucrurile la care ne pasă

Iată un exemplu de evaluare proastă. Cineva caută [Îngrășământ pentru fermă Texas] și rezultatul căutării oferă o hartă către sediul producătorului. Este foarte puțin probabil că asta vor ei. Google determină acest lucru prin experimente live. Dacă un evaluator vede hărțile și le evaluează ca fiind nevoile „Îndeplinește foarte bine”, atunci aceasta este un eșec la punctul de evaluare.

Sau ce se întâmplă dacă valorile lipsesc? În 2009-2011, au existat o mulțime de plângeri privind conținutul de calitate scăzută. Dar valorile de relevanță au continuat să crească, datorită fermelor de conținut. Concluzie: Google nu măsura valorile pe care trebuiau să le fie. Astfel, metrica calității a fost dezvoltată în afară de relevanță.

Iată pachetul de diapozitive al lui Paul Haahr, care merită aruncat o privire:
Actualizare 7/19: Prezentarea a fost acum marcată ca privată de către autor.

Gary Illyes și Paul Haahr răspund la întrebări din partea audienței SMX

SMX: Cum se potrivește RankBrain în toate acestea?

Haahr: RankBrain poate vedea un subset de semnale. Nu pot intra în prea multe detalii despre cum funcționează RankBrain. Înțelegem cum funcționează, dar nu la fel de mult ce face. Folosește multe din materialele pe care le-am publicat despre învățarea profundă.

Cum ar cunoaște RankBrain autoritatea unei pagini?

Haahr: Totul este o funcție a pregătirii pe care o primește. Vede interogări și alte semnale. Nu pot spune atât de mult mai mult, care ar fi util.

SMX: Când sunteți conectat la o aplicație Google, vă diferențiați în funcție de informațiile pe care le adunați? Dacă sunteți în Google Now vs. Chrome, poate afecta ceea ce vedeți?

Haahr: Într-adevăr, este o întrebare dacă ești conectat sau nu. Oferim o experiență consistentă. Istoricul dvs. de navigare vă urmărește până la oricare.

Oferă Google rezultate diferite pentru aceleași interogări la momente diferite ale zilei?

Illyes: Nu sunt sigur. În Hărți, de exemplu, dacă afișăm ceva legat de hărți, vom afișa orele. Nu schimbă ceea ce apare, după cunoștințele lui Gary.

SMX: Ce se întâmplă cu Panda și Penguin?

Illyes: Am renunțat să dau o dată sau cronologie pentru Penguin. Lucrăm la el, ne gândim cum să-l lansăm, dar sincer nu știu o dată și nu vreau să spun o întâlnire pentru că am greșit deja de trei-patru ori și este rău pentru afaceri.

SMX: Post-Google Authorship, cum urmăriți autoritatea autorului?

Haahr: Nu voi intra în niciun detaliu. Ceea ce voi spune este că evaluatorii trebuie să revizuiască manual pentru o pagină pe care o văd. Ceea ce măsurăm este: suntem capabili să facem o treabă bună pentru a oferi rezultate pe care evaluatorii le consideră autorități bune.

SMX: Asta înseamnă că autoritatea este folosită ca factor direct sau indirect?

Haahr: Nu aș spune da sau nu. E mult mai complicat de atât și nu pot da un răspuns direct.

SMX: Când s-a încheiat autoritatea explicită, Google a spus să continuăm să aibă linii de autor. Ar trebui să vă deranjați deloc cu rel=author?

Illyes: Există cel puțin o echipă care încă se gândește să folosească eticheta rel=author doar de dragul dezvoltărilor viitoare. Dacă aș fi SEO, tot aș lăsa eticheta. Nu strica sa o ai. Pe paginile noi, însă, probabil că nu merită să le ai. Deși l-am putea folosi pentru ceva în viitor.

SMX: Ce citești acum?

Haahr: Am citit mult jurnalism și foarte puține cărți. Totuși, tocmai am terminat „City on Fire” – este vorba despre New York-ul anilor '70. Sunt 900 de pagini și am fost dezamăgit când s-a terminat. Tocmai am început „Nu se poate întâmpla aici”.