Raport privind statisticile cu crawlere Google vs analiza fișierului jurnal: care este câștigătorul?

Publicat: 2020-12-22

Pe 24 noiembrie, Google a lansat o nouă versiune a raportului Search Console Crawl Statistics. Această actualizare vă oferă date pe care le puteți utiliza pentru a depana problemele de accesare cu crawlere și pentru a verifica starea site-ului dvs.

Versiunea anterioară indică doar numărul de pagini accesate cu crawlere pe zi, kiloocteți descărcați pe zi, timpul petrecut pentru descărcarea paginilor pe zi.

Cu această nouă versiune, aceleași informații sunt disponibile cu un aspect actualizat pentru a se potrivi cu restul Search Console:

Dar nu se oprește aici. Google oferă mult mai multe informații despre cum accesează cu crawlere site-ul dvs. Și cu atât de multe informații disponibile direct de la Google, se pune întrebarea: mai avem nevoie de fișiere jurnal?

Să începem prin a ne uita la noul raport în sine.

Tot ce trebuie să știți despre Raportul privind statisticile de accesare cu crawlere Google Search Console

Unde puteți găsi noul raport privind statisticile de accesare cu crawlere?

Noul raport privind statisticile de accesare cu crawlere este disponibil automat pentru oricine are un cont Google Search Console.

Conectați-vă la Search Console și navigați la „Setări” din bara laterală din stânga. Apoi faceți clic pe „Statistici de accesare cu crawlere”.

Ce este în noul raport privind statisticile accesării cu crawlere?

Pentru a vă ajuta să vă găsiți drumul în noile informații extinse, vă recomandăm tutorialul lui Tomek Rudzki pe Twitter:

Tomek evidențiază noi date și cazuri de utilizare SEO pentru fiecare:

  • Gazde cu cele mai multe accesări Googlebot: găsiți subdomeniile care sunt accesate cel mai frecvent cu crawlere de Google.
  • Codurile de stare returnate la Googlebot: aflați ce procent din bugetul dvs. de accesare cu crawlere este utilizat de răspunsurile non-200 (adică: redirecționări, pagini lipsă și erori).
  • Tip de fișier: înțelegeți cât de des solicită Googlebot fișiere de resurse, cum ar fi fișiere CSS, fișiere JavaScript și imagini.
  • Scopul vizitei Googlebot: aflați dacă Google descoperă conținut nou sau reîmprospătează conținutul pe care îl cunoaște deja.
  • Împărțirea între solicitările făcute de smartphone-ul Googlebot și cele făcute de desktop Googlebot: confirmați dacă site-ul dvs. este pregătit pentru trecerea completă la Mobile-First Indexing în martie 2021.
  • Un eșantion de adrese URL accesate cu crawlere: obțineți o idee despre unele dintre adresele URL accesate recent cu crawlere de pe site-ul dvs.
  • Stare gazdă: o nouă valoare care arată dacă serverul dvs. a avut probleme recent. De exemplu, aceasta ia în considerare disponibilitatea robots.txt și rezoluția DNS.

Cele trei lucruri preferate ale noastre despre Raportul Statistici de accesare cu crawlere

Există prea multe beneficii oferite de Raportul Statistici de accesare cu crawlere pentru a le enumera pe toate, mai ales dacă nu aveți acces la fișierele jurnal. Dar iată primele noastre trei:

1. Acest raport este destinat tuturor.
Oferă statistici de acces cu crawlere Googlebot la nivel înalt, ușor de citit. Este clar când lucrurile merg bine și când există probleme care ar putea trebui rezolvate. În unele cazuri, merge și mai departe: de exemplu, oferă indicii precum indicatorii de stare verde/galben/roșu pentru starea gazdei.

Chiar dacă sunteți nou în urmărirea bugetului cu bot și accesare cu crawlere, nu ar trebui să vă pierdeți când priviți aceste rapoarte.

2. Documentația este grozavă.
Documentația nu numai că răspunde la 99% dintre întrebările dvs., dar oferă și cele mai bune practici și sfaturi pentru sănătatea serverului, semnale roșii, gestionarea frecvenței de accesare cu crawlere și disputele de bază cu Googlebot.

3. Date despre „de ce” din spatele solicitărilor Googlebot
Putem urmări Googlebot, dar multe concluzii cu privire la motivul pentru care Google vizitează o pagină trebuie trase pe baza unor date limitate. Secțiunea Explorare cu crawlere după scop și solicitările de randare care sunt vizibile sub „Încărcarea resurselor paginii” oferă un răspuns fără ambiguitate la unele dintre întrebările noastre. Acum știm sigur dacă Google descoperă o pagină, actualizează pagina sau descarcă o resursă într-o a doua trecere separată pentru a reda pagina.

[Studiu de caz] Gestionarea accesării cu crawlere a botului Google

Cu peste 26 000 de referințe de produse, 1001Pneus avea nevoie de un instrument de încredere pentru a-și monitoriza performanța SEO și pentru a se asigura că Google își dedica bugetul de accesare cu crawlere categoriilor și paginilor potrivite. Aflați cum să gestionați cu succes bugetul de accesare cu crawlere pentru site-urile web de comerț electronic cu OnCrawl.
Citiți studiul de caz

Care este diferența dintre informațiile disponibile în fișierele jurnal și Raportul Statistici de accesare cu crawlere?

Statisticile de accesare cu crawlere sunt limitate la Googlebots

Statistici de accesare cu crawlere: 0
 Jurnalele: 1

Fișierele jurnal ale serverului dvs. înregistrează fiecare solicitare pentru oricare dintre fișierele și resursele care alcătuiesc site-ul dvs., indiferent de la cine provin. Aceasta înseamnă că jurnalele vă pot spune despre mai mult decât Googlebot.

Cu toate acestea, Raportul Google Statistici de accesare cu crawlere este (în mod firesc!) limitat la propria activitate a Google pe site-ul dvs.

Iată câteva dintre informațiile pe care le puteți obține din fișierele jurnal care nu apar în Statisticile de accesare cu crawlere:

  • Informații despre alte motoare de căutare, cum ar fi Bing. Puteți vedea cum accesează cu crawlere site-ul dvs., dar și modul în care comportamentul lor diferă sau se aliniază cu cel al Googlebot:

  • Informații despre ce instrumente (și concurenți) încearcă să acceseze cu crawlere site-ul dvs. Deoarece informațiile disponibile nu se limitează la Googlebot, puteți vedea și dacă alți roboți sunt activi pe site-ul dvs.
  • Informații despre paginile de referință. Acest lucru vă poate ajuta să găsiți mai multe informații despre backlink-urile dvs. cele mai active. În HTTPS, ultima pagină vizitată sau „pagina de referință” este, de asemenea, înregistrată cu fiecare solicitare.
  • Informații despre traficul organic... și nu doar traficul de la Google! Folosind paginile de referință, puteți identifica traficul din paginile cu rezultate ale motorului de căutare și puteți vedea mai bine cum interacționează acești vizitatori cu site-ul dvs. Acest tip de informații pot fi folosite pentru a confirma sau corecta numerele furnizate de soluția dvs. Analytics, dacă utilizați una.
  • Identificarea paginilor orfane. Deoarece jurnalele dvs. conțin toate adresele URL solicitate de vizitatori, orice pagini „active” cu trafic bot sau uman care nu sunt legate în structura site-ului dvs. vor apărea în jurnalele dvs. Comparând o listă de adrese URL din fișierele dvs. jurnal cu o listă de adrese URL din structura site-ului dvs. dintr-o accesare cu crawlere, va fi ușor să identificați paginile orfane.

Complet și actualizat?

Statistici de accesare cu crawlere: 0
 Jurnalele: 2

Sunt datele dvs. complete și actualizate? Jurnalele dvs. sunt. Și Statisticile dvs. de accesare cu crawlere ar putea fi.

Mulți oameni au observat rapid diferențe de 20-40% între raportul Google Search Console și fișierele lor jurnal: raportul Statistici cu crawlere nu raportează activitatea Googlebot în acest moment. Aceasta este o problemă cunoscută în Statisticile de accesare cu crawlere, dar nu și în jurnalele dvs.!

În plus, la fel ca toate informațiile din Search Console, poate exista un decalaj între ultima dată disponibilă a datelor și data de astăzi. Până acum, am observat o diferență de până la opt zile în raportul Statistici cu crawlere.

Pe de altă parte, puteți folosi fișierele jurnal pentru monitorizare în timp real: nu există niciodată o întârziere!

Liste agregate vs liste complete de adrese URL accesate cu crawlere

Statistici de accesare cu crawlere: 0
 Jurnalele: 3

Statisticile de accesare cu crawlere oferă date agregate pentru toate adresele dvs. URL. Raportul este echivalent cu un tablou de bord. Când căutați lista de adrese URL din spatele unei anumite valori, veți vedea o listă de „exemple”. De exemplu, este posibil să aveți câteva sute de exemple de solicitări de 4,56K pentru fișiere imagine:

Cu toate acestea, în fișierele jurnal, aveți o listă completă a adreselor URL din spatele oricărei valori. Puteți vedea TOATE solicitările în jurnalele dvs., nu doar o mostră.

Se filtrează pentru regiuni, date, adrese URL...

Statistici de accesare cu crawlere: 0
 Jurnalele: 4

Pentru a fi cu adevărat utile, Statisticile de accesare cu crawlere ar putea beneficia de filtre mai largi care se aplică tuturor solicitărilor, nu doar mostrelor:

Ar fi grozav să aveți mai multă flexibilitate pentru a:

  • Schimbați intervalul de date la care ne uităm
  • Concentrați-vă pe o anumită regiune geografică prin căutarea IP
  • Filtrați mai bine după grupuri de adrese URL
  • Aplicați opțiunile de filtrare graficelor

Puteți face toate acestea – și multe altele – în fișierele jurnal.

Informații specifice Googlebot

Statistici de accesare cu crawlere: 1
 Jurnalele: 4

După cum am văzut, Google utilizează Raportul Statistici de accesare cu crawlere pentru a furniza informații despre scopul accesării cu crawlere:

    • Reîmprospătare vs Discovery

  • Resurse de pagină (o preluare secundară)

Aceste informații nu pot fi găsite nicăieri altundeva, indiferent cât de inteligent ați privi datele din fișierele dvs. jurnal.

Acces usor

Statistici de accesare cu crawlere: 2
 Jurnalele: 4

Accesul la raportul Statistici de accesare cu crawlere este simplu: Statisticile de accesare cu crawlere sunt disponibile automat pentru oricine are acces la Search Console.

Din punct de vedere tehnic, fișierele jurnal ar trebui să fie disponibile și pentru orice webmaster. Dar de multe ori acest lucru nu este cazul. Adesea, echipele de dezvoltare, echipele IT sau companiile client nu înțeleg importanța furnizării accesului la fișierele jurnal. În zone precum UE, unde legile privind confidențialitatea restricționează accesul la „date de identificare personală”, cum ar fi adresele IP, accesul la fișierele jurnal poate reprezenta o problemă juridică. Puteți utiliza anumite instrumente, cum ar fi OnCrawl, care nu stochează informații sensibile.

Odată ce aveți acces la fișierele jurnal, există instrumente gratuite pentru a analiza datele și există puține formate proprietare. Cu alte cuvinte, fișierele jurnal sunt o sursă de date destul de democratică... odată ce puneți mâna pe ele.

Este un fapt: mulți SEO au probleme cu accesul la jurnalele. Așadar, în timp ce, teoretic, fișierele jurnal oferă acces ușor la date, punctul pe acesta merge la Raportul Statistici cu crawlere, care este disponibil în două clicuri din instrumentul gratuit Google.

Analizor de jurnal oncrawl

Analiza fișierelor jurnal pentru monitorizarea botului și optimizarea bugetului de accesare cu crawlere. Detectați problemele de sănătate ale site-ului și îmbunătățiți frecvența accesării cu crawlere.
Află mai multe

Nu este (încă) disponibil pentru integrare în alte instrumente și analize

Statistici de accesare cu crawlere: 2
 Jurnalele: 5

Google Search Console vă permite să exportați și să descărcați informațiile disponibile prin interfața web a Raportului Statistici de accesare cu crawlere. Aceasta înseamnă, totuși, că informațiile descărcate au aceleași limitări ca și versiunile de pe ecran.

În plus, Statisticile de accesare cu crawlere nu sunt (încă?) disponibile prin intermediul API-ului, așa că poate fi dificil să conectați aceste informații la procese automate de raportare și analiză sau chiar să le faceți copii de rezervă pentru o vizualizare mai largă a datelor istorice.

Cu fișierele jurnal, stocarea, accesul și reutilizarea depind în general de dvs. Acest lucru face fișierele jurnal mult mai ușor de utilizat atunci când sunt îmbinate cu alte surse de date, cum ar fi urmărirea clasamentului, datele de accesare cu crawlere sau datele de analiză. De asemenea, sunt mai ușor de integrat în fluxurile de raportare, tablouri de bord și vizualizare a datelor.

Câștigătorul final: fișierele jurnal!

Cu cinci puncte până la doar două puncte pentru raportul Statistici de accesare cu crawlere, fișierele jurnal sunt câștigătoarele clare aici dacă doriți informații complete despre modul în care motoarele de căutare interacționează cu site-ul dvs.

Dar să fim clari: raportul actualizat Statistici cu crawlere oferă o mulțime de informații noi: coduri de stare, tipuri de fișiere, subdomenii (pentru proprietățile domeniului), detalii despre starea gazdei și multe altele. Vă oferă mai multe informații detaliate și date acționabile pentru a înțelege cum este accesat cu crawlere site-ul dvs. și acum puteți urmări modificările în modelele de accesare cu crawlere.

Va fi un mare pas înainte pentru persoanele care nu pot avea acces la fișierele jurnal ale lor sau ale clienților lor.

Cu toate acestea, nu toate sunt profesioniști!

Dezavantajele noului raport sunt că, deși este un tablou de bord bun pentru monitorizarea Googlebot și un plus excelent pentru a completa analiza fișierelor jurnal, este limitat în multe privințe. Nu uitați, numai fișierele dvs. de jurnal vă vor afișa toate solicitările pe adresă URL, mai degrabă decât o tendință agregată.

În plus, există o problemă cunoscută în raportul GSC, în care unele solicitări nu sunt luate în considerare în acest moment, iar datele pot dura – la momentul redactării acestui articol – până la o săptămână să apară în raportul Statistici de accesare cu crawlere. (Cu toate acestea, avem încredere că Google lucrează la aceste probleme și ele vor dispărea în curând!)

Iată ce vă recomandăm: utilizați acest raport pentru a ști exact ce să căutați în fișierele dvs. jurnal. Și apoi aruncați-vă în analiza dvs. de jurnal!