Webinar Digest: Audit SEO live și fișiere jurnal cu Bill Hartzer

Publicat: 2018-10-02

Pe 25 septembrie, OnCrawl a fost bucuros să îl găzduiască pe Bill Hartzer pentru un webinar despre analiza fișierelor jurnal și de ce este importantă pentru auditurile SEO. A parcurs propriul său site web pentru a arăta impactul optimizărilor asupra activității roboților și a frecvenței de accesare cu crawlere.

Vă prezentăm pe Bill Hartzer

Bill Hartzer este consultant SEO și expert în nume de domenii cu peste 20 de ani de experiență. Bill este recunoscut la nivel internațional ca expert în domeniul său și a fost recent intervievat pe CBS News ca fiind unul dintre cei mai importanți experți în căutare a țării.

Pe parcursul acestui webinar de o oră, Bill ne oferă o privire asupra fișierelor sale jurnal și discută cum le folosește în contextul unui audit al site-ului. El prezintă diferitele instrumente pe care le folosește pentru a verifica performanța site-ului și comportamentul botului pe site-ul său.

În cele din urmă, Bill răspunde la întrebări despre cum să utilizați OnCrawl pentru a vizualiza rezultate semnificative și oferă sfaturi altor SEO.

Cum să vă accesați fișierele jurnal prin pluginul cPanel pentru WordPress

Dacă site-ul dvs. este construit cu WordPress și utilizați pluginul cPanel, puteți găsi jurnalele serverului dvs. direct în interfața WordPress.

Navigați la Metrics, apoi la Raw Access. Acolo, puteți descărca fișiere jurnal zilnice din managerul de fișiere, precum și arhive arhivate ale fișierelor jurnal mai vechi.

Examinați conținutul unui fișier jurnal

Un fișier jurnal este un fișier text mare care conține informații despre toți vizitatorii site-ului dvs., inclusiv roboții. Îl puteți deschide folosind un editor de text de bază.

Nu este dificil să identificați potențiale accesări bot de la googlebot sau bing, care se identifică în fișierele jurnal, deși este o idee bună să confirmați identificarea botului folosind căutări IP.

Este posibil să găsiți și alți roboți care accesează cu crawlere site-ul dvs., dar care s-ar putea să nu vă fie de folos. Puteți bloca accesul acestor roboți pe site-ul dvs.

OnCrawl va procesa analizele brute din fișierele dvs. jurnal pentru a vă oferi o imagine clară asupra roboților care vă vizitează site-ul.

Utilizarea fișierelor de jurnal pentru mai multe informații despre Statisticile de accesare cu crawlere

Informațiile despre Statisticile de accesare cu crawlere sunt disponibile în versiunea veche a Google Search Console, sub Accesare cu crawlere > Statisticile de accesare cu crawlere, capătă un nou sens în comparație cu informațiile din fișierele dvs. jurnal.

Trebuie să știți că datele afișate în Google Search Console nu se limitează la roboții SEO ai Google și, prin urmare, pot fi mai puțin utile decât informațiile mai exacte pe care le puteți obține analizând fișierele jurnal.

Exemple recente de activitate neobișnuită de accesare cu crawlere

Bill analizează trei vârfuri recente vizibile în statisticile de accesare cu crawlere din Google Search Console. Acestea corespund unor evenimente mari care declanșează o activitate crescută de accesare cu crawlere.

Spike de indexare Mobile First

Creșterea din 7 septembrie în Google Search Console ar putea părea, la început, fără legătură cu evenimentele de pe site. Cu toate acestea, o privire asupra analizei jurnalului din OnCrawl a oferit indicii:


Analiza fișierelor jurnal ne permite să vedem defalcarea diferitelor roboți pe care Google îi folosește pentru accesarea cu crawlere a paginii. Devine clar că activitatea Googlebot desktop a scăzut drastic înainte de această dată și că acest vârf – spre deosebire de vârfurile anterioare, mai mici – a fost compus aproape în întregime din accesări pe pagini unice, deja indexate de către robotul Google mobil.

O creștere cu 50% a traficului organic înregistrat de Google Analytics a confirmat că această creștere corespunde indexării Mobile First a site-ului la începutul lunii septembrie, cu câteva săptămâni înainte de alerta trimisă de Google!

Modificarea structurii URL a site-ului

La mijlocul lunii august, Bill a făcut modificări structurii sale URL pentru a o face mai prietenoasă cu SEO.

Google Search Console a înregistrat două vârfuri mari imediat după această modificare, confirmând faptul că Google identifică evenimentele majore ale site-ului și le folosește ca semnale pentru a accesa din nou adresele URL ale site-ului.

Când observăm defalcarea acestor accesări în OnCrawl, devine evident că al doilea vârf este mai puțin un vârf, dar că rata mare de accesare cu crawlere a paginilor de pe acest site web continuă pe parcursul mai multor zile. Este clar că Google a preluat modificările, așa cum Bill poate confirma observând diferențele în activitatea de accesare cu crawlere în zilele următoare modificărilor sale.

Rapoarte și funcții OnCrawl utile pentru efectuarea unui audit tehnic

Vizite SEO și pagini SEO Active

OnCrawl prelucrează datele fișierului dvs. jurnal pentru a furniza informații exacte despre vizitele SEO sau despre vizitatorii umani care sosesc din listele Google SERP.

Puteți urmări numărul de vizite sau puteți privi paginile active SEO, care sunt pagini individuale de pe site care primesc trafic organic.

Un lucru pe care ați putea dori să îl analizați ca parte a unui audit ar fi motivul pentru care unele pagini de clasare nu primesc trafic organic (sau, cu alte cuvinte, nu sunt pagini active SEO).

Rang proaspăt

Metrici precum Fresh Rank al OnCrawl oferă informații esențiale. În acest caz: întârzierea medie în zile între momentul în care Google accesează prima pagină cu crawlere și momentul în care pagina primește prima vizită SEO.


Strategiile de promovare a conținutului și dezvoltarea backlink-urilor pot ajuta la obținerea de trafic mai rapid pentru o pagină nouă. Unele pagini de pe site în cadrul acestui audit, cum ar fi postările de blog care au fost promovate prin rețelele sociale, au câștigat un Fresh Rank mult mai scăzut.

Accesări bot pe pagini și resurse în funcție de codul de stare

Boții pot vizita adrese URL care returnează erori 404 sau 410. Acest lucru s-ar putea referi la resurse precum CSS, JavaScript, PDF-uri sau fișiere imagine.

Acestea sunt elemente pe care cu siguranță doriți să le investigați în timpul unui audit. Redirecționarea acestor adrese URL și eliminarea linkurilor interne către ele poate oferi câștiguri rapide.

În timpul unui audit, poate fi util să păstrați note cu privire la elementele care ar trebui abordate, cum ar fi adresele URL care returnează erori de stare către roboți.

Rapoarte Data Explorer: rapoarte personalizate

OnCrawl Data Explorer oferă filtre rapide pentru a produce rapoarte care v-ar putea interesa, dar vă puteți extrage și propriile rapoarte pe baza criteriilor care vă interesează. De exemplu, s-ar putea să doriți să sondați paginile active SEO cu respingeri și un timp de încărcare mare.

Rapoarte Data Explorer: pagini orfane active

Combinând datele de analiză, accesare cu crawlere și fișiere jurnal, OnCrawl vă poate ajuta să descoperiți pagini cu vizite organice, umane, care nu aduc întotdeauna valoare site-ului dvs. Avantajul utilizării datelor din fișierele jurnal este că puteți descoperi fiecare pagină de pe site-ul dvs. care a fost vizitată, inclusiv pagini care ar putea să nu aibă codul Google Analytics.

Bill a reușit să identifice vizite organice SEO pe paginile de flux RSS, probabil prin link-uri din surse externe. Aceste pagini sunt pagini orfane de pe site-ul său; nu au nicio pagină „părinte” care să trimită către ei. Aceste pagini nu aduc un plus de valoare strategiei sale de SEO, dar primesc în continuare câteva vizite din traficul organic.

Aceste pagini sunt candidați grozavi pentru a începe optimizarea.

Analize de căutare pentru clasamentele cuvintelor cheie

Datele pentru clasamente pot fi extrase din Google Search Console. Direct în versiunea veche a Google Search Console, puteți accesa Search Traffic, apoi Search Analytics și puteți vizualiza clicuri, afișări, CTR și poziții din ultimele 90 de zile.

OnCrawl oferă rapoarte clare despre modul în care aceste informații se referă la întregul site, permițându-vă să comparați numărul total de pagini de pe site, numărul de pagini de clasare și numărul de pagini care primesc clicuri.

Afișări, valori CTR și clicuri

Segmentarea site-ului vă permite să confirmați, dintr-o singură privire, ce tipuri sau grupuri de pagini de pe site-ul dvs. se clasează și pe ce pagină de rezultate.

În acest audit, Bill poate folosi metrica OnCrawl pentru a identifica tipurile de pagini care tind să se claseze bine. Acestea sunt tipurile de pagini pe care știe că ar trebui să le producă în continuare pentru a crește traficul către site.

Clicurile pe paginile de clasare sunt strâns corelate cu poziția de clasare: pozițiile peste 10 nu mai sunt pe prima pagină a rezultatelor căutării, moment în care numărul de clicuri va scădea brusc pentru majoritatea cuvintelor cheie.

Segmentarea site-ului web

Segmentarea OnCrawl este o modalitate de a vă grupa paginile în seturi semnificative. În timp ce este furnizată o segmentare automată, puteți edita filtrele sau puteți crea propriile segmente de la zero. Folosind filtrele OnCrawl Query Language, puteți include sau exclude pagini dintr-un grup pe baza mai multor criterii diferite.

Pe site-ul pe care Bill îl privește în webinar, segmentarea se bazează pe diferitele directoare de pe site.

Pagini din structură > accesate cu crawlere > clasate > active

În raportul Clasare OnCrawl, graficul „Pagini în structură > accesate cu crawlere > clasat > activ” vă poate avertiza cu privire la problemele de clasificare și vizitare a paginilor.

Acest grafic vă arată:

  • Pagini din structura: numarul de pagini la care se poate ajunge prin diferitele link-uri de pe site-ul dumneavoastra
  • Accesate cu crawlere: pagini pe care Google le-a accesat cu crawlere
  • Clasat: pagini care au apărut în SERP-urile Google
  • Active: pagini care au primit vizite organice

Auditul dumneavoastră va dori să se uite la motivele diferențelor dintre barele din acest grafic.

Cu toate acestea, diferențele dintre numărul de pagini din structură și numărul de pagini accesate cu crawlere pot fi intenționate, de exemplu, dacă împiedicați Google să acceseze cu crawlere anumite pagini prin interzicerea roboților din fișierul robots.txt. Acesta este ceva ce doriți să verificați în timpul auditului.

Puteți analiza acest tip de date în OnCrawl făcând clic pe grafic.

Recomandări cheie


Principalele concluzii din acest webinar includ:

  • Schimbările mari în structura unui site web pot produce schimbări majore în activitatea de accesare cu crawlere.
  • Instrumentele gratuite Google raportează date care sunt agregate, mediate sau rotunjite în moduri care le pot face să pară inexacte.
  • Fișierele jurnal vă permit să vedeți comportamentul real al botului și vizitele organice. Combinate cu datele de accesare cu crawlere și monitorizarea zilnică, acestea sunt un instrument puternic pentru detectarea vârfurilor.
  • Datele exacte sunt necesare pentru a înțelege de ce și ce s-a întâmplat, iar acest lucru poate fi realizat numai prin analiza încrucișată a analizelor, crawlere, clasamente și, în mod specific, a datelor din fișierele de jurnal într-un instrument precum OnCrawl.

Încercați OnCrawl gratuit

Sunteți interesat să aplicați aceste tehnici pe site-ul dvs. pentru a obține informații utile de audit?

Începe perioada gratuită de testare

Ai ratat-o ​​în direct? Urmărește reluarea!

Chiar dacă nu ați putut participa la webinarul live sau dacă nu ați putut rămâne pentru întreaga sesiune, puteți vedea în continuare versiunea completă.