Webinar Digest: Auditoria de SEO ao vivo e arquivos de log com Bill Hartzer

Publicados: 2018-10-02

Em 25 de setembro, o OnCrawl teve o prazer de hospedar Bill Hartzer para um webinar sobre análise de arquivos de log e por que isso é importante para auditorias de SEO. Ele percorreu seu próprio site para mostrar o impacto das otimizações na atividade dos bots e na frequência de rastreamento.

Apresentando Bill Hartzer

Bill Hartzer é um consultor de SEO e especialista em nomes de domínio com mais de 20 anos de experiência. Bill é reconhecido internacionalmente como um especialista em sua área e foi recentemente entrevistado na CBS News como um dos principais especialistas em pesquisa do país.

Ao longo deste webinar de uma hora, Bill nos dá uma olhada em seus arquivos de log e discute como ele os usa no contexto de uma auditoria de site. Ele apresenta as diferentes ferramentas que usa para verificar o desempenho do site e o comportamento do bot em seu site.

Por fim, Bill responde a perguntas sobre como usar o OnCrawl para visualizar resultados significativos e fornece dicas para outros SEOs.

Como acessar seus arquivos de log através do plugin cPanel para WordPress

Se o seu site é construído com WordPress e você usa o plugin cPanel, você pode encontrar os logs do seu servidor diretamente na interface do WordPress.

Navegue até Métricas e, em seguida, Acesso bruto. Lá, você pode baixar arquivos de log diários do gerenciador de arquivos, bem como arquivos compactados de arquivos de log mais antigos.

Examinar o conteúdo de um arquivo de log

Um arquivo de log é um arquivo de texto grande que contém informações sobre todos os visitantes do seu site, incluindo bots. Você pode abri-lo usando um editor de texto básico.

Não é difícil identificar possíveis acertos de bots do googlebot ou do bing, que se identificam nos arquivos de log, embora seja uma boa ideia confirmar a identificação do bot usando pesquisas de IP.

Você também pode encontrar outros bots que rastreiam seu site, mas que podem não ser úteis para você. Você pode impedir que esses bots acessem seu site.

O OnCrawl processará as análises brutas em seus arquivos de log para fornecer uma visão clara dos bots que visitam seu site.

Usando seus arquivos de log para obter mais informações sobre estatísticas de rastreamento

As informações sobre estatísticas de rastreamento estão disponíveis na versão antiga do Google Search Console em Rastreamento > Estatísticas de rastreamento assumem um novo significado quando comparadas às informações em seus arquivos de log.

Você deve estar ciente de que os dados mostrados no Google Search Console não se limitam aos bots de SEO do Google e, portanto, podem ser menos úteis do que as informações mais exatas que você pode obter analisando seus arquivos de log.

Instâncias recentes de atividade incomum de rastreamento

Bill analisa três picos recentes visíveis nas estatísticas de rastreamento no Google Search Console. Eles correspondem a grandes eventos que acionam o aumento da atividade de rastreamento.

Pico de indexação do Mobile First

O pico de 7 de setembro no Google Search Console pode parecer, a princípio, não relacionado a eventos no site. No entanto, uma olhada na análise de log no OnCrawl forneceu pistas:


A análise dos arquivos de log nos permite ver o detalhamento dos diferentes bots que o Google usa para rastrear a página. Fica claro que a atividade do Googlebot para desktop diminuiu drasticamente antes dessa data e que esse pico – ao contrário dos picos anteriores e menores – foi composto quase inteiramente de acessos em páginas únicas e já indexadas pelo bot do Google para dispositivos móveis.

Um aumento de 50% no tráfego orgânico registrado pelo Google Analytics confirmou que esse pico corresponde à Mobile First Indexation do site no início de setembro, semanas antes do alerta enviado pelo Google!

Modificação da estrutura de URL do site

Em meados de agosto, Bill fez alterações em sua estrutura de URL para torná-la mais amigável para SEO.

O Google Search Console registrou dois grandes picos logo após essa modificação, confirmando que o Google identifica os principais eventos do site e os usa como sinais para rastrear novamente os URLs do site.

Quando observamos o detalhamento desses acessos no OnCrawl, fica claro que o segundo pico é menor, mas que a alta taxa de rastreamento de páginas neste site continua ao longo de vários dias. É claro que o Google pegou as alterações, como Bill pode confirmar observando as diferenças na atividade de rastreamento nos dias seguintes às alterações.

Relatórios e recursos úteis do OnCrawl para realizar uma auditoria técnica

Visitas de SEO e páginas ativas de SEO

O OnCrawl processa seus dados de arquivo de log para fornecer informações precisas sobre visitas de SEO ou visitantes humanos que chegam das listagens do Google SERP.

Você pode acompanhar o número de visitas ou ver as páginas ativas de SEO, que são páginas individuais no site que recebem tráfego orgânico.

Uma coisa que você pode querer analisar como parte de uma auditoria seria o motivo pelo qual algumas páginas de classificação não recebem tráfego orgânico (ou, em outras palavras, não são páginas ativas de SEO).

Nova classificação

Métricas como o Fresh Rank do OnCrawl fornecem informações essenciais. Nesse caso: o atraso médio em dias entre quando o Google rastreia uma página pela primeira vez e quando a página recebe sua primeira visita de SEO.


Estratégias de promoção de conteúdo e desenvolvimento de backlinks podem ajudar a ganhar tráfego mais rápido para uma nova página. Algumas páginas do site nesta auditoria, como postagens de blog que foram promovidas nas redes sociais, obtiveram um Fresh Rank muito menor.

Acertos de bot em páginas e recursos por código de status

Os bots podem estar visitando URLs que retornam erros 404 ou 410. Isso pode estar relacionado a recursos como CSS, JavaScript, PDFs ou arquivos de imagem.

Esses são elementos que você definitivamente deseja investigar durante uma auditoria. Redirecionar esses URLs e remover links internos para eles pode fornecer ganhos rápidos.

Durante uma auditoria, pode ser útil fazer anotações sobre elementos que devem ser abordados, como URLs que retornam erros de status para bots.

Relatórios do Data Explorer: relatórios personalizados

O OnCrawl Data Explorer oferece filtros rápidos para produzir relatórios que podem lhe interessar, mas você também pode extrair seus próprios relatórios com base nos critérios que lhe interessam. Por exemplo, você pode querer pesquisar SEO Active Pages com rejeições e um alto tempo de carregamento.

Relatórios do Data Explorer: páginas órfãs ativas

Ao combinar dados de análise, rastreamento e arquivo de log, o OnCrawl pode ajudá-lo a descobrir páginas com visitas orgânicas e humanas que nem sempre agregam valor ao seu site. A vantagem de usar dados de arquivos de log é que você pode descobrir todas as páginas do seu site que foram visitadas, incluindo páginas que podem não ter o código do Google Analytics.

Bill conseguiu identificar visitas orgânicas de SEO em páginas de feeds RSS, provavelmente por meio de links de fontes externas. Essas páginas são páginas órfãs em seu site; eles não têm uma página “pai” que vincule a eles. Essas páginas não agregam valor extra à estratégia de SEO dele, mas ainda recebem algumas visitas do tráfego orgânico.

Essas páginas são ótimas candidatas para começar a otimizar.

Análise de pesquisa para classificações de palavras-chave

Os dados para classificações podem ser extraídos do Google Search Console. Diretamente na versão antiga do Google Search Console, você pode acessar Search Traffic, Search Analytics e visualizar cliques, impressões, CTR e posições nos últimos 90 dias.

O OnCrawl fornece relatórios claros sobre como essas informações se relacionam com todo o site, permitindo comparar o número total de páginas no site, o número de páginas de classificação e o número de páginas que recebem cliques.

Impressões, CTRs e cliques

A segmentação do site permite que você confirme, em um único olhar, quais tipos ou grupos de páginas do seu site estão sendo classificados e em qual página dos resultados.

Nesta auditoria, Bill pode usar a métrica do OnCrawl para identificar os tipos de páginas que tendem a ser bem classificadas. Estes são os tipos de páginas que ele sabe que deve continuar a produzir para aumentar o tráfego para o site.

Os cliques nas páginas de classificação estão fortemente correlacionados à posição de classificação: as posições acima de 10 não estão mais na primeira página dos resultados de pesquisa, ponto em que o número de cliques cairá drasticamente para a maioria das palavras-chave.

Segmentação de sites

A segmentação do OnCrawl é uma forma de agrupar suas páginas em conjuntos significativos. Enquanto uma segmentação automática é fornecida, você pode editar os filtros ou criar suas próprias segmentações do zero. Usando os filtros OnCrawl Query Language, você pode incluir ou excluir páginas em um grupo com base em muitos critérios diferentes.

No site que Bill analisa no webinar, a segmentação é baseada nos diferentes diretórios do site.

Páginas na estrutura > rastreadas > classificadas > ativas

No relatório OnCrawl Ranking, o gráfico “Páginas na estrutura > rastreadas > classificadas > ativas” pode alertá-lo sobre problemas para classificar e visitar suas páginas.

Este gráfico mostra a você:

  • Páginas na estrutura: o número de páginas que podem ser alcançadas através dos diferentes links do seu site
  • Rastreado: páginas que o Google rastreou
  • Classificado: páginas que apareceram nos SERPs do Google
  • Ativo: páginas que receberam visitas orgânicas

Sua auditoria vai querer ver as razões das diferenças entre as barras neste gráfico.

No entanto, as diferenças entre o número de páginas na estrutura e o número de páginas rastreadas podem ser intencionais, por exemplo, se você impedir que o Google rastreie determinadas páginas ao proibir robôs no arquivo robots.txt. Isso é algo que você deseja verificar durante sua auditoria.

Você pode examinar esse tipo de dados no OnCrawl clicando no gráfico.

Principais conclusões


As principais conclusões deste webinar incluem:

  • Grandes mudanças na estrutura de um site podem produzir grandes mudanças na atividade de rastreamento.
  • As ferramentas gratuitas do Google relatam dados agregados, calculados em média ou arredondados de maneira que podem parecer imprecisos.
  • Os arquivos de log permitem que você veja o comportamento real do bot e as visitas orgânicas. Combinados com dados de rastreamento e monitoramento diário, eles são uma ferramenta poderosa para detectar picos.
  • Dados precisos são necessários para entender por que e o que aconteceu, e isso só pode ser alcançado por meio de análise cruzada de dados analíticos, rastreamento, classificações e, especificamente, de arquivos de log em uma ferramenta como o OnCrawl.

Experimente o OnCrawl gratuitamente

Você está interessado em aplicar essas técnicas ao seu site para obter insights de auditoria acionáveis?

Inicie o seu teste gratuito

Perdeu ao vivo? Assista a repetição!

Mesmo se você não puder fazer o webinar ao vivo ou se não puder ficar para a sessão completa, ainda poderá ver a versão completa.