Rastrear o rastreamento de orçamento antes e depois de uma atualização
Publicados: 2019-12-10Psst… Tem um segredo que eu quero te contar.
Seu site tem um “orçamento de rastreamento” definido pelo Google.
Esta é a métrica secreta usada pelo Google para medir duas coisas:
- Quão bem seu site é construído
- Quão popular é o seu site
Este artigo se concentrará no primeiro ponto.
Melhorar a qualidade de construção do seu site aumentará seu orçamento de rastreamento.
Quanto maior o seu orçamento de rastreamento, mais frequentemente o Google irá parar e ler suas páginas.
Vamos começar compartilhando um entendimento do que é um orçamento de rastreamento.
O que é o orçamento de rastreamento
O Google usa um programa de software especial chamado web crawler (ou spider) para ler as páginas do seu site.
Eles chamam esse rastreador da web, Googlebot.
O orçamento de rastreamento é o termo para descrever a frequência com que o Googlebot rastreará suas páginas.
Ao otimizar seu site, você pode aumentar seu orçamento de rastreamento.
O Google disse que seu orçamento de rastreamento é uma combinação de:
- Taxa de rastreamento – a velocidade com que o Googlebot pode rastrear seu site sem quebrar seus servidores
- Demanda de rastreamento – Qual a importância da sua página da web para os usuários do Google
À medida que essas métricas melhorarem, você verá o Googlebot visitando com mais frequência. Lendo mais páginas em cada visita.
Depois que o Google rastreia uma página, ele adiciona o conteúdo ao Índice do Google. Que então atualiza as informações mostradas nos resultados da Pesquisa Google.
Ao otimizar o orçamento de rastreamento, você pode melhorar a velocidade das atualizações do seu site para a Pesquisa Google.
Por que você deve melhorar seu orçamento de rastreamento
O Google tem uma tarefa difícil. Eles precisam rastrear e indexar todas as páginas da internet.
O poder que eles precisam para fazer isso é enorme e eles não podem indexar todas as páginas.
Otimizar seu orçamento de rastreamento dará ao seu site a melhor chance de aparecer na pesquisa.
[Estudo de caso] Gerenciando o rastreamento de bot do Google
Leia o estudo de casoComo melhorar seu orçamento de rastreamento
Melhorar um site significa tornar o tempo do Googlebot em um site o mais eficiente possível.
Não queremos:
- Googlebot lendo páginas que não queremos na Pesquisa Google.
- Googlebot vendo erros do servidor
- Googlebot seguindo links quebrados/mortos
- Googlebot aguardando o carregamento da página
- Googlebot lendo conteúdo duplicado
Todos os itens acima estão desperdiçando os preciosos recursos do Google e podem ver sua taxa de rastreamento cair.
Orçamento de rastreamento e SEO técnico
Muito do que você precisa fazer como parte do SEO técnico é o mesmo que otimizar o orçamento de rastreamento.
Nós precisamos:
- Otimize o robots.txt e verifique se há erros
- Corrija todas as tags de link hreflang e canônicas
- Resolver não 200 páginas
- Corrija redirecionamentos e quaisquer loops de redirecionamento
- Certifique-se de que qualquer sitemap esteja livre de erros
Vejamos a seguir como criar a página perfeita para o Googlebot.
Como criar a página perfeita
OK, talvez não seja a página perfeita, mas devemos tentar melhorar a página o máximo que pudermos.
Vejamos alguns problemas comuns na página que você pode melhorar.
Problemas de página
- Conteúdo duplicado – marque qualquer conteúdo duplicado em seu site com uma tag de link canônica.
- Páginas não SSL – Encontre quaisquer links HTTP e converta-os em HTTPS. Se você não tiver um certificado SSL, obtenha um gratuito da Let's Encrypt.
- Rastreie apenas páginas úteis – Use seu arquivo robots.txt para reduzir onde o Googlebot pode ir. Por exemplo, se você tiver páginas usadas para um administrador, não permita isso em seu arquivo robots.txt.
- Conteúdo fino – Considere bloquear a raspagem de páginas com conteúdo fino ou muito baixo. Se você tiver páginas que têm pouco valor para um usuário, não perca o tempo do Googlebot nessas páginas.
- Erros do servidor – Os erros do servidor são um sinal de um servidor web não íntegro. Se o seu site estiver retornando erros 5xx, corrigi-los pode aumentar a taxa de rastreamento.
Páginas de carregamento lento
Uma maneira de melhorar o orçamento de rastreamento é tornar a página rápida.
Páginas rápidas tornam o Googlebot mais rápido e isso é um sinal para o Google de que o servidor da web está “saudável”.
O Google já disse que a velocidade da página aumenta a taxa de rastreamento:
Tornar um site mais rápido melhora a experiência dos usuários e, ao mesmo tempo, aumenta a taxa de rastreamento.
- Peso da página – Esta métrica é o tamanho geral da sua página. Isso inclui todo o CSS e imagens Javascript na página. Isso deve ser inferior a 1 MB no total.
- Imagens otimizadas – As imagens devem ser tão pequenas quanto possível em KB sem perder qualidade. Usar uma ferramenta como o Squoosh pode ajudar nisso.
- CSS e JS reduzidos – Minimize seus arquivos JS e CSS. Este é o processo de remover todos os caracteres desnecessários do arquivo. Use CSSNano e UglifyJS para reduzir os arquivos.
- Compressão e Cache – Certifique-se da compressão GZip ou BR no servidor. Isso irá acelerar o tempo que leva para obter um arquivo. Adicione o cache para que o arquivo seja baixado apenas uma vez.
Para obter uma lista de melhorias na velocidade da página, dê uma olhada nesta análise detalhada do desempenho do site. Tem 30 passos para melhorar o desempenho do site.
Métodos para medir suas mudanças
Como um SEO inteligente, você sabe que antes de iniciar qualquer otimização precisa acompanhar as alterações.
Você precisa escolher um ponto de dados com duas propriedades:
- Você deve ser capaz de rastrear o ponto de dados ao longo do tempo.
- Você deve ser capaz de influenciar esses dados com suas ações.
Então, qual é o ponto de dados que devemos rastrear para o orçamento de rastreamento?
Dissemos anteriormente que o Google usa dois fatores ao decidir sobre um orçamento de rastreamento:
- Taxa de rastreamento – a velocidade com que o Googlebot pode rastrear seu site sem quebrar seus servidores
- Demanda de rastreamento – Qual a importância da sua página da web para os usuários do Google
Como somos técnicos de SEO, nosso trabalho é melhorar a taxa de rastreamento.
Portanto, este é o ponto de dados que devemos rastrear.
Taxa de rastreamento de rastreamento
Então, como rastreamos a taxa de rastreamento do Googlebot?
Precisamos usar seus logs de acesso ao servidor web.
Os logs armazenam todas as solicitações feitas ao seu servidor web. Sempre que um usuário ou Googlebot visita seu site, uma entrada de registro é adicionada ao arquivo de registro de acesso.
Veja como seria uma entrada para o Googlebot:
127.0.0.1 - - [11/Nov/2019:08:29:01 +0100] "GET /exemplo HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatível; Googlebot/2.1; +http://www .google.com/bot.html)"
Há três pontos de dados importantes em cada log. A data:
[11/Nov/2019:08:29:01 +0100]
O URL:
“GET/exemplo HTTP/1.1”
E o user agent que nos diz que é o Googlebot que está fazendo a solicitação:
"Mozilla/5.0 (compatível; Googlebot/2.1; +http://www.google.com/bot.html)"
O log acima é de um servidor web Nginx. Mas, todos os servidores da Web, como Apache ou IIS, terão uma entrada de log de acesso semelhante.
Dependendo de sua configuração, você pode ter uma Rede de Entrega de Conteúdo (CDN). Um CDN como Cloudflare ou Fastly também criará logs de acesso.
Analisar um log de acesso manualmente não é o mais divertido, embora seja possível.
Você pode baixar o access.log e analisá-lo usando o Excel. No entanto, eu recomendaria que você usasse um analisador de log como o do OnCrawl.
Isso permitirá que você veja a taxa de rastreamento do Googlebot em um gráfico e em tempo real. Depois de ter essa configuração de monitoramento para rastrear a taxa de rastreamento, você pode começar a melhorá-la.
Fazendo mudanças
Agora que sabemos o que estamos rastreando, podemos fazer algumas melhorias. Mas, não faça muitas mudanças ao mesmo tempo. Seja metódico e faça as mudanças uma a uma.
Construir, medir, aprender.
Usando esta técnica, você pode adaptar as mudanças que está fazendo à medida que aprende. Concentrando-se nas tarefas que estão melhorando a taxa de rastreamento.
Se você se apressar e mudar muito de uma só vez, pode ser difícil entender os resultados.
Tornando difícil dizer o que funcionou e o que não funcionou.
Com o tempo, à medida que a página melhorar, você verá um aumento no orçamento de rastreamento à medida que a taxa de rastreamento aumentar.
Concluindo, Rastreie o rastreamento de orçamento antes e depois de uma atualização
Cobrimos exatamente o que é um orçamento de rastreamento.
Como SEO Técnico, você tem o poder de aumentar a taxa de rastreamento do site.
Ao melhorar a integridade técnica, você pode tornar o tempo do Googlebot em seu site eficiente.
Acompanhe a taxa de rastreamento usando seus logs para obter resultados precisos.
Use Construir, Medir, Aprender como uma técnica para fazer uma mudança de cada vez e melhorar à medida que avança.
Com o tempo, sua taxa de rastreamento aumentará. Suas páginas aparecerão mais rapidamente nos resultados de pesquisa do Google. E os usuários terão uma ótima experiência em seu site.