Como começar a ter uma classificação mais alta com um orçamento de rastreamento mais otimizado

Existem vários fatores que afetam os rankings – links externos, uso de palavras-chave, velocidade do site e muitos, muitos mais. Mas quando você começa a otimizar seu site, o que você precisa lembrar é que, para que todos os seus esforços de otimização valham a pena, seu site precisa ser rastreado e indexado.

A maneira como seu site é rastreado é determinada pelo seu orçamento de rastreamento — o número de vezes que o Googlebot visita seu site durante um determinado período de tempo. E a visibilidade do seu site depende do equilíbrio do orçamento de rastreamento.

Por que o orçamento de rastreamento afeta a visibilidade do seu site no Google?

O orçamento de rastreamento é limitado. Isso cria vários desafios:

• Quando o orçamento de rastreamento não é otimizado, nem todas as páginas do site estão sendo visitadas pelo Googlebot. Como resultado, eles não são indexados e não são classificados nos resultados de pesquisa.
• As páginas atualizadas podem não receber atenção do Googlebot por um longo tempo devido à frequência de rastreamento das páginas do outro site. Isso afeta negativamente sua linha do tempo de SEO: enquanto o Google não souber sobre seus esforços de otimização, sua visibilidade de SERP não melhorará.

Portanto, para garantir que todas as páginas importantes sejam visitadas regularmente, o orçamento de rastreamento precisa ser otimizado. Veja como você pode fazer isso.

Como determinar seu orçamento de rastreamento atual

Para descobrir se seu orçamento de rastreamento precisa ser otimizado, primeiro verifique se você está com pouco. De acordo com Gary Illyes, do Google, apenas grandes sites realmente precisam priorizar o que rastrear, especialmente aqueles que geram automaticamente muitos URLs com base em parâmetros. Se você acha que seu site requer balanceamento de orçamento de rastreamento adicional, veja como começar.

No Google Search Console, você pode encontrar as estatísticas de rastreamento do seu site atual e descobrir os detalhes do seu orçamento de rastreamento.

O orçamento de rastreamento aproximado pode ser calculado assim:

Número médio de páginas rastreadas por dia x número de dias em um mês =
Orçamento de rastreamento aproximado

Por exemplo, de um relatório abaixo, você pode ver que neste site o Google rastreia 371 páginas por dia.

Gráfico de estatísticas de rastreamento no Google Search Console

Assim, um orçamento de rastreamento aproximado deste site é:

371 x 30 = 11130

Mas para saber exatamente com que frequência os rastreadores do Google acessam seu site, você precisa verificar os logs do servidor. O Google Search Console mostra o orçamento de rastreamento agregado para 12 bots e, para ver a distribuição exata do orçamento de rastreamento, você precisará de uma ferramenta de análise de log.

Os altos e baixos no gráfico de rastreamento podem ser um sinal de um problema, mas nem sempre é esse o caso. Por exemplo, um pico no gráfico acima representa um mapa do site reenviado, que é um gatilho para um Googlebot revisitar o site.

Como otimizar seu orçamento de rastreamento

Para otimizar seu orçamento de rastreamento, você precisa seguir uma regra simples:

Certifique-se de que o que precisa ser rastreado seja rastreado e o que não precisa ser rastreado não seja rastreado.

Isso significa que as páginas importantes estão recebendo atenção suficiente e aquelas que não estão trazendo nenhum valor ao seu site são deixadas de fora. Aqui estão os passos exatos que o levarão até lá.

1. Certifique-se de que todas as suas páginas importantes sejam acessíveis pelo Googlebot (por exemplo, não bloqueadas em robots.txt)

Surpreendentemente, é muito comum quando páginas importantes têm um status de rejeição no arquivo robots.txt. Dessa forma, eles são ignorados pelo Googlebot e, portanto, ficam ocultos da indexação. Sua tarefa é certificar-se de que as páginas que você deseja que sejam rastreadas não tenham esse status e sejam acessíveis aos rastreadores.

Você pode encontrar o arquivo robots.txt no Google Search Console. Para garantir que suas páginas importantes não sejam rejeitadas, basta navegar pelo arquivo.

2. Verifique a integridade geral do seu site, pois ela afeta a frequência das visitas do Googlebot (também conhecido como limite da taxa de rastreamento)

Como o próprio Google diz, o limite da taxa de rastreamento é a taxa máxima de busca para um determinado site. Simplificando, ele especifica quantas conexões paralelas um Googlebot pode criar para rastrear o site e quanto tempo ele deve esperar entre as buscas. Quando a velocidade do site é alta e o limite sobe e o Googlebot cria mais conexões simultâneas. Quando a taxa de resposta do site é baixa ou retorna erros do servidor, o limite diminui e o Googlebot rastreia menos.

Assim, a maneira como seu site é rastreado também é afetada pela integridade do site. Isso inclui velocidade do site, compatibilidade com dispositivos móveis, quantidade de erros 404, etc.

A integridade do site pode ser verificada com essas ferramentas.

• OnCrawl permite que você encontre páginas com conteúdo duplicado e quase duplicado, páginas 404 e órfãs (que não possuem links internos apontando para ele) etc.

Widgets de conteúdo duplicados no OnCrawl

Widgets de páginas órfãs no OnCrawl

• O teste de compatibilidade com dispositivos móveis do Google verifica a compatibilidade com dispositivos móveis de um site
• A velocidade do site pode ser verificada com a ajuda das ferramentas gratuitas PageSpeed ​​Insights ou GTmetrix.

Você pode monitorar sua frequência de rastreamento usando um analisador de arquivos de log como o OnCrawl e ver se o Googlebot está acessando suas páginas com mais frequência.

3. Exclua as páginas que não agregam valor aos usuários

São as páginas com conteúdo fraco ou sem conteúdo, páginas técnicas etc. Por serem indexadas e com poucas impressões, podem ser encontradas no Google Search Console. Outro lugar para identificá-los é o relatório de impacto de SEO do OnCrawl. Por exemplo, ele mostra o impacto da contagem de palavras na frequência de rastreamento.

Por exemplo, um problema comum para grandes sites de comércio eletrônico é a navegação facetada. Ryan Stewart fala sobre isso em seu vídeo sobre otimização de orçamento de rastreamento (você pode pular para 7:20 para conferir, mas o vídeo inteiro também é extremamente útil). Quando o usuário seleciona uma categoria em um site, seu parâmetro é adicionado ao URL da página. De acordo com o Googlebot, a partir desse momento, é um URL diferente e requer uma visita separada. Como o número de combinações de categorias possíveis é grande e pode sobrecarregar significativamente o orçamento de rastreamento, essas páginas precisam ser filtradas.

Um problema semelhante ocorre quando um identificador de sessão é colocado dentro das URLs. Essas páginas também devem ser filtradas.

4. Priorize suas páginas para que as mais importantes sejam rastreadas com mais frequência

A página é importante se tiver grande potencial de tráfego.

Em primeiro lugar, estas são as páginas que já têm muito tráfego; você pode identificá-los no Google Analytics. Em Relatório de comportamento , vá para Conteúdo do site → Todas as páginas e classifique as páginas pelo número de visualizações de página.

Em segundo lugar, são as páginas cujas posições estão melhorando, o que significa que estão crescendo em popularidade. Essas páginas podem ser encontradas no Google Search Console, mas com suas opções de filtragem limitadas, pode demorar um pouco antes de identificá-las.

Uma alternativa seria usar o AccuRanker, pois permite ver quais tipos de páginas têm uma tendência de visibilidade crescente. Para começar a usá-lo, você pode importar a lista de palavras-chave do Google Search Console em um clique e identificar quais páginas são as mais promissoras.

Além disso, há uma maneira de identificar as páginas que podem ter tráfego de SEO adicional nas semanas e meses seguintes. Envolve algumas brincadeiras com a API do Google Search Console e o Google Data Studio, mas o resultado é um pouco surpreendente. Ao usar Landing Pages como dimensão e impressão, cliques de URL e CTR de URL como métricas, você pode encontrar as páginas que estão crescendo em popularidade mais rapidamente do que as outras.

Quando você descobrir quais páginas exigem priorização, veja o que você pode fazer para garantir que elas sejam rastreadas com mais frequência:

• Mova as páginas mais importantes para mais perto da página principal ou até mesmo coloque o link para elas lá. Por exemplo, você pode adicionar um link de página às seções Navegação ou “Ofertas especiais”.
• Coloque redirecionamentos 301 em todas as categorias de página que não possuem produtos (fora de estoque/produtos sazonais). Não se esqueça de desativar esse redirecionamento quando o produto em questão voltar ao estoque.

5. Forneça links internos suficientes para a página

Os links internos são cruciais para o rastreamento como o principal caminho para o Googlebot. Sem um link interno em uma página, ela simplesmente não pode avançar. Assim, ao adicionar links que levam a uma página, você aumenta suas chances de ser indexado mais cedo.

Por exemplo, se você quiser que uma página antiga seja rastreada com mais frequência, adicione um link que leve a ela em suas novas páginas. Quando o Googlebot visita a nova página, ele também reindexa a antiga.

Ao adicionar o link da página ao menu de navegação do site, você também o torna facilmente acessível pelos usuários e pelo Googlebot. A SEMrush usa essa técnica para acelerar o rastreamento de suas novas postagens de blog. Todos os novos artigos aparecem na seção Recent Posts em sua página principal e, assim, são priorizados pelo Googlebot.

Essa técnica também pode ser utilizada para agilizar a indexação das páginas de novos produtos nos sites de e-commerce.

Empacotando

Como dito acima, a otimização do orçamento de rastreamento é mais importante para sites maiores com uma estrutura ramificada, como sites de comércio eletrônico. Mas como o rastreamento de página adequado é a base do SEO e afeta diretamente a visibilidade da SERP, convém revisar suas estatísticas de rastreamento e equilibrar o orçamento de rastreamento para acelerar os resultados de seus esforços de SEO.

O kit de ferramentas básico para otimização de orçamento de rastreamento inclui:

• Google Search Console para ver sua estimativa de orçamento de rastreamento atual
• Auditores de integridade do site, como o OnCrawl, para encontrar conteúdo duplicado, páginas 404, páginas órfãs etc.
• Ferramentas para verificar a compatibilidade com dispositivos móveis do seu site, como o Teste de compatibilidade com dispositivos móveis do Google
• Verificador de velocidade do site, como PageSpeed ​​Insights ou GTmetrix
• Ferramentas para encontrar as páginas com alto potencial de popularidade – aquelas que já têm muito tráfego (você pode ver aquelas no Google Analytics) ou aquelas com uma tendência de visibilidade crescente (pode ser encontrada com a ajuda do AccuRanker).