Orçamento de rastreamento do Google: como funciona e como maximizar o seu
Publicados: 2021-03-02Para cada site na internet, o Google tem um orçamento fixo para quantas páginas seus bots podem e estão dispostos a rastrear. A internet é um lugar grande, então o Googlebot só pode gastar um certo tempo rastreando e indexando nossos sites. A otimização do orçamento de rastreamento é o processo de garantir que as páginas certas de nossos sites acabem no índice do Google e sejam exibidas aos pesquisadores.
As recomendações do Google para otimizar o orçamento de rastreamento são bastante limitadas, pois o Googlebot rastreia a maioria dos sites sem atingir seu limite. Mas sites de comércio eletrônico e de nível empresarial com milhares de páginas de destino correm o risco de estourar seu orçamento. Um estudo de 2018 até descobriu que os rastreadores do Google não conseguiram rastrear mais da metade das páginas da Web de sites maiores no experimento.
Influenciar como o orçamento de rastreamento é gasto pode ser uma otimização técnica mais difícil para os estrategistas implementarem. Mas para sites de comércio eletrônico e de nível empresarial, vale a pena o esforço para maximizar o orçamento de rastreamento sempre que possível. Com alguns ajustes, proprietários de sites e estrategistas de SEO podem orientar o Googlebot a rastrear e indexar regularmente suas páginas com melhor desempenho.
Como o Google determina o orçamento de rastreamento?
O orçamento de rastreamento é essencialmente o tempo e os recursos que o Google está disposto a gastar rastreando seu site. A equação é a seguinte:
Orçamento de rastreamento = taxa de rastreamento + demanda de rastreamento
Autoridade de domínio, backlinks, velocidade do site, erros de rastreamento e número de páginas de destino afetam a taxa de rastreamento de um site. Sites maiores geralmente têm uma taxa de rastreamento mais alta, enquanto sites menores, sites mais lentos ou aqueles com redirecionamentos excessivos e erros de servidor geralmente são rastreados com menos frequência.
O Google também determina o orçamento de rastreamento por “demanda de rastreamento”. Os URLs populares têm uma demanda de rastreamento mais alta porque o Google deseja fornecer o conteúdo mais recente aos usuários. O Google não gosta de conteúdo obsoleto em seu índice, portanto, as páginas que não são rastreadas há algum tempo também terão uma demanda maior. Se o seu site passar por uma migração de site, o Google aumentará a demanda de rastreamento para atualizar mais rapidamente seu índice com seus novos URLs.
O orçamento de rastreamento do seu site pode flutuar e certamente não é fixo. Se você melhorar a hospedagem do servidor ou a velocidade do site, o Googlebot poderá começar a rastrear seu site com mais frequência, sabendo que não está diminuindo a experiência da Web para os usuários. Para ter uma ideia melhor da taxa de rastreamento média atual do seu site, consulte o Relatório de rastreamento do console de pesquisa do Google.
Todo site precisa se preocupar com o orçamento de rastreamento?
Sites menores que se concentram apenas em obter uma classificação de algumas páginas de destino não precisam se preocupar com o orçamento de rastreamento. Mas sites maiores – especialmente sites não saudáveis com excesso de páginas quebradas e redirecionamentos – podem facilmente atingir seu limite de rastreamento.
Os tipos de sites grandes que correm o maior risco de maximizar seu orçamento de rastreamento geralmente têm dezenas de milhares de páginas de destino. Os principais sites de comércio eletrônico, em particular, geralmente são afetados negativamente pelos orçamentos de rastreamento. Encontrei vários sites corporativos com um número significativo de suas páginas de destino não indexadas, o que significa zero chance de classificação no Google.
Existem algumas razões pelas quais os sites de comércio eletrônico, em particular, precisam prestar mais atenção para onde vai o orçamento de rastreamento.
- Muitos sites de comércio eletrônico criam programaticamente milhares de páginas de destino para seus SKUs ou para cada cidade ou estado onde vendem seus produtos.
- Esses tipos de sites atualizam regularmente suas páginas de destino quando os itens ficam fora de estoque, novos produtos são adicionados ou ocorrem outras alterações no inventário.
- Os sites de comércio eletrônico tendem a páginas duplicadas (por exemplo, páginas de produtos) e identificadores de sessão (por exemplo, cookies). Ambos são percebidos como URLs de "baixo valor agregado" pelo Googlebot, o que afeta negativamente a taxa de rastreamento
Outro desafio para influenciar o orçamento de rastreamento é que o Google pode aumentá-lo ou reduzi-lo a qualquer momento. Embora um sitemap seja uma etapa importante para sites grandes melhorarem o rastreamento e a indexação de suas páginas mais importantes, ele não é suficiente para garantir que o Google não maximize seu orçamento de rastreamento em páginas de baixo valor ou com baixo desempenho.
Então, como os webmasters podem otimizar o orçamento de rastreamento?
Embora os proprietários de sites possam definir limites de rastreamento mais altos em suas contas do Google Search Console, a configuração não garante o aumento das solicitações de rastreamento nem influencia quais páginas o Google acaba rastreando. Pode parecer que a solução mais natural é fazer com que o Google rastreie seu site com mais frequência, mas há otimizações muito limitadas que têm uma correlação direta com o aumento da taxa de rastreamento.
Todos sabemos que um bom orçamento não significa aumentar seus limites de gastos; trata-se de ser mais seletivo com o que você gasta seu dinheiro. Quando você aplica esse mesmo conceito para rastrear o orçamento, isso pode gerar grandes resultados. Aqui estão algumas etapas estratégicas para ajudar o Google a gastar seu orçamento a seu favor.
Etapa 1: identificar quais páginas o Google está realmente rastreando em seu site
Até recentemente, o relatório de rastreamento do Google Search Console apenas informava aos proprietários do site quantas solicitações de rastreamento seu site recebeu em determinados dias. Embora o novo Relatório de estatísticas de rastreamento do Google forneça informações muito mais detalhadas sobre rastreamento, o melhor lugar para entender como o Google rastreia seu site ainda está nos arquivos de log do servidor.
Quando o Google visita seu site, eles usam um agente de usuário específico. Isso permite que seu servidor saiba que o tráfego é realmente o Googlebot e não uma pessoa real.
(Você encontrará o bot do Bingbot e do Ahrefs lá também).
Analisador de registro do Oncrawl
Saber maisOs proprietários de sites que analisam o conteúdo desse arquivo de registro obterão muitas informações sobre o orçamento de rastreamento do Google para seus sites. O arquivo revelará algumas coisas:
- Quais páginas o user agent visita
- Quantas páginas esse agente rastreia por dia
- Se alguma das páginas rastreadas está 404ing ou quebrada
Idealmente, você deseja que o Google rastreie as páginas de destino do seu site otimizadas para as palavras-chave de maior valor. Além disso, os proprietários de sites nunca devem desperdiçar o orçamento de rastreamento em 404s. O Google Search Console mostrará apenas alguns de seus erros soft 404, mas você pode identificar todos eles nos logs do servidor.
Depois de obter informações mais detalhadas sobre quais páginas do seu site estão sendo rastreadas, conclua os seguintes itens de ação:
- Adicionar tags de robôs: se o Googlebot estiver rastreando esses 404s ou páginas quebradas, a prioridade número um deve ser adicionar tags de robôs [noindex, nofollow] para evitar que o Googlebot rastreie e indexe essas páginas.
- Ajuste seu mapa do site: se os registros do seu servidor revelarem que o Google não está rastreando suas páginas potencialmente de alto desempenho, coloque-as mais acima no mapa do site para garantir que sejam rastreadas.
Etapa 2: aceite que nem todas as suas páginas de destino precisam ser classificadas no Google
A principal razão pela qual tantos sites de nível empresarial desperdiçam seu orçamento de rastreamento é porque eles permitem que o Google rastreie todas as páginas de destino em seu site. Muitos sites até gostam de colocar todas as suas páginas em seus aplicativos para dispositivos móveis para que o Google possa encontrar e rastrear todas elas. Isso é um erro, porque, na realidade, nem todas as nossas páginas de destino serão classificadas.
Qual é o valor de ter uma landing page no índice do Google? Classificação e conversão. Se o seu site tiver páginas de destino que não estão ganhando peso ao classificar várias palavras-chave ou converter visitantes do site em leads e receita, por que correr o risco de permitir que o Google as rastreie?
Os proprietários de sites de comércio eletrônico e de nível empresarial devem saber quais páginas de seus sites são otimizadas para conversão e têm a maior chance de classificação e conversão. Em seguida, eles devem aproveitar todas as vantagens possíveis para garantir que o Google gaste o orçamento de rastreamento nessas páginas de alto desempenho.
Vale a pena gastar o orçamento de rastreamento nas páginas de destino do seu site com alto potencial de classificação e conversão. Veja algumas dicas para garantir que o Googlebot inclua essas páginas em seu orçamento.
- Reduza o número de páginas no mapa do site . Concentre-se apenas nas páginas que realmente têm uma boa chance de classificação e tráfego orgânico.
- Exclua páginas com baixo desempenho ou desnecessárias . Remova as páginas que não agregam valor porque não têm classificação, conversão ou finalidade funcional.
- Poda de conteúdo . Apare as páginas que não recebem tráfego orgânico e redirecione-as para outras páginas de destino em seu site que sejam relevantes e recebam tráfego. Observe que os redirecionamentos consomem um pouco do seu orçamento de rastreamento, portanto, tente usá-los com moderação e nunca os use duas vezes seguidas.
É difícil para qualquer proprietário de site deixar de lado o conteúdo, mas é muito mais fácil impedir que o Google rastreie determinadas páginas do que fazer com que o Google aumente seu orçamento geral de rastreamento. Limpar seu site para que os rastreadores do Google tenham maior probabilidade de encontrar e indexar as melhores coisas é a principal prioridade se você quiser gastar seu orçamento de rastreamento com sabedoria.
Etapa 3: use links internos para elevar páginas de alto desempenho para os rastreadores do Google
Depois de identificar quais páginas o Google está rastreando, adicionar as tags robots necessárias, excluir ou remover páginas com baixo desempenho e fazer ajustes no mapa do site, os rastreadores do Google estarão mais propensos a gastar seu orçamento nas páginas certas do seu site.
Mas para realmente maximizar esse orçamento, suas páginas precisam ter o que é preciso para ranquear. As melhores práticas de SEO na página são fundamentais, mas uma estratégia técnica mais avançada é usar sua estrutura de links internos para elevar essas páginas potencialmente de alto desempenho.
Assim como o Googlebot tem apenas um orçamento de rastreamento limitado, seu site tem apenas uma certa quantidade de patrimônio do site com base em sua presença na Internet. É sua responsabilidade concentrar seu patrimônio de maneira inteligente. Isso significa direcionar o patrimônio do site para as páginas que segmentam palavras-chave para as quais você tem uma boa chance de classificação e para aquelas que trazem tráfego com os tipos certos de clientes, aqueles que provavelmente converterão e realmente têm valor econômico.
Essa estratégia de SEO é conhecida como escultura de PageRank. Se você tem um site grande com milhares de páginas de destino, um estrategista avançado pode executar experimentos de SEO para otimizar o perfil de links internos do seu site para uma melhor distribuição do PageRank. Se você é um site novo, pode ficar à frente da curva incorporando o PageRank esculpido na arquitetura do seu site e pensando na equidade do site a cada nova página de destino que você cria.
Aqui estão duas das minhas estratégias favoritas para analisar minhas páginas para determinar quais se beneficiariam mais com a escultura do PageRank.
- Encontre as páginas do seu site que têm um bom tráfego, mas não têm PageRank suficiente . Encontre maneiras de obter mais links internos para essas páginas e enviar mais PageRank para lá. Adicioná-los ao cabeçalho ou rodapé do seu site é uma ótima maneira de fazer isso rapidamente, mas não exagere nos links no menu de navegação.
- Concentre-se nas páginas que têm muitos links internos, mas não recebem muito tráfego, impressões de pesquisa e classificação para poucas palavras-chave . As páginas que recebem muitos links internos geralmente contêm muito PageRank. Se eles não estão usando esse PageRank para trazer tráfego orgânico para o seu site, eles estão desperdiçando. É melhor mover esse PageRank para páginas que podem realmente mover a agulha.
Entender o papel que cada link em seu site desempenha não apenas no envio do Googlebot ao seu site, mas na distribuição do valor do link é a etapa final na otimização do orçamento de rastreamento. Acertar sua estrutura de links internos pode levar a melhorias dramáticas nos rankings de suas páginas de dinheiro. No final, a melhor maneira de gastar seu orçamento de rastreamento é em páginas de destino com maior probabilidade de gerar receita no seu bolso.
Depois de implementar suas alterações, fique de olho nas classificações de palavras-chave dessas páginas aprimoradas em uma ferramenta do Google Search Console. Se as classificações melhorarem para essas páginas, isso mostra que sua otimização de orçamento de rastreamento está funcionando. Então, à medida que você adiciona novas páginas ao seu site, seja mais seletivo se elas merecem ou não consumir seu orçamento de rastreamento. Caso contrário, continue direcionando os rastreadores apenas para as páginas que funcionam mais para sua marca.