Budget di scansione di Google: come funziona e come massimizzare il tuo
Pubblicato: 2021-03-02Per ogni sito Web su Internet, Google ha un budget fisso per il numero di pagine che i loro robot possono e sono disposti a scansionare. Internet è un posto grande, quindi Googlebot può dedicare solo così tanto tempo alla scansione e all'indicizzazione dei nostri siti web. L'ottimizzazione del budget di scansione è il processo per garantire che le pagine giuste dei nostri siti Web finiscano nell'indice di Google e vengano infine mostrate agli utenti che effettuano ricerche.
I consigli di Google per l'ottimizzazione del crawl budget sono piuttosto limitati, perché Googlebot esegue la scansione della maggior parte dei siti Web senza raggiungere il limite. Ma i siti di e-commerce e di livello aziendale con migliaia di pagine di destinazione rischiano di esaurire il budget. Uno studio del 2018 ha persino rilevato che i crawler di Google non sono riusciti a eseguire la scansione di oltre la metà delle pagine Web di siti più grandi nell'esperimento.
Influenzare il modo in cui viene speso il crawl budget può essere un'ottimizzazione tecnica più difficile da implementare per gli strateghi. Ma per i siti di e-commerce e di livello aziendale, vale la pena di massimizzare il budget di scansione dove puoi. Con alcune modifiche, i proprietari di siti e gli strateghi SEO possono guidare Googlebot a scansionare e indicizzare regolarmente le pagine con le migliori prestazioni.
In che modo Google determina il budget di scansione?
Il budget di scansione è essenzialmente il tempo e le risorse che Google è disposta a spendere per eseguire la scansione del tuo sito web. L'equazione è la seguente:
Budget di scansione = velocità di scansione + domanda di scansione
L'autorità di dominio, i backlink, la velocità del sito, gli errori di scansione e il numero di pagine di destinazione influiscono sulla velocità di scansione di un sito web. I siti più grandi in genere hanno una velocità di scansione più elevata, mentre i siti più piccoli, i siti più lenti o quelli con reindirizzamenti eccessivi ed errori del server, di solito vengono scansionati meno frequentemente.
Google determina anche il budget di scansione in base alla "domanda di scansione". Gli URL popolari hanno una maggiore richiesta di scansione perché Google vuole fornire agli utenti i contenuti più recenti. A Google non piacciono i contenuti obsoleti nel suo indice, quindi anche le pagine che non sono state scansionate da un po' di tempo avranno una richiesta maggiore. Se il tuo sito web subisce una migrazione del sito, Google aumenterà la domanda di scansione per aggiornare più rapidamente il suo indice con i tuoi nuovi URL.
Il budget di scansione del tuo sito web può variare e non è certamente fisso. Se migliori l'hosting del server o la velocità del sito, Googlebot potrebbe iniziare a eseguire la scansione del tuo sito più spesso sapendo che non sta rallentando l'esperienza web per gli utenti. Per avere un'idea migliore della frequenza di scansione media attuale del tuo sito, consulta il rapporto sulla scansione della console di ricerca di Google.
Ogni sito web deve preoccuparsi del proprio crawl budget?
I siti Web più piccoli che si concentrano solo sul posizionamento di alcune pagine di destinazione non devono preoccuparsi del crawl budget. Ma i siti Web più grandi, in particolare i siti malsani con pagine e reindirizzamenti interrotti eccessivi, possono facilmente raggiungere il limite di scansione.
I tipi di siti Web di grandi dimensioni che sono maggiormente a rischio di massimizzare il budget di scansione di solito hanno decine di migliaia di pagine di destinazione. I principali siti di e-commerce, in particolare, sono spesso influenzati negativamente dai budget di scansione. Mi sono imbattuto in più siti Web aziendali con un numero significativo di pagine di destinazione non indicizzate, il che significa zero possibilità di posizionamento su Google.
Ci sono alcuni motivi per cui i siti di e-commerce in particolare devono prestare maggiore attenzione a dove va il loro crawl budget.
- Molti siti di e-commerce creano in modo programmatico migliaia di pagine di destinazione per i loro SKU o per ogni città o stato in cui vendono i loro prodotti.
- Questi tipi di siti aggiornano regolarmente le loro pagine di destinazione quando gli articoli esauriscono le scorte, vengono aggiunti nuovi prodotti o si verificano altre modifiche all'inventario.
- I siti di e-commerce tendono a duplicare le pagine (ad es. le pagine dei prodotti) e gli identificatori di sessione (ad es. i cookie). Entrambi sono percepiti come URL di "basso valore aggiunto" da Googlebot, che influiscono negativamente sulla velocità di scansione
Un'altra sfida nell'influenzare il crawl budget è che Google può aumentarlo o diminuirlo in qualsiasi momento. Sebbene una mappa del sito sia un passaggio importante per i siti Web di grandi dimensioni per migliorare la scansione e l'indicizzazione delle loro pagine più importanti, non è sufficiente per garantire che Google non massimizzi il budget di scansione su pagine di valore inferiore o con prestazioni inferiori.
Quindi, in che modo i webmaster possono eseguire l'ottimizzazione del crawl budget?
Sebbene i proprietari dei siti possano impostare limiti di scansione più elevati nei loro account Google Search Console, l'impostazione non garantisce un aumento delle richieste di scansione o influenza le pagine che Google finisce per eseguire la scansione. Potrebbe sembrare che la soluzione più naturale sia convincere Google a eseguire la scansione del tuo sito Web più frequentemente, ma ci sono ottimizzazioni molto limitate che hanno una correlazione diretta con l'aumento della velocità di scansione.
Sappiamo tutti che un buon budget non significa aumentare i limiti di spesa; si tratta di essere più selettivi con ciò per cui spendi i tuoi soldi. Quando applichi questo stesso concetto alla scansione del budget, puoi ottenere risultati enormi. Ecco alcuni passaggi strategici per aiutare Google a spendere il tuo budget a tuo vantaggio.
Passaggio 1: identifica quali pagine Google sta effettivamente eseguendo la scansione del tuo sito
Fino a poco tempo, il rapporto sulla scansione di Google Search Console indicava solo ai proprietari del sito quante richieste di scansione il loro sito riceveva in determinati giorni. Sebbene il nuovo rapporto sulle statistiche di scansione di Google fornisca informazioni molto più dettagliate sulla scansione, il posto migliore per capire come Google esegue la scansione del tuo sito è ancora nei file di registro del tuo server.
Quando Google visita il tuo sito web, utilizza un particolare user agent. Ciò consente al tuo server di sapere che il traffico è in realtà Googlebot e non una persona reale.
(Troverai anche il robot di Bingbot e Ahrefs lì).
Analizzatore di log in scansione
Scopri di piùI proprietari di siti che analizzano i contenuti di questo file di registro riceveranno un sacco di informazioni sul budget di scansione di Google per il loro sito. Il file rivelerà alcune cose:
- Quali pagine visita l'agente utente
- Quante pagine scansiona l'agente al giorno
- Indipendentemente dal fatto che una qualsiasi delle pagine scansionate sia in fase di 404 o interrotta
Idealmente, desideri che Google esegua la scansione delle pagine di destinazione del tuo sito Web ottimizzate per le parole chiave di valore più elevato. Inoltre, i proprietari di siti non dovrebbero mai sprecare il budget di scansione sui 404. Google Search Console ti mostrerà solo alcuni dei tuoi errori soft 404, ma puoi identificarli tutti nei registri del tuo server.
Una volta che hai informazioni più dettagliate su quali pagine del tuo sito web vengono sottoposte a scansione, completa le seguenti azioni:
- Aggiungi tag robots: se Googlebot sta eseguendo la scansione di quei 404 o pagine rotte, la priorità numero uno dovrebbe essere l'aggiunta di tag robots [noindex, nofollow] per impedire a Googlebot di eseguire la scansione e l'indicizzazione di quelle pagine.
- Modifica la tua mappa del sito: se i log del tuo server rivelano che Google non sta eseguendo la scansione delle tue pagine potenzialmente ad alte prestazioni, inseriscile più in alto nella tua mappa del sito per assicurarti che vengano scansionate.
Passaggio 2: accetta che non tutte le tue pagine di destinazione devono essere classificate su Google
Il motivo principale per cui così tanti siti Web di livello aziendale sprecano il proprio budget di scansione è perché consentono a Google di eseguire la scansione di ogni pagina di destinazione del loro sito. A molti siti Web piace persino inserire tutte le proprie pagine nella propria app mobile in modo che Google possa trovarle ed eseguirne la scansione. Questo è un errore, perché in realtà non tutte le nostre landing page si classificheranno.
Qual è il valore di avere una landing page nell'indice di Google? Classifica e conversione. Se il tuo sito web ha pagine di destinazione che non stanno ottenendo il loro peso classificandosi per più parole chiave o convertendo i visitatori del sito in lead ed entrate, perché correre il rischio di consentire a Google di eseguirne la scansione?
I proprietari di siti di e-commerce e di livello aziendale dovrebbero sapere quali pagine dei loro siti Web sono ottimizzate per la conversione e hanno maggiori possibilità di posizionamento e conversione. Quindi, dovrebbero sfruttare tutti i vantaggi possibili per assicurarsi che Google spenda il budget di scansione su quelle pagine ad alto rendimento.
Vale la pena spendere il budget di scansione per le pagine di destinazione del tuo sito Web che hanno un posizionamento elevato e un potenziale di conversione. Ecco alcuni suggerimenti per assicurarti che Googlebot includa quelle pagine nel tuo budget.
- Riduci il numero di pagine nella mappa del tuo sito . Concentrati solo sulle pagine che effettivamente hanno buone possibilità di classificarsi e ottenere traffico organico.
- Elimina le pagine con prestazioni insufficienti o non necessarie . Rimuovi quelle pagine che non apportano alcun valore perché non hanno alcuno scopo di ranking, conversione o funzionale.
- Sfoltimento contenuto . Elimina le pagine che in realtà non ricevono traffico organico e reindirizzale ad altre pagine di destinazione del tuo sito che sono pertinenti e ottengono traffico. Tieni presente che i reindirizzamenti consumano un po' del tuo budget di scansione, quindi cerca di usarli con parsimonia e non usarli mai due volte di seguito.
È difficile per qualsiasi proprietario di un sito lasciare andare i contenuti, ma è molto più facile impedire a Google di eseguire la scansione di determinate pagine piuttosto che convincere Google ad aumentare il budget di scansione complessivo. Ripulire il tuo sito in modo che i crawler di Google abbiano maggiori probabilità di trovare e indicizzare le cose migliori è la massima priorità se vuoi spendere saggiamente il tuo budget di scansione.
Passaggio 3: utilizza i collegamenti interni per migliorare le pagine ad alte prestazioni per i crawler di Google
Dopo aver identificato quali pagine sta eseguendo la scansione di Google, aggiunto i tag robot necessari, eliminato o eliminato le pagine con prestazioni inferiori e apportato modifiche alla tua mappa del sito, i crawler di Google saranno più inclini a spendere il proprio budget per le pagine giuste del tuo sito web.
Ma per massimizzare davvero quel budget, le tue pagine devono avere ciò che serve per classificarsi. Le migliori pratiche SEO on-page sono fondamentali, ma una strategia tecnica più avanzata consiste nell'utilizzare la struttura di collegamento interna per elevare quelle pagine potenzialmente ad alte prestazioni.
Proprio come Googlebot ha solo un budget di scansione limitato, il tuo sito web ha solo una certa quantità di equità del sito in base alla sua impronta su Internet. È tua responsabilità concentrare il tuo patrimonio in modo intelligente. Ciò significa indirizzare l'equità del sito verso quelle pagine che hanno come target parole chiave per le quali hai buone possibilità di classificarti e su quelle che ti portano traffico con i giusti tipi di clienti, quelle che hanno probabilità di convertire e hanno effettivamente un valore economico.
Questa strategia SEO è nota come scultura del PageRank. Se hai un sito Web di grandi dimensioni con migliaia di pagine di destinazione, uno stratega avanzato può eseguire esperimenti SEO per ottimizzare il profilo di collegamento interno del tuo sito Web per una migliore distribuzione del PageRank. Se sei un nuovo sito web, puoi anticipare la curva incorporando il PageRank che scolpisce nell'architettura del tuo sito e pensando all'equità del sito con ogni nuova pagina di destinazione che crei.
Ecco due delle mie strategie preferite per analizzare le mie pagine per determinare quale trarrebbe maggior beneficio dalla scultura del PageRank.
- Trova le pagine del tuo sito web che hanno un buon traffico ma non hanno abbastanza PageRank . Trova il modo per ottenere a quelle pagine più collegamenti interni e inviare più PageRank lì. Aggiungerli all'intestazione o al piè di pagina del tuo sito Web è un ottimo modo per farlo rapidamente, ma non esagerare con i collegamenti nel menu di navigazione.
- Concentrati sulle pagine che hanno molti link interni, ma non ottengono molto traffico, impressioni di ricerca e classifica per pochissime parole chiave . Le pagine che ricevono molti link interni in genere contengono molto PageRank. Se non usano quel PageRank per portare traffico organico al tuo sito, lo stanno sprecando. È meglio spostare quel PageRank su pagine che possono effettivamente spostare l'ago.
Comprendere il ruolo che ogni link sul tuo sito web svolge non solo nell'inviare Googlebot nel tuo sito web, ma anche nella distribuzione della tua link equity, è il passaggio finale nell'ottimizzazione del crawl budget. Ottenere la corretta struttura di collegamento interna può portare a notevoli miglioramenti nelle classifiche per le tue pagine di denaro. Alla fine, il modo migliore per spendere il tuo crawl budget è su pagine di destinazione che molto probabilmente ti mettono entrate in tasca.
Dopo aver implementato le modifiche, tieni d'occhio le classifiche delle parole chiave per quelle pagine migliorate in uno strumento di Google Search Console. Se le classifiche migliorano per quelle pagine, mostra che l'ottimizzazione del crawl budget sta funzionando. Quindi, quando aggiungi nuove pagine al tuo sito web, sii più selettivo nel decidere se meritano o meno di consumare il tuo crawl budget. In caso contrario, continua a indirizzare i crawler solo alle pagine che funzionano di più per il tuo marchio.