Suivi du budget de crawl avant et après une mise à jour

Psst… Il y a un secret que je veux te dire.

Votre site dispose d'un "budget de crawl" défini par Google.

Il s'agit de la métrique secrète utilisée par Google pour mesurer deux choses :

1. Dans quelle mesure votre site est-il construit ?
2. La popularité de votre site

Cet article se concentrera sur le premier point.

Améliorer la qualité de construction de votre site augmentera votre budget de crawl.

Plus votre budget de crawl est important, plus Google s'arrêtera fréquemment et lira vos pages.

Commençons par partager une compréhension de ce qu'est un budget de crawl.

Qu'est-ce que le budget de crawl

Google utilise un logiciel spécial appelé robot d'indexation (ou araignée) pour lire les pages de votre site.

Ils appellent ce robot d'exploration Web, Googlebot.

Le budget d'exploration est le terme utilisé pour décrire la fréquence à laquelle Googlebot explore vos pages.

En optimisant votre site, vous pouvez augmenter votre budget de crawl.

Google a déclaré que votre budget de crawl est une combinaison de :

• Taux d'exploration - La vitesse à laquelle Googlebot peut explorer votre site sans casser vos serveurs
• Demande d'exploration : importance de votre page Web pour les utilisateurs de Google

Au fur et à mesure que ces mesures s'amélioreront, vous verrez Googlebot visiter plus souvent. Lire plus de pages à chaque visite.
Une fois que Google explore une page, il ajoutera le contenu à l'index Google. Ce qui met ensuite à jour les informations affichées dans les résultats de recherche Google.

En optimisant le budget d'exploration, vous pouvez améliorer la vitesse des mises à jour de votre site vers la recherche Google.

Pourquoi devriez-vous améliorer votre budget de crawl

Google a une tâche difficile. Ils doivent explorer et indexer chaque page sur Internet.

La puissance dont ils ont besoin pour faire cela est énorme et ils ne peuvent pas indexer chaque page.

L'optimisation de votre budget de crawl donnera à votre site les meilleures chances d'apparaître dans les recherches.

[Étude de cas] Gérer le bot crawling de Google

Avec plus de 26 000 références produits, 1001Pneus avait besoin d'un outil fiable pour suivre ses performances SEO et s'assurer que Google consacrait son budget de crawl aux bonnes catégories et pages. Apprenez à gérer avec succès le budget de crawl des sites e-commerce avec OnCrawl.

Lire l'étude de cas

Comment améliorer votre budget de crawl

L'amélioration d'un site consiste à rendre le temps passé par Googlebot sur un site aussi efficace que possible.

Nous ne voulons pas :

• Googlebot lit des pages que nous ne voulons pas dans la recherche Google.
• Googlebot voit des erreurs de serveur
• Googlebot suit les liens cassés/morts
• Googlebot attend que la page se charge
• Googlebot lit du contenu en double

Tout ce qui précède gaspille les précieuses ressources de Google et pourrait voir votre taux de crawl chuter.

Budget de crawl et référencement technique

Une grande partie de ce que vous devez faire dans le cadre du référencement technique revient à optimiser le budget de crawl.

Nous avons besoin:

• Optimiser robots.txt et vérifier les erreurs
• Corrigez toutes les balises de lien hreflang et canonique
• Résoudre les pages non 200
• Correction des redirections et des boucles de redirection
• Assurez-vous que tous les sitemaps sont exempts d'erreur

Voyons maintenant comment créer la page parfaite pour Googlebot.

Comment créer la page parfaite

OK donc peut-être pas la page parfaite mais nous devrions essayer d'améliorer la page autant que possible.

Examinons quelques problèmes courants sur la page que vous pouvez améliorer.

Problèmes de pages

• Contenu en double – Marquez tout contenu en double sur votre site avec une balise de lien canonique.
• Pages non SSL – Trouvez tous les liens HTTP et convertissez-les en HTTPS. Si vous n'avez pas de certificat SSL, obtenez-en un gratuitement auprès de Let's Encrypt.
• Explorez uniquement les pages utiles – Utilisez votre fichier robots.txt pour réduire les endroits où Googlebot peut aller. Par exemple, si vous avez des pages utilisées pour un administrateur, désactivez -les dans votre fichier robots.txt.

• Contenu fin - Envisagez de bloquer le grattage des pages avec un contenu fin ou très faible. Si vous avez des pages qui ont peu de valeur pour un utilisateur, ne perdez pas le temps de Googlebot sur ces pages.
• Erreurs de serveur - Les erreurs de serveur sont le signe d'un serveur Web défectueux. Si votre site renvoie des erreurs 5xx, leur correction peut augmenter le taux d'exploration.

Chargement lent des pages

Une façon d'améliorer le budget de crawl est de rendre la page rapide.

Les pages rapides rendent Googlebot plus rapide et c'est un signe pour Google que le serveur Web est "sain".

Google a déjà dit que la vitesse des pages augmente le taux de crawl :

Rendre un site plus rapide améliore l'expérience des utilisateurs tout en augmentant le taux de crawl.

• Poids de la page – Cette mesure est la taille globale de votre page. Cela inclut tous les CSS Javascript et les images de la page. Cela devrait être inférieur à 1 Mo au total.
• Images optimisées - Les images doivent être aussi petites que possible en Ko sans perte de qualité. L'utilisation d'un outil comme Squoosh peut aider à cela.

• CSS et JS minifiés – Minifiez vos fichiers JS et CSS. C'est le processus de suppression de tous les caractères inutiles du fichier. Utilisez CSSNano et UglifyJS pour réduire les fichiers.
• Compression et mise en cache – Assurez-vous de la compression GZip ou BR sur le serveur. Cela accélérera le temps nécessaire pour obtenir un fichier. Ajoutez la mise en cache afin que le fichier ne soit téléchargé qu'une seule fois.

Pour une liste des améliorations de la vitesse des pages, consultez cet examen approfondi des performances du site Web. Il comporte 30 étapes pour améliorer les performances du site Web.

Méthodes pour mesurer vos changements

En tant que SEO intelligent, vous savez qu'avant de commencer toute optimisation, vous devez suivre les changements.

Vous devez choisir un point de données avec deux propriétés :

1. Vous devez être en mesure de suivre le point de données au fil du temps.
2. Vous devez être en mesure d'influencer ces données avec vos actions.

Alors, quel est le point de données que nous devrions suivre pour le budget de crawl ?

Nous avons dit plus tôt que Google utilise deux facteurs pour décider d'un budget de crawl :

• Taux d'exploration - La vitesse à laquelle Googlebot peut explorer votre site sans casser vos serveurs
• Demande d'exploration : importance de votre page Web pour les utilisateurs de Google

Étant donné que nous sommes des spécialistes du référencement technique, notre travail consiste à améliorer le taux de crawl.

C'est donc le point de données que nous devrions suivre.

Suivi du taux d'exploration

Alors, comment suivons-nous le taux d'exploration de Googlebot ?

Nous devons utiliser les journaux d'accès à votre serveur Web.

Les journaux stockent chaque requête adressée à votre serveur Web. Chaque fois qu'un utilisateur ou Googlebot visite votre site, une entrée de journal est ajoutée au fichier journal d'accès.

Voici à quoi ressemblerait une entrée pour Googlebot :

 127.0.0.1 - - [11/Nov/2019:08:29:01 +0100] "GET /exemple HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatible ; Googlebot/2.1 ; +http://www .google.com/bot.html)"

Il y a trois points de données importants dans chaque journal. La date:

 [11/Nov/2019:08:29:01 +0100]

L'URL :

« GET /exemple HTTP/1.1 »

Et le user-agent qui nous dit que c'est Googlebot qui fait la requête :

 "Mozilla/5.0 (compatible ; Googlebot/2.1 ; +http://www.google.com/bot.html)"

Le journal ci-dessus provient d'un serveur Web Nginx. Cependant, tous les serveurs Web tels qu'Apache ou IIS auront une entrée de journal d'accès similaire.

Selon votre configuration, vous pouvez avoir un réseau de diffusion de contenu (CDN). Un CDN tel que Cloudflare ou Fastly créera également des journaux d'accès.

L'analyse manuelle d'un journal d'accès n'est pas la plus amusante bien que cela soit possible.

Vous pouvez télécharger le fichier access.log et l'analyser à l'aide d'Excel. Pourtant, je vous recommande d'utiliser un analyseur de logs tel que celui d'OnCrawl.

Cela vous permettra de voir le taux de crawl de Googlebot sur un graphique et en temps réel. Une fois que vous avez cette configuration de surveillance pour suivre le taux de crawl, vous pouvez commencer à l'améliorer.

Faire des changements

Maintenant que nous savons ce que nous suivons, nous pouvons envisager d'apporter des améliorations. Mais ne faites pas beaucoup de changements en même temps. Soyez méthodique et faites les changements un par un.

Construire, Mesurer, Apprendre.

En utilisant cette technique, vous pouvez adapter les changements que vous apportez au fur et à mesure que vous apprenez. Concentrez-vous sur les tâches qui améliorent le taux de crawl.

Si vous vous précipitez et changez trop à la fois, il peut être difficile de comprendre les résultats.

Il est donc difficile de dire ce qui a fonctionné et ce qui n'a pas fonctionné.

Au fil du temps, à mesure que la page s'améliore, vous constaterez une augmentation du budget de crawl à mesure que le taux de crawl augmente.

Conclusion, suivi du budget de crawl avant et après une mise à jour

Nous avons couvert exactement ce qu'est un Crawl Budget.

En tant que référenceur technique, vous avez le pouvoir d'augmenter le taux de crawl du site.

En améliorant la santé technique, vous pouvez rendre efficace le temps passé par Googlebot sur votre site.

Suivez le taux de crawl à l'aide de vos journaux pour obtenir des résultats précis.

Utilisez Construire, Mesurer, Apprendre comme technique pour apporter un changement à la fois et vous améliorer au fur et à mesure.

Au fil du temps, votre taux de crawl augmentera. Vos pages apparaîtront plus rapidement dans les résultats de recherche Google. Et les utilisateurs auront une excellente expérience sur votre site.