Webinar Digest : Audit SEO en direct et fichiers journaux avec Bill Hartzer

Publié: 2018-10-02

Le 25 septembre, OnCrawl a eu le plaisir d'accueillir Bill Hartzer pour un webinaire sur l'analyse des fichiers journaux et pourquoi c'est important pour les audits SEO. Il a parcouru son propre site Web pour montrer l'impact des optimisations sur l'activité des bots et la fréquence d'exploration.

Présentation de Bill Hartzer

Bill Hartzer est un consultant en référencement et un expert en noms de domaine avec plus de 20 ans d'expérience. Bill est reconnu internationalement comme un expert dans son domaine et a récemment été interviewé sur CBS News comme l'un des principaux experts en recherche du pays.

Au cours de ce webinaire d'une heure, Bill nous donne un aperçu de ses fichiers journaux et explique comment il les utilise dans le cadre d'un audit de site. Il présente les différents outils qu'il utilise pour vérifier les performances du site et le comportement des bots sur son site.

Enfin, Bill répond aux questions concernant l'utilisation d'OnCrawl pour visualiser des résultats significatifs et fournit des conseils aux autres référenceurs.

Comment accéder à vos fichiers journaux via le plugin cPanel pour WordPress

Si votre site Web est construit avec WordPress et que vous utilisez le plugin cPanel, vous pouvez trouver les journaux de votre serveur directement dans l'interface WordPress.

Accédez à Métriques, puis à Accès brut. Là, vous pouvez télécharger des fichiers journaux quotidiens à partir du gestionnaire de fichiers, ainsi que des archives compressées d'anciens fichiers journaux.

Examiner le contenu d'un fichier journal

Un fichier journal est un gros fichier texte qui contient des informations sur tous les visiteurs de votre site Web, y compris les bots. Vous pouvez l'ouvrir à l'aide d'un éditeur de texte de base.

Il n'est pas difficile de repérer les hits potentiels de bot de googlebot ou de bing, qui s'identifient dans les fichiers journaux, bien que ce soit une bonne idée de confirmer l'identification du bot à l'aide de recherches IP.

Vous pouvez également trouver d'autres robots qui explorent votre site, mais qui peuvent ne pas vous être utiles. Vous pouvez empêcher ces bots d'accéder à votre site.

OnCrawl traitera les analyses brutes dans vos fichiers journaux pour vous donner une vue claire des bots qui visitent votre site.

Utilisation de vos fichiers journaux pour plus d'informations sur Crawl Stats

Les informations sur Crawl Stats sont disponibles dans l'ancienne version de Google Search Console sous Crawl > Crawl Stats prend un nouveau sens par rapport aux informations de vos fichiers journaux.

Vous devez savoir que les données affichées dans Google Search Console ne se limitent pas aux robots SEO de Google et peuvent donc être moins utiles que les informations plus précises que vous pouvez obtenir en analysant vos fichiers journaux.

Instances récentes d'activité d'exploration inhabituelle

Bill examine trois pics récents visibles dans les statistiques d'exploration de Google Search Console. Ceux-ci correspondent à de grands événements qui déclenchent une activité de crawl accrue.

Pic d'indexation Mobile First

Le pic du 7 septembre dans Google Search Console peut sembler, à première vue, sans rapport avec les événements sur le site Web. Cependant, un coup d'œil à l'analyse des logs dans OnCrawl a fourni des indices :


L'analyse des fichiers journaux nous permet de voir la répartition des différents bots que Google utilise pour explorer la page. Il devient clair que l'activité du Googlebot de bureau a fortement diminué avant cette date et que ce pic, contrairement aux pics précédents plus petits, était composé presque entièrement de visites sur des pages uniques déjà indexées par le bot mobile de Google.

Une augmentation de 50% du trafic organique enregistrée par Google Analytics a confirmé que ce pic correspondait à l'indexation Mobile First du site début septembre, des semaines avant l'alerte envoyée par Google !

Modification de la structure URL du site

Mi-août, Bill a modifié sa structure d'URL pour la rendre plus conviviale pour le référencement.

Google Search Console a enregistré deux pics importants juste après cette modification, confirmant que Google identifie les événements majeurs du site et les utilise comme signaux pour réexplorer les URL du site Web.

Lorsque nous observons la répartition de ces hits dans OnCrawl, il devient évident que le deuxième pic est moins un pic, mais que le taux de crawl élevé des pages de ce site Web se poursuit sur plusieurs jours. Il est clair que Google a repris les changements, comme Bill est en mesure de le confirmer en observant les différences d'activité de crawl au cours des jours suivant ses changements.

Rapports et fonctionnalités OnCrawl utiles pour réaliser un audit technique

Visites SEO et pages SEO actives

OnCrawl traite les données de votre fichier journal pour fournir des informations précises sur les visites SEO ou les visiteurs humains provenant des listes SERP de Google.

Vous pouvez suivre le nombre de visites ou consulter les pages SEO actives, qui sont des pages individuelles du site Web qui reçoivent du trafic organique.

Une chose que vous voudrez peut-être examiner dans le cadre d'un audit serait la raison pour laquelle certaines pages de classement ne reçoivent pas de trafic organique (ou, en d'autres termes, ne sont pas des pages SEO actives).

Rang frais

Des métriques comme le Fresh Rank d'OnCrawl fournissent des informations essentielles. Dans ce cas : le délai moyen en jours entre le moment où Google explore une page pour la première fois et le moment où la page obtient sa première visite SEO.


Les stratégies de promotion de contenu et le développement de backlinks peuvent aider à gagner du trafic plus rapidement pour une nouvelle page. Certaines pages du site dans cet audit, telles que les articles de blog qui ont été promus sur les réseaux sociaux, ont obtenu un classement frais beaucoup plus bas.

Accès du bot aux pages et aux ressources par code d'état

Les bots peuvent visiter des URL qui renvoient des erreurs 404 ou 410. Cela peut concerner des ressources telles que CSS, JavaScript, PDF ou fichiers image.

Ce sont des éléments que vous voulez absolument étudier lors d'un audit. La redirection de ces URL et la suppression des liens internes vers celles-ci peuvent fournir des gains rapides.

Lors d'un audit, il peut être utile de conserver des notes sur les éléments qui doivent être traités, tels que les URL qui renvoient des erreurs d'état aux bots.

Rapports de l'explorateur de données : rapports personnalisés

L'explorateur de données OnCrawl propose des filtres rapides pour produire des rapports qui pourraient vous intéresser, mais vous pouvez également créer vos propres rapports en fonction des critères qui vous intéressent. Par exemple, vous voudrez peut-être sonder les pages actives SEO avec des rebonds et un temps de chargement élevé.

Rapports de l'explorateur de données : pages orphelines actives

En combinant les données d'analyse, de crawl et de fichiers journaux, OnCrawl peut vous aider à découvrir des pages avec des visites humaines organiques qui n'apportent pas toujours de la valeur à votre site. L'avantage d'utiliser les données des fichiers journaux est que vous pouvez découvrir chaque page de votre site qui a été visitée, y compris les pages qui pourraient ne pas contenir de code Google Analytics.

Bill a pu identifier les visites organiques SEO sur les pages de flux RSS, probablement grâce à des liens provenant de sources externes. Ces pages sont des pages orphelines sur son site ; ils n'ont pas de page "parente" qui renvoie à eux. Ces pages n'apportent aucune valeur ajoutée à sa stratégie de référencement, mais elles reçoivent tout de même quelques visites de trafic organique.

Ces pages sont d'excellents candidats pour commencer à optimiser.

Analyse de recherche pour le classement des mots clés

Les données pour les classements peuvent être tirées de Google Search Console. Directement dans l'ancienne version de Google Search Console, vous pouvez accéder à Search Traffic, puis Search Analytics, et afficher les clics, les impressions, le CTR et les positions des 90 derniers jours.

OnCrawl fournit des rapports clairs sur la façon dont ces informations se rapportent à l'ensemble du site, vous permettant de comparer le nombre total de pages sur le site, le nombre de pages de classement et le nombre de pages qui reçoivent des clics.

Impressions, CTR et clics

La segmentation du site vous permet de confirmer, en un seul coup d'œil, quels types ou groupes de pages de votre site se classent, et sur quelle page des résultats.

Dans cet audit, Bill est capable d'utiliser la métrique d'OnCrawl pour repérer les types de pages qui ont tendance à bien se classer. Ce sont les types de pages qu'il sait qu'il devrait continuer à produire afin d'augmenter le trafic vers le site Web.

Les clics sur les pages de classement sont fortement corrélés à la position de classement : les positions supérieures à 10 ne sont plus sur la première page des résultats de recherche, auquel cas le nombre de clics chutera fortement pour la plupart des mots clés.

Segmentation du site Web

La segmentation d'OnCrawl est un moyen de regrouper vos pages en ensembles significatifs. Bien qu'une segmentation automatique soit fournie, vous pouvez modifier les filtres ou créer vos propres segmentations à partir de zéro. En utilisant les filtres OnCrawl Query Language, vous pouvez inclure ou exclure des pages dans un groupe en fonction de nombreux critères différents.

Sur le site que Bill regarde dans le webinaire, la segmentation est basée sur les différents répertoires du site.

Pages dans la structure > explorées > classées > actives

Dans le rapport OnCrawl Ranking, le graphique « Pages en structure > crawlées > classées > actives » peut vous alerter des problèmes de classement et de visite de vos pages.

Ce graphique vous montre :

  • Pages dans la structure : le nombre de pages accessibles par les différents liens de votre site
  • Crawled : pages que Google a explorées
  • Classé : pages qui sont apparues dans les SERP de Google
  • Actif : pages qui ont reçu des visites organiques

Votre audit voudra examiner les raisons des différences entre les barres de ce graphique.

Cependant, les différences entre le nombre de pages dans la structure et le nombre de pages explorées peuvent être intentionnelles, par exemple, si vous empêchez Google d'explorer certaines pages en interdisant les robots dans le fichier robots.txt. C'est quelque chose que vous voulez vérifier lors de votre audit.

Vous pouvez consulter ce type de données dans OnCrawl en cliquant sur le graphique.

Points clés à retenir


Les principaux points à retenir de ce webinaire incluent :

  • De grands changements dans la structure d'un site Web peuvent produire de grands changements dans l'activité d'exploration.
  • Les outils gratuits de Google rapportent des données qui sont agrégées, moyennées ou arrondies d'une manière qui peut les rendre inexactes.
  • Les fichiers journaux vous permettent de voir le comportement réel du bot et les visites organiques. Combinés aux données de crawl et à la surveillance quotidienne, ils constituent un outil puissant pour détecter les pics.
  • Des données précises sont nécessaires pour comprendre pourquoi et ce qui s'est passé, et cela ne peut être réalisé que par une analyse croisée des données d'analyse, de crawl, de classements et, plus précisément, des fichiers journaux dans un outil comme OnCrawl.

Essayez OnCrawl gratuitement

Souhaitez-vous appliquer ces techniques à votre site pour obtenir des informations d'audit exploitables ?

Commencer votre essai gratuit

Vous l'avez manqué en direct ? Regardez la rediffusion !

Même si vous n'avez pas pu assister au webinaire en direct, ou si vous n'avez pas pu rester pour toute la session, vous pouvez toujours voir la version complète.