4 tableaux de bord pour une migration de site parfaitement réussie

Une migration est un projet important et complexe qui doit être mené avec méthode. Cela peut avoir des conséquences négatives pour votre référencement si l'opération n'est pas effectuée correctement.
Apporter des changements majeurs peut affecter votre classement et entraîner une baisse significative du trafic.

Pour schématiser une migration, le but est de passer du site A au site B.
Le site B représente généralement une optimisation du site A. Par exemple : migrer un site A en Http vers une version B en https.
Pour préparer le site B, il est recommandé de travailler sur une version « offline » dite « préprod » ou « staging ». Cette version fait partie intégrante de l'exercice de migration afin de pouvoir l'analyser avant de basculer du site A vers le site final B.
Pour visualiser les différentes étapes, la chronologie ci-dessous décompose le processus et illustre la méthode à suivre pour vous guider dans votre migration.

Pour éviter les problèmes, la planification et la rigueur doivent être appliquées tout au long du projet.
Vous commencerez par explorer votre site de préprod. Cela vous permet d'apporter des modifications techniques et des tests sans modifier le site Web de production actuellement en ligne. Vous pouvez revoir la structure du site Web, améliorer la structure des pages ou optimiser les liens internes.
Ensuite, un crawl du site existant sera utile pour lister toutes les URL et créer un plan de redirection. En comparant les crawls des deux versions du site, vous pouvez vous assurer de n'oublier aucune page.
Lors du passage de l'ancien site au nouveau, il est recommandé de vérifier que les redirections sont mises en place et fonctionnent correctement, afin d'éviter un impact négatif sur votre trafic et votre référencement.
Ensuite, le suivi de l'indexation est une étape importante une fois la migration effectuée : à l'aide des logs du serveur et d'un nouveau crawl, vous pouvez déterminer rapidement si les moteurs de recherche ont pris en compte toutes vos URL.
Enfin, vous devez surveiller l'évolution du site après la migration pour suivre ses performances.
Vous pouvez suivre les étapes ci-dessous pour rester sur la bonne voie pendant votre migration.

Conditions préalables

Vous avez besoin:

• Un projet existant dans OnCrawl avec au moins 1 crawl
• Des segmentations existantes basées sur le type de page, le thème… pour avoir plusieurs angles de vue de votre site
• Profil de crawl dédié au site de préprod
• Suivez les instructions de configuration de l'exploration pour chaque tableau de bord.

Étape 1 : Assurez-vous que tous les problèmes qui peuvent être anticipés sont correctement résolus sur le site de préprod.

De nombreuses difficultés d'une migration peuvent être résolues pendant la phase de pré-production. Il est intéressant de crawler votre préprod pour vérifier et tester certains éléments afin d'anticiper d'éventuels problèmes lors de la migration. Par exemple, oublier de rediriger une partie du site ou créer des boucles de redirection serait préjudiciable à votre référencement.

Définir la configuration du crawl sur la préprod

Les sites de préprod sont souvent configurés pour assurer leur sécurité. C'est pourquoi les paramètres de crawl de votre site de production ne sont pas toujours adaptés à une analyse du site de préprod.

Afin de préserver l'ensemble des paramètres qui servent à crawler votre site en production, il est conseillé de créer un profil distinct pour votre site de préprod. Vous pouvez alors modifier le comportement du crawler par rapport à l'accès au site sans impacter votre profil de crawl sur le site de production.

• Dans Oncrawl, créez un nouveau profil de crawl dans la configuration du crawl et nommez-le « preprod ».

Paramètres spécifiques pour les sites de préprod

Souvent les sites de préprod bloquent les bots — et pour cause : ces pages ne doivent pas être indexées avant d'être mises en production !

Il est assez courant de voir Oncrawl vous avertir que l'URL de démarrage que vous avez spécifiée renvoie une erreur. C'est la meilleure indication que votre site de préproduction restreint l'accès à ses URL.

Voici plusieurs façons de l'explorer :

1- Vérifier le robots.txt virtuel

Si la préprod du nouveau site bloque le User-Agent : Oncrawl via robots.txt.
Utilisez le fichier virtuel robots.txt pour donner accès au User-Agent : Oncrawl. Il est défini dans la configuration du crawl > paramètres supplémentaires > Virtual robots.txt.
N'oubliez pas de décommenter les lignes sur le fichier virtuel en supprimant le # en début de ligne.

2- Vérifiez si une authentification est requise

Si une authentification est requise pour accéder à la préprod : vous devez ajouter le nom d'utilisateur et le mot de passe dans la configuration du crawl dans l'onglet « Authentification ».

1. N'oubliez pas d'afficher les paramètres supplémentaires.



2. Saisissez le nom d'utilisateur et le mot de passe dans l'onglet Authentification.



3. Une balise Noindex bloque le crawler Oncrawl

Une balise noindex indique aux moteurs de recherche qu'ils ne doivent pas indexer cette page.
Si la page d'accueil a une balise noindex : Vous devez paramétrer la configuration dans l'onglet « crawl behavior » de la configuration du crawl pour ignorer la balise lors du crawl.


4. Erreurs 403, 503 ou 406

Le robot d'exploration peut afficher l'erreur suivante :
Erreur 403, erreur 503, code d'état HTTP 406
L'erreur 403 signifie que le serveur a compris la requête mais a refusé de l'exécuter. Pour le 503, le service est momentanément indisponible ou en maintenance. Le code d'état 406 indique qu'il est impossible de servir une réponse qui satisfait les en-têtes "Accepter" de la requête.
Dans ces cas:

• Les adresses IP Oncrawl doivent être en liste blanche pour donner accès à la préprod.
• Vous devez cocher l'option ips statique.
• Ces 3 IP seront inchangées.



5. Assurez-vous que l'agent utilisateur Oncrawl est sur la liste verte

Parfois, il est nécessaire de mettre l'agent utilisateur sur une liste d'agents utilisateurs acceptés. Par exemple, si votre site est sécurisé, le robot d'exploration peut ne pas disposer de l'autorisation par défaut. Vous devez donc demander à votre équipe technique d'ajouter le user-agent Oncrawl à cette liste.

• Vous pouvez trouver l'agent utilisateur par défaut dans la configuration de l'analyse.
• Vous pouvez modifier le nom du bot si nécessaire.
• Si l'url de démarrage ne donne toujours pas accès au crawler, vous devrez personnaliser l'agent utilisateur, merci de nous contacter via l'espace Chat en bas à droite.

[Ebook] SEO technique pour les penseurs non techniques

Le référencement technique est l'un des domaines SEO en pleine croissance aujourd'hui. Cela implique de trouver des solutions de référencement basées sur le comment et le pourquoi du fonctionnement des moteurs de recherche et des sites Web. Cet ebook contient tout ce que vous avez toujours voulu partager avec vos clients, vos amis et vos coéquipiers marketing.

Lire l'ebook

Étape 2 : Validez votre checklist de préprod

La check-list de pré-production sert à éviter les erreurs courantes et à valider que les éléments techniques de base de votre nouveau site sont conformes à vos intentions. Les listes de contrôle incluent souvent les éléments suivants :

• La structure de votre site
• Déclarations canoniques
• Rel déclarations alternatives (hreflang, mobile)

Nous avons préparé un tableau de bord pour valider cette checklist en fonction du crawl que vous venez de terminer. Vous pouvez télécharger ce tableau de bord ici.

Pour utiliser ce tableau de bord, vous avez besoin :

• Utilisez la configuration de crawl de votre préprod
• Au moins 1 segmentation basée sur l'URL qui vous permet de visualiser la structure de votre site
• Pour ajouter ce tableau de bord à Oncrawl, suivez les instructions ci-dessous

Étape 3 : Comparez Prod vs Preprod

Maintenant que vous savez que votre site de préprod est correctement configuré, vous devez le comparer avec le site actuellement en production. Cette étape vous permettra de vérifier que le nouveau site comprend toutes les pages et fonctionnalités souhaitées du site actuel.
Il est particulièrement recommandé de vérifier :

• Le nombre de pages de préprod vs la prod
• Le périmètre du nouveau site, qui doit être identique

Ce faisant, vous effectuez également un check-up complet avant de passer en production.

Nous avons préparé un tableau de bord pour comparer l'ancien site avec le nouveau, que vous pouvez télécharger ici.

Pour utiliser ce tableau de bord, vous avez besoin :

• Au moins 1 segmentation basée sur l'URL.
• Lancer un Crawl over Crawl pour comparer prod/preprod.
• Au moins 1 segmentation basée sur l'URL.

Comment lancer un crawl over crawl

• Lancer un crawl over crawl depuis la page du projet

• 2- Choisir ma configuration Prod et Preprod

• 3- Sélectionner le crawl over crawl Prod/preprod dans les analyses

Étape 4 : Vérifiez les redirections

A ce stade, vous devez avoir mis en place sur votre site de préprod toutes les redirections des anciennes URL vers les nouvelles. Il s'agit d'une étape clé pour une migration réussie sans perte de trafic et de classement.
Vous pouvez utiliser un crawl uniquement sur les anciennes URL pour vérifier les erreurs 404 et vérifier la cible des redirections. Un tableau de bord qui rassemble les informations nécessaires peut rendre cette étape beaucoup plus facile.

Nous vous en avons préparé un. Ce tableau de bord est téléchargeable ici.

Pour utiliser ce tableau de bord, vous avez besoin :

• Pour créer une configuration de crawl sur la liste des anciennes URL
• Segmentation des sites

Étape 5 : Lancer et surveiller la migration

Vous pouvez maintenant basculer votre site préprod vers prod.

Mais c'est loin d'être la fin de la migration ! Dès que le site est en ligne et en production, vous devez vous assurer que Google prend rapidement connaissance des nouvelles URL. Pour cela, vous devez déclarer votre nouveau domaine dans Google Search Console. Avec le plan de redirection, Google comprendra le changement.

Il est possible de vérifier l'état des URL une par une dans Google Search Console, mais nous le ferons avec un crawl et un suivi des journaux du serveur. Cela a l'avantage d'être rapide (les données de la Search Console peuvent être affichées avec un délai de quelques jours), d'être plus pratique lorsque vous avez beaucoup de pages, et de vous permettre de valider quelques autres paramètres techniques à la en même temps.

Pour vous faciliter la tâche, vous pouvez télécharger ce tableau de bord sur les points à vérifier.

Pour utiliser ce tableau de bord, vous avez besoin :

• Pour utiliser la configuration du crawl du nouveau site (après le switch)
• Pour avoir un téléchargement quotidien des fichiers journaux

Ce tableau de bord vous aide à :

• Vérifiez si Googlebot explore vos nouvelles URL
• Effectuer un contrôle d'intégrité après la migration à l'aide de l'analyse des journaux

Étape 6 : Valider la fin de la migration

Si votre site a été correctement exploré par Google, il ne reste plus qu'à vérifier que le nouveau site en prod est exactement le même que le site en préprod.

Assurez-vous de vérifier ces éléments :

• Les URL canoniques doivent être mises à jour avec la nouvelle version du site.
• L'ancien site ne doit pas avoir de page qui réponde avec un code d'état 200.

Avec un tableau de bord adapté, vous pouvez faire une dernière vérification.

Vous pouvez également générer un rapport prêt à l'emploi à partir de ce tableau de bord afin de communiquer sur la migration à votre client ou à votre direction.

Vous pouvez télécharger ce tableau de bord ici.

Pour utiliser ce tableau de bord, vous avez besoin :

• Pour lancer un Crawl over Crawl pour comparer prod/preprod
• Au moins 1 segmentation basée sur l'URL pouvant être appliquée à l'analyse des journaux

Comment lancer un crawl sur une liste d'URL

1. Exporter toutes les URL connues de l'ancien site (via un ancien crawl)
2. Crawlez cette liste d'URL via un nouveau profil de crawl pour vérifier que les redirections sont correctement paramétrées.
3. Dans la configuration du crawl, dans l'onglet "Start URL" sélectionnez le mode "URL list" et uploadez votre liste d'urls.
   
4. Dans l'onglet « Crawler Behavior », n'oubliez pas de cocher la case « Follow HTTP redirects ». (Par défaut, toutes les cases sont toutes décochées).
   
5. Lancez le crawl !

Comment exporter une liste d'urls

Comment exporter mon rapport

Comment importer chaque tableau de bord

Concentrez-vous sur les bons résultats de crawl lors de votre prochaine migration

Une migration est un projet nécessitant une organisation sans faille pour anticiper les éventuels problèmes pouvant impacter votre référencement. Vous pouvez aussi en profiter pour effectuer un check-up complet de votre site : Une migration peut être l'occasion de faire le point sur le contenu : supprimer des pages obsolètes, fusionner certaines pages, réécrire d'autres…

Crawler votre préprod et votre site vous permettra de mettre en évidence les différences existantes et de corriger ces erreurs avant de lancer votre nouveau site. Une fois le nouveau site opérationnel, il sera important de surveiller les performances, non seulement les performances de référencement, mais également les autres sources de trafic et les conversions.

Vous serez surpris de la facilité avec laquelle vos futures migrations se dérouleront !