4 个仪表板可实现完美成功的站点迁移

已发表: 2021-02-25

迁移是一个重要而复杂的项目,必须有条不紊地进行。 如果操作未正确执行,可能会对您的 SEO 产生负面影响。
进行重大更改可能会影响您的排名并导致流量大幅下降。

要将迁移模式化,目标是从站点 A 移动到站点 B。
站点 B 一般代表站点 A 的优化。例如:将 Http 中的站点 A 迁移到 https 中的版本 B。
要准备站点 B,建议使用称为“preprod”或“staging”版本的“离线”版本。 此版本是迁移练习的一个组成部分,以便能够在从站点 A 切换到最终站点 B 之前对其进行分析。
为了可视化不同的步骤,下面的时间表分解了该过程并说明了指导您完成迁移的方法。

为避免出现问题,必须在整个项目中应用计划和严谨性。
您将从抓取您的 preprod 网站开始。 这允许您在不修改当前运行的生产网站的情况下进行技术更改和测试。 您可以查看网站结构、改进页面结构或优化内部链接。
然后,对现有站点的爬网将有助于列出所有 URL 并创建重定向计划。 通过比较网站的两个版本的抓取,您可以确保不会忘记任何页面。
从旧站点切换到新站点时,建议检查重定向是否已设置并正常工作,以避免对您的流量和 SEO 产生负面影响。
之后,监控索引是迁移完成后的重要一步:使用服务器日志和新的爬网,您可以快速确定搜索引擎是否已将您的所有 URL 考虑在内。
最后,您应该监控迁移后站点的演变以跟踪其性能。
您可以按照以下步骤在迁移过程中保持正常运行。

先决条件

你需要:

  • OnCrawl 中至少有 1 次爬网的现有项目
  • 一些基于页面类型、主题的现有细分......以从多个角度查看您的网站
  • 专用于 preprod 站点的爬网配置文件
  • 遵循每个仪表板的爬网配置说明。

第 1 步:确保在 preprod 站点上正确解决任何可以预见的问题。

在预生产阶段可以解决迁移的许多困难。 抓取您的 preprod 以检查和测试某些元素以预测迁移过程中的潜在问题是很有趣的。 例如,忘记重定向网站的一部分或创建重定向循环将对您的 SEO 有害。

在 preprod 上设置爬网配置

Preprod 站点通常配置为确保它们的安全。 这就是为什么您的生产站点的爬网设置并不总是适合分析 preprod 站点的原因。

要保留用于在生产中抓取您的站点的参数集,建议为您的 preprod 站点创建单独的配置文件。 然后,您可以修改与站点访问相关的爬网程序的行为,而不会影响生产站点上的爬网配置文件。

  • 在 Oncrawl 中,在爬网配置中创建一个新的爬网配置文件并将其命名为“preprod”。


preprod 站点的特定设置

通常 preprod 网站会阻止机器人——并且有充分的理由:这些页面在投入生产之前不能被索引!

看到 Oncrawl 警告您指定的开始 URL 返回错误是很常见的。 这是您的 preprod 站点正在限制对其 URL 的访问的最佳指示。

这里有几种爬取它的方法:

1-检查虚拟robots.txt

如果新站点的 preprod 阻止了 User-Agent: Oncrawl via robots.txt。
使用虚拟 robots.txt 文件授予对 User-Agent: Oncrawl 的访问权限。 它在爬网配置 > 额外设置 > 虚拟 robots.txt 中设置。
不要忘记通过删除行首的 # 来取消注释虚拟文件上的行。

2-检查是否需要身份验证

如果访问 preprod 需要身份验证:您必须在“身份验证”选项卡的爬网配置中添加用户名和密码。

  1. 记得显示额外的设置。
  2. 在“身份验证”选项卡中输入用户名和密码。
  3. Noindex 标签会阻止 Oncrawl 爬虫
  4. noindex 标签告诉搜索引擎他们不应该索引这个页面。
    如果首页有noindex标签:必须在爬取配置中的“爬取行为”选项卡中设置配置,在爬取过程中忽略该标签。

  5. 错误 403、503 或 406
  6. 爬虫可能会显示以下错误:
    错误 403、错误 503、HTTP 状态码 406
    错误 403 表示服务器理解请求但拒绝执行。 对于 503,该服务暂时不可用或正在维护中。 状态码 406 表示不可能提供满足请求的“接受”标头的响应。
    在这些情况下:

    • 必须将 Oncrawl IP 地址列入白名单以授予对 preprod 的访问权限。
    • 您必须检查静态 ips 选项。
    • 这 3 个 IP 将保持不变。

  7. 确保 Oncrawl 用户代理已列入绿名单
  8. 有时有必要将用户代理放在接受的用户代理列表中。 例如,如果您的站点是安全的,则爬虫可能没有默认授权。 因此,您应该要求您的技术团队将 Oncrawl 用户代理添加到此列表中。

  • 您可以在爬网配置中找到默认用户代理。
  • 如有必要,您可以修改机器人名称。
  • 如果开始 url 仍然无法访问爬虫,您将需要自定义用户代理,请通过右下角的聊天空间与我们联系。

[电子书] 面向非技术思想家的技术 SEO

技术 SEO 是当今不断发展的 SEO 领域之一。 它涉及根据搜索引擎和网站的工作方式和原因来寻找 SEO 解决方案。 这本电子书是您一直想与您的客户、朋友和营销团队成员分享的所有内容。
阅读电子书

第 2 步:验证您的 Preprod 清单

生产前检查表用于避免常见错误并验证新站点的基本技术元素是否符合您的意图。 清单通常包括以下元素:

  • 您网站的结构
  • 规范陈述
  • Rel 备用语句(hreflang,移动)

我们准备了一个仪表板,以根据您刚刚完成的爬网验证此清单。 您可以在此处下载此仪表板。

要使用此仪表板,您需要:

  • 使用 preprod 的爬网配置
  • 至少 1 个基于 URL 的分段,可让您可视化站点的结构
  • 要将此仪表板添加到 Oncrawl,请按照以下说明操作

第 3 步:比较 Prod 与 Preprod

现在您知道您的 preprod 站点已正确设置,您应该将其与当前正在生产的站点进行比较。 此步骤将允许您验证新站点是否包含当前站点的所有所需页面和功能。
特别推荐检查:

  • preprod 与 prod 的页数
  • 新站点的范围,必须相同

通过这样做,您还可以在切换到生产之前执行完整的检查。

我们准备了一个仪表板来比较旧站点和新站点,您可以在此处下载。

要使用此仪表板,您需要:

  • 至少 1 个基于 URL 的分段。
  • 在 Crawl 上启动 Crawl 以比较 prod/preprod。
  • 至少 1 个基于 url 的分段。

如何在爬网中启动爬网

  • 从项目页面启动爬虫爬虫

  • 2- 选择我的 Prod 和 Preprod 配置

  • 3- 在分析中选择 crawl over crawl Prod / preprod

第 4 步:检查重定向

在这个阶段,您必须在您的 preprod 站点上设置从旧 URL 到新 URL 的所有重定向。 这是在不丢失流量和排名的情况下成功迁移的关键步骤。
您只能对旧 URL 使用爬网来检查 404 错误并检查重定向的目标。 收集必要信息的仪表板可以使此步骤变得更加容易。

我们为您准备了一份。 这个仪表板可以在这里下载。

要使用此仪表板,您需要:

  • 在旧 URL 列表上创建爬网配置
  • 网站细分

第 5 步:启动并监控迁移

您现在可以将 preprod 站点切换到 prod。

但这远不是迁移的结束! 一旦网站上线并投入生产,您必须确保 Google 快速了解新 URL。 为此,您必须在 Google Search Console 中声明您的新域。 通过重定向计划,谷歌将理解这种变化。

可以在 Google Search Console 中一一检查 URL 的状态,但我们将通过抓取和服务器日志跟踪来完成。 这样做的优点是速度快(来自 Search Console 的数据可能会延迟几天显示),当您有很多页面时更方便,并且允许您在同时。

为方便起见,您可以在要检查的点上下载此仪表板。

要使用此仪表板,您需要:

  • 使用新站点的爬取配置(切换后)
  • 每天上传日志文件

此仪表板可帮助您:

  • 检查 Googlebot 是否会探索您的新网址
  • 迁移后使用日志分析执行完整性检查

第 6 步:验证迁移结束

如果您的站点已被 Google 正确探索,那么剩下的唯一事情就是检查 prod 中的新站点是否与 preprod 站点完全相同。

请务必检查以下项目:

  • 规范 URL 必须使用新版本的站点进行更新。
  • 旧站点不得有任何响应 200 状态代码的页面。

使用适当的仪表板,您可以进行最后检查。

您还可以从此仪表板生成现成的报告,以便向您的客户或您的管理层传达有关迁移的信息。

您可以在此处下载此仪表板。

要使用此仪表板,您需要:

  • 在 Crawl 上运行 Crawl 以比较 prod/preprod
  • 至少 1 个可应用于日志分析的基于 URL 的分段

如何在 URL 列表上启动爬网

  1. 从旧站点导出所有已知 URL(通过旧爬网)
  2. 通过新的抓取配置文件抓取此 URL 列表,以检查重定向设置是否正确。
  3. 在抓取配置中,在“开始 URL”选项卡中选择“URL 列表”模式并上传您的 url 列表。
  4. 在“Crawler Behavior”选项卡中,不要忘记选中“Follow HTTP redirects”框。 (默认情况下,所有框都未选中)。
  5. 启动爬行!

如何导出 url 列表

如何导出我的报告

如何导入每个仪表板

在下一次迁移期间关注正确的爬网结果

迁移是一个需要完美组织来预测可能影响您的 SEO 的潜在问题的项目。 您还可以将其用作对您的站点进行全面检查的机会:迁移可以是评估内容的机会:删除过时的页面,合并一些页面,重写其他页面……

抓取您的 preprod 和您的站点将使您能够在启动新站点之前突出显示现有差异并纠正这些错误。 新站点启动并运行后,监控性能非常重要,不仅是 SEO 性能,还包括其他流量来源和转化。

您会惊讶于您未来的迁移会顺利进行!

开始你的免费试用