将抓取和日志数据结合起来的 5 个重要理由

已发表: 2018-03-27

在 SEO 社区中，对 SEO 中的日志文件数据的了解越来越多。日志文件实际上是网站上发生的事情的唯一定性表示。但我们仍然需要能够让他们有效地说话。

准确的 SEO 访问和机器人行为存在于您的日志文件中。另一方面，抓取报告中的数据可以很好地了解您的现场表现。在分析您的网站时，您需要结合您的日志文件和抓取数据以突出显示新维度。

本文将向您展示组合爬网和日志文件数据的五种出色方法。显然，您还可以使用更多。

1#孤页检测和爬取预算优化

什么是孤儿页面？如果一个 URL 出现在日志中，但不在站点的体系结构中，则该 URL 称为孤立 URL。

谷歌有一个巨大的索引！随着时间的推移，它会保留它已经在您的网站上发现的所有 URL，即使它们不再存在于架构中（slug 更改、删除的页面、完整的站点迁移、错误的外部链接或转换）。显然，让 Google 抓取这些所谓的孤立页面会对优化您的抓取预算产生影响。如果过时的 URL 消耗了您的抓取预算，这会阻止其他 URL 更频繁地被抓取，并且必然会对您的 SEO 产生影响。

在抓取您的网站时，OnCrawl 会遍历所有链接以逐层深入地发现您网站的完整架构。另一方面，在日志文件监控期间，OnCrawl 编译来自 Google 机器人点击和 SEO 访问的数据。

Google 已知的 URL 与架构中链接的 URL 之间的区别可能非常重要。旨在纠正被遗忘或损坏的链接并减少孤立页面的 SEO 优化是必不可少的。

摘要-孤儿-oncrawl

基于 Logs 和 Crawl 跨数据分析的 OnCrawl SEO 影响报告

上面的屏幕截图提供了最先进的日志和爬网数据。您可以很快注意到：

结构中有 25,990 个页面——由我们的爬虫找到，并考虑了它在网站上跟踪的所有链接；
Google 抓取了 73,058 个页面——这是结构中的 3 倍；
84%的爬取率——（OnCrawl爬取页面+来自日志的活跃页面+谷歌爬取页面）/谷歌爬取页面；
超过 6% 的内部页面未被抓取——只需点击黑桶即可在数据资源管理器中查看这些页面的列表；
60K 孤立页面——结构中的页面与 Google 抓取的页面之间的差异；
这些页面上的 34K SEO 访问 – 内部链接似乎存在问题！

最佳实践：OnCrawl 让您只需单击即可探索每个图表或指标背后的数据。这样，您将获得一个可下载的 URL 列表，这些 URL 直接在您探索的范围内进行过滤。

2#找出哪些网址消耗最多（或最少）的抓取预算

来自 Google 机器人访问的所有事件都为 OnCrawl 数据平台所知。这使您可以知道 - 对于每个 URL - 根据时间编译的所有数据。
在数据资源管理器中，您可以为每个 URL 添加 bot hits 列（超过 45 天）以及按天和按机器人的命中，这是每天的平均值。这些信息对于评估 Google 抓取预算的消耗很有价值。您经常会发现此预算在所有站点上并不统一。

网址抓取预算