每个SEO都需要的5个日志文件分析关键
已发表: 2018-12-13日志文件是您网站生命周期的精确反映。 无论是用户还是机器人，在页面上还是在资源上，您网站上的所有活动都存储在您的日志中。
日志中的每一行（基于服务器的数据）都包含 IP 地址、状态代码、用户代理、引用者和其他技术数据等信息，可以帮助您补充您的网站分析，这通常主要基于分析数据（用户-面向数据）。
您将在日志中找到的数据本身可以帮助您专注于您的 SEO 策略。
1.您网站的健康状况
在您可以通过日志获得的信息中，状态代码、响应大小和响应时间是您网站运行状况的绝佳指标。
事实上，在没有真正理解原因的情况下失去流量或转化是很常见的。 那是因为解释有时可能是技术性的。
在需要考虑的线索中有几个与我们刚刚提到的 3 个领域直接相关。
示例 1：服务器错误（“5xx”）数量的增加可能表明如果您只是从一个页面导航到另一个页面，则可能无法检测到技术问题。
示例 2：多项研究显示了加载时间对电子商务网站转化率的影响。 销售收入的下降可能与页面加载时间的增加有关。
此外，谷歌还提供了一个计算器，让您可以模拟加载时间和收入之间的关系（持保留态度）。
示例 3：有时您的服务器可能会因各种技术问题而返回空白页面。 在这种情况下，简单地监控您的状态代码将不足以提醒您。 这就是为什么将响应大小添加到您监控的数据可能会有所帮助：这些空白（或空白）页面通常比平常更轻。
通过根据各种类型的 URL/页面对您的网站进行细分，您将能够更轻松地隔离技术问题的根源，从而使解决问题变得更加简单。
2. Bot命中频率
对于 SEO 社区的成员来说，日志代表了有关搜索引擎的机器人如何“消费”他们的网站的大量有用信息。
例如，当机器人第一次或最后一次访问页面时，他们会告诉我们。
让我们以一个新闻网站为例，它在逻辑上需要搜索引擎来快速查找和索引其新鲜内容。 分析指示日期和时间的日志字段，可以定义文章发布与搜索引擎发现之间的平均时间。
从那里开始，分析网站主页、类别页面上的每日机器人点击次数（或爬网频率）会很有趣……这将有助于确定在哪里放置需要发现的新文章的链接。
相同的理论可以应用于电子商务网站，以便在目录中发现新产品，例如那些您想要关注以紧跟新兴趋势的产品。
3.抓取预算
抓取预算（ Google及其同行专门用于网站的一种抓取带宽信用）是 SEO 专家最喜欢的主题，其优化已成为一项强制性任务。
除了日志之外，只有 Google Search Console（目前是旧版本）可以让您大致了解搜索引擎授予您网站的预算。 但是 Search Console 中的准确度并不能真正帮助您了解应该将精力集中在哪里。 特别是因为报告的数据实际上是从所有 Googlebot 累积的汇总数据。
然而，由于对用户代理和URL字段的分析，日志可以识别机器人正在访问哪些页面（或资源）以及访问速度。
如果 Googlebots 过度浏览您网站中对 SEO 不重要的部分，此信息将让您知道，从而浪费了可能对其他页面有用的预算。
这种类型的分析可用于构建您的内部链接策略、robots.txt 文件管理、针对机器人的元标记的使用……
4. 移动优先和迁移
有些人等不及了，有些人对此感到害怕，但总有一天您会收到来自 Google 的电子邮件，表明您的网站已切换到著名的移动优先索引。
您可以通过跟踪Googlebot 桌面点击和Googlebot 移动点击之间比率的变化来预测切换何时发生。
移动 Googlebots 的抓取部分通常会增加，让您可以预测和计划切换。
另一方面，没有看到这个比率的变化也可能表明您的网站符合 Google 的切换索引标准。
您还可以监控其他更改：迁移（例如，从HTTP到HTTPS ），或对网站结构的修改。
如果我们专注于第一个示例——对所用协议的修改——安全 URL 和重定向的索引，以及旧 URL 的渐进式“下降”，可以很容易地通过日志进行监控。
监控状态码的变化将是你最好的盟友！
5.爱管闲事的邻居
你是一个优秀的 SEO，你的努力得到了回报！
这引起了你的竞争对手（和其他爱管闲事的人）的好奇心，他们想了解你是如何把它拉下来的，并决定爬取你的整个网站。
这是不好的。 但并不罕见（恰恰相反）。
你现在的工作是发现窥探者..
他们中最狡猾的人会尝试通过使用 Google用户代理将他们的机器人伪装成 Googlebot。 这就是存储在日志中的IP 地址非常有用的地方。
但事实上，官方的 Googlebots 只使用有据可查的 IP 地址范围。 谷歌建议网站管理员进行反向 DNS 查找，以验证机器人的来源。
如果此测试失败，结果（或 IP 地理跟踪的结果）可以帮助您决定要做什么。
仅作为记录，Imperva Incapsula 的数字安全专家领导了一项于 2016 年发布的研究，该研究表明 28.9% 的分析带宽被“坏机器人”消耗（相比之下，“好机器人”消耗了 22.9%，用户消耗了 48.2% ）。 查看您的日志可以帮助您通过检测不需要的机器人来避免过度消耗您的资源。