日志文件分析案例研究
已发表: 2020-04-07日志文件分析需要时间，使用 OnCrawl 的时间更少，但仍然需要时间。 SEO 有一长串优化和审计的清单，而且由于日志文件是清单上较重的项目之一，它有一个令人讨厌的习惯，即爬到所述清单的底部。
拖延是人的天性，但是当你知道什么在等着你时会更容易开始。
最近在 97 楼进行的日志文件分析使他们的客户在分析完成后的 30 天内有机收入增加了 25% 。
运行日志文件分析之前需要了解的内容
如果您是日志文件的新手，那么本文不会全面介绍基础知识。 相反，请阅读这篇文章。
简而言之，日志文件分析本质上是对已归档在您网站上的 Web 服务器日志的审查。 日志记录与您的网站交互的机器人（如 Google）实例。
许多人问，“我应该什么时候运行日志文件分析？” 正确的答案很简单，“是的”。
原因如下：可抓取性是任何技术 SEO 推广的基础。 如果没有可抓取性，网站将不会被编入索引。 没有被索引，他们就不会排名。 没有排名……你明白了。
有几种方法可以提高网站的可爬性，但也许没有比日志文件分析更有效和更全面的了。 这就是为什么它应该作为任何技术 SEO 推广的支柱。 因此，无论是在技术推广初期，还是您已经进入成熟的活动多年（但最近没有查看您的日志文件），都该进行日志文件分析了。
对于仍然在线运行日志文件分析的任何人，我将添加此建议。 对于任何认为他们已经完成了书中所有内容但仍在努力获得第 1 页上那个顽固的关键字的 SEO 的人：运行该日志文件分析。
Oncrawl 日志分析器
学到更多日志文件分析在行动：观察结果
查看您的日志文件可以产生无数的发现，包括：
- 机器人抓取量
- 抓取预算浪费
- 302 重定向
- 响应代码错误
- 抓取优先级
- 重复网址抓取
- 上次抓取日期
但这些发现本身并没有帮助。 它需要一个可以看到过去问题的 SEO 来创建能够充分利用日志文件分析的解决方案。
在 97 楼，我们有一个电子商务客户，以高价销售独特的产品。 几乎所有产品都是独一无二的，当产品售出时，我们的客户正在从网站上删除该页面。 这使得任何类型的页面级增长变得困难。 它还引起了很多与 Googlebot 的可抓取性混淆。
不用说，在我们参与之前，他们正在与谷歌进行一场艰苦的战斗。 与客户一起入职时，我们立即运行了日志文件分析。
我们的日志文件分析产生了许多发现（正如他们通常所做的那样），但以下三个比较突出：
- 大量冗余子文件夹被谷歌频繁爬取
- 许多返回 404 错误的页面仍在被 Googlebot 抓取。 由于它们已从网站中删除，因此在我们的初始网站抓取中无法找到它们
- 不重要的子文件夹被抓取的次数超过了关键登陆页面
如前所述，日志文件分析不会在分析结束时停止。 它继续通过行动项目并进入实施和执行。 在我们客户的情况下，他们将 Google 的抓取预算浪费在根本无法解决问题的网页上。
我们的新页面得到了很好的优化，但没有得到我们需要的牵引力来产生任何有意义的排名。
当我们从日志文件分析中发现这三个问题时，为什么我们的排名没有更高是有道理的。 Google 正在使用我们的抓取预算来查看优化不佳或根本没有优化的页面。
为了获得能够带来我们需要看到成功的流量的排名，我们首先需要从日志文件分析中解决项目。
在这种情况下，很明显爬网预算被浪费在不重要的页面上，这是日志文件分析的常见发现。
来自日志文件分析的解决方案
解决冗余子文件夹中的爬网浪费
因为我们的客户是一个电子商务网站，所以我们看到了大量在整个网站上重复的子文件夹。 这些子文件夹大多是类别页面，它们太旧了，以至于它们所保存的信息已经过时了，几乎不可能有机地发现。
但 Googlebot 不仅发现了它们。 它经常回来重新抓取它们，占用我们的抓取预算。
我们的解决方案是删除这些多余的子文件夹并将其重定向到更合适和相关的子文件夹。 我们刚刚推出了一个完全修改过的类别结构，旨在帮助我们对一些更大的关键字进行排名。 你能猜到我们把这些多余的子页面重定向到哪里了吗？
将这些旧的和被遗忘的页面重定向到更新、更优化的对应页面让我们在 SERP 中占据优势。
[案例研究] 使用日志文件分析优化自然搜索流量
阅读案例研究更正不重要的子文件夹中的爬网浪费
这一点似乎与关于冗余子文件夹的最后一点相似。 冗余子文件夹被遗忘并丢失了我们当前版本的副本。 冗余子文件夹和不重要子文件夹之间的区别在于，我们现在讨论的子文件夹仍然相关，但不是用于搜索的基础页面。
这里的解决方案绝非简单。 由于我们不知道这种情况的根本原因，我们需要制定一个广泛的解决方案，其中涉及一点点，包括：
- 将战略性内部链接从我们的低优先级（但高度抓取）页面插入到我们的高优先级、SEO 优化页面
- 重新排列站点地图以在 .xml 文件的较高位置包含更重要的页面
- 修改我们更高优先级页面上的 rel=”canonical” 和元机器人信息
- 重新访问 robots.txt 文件以确保没有任何不应该被阻止的内容（大型电子商务网站尤其需要检查这一点。）
- 删除和移除不必要的页面
清除死页
我们已经进行了一次站点审核，我们在其中爬取了站点，并发现了内部站点爬取可以识别的所有 404 错误。
但这就是日志文件分析的美妙之处，您不会从自己的内部爬网中提取有限的数据。 您正在查看 Google 所看到的内容。 从本质上讲，这是从局外人的角度进行的现场审核——最重要的局外人：谷歌。
这里的修复很简单，这有助于弥补在前一点上花费的所有时间。 我们 301 将这些旧的孤立页面重定向到网站上经过优化的对应页面。 完毕。
日志文件分析的结果
我们对该客户的日志文件分析中最好的部分是它为他们赢得的快速结果。
如前所述，在实施上述行动项目后的短短 30 天内，它为客户带来了 25% 的有机收入增长。
在此期间，我们还看到自然流量的转化率略有增加。 因为这种上升发生在淡季，所以这里没有季节性因素。 转化率增加的事实意味着流量不仅数量更多，而且还是合格的流量。
流量可能更合格，因为在有效地重新分配了我们客户网站与 Google 的抓取预算后，我们将注意力吸引到了更多基于意图的页面，从而在更高意图的关键字上获得了更好的排名。 这意味着我们在漏斗中将用户吸引到正确的页面，以帮助他们完成他们的旅程。
这听起来可能很愚蠢，但在 97 楼，我们的信条是我们让互联网变得更美好。 日志文件分析这样做是因为它们弥补了 Google 不准确抓取的缺点。 这将更高质量的页面带到了 SERP 的顶部，使每个人的互联网搜索体验都变得更好。
下次您遇到可抓取性问题时，我希望您不要三思而后行，执行日志文件分析、提出解决方案、查看它们。 您会看到您的网站获得更多流量和转化。