將抓取和日誌數據結合起來的 5 個重要理由

已發表: 2018-03-27

在 SEO 社區中，對 SEO 中的日誌文件數據的了解越來越多。日誌文件實際上是網站上發生的事情的唯一定性表示。但我們仍然需要能夠讓他們有效地說話。

準確的 SEO 訪問和機器人行為存在於您的日誌文件中。另一方面，抓取報告中的數據可以很好地了解您的現場表現。在分析您的網站時，您需要結合您的日誌文件和抓取數據以突出顯示新維度。

本文將向您展示組合爬網和日誌文件數據的五種出色方法。顯然，您還可以使用更多。

1#孤頁檢測和爬取預算優化

什麼是孤兒頁面？如果一個 URL 出現在日誌中，但不在站點的體系結構中，則該 URL 稱為孤立 URL。

谷歌有一個巨大的索引！隨著時間的推移，它會保留它已經在您的網站上發現的所有 URL，即使它們不再存在於架構中（slug 更改、刪除頁面、完整的站點遷移、錯誤的外部鏈接或轉換）。顯然，讓 Google 抓取這些所謂的孤立頁面會對優化您的抓取預算產生影響。如果過時的 URL 消耗了您的抓取預算，這會阻止其他 URL 更頻繁地被抓取，並且必然會對您的 SEO 產生影響。

在抓取您的網站時，OnCrawl 會遍歷所有鏈接以逐層深入地發現您網站的完整架構。另一方面，在日誌文件監控期間，OnCrawl 編譯來自 Google 機器人點擊和 SEO 訪問的數據。

Google 已知的 URL 與架構中鏈接的 URL 之間的區別可能非常重要。旨在糾正被遺忘或損壞的鏈接並減少孤立頁面的 SEO 優化是必不可少的。

摘要-孤兒-oncrawl

基於 Logs 和 Crawl 跨數據分析的 OnCrawl SEO 影響報告

上面的屏幕截圖提供了最先進的日誌和爬網數據。您可以很快注意到：

結構中有 25,990 個頁面——由我們的爬蟲找到，並考慮了它在網站上跟踪的所有鏈接；
Google 抓取了 73,058 個頁面——這是結構中的 3 倍；
84%的爬取率——（OnCrawl爬取頁面+來自日誌的活躍頁面+谷歌爬取頁面）/谷歌爬取頁面；
超過 6% 的內部頁面未被抓取——只需點擊黑桶即可在數據資源管理器中查看這些頁面的列表；
60K 孤立頁面——結構中的頁面與 Google 抓取的頁面之間的差異；
這些頁面上的 34K SEO 訪問 – 內部鏈接似乎存在問題！

最佳實踐：OnCrawl 讓您只需單擊即可探索每個圖表或指標背後的數據。這樣，您將獲得一個可下載的 URL 列表，這些 URL 直接在您探索的範圍內進行過濾。

2#找出哪些網址消耗最多（或最少）的抓取預算

來自 Google 機器人訪問的所有事件都為 OnCrawl 數據平台所知。這使您可以知道 - 對於每個 URL - 根據時間編譯的所有數據。
在數據資源管理器中，您可以為每個 URL 添加 bot hits 列（超過 45 天）以及按天和按機器人的命中，這是每天的平均值。這些信息對於評估 Google 抓取預算的消耗很有價值。您經常會發現此預算在所有站點上並不統一。

網址抓取預算