網絡研討會文摘：Bill Hartzer 的實時 SEO 審計和日誌文件

已發表: 2018-10-02

9 月 25 日，OnCrawl 很高興邀請 Bill Hartzer 參加關於日誌文件分析及其對 SEO 審計的重要性的網絡研討會。 他瀏覽了自己的網站，以展示優化對機器人活動和爬網頻率的影響。

介紹比爾·哈澤爾

Bill Hartzer 是一位擁有 20 多年經驗的 SEO 顧問和域名專家。 比爾是國際公認的他所在領域的專家，最近作為該國領先的搜索專家之一接受了 CBS 新聞的採訪。

在這個長達一小時的網絡研討會過程中，Bill 向我們展示了他的日誌文件，並討論了他如何在現場審核中使用它們。 他展示了他用來驗證網站性能和網站上機器人行為的不同工具。

最後，Bill 回答了有關如何使用 OnCrawl 可視化有意義的結果的問題，並為其他 SEO 提供了提示。

如何通過 WordPress 的 cPanel 插件訪問您的日誌文件

如果您的網站是使用 WordPress 構建的並且您使用插件 cPanel，您可以直接在 WordPress 界面中找到您的服務器日誌。

導航到 Metrics，然後導航到 Raw Access。 在那裡，您可以從文件管理器下載每日日誌文件，以及舊日誌文件的壓縮存檔。

檢查日誌文件的內容

日誌文件是一個大型文本文件，其中包含有關您網站的所有訪問者（包括機器人）的信息。 您可以使用基本的文本編輯器打開它。

發現來自 googlebot 或 bing 的潛在機器人點擊並不難，它們確實在日誌文件中標識了自己，但使用 IP 查找確認機器人標識是個好主意。

您可能還會發現其他爬取您的網站的機器人，但它們可能對您沒有用處。 您可以阻止這些機器人訪問您的網站。

OnCrawl 將處理您的日誌文件中的原始分析，讓您清楚地了解訪問您網站的機器人。

使用您的日誌文件獲取有關 Crawl Stats 的更多信息

與日誌文件中的信息相比，在舊版 Google Search Console 中的“Crawl”>“Crawl Stats”下提供了有關 Crawl Stats 的信息，具有新的含義。

您應該知道，Google Search Console 中顯示的數據不僅限於 Google 的 SEO 機器人，因此可能不如通過分析日誌文件獲得的更準確信息有用。

最近發生的異常爬網活動

Bill 查看了 Google Search Console 中抓取統計數據中可見的三個最近的峰值。 這些對應於觸發增加的爬網活動的大事件。

移動優先索引峰值

起初，Google Search Console 9 月 7 日的高峰似乎與網站上的事件無關。 但是，查看 OnCrawl 中的日誌分析提供了線索：


通過對日誌文件的分析，我們可以看到 Google 用於抓取頁面的不同機器人的細分。 很明顯，在此日期之前，桌面 Googlebot 的活動急劇下降，並且這個峰值 - 與早期的較小峰值不同 - 幾乎完全由移動 Google bot 已編入索引的獨特頁面上的點擊組成。

谷歌分析記錄的自然流量增加了 50%，證實這一峰值對應於 9 月初網站的移動優先索引，比谷歌發出警報早了幾週！

修改網站的 URL 結構

8 月中旬，Bill 對他的 URL 結構進行了更改，以使其對 SEO 更友好。

谷歌搜索控制台在修改後記錄了兩個大的峰值，確認谷歌識別了主要的網站事件並將它們用作重新抓取網站 URL 的信號。

當我們在 OnCrawl 中觀察到這些點擊的細分時，很明顯第二個峰值不是峰值，但該網站上頁面的高爬取率會持續數天。 很明顯，谷歌已經接受了這些變化，因為比爾能夠通過觀察變化後幾天內抓取活動的差異來確認。

用於進行技術審核的有用 OnCrawl 報告和功能

SEO 訪問和 SEO 活動頁面

OnCrawl 處理您的日誌文件數據以提供有關 SEO 訪問或來自 Google SERP 列表的人類訪問者的準確信息。

您可以跟踪訪問次數，或查看 SEO 活動頁面，這些頁面是網站上接收自然流量的各個頁面。

作為審計的一部分，您可能想要調查的一件事是某些排名頁面沒有收到自然流量（或者，換句話說，不是 SEO 活動頁面）的原因。

新鮮排名

OnCrawl 的 Fresh Rank 等指標提供了重要信息。 在這種情況下：從 Google 首次抓取頁面到頁面獲得第一次 SEO 訪問之間的平均延遲天數。


內容推廣策略和開發反向鏈接可以幫助更快地為新頁面贏得流量。 在本次審核中，網站上的某些頁面（例如通過社交網絡推廣的博客文章）獲得的新鮮排名要低得多。

機器人通過狀態碼點擊頁面和資源

漫遊器可能正在訪問返回 404 或 410 錯誤的 URL。 這可能涉及 CSS、JavaScript、PDF 或圖像文件等資源。

這些是您在審核期間肯定要調查的元素。 重定向這些 URL 並刪除指向它們的內部鏈接可以快速獲勝。

在審核期間，記錄應處理的元素會很有幫助，例如向機器人返回狀態錯誤的 URL。

數據瀏覽器報告：自定義報告

OnCrawl 數據瀏覽器提供快速過濾器來生成您可能感興趣的報告，但您也可以根據您感興趣的標準提取自己的報告。 例如，您可能想要調查具有反彈和高加載時間的 SEO 活動頁面。

數據瀏覽器報告：活動孤立頁面

通過結合分析、爬網和日誌文件數據，OnCrawl 可以幫助您發現具有自然人工訪問的頁面，這些頁面並不總是為您的網站帶來價值。 使用來自日誌文件的數據的優勢在於，您可以發現您網站上已訪問的每個頁面，包括可能沒有 Google Analytics 代碼的頁面。

比爾能夠識別 RSS 提要頁面上的 SEO 有機訪問，可能是通過來自外部來源的鏈接。 這些頁面是他網站上的孤立頁面； 他們沒有鏈接到他們的“父”頁面。 這些頁面不會為他的 SEO 策略帶來任何額外的價值，但它們仍然會收到一些來自自然流量的訪問。

這些頁面非常適合開始優化。

關鍵字排名的搜索分析

排名數據可以從 Google Search Console 中獲取。 直接在舊版 Google Search Console 中，您可以前往 Search Traffic，然後 Search Analytics，查看過去 90 天的 Clicks、Impressions、CTR 和 Positions。

OnCrawl 提供有關此信息如何與整個站點相關的清晰報告，使您可以比較站點上的頁面總數、排名頁面的數量以及獲得點擊的頁面數量。

展示次數、點擊率和點擊次數

網站細分允許您一目了然地確認您網站上的哪些類型或頁面組正在排名，以及結果在哪個頁面上。

在這次審計中，Bill 能夠使用 OnCrawl 的指標來發現排名靠前的頁麵類型。 這些是他知道他應該繼續製作以增加網站流量的頁麵類型。

排名頁面的點擊量與排名位置密切相關：超過 10 的位置不再出現在搜索結果的第一頁，此時大多數關鍵字的點擊量將急劇下降。

網站細分

OnCrawl 的分段是一種將您的頁面分組為有意義的集合的方法。 雖然提供了自動分段，但您可以編輯過濾器，或從頭開始創建自己的分段。 使用 OnCrawl 查詢語言過濾器，您可以根據許多不同的條件在組中包含或排除頁面。

在 Bill 在網絡研討會中查看的網站上，細分基於網站上的不同目錄。

結構中的頁面 > 已爬網 > 排名 > 活躍

在 OnCrawl 排名報告中，“結構中的頁面 > 已爬網 > 排名 > 活動”圖表可以提醒您頁面排名和訪問的問題。

此圖表向您展示：

  • 結構中的頁面：通過您網站上的不同鏈接可以到達的頁面數量
  • 已抓取：Google 已抓取的頁面
  • 排名：出現在 Google SERP 中的頁面
  • 活躍：獲得自然訪問的頁面

您的審核將希望查看此圖中條形之間差異的原因。

但是，結構中的頁數與抓取的頁數之間的差異可能是故意的，例如，如果您通過在 robots.txt 文件中禁止漫遊器來阻止 Google 抓取某些網頁。 這是您要在審核期間驗證的內容。

您可以通過單擊圖表在 OnCrawl 中查看此類數據。

關鍵要點


本次網絡研討會的主要內容包括：

  • 網站結構的重大變化會導致抓取活動發生重大變化。
  • Google 的免費工具會報告以可能使其看起來不准確的方式聚合、平均或四捨五入的數據。
  • 日誌文件允許您查看真實的機器人行為和自然訪問。 結合爬取數據和日常監控，它們是檢測峰值的強大工具。
  • 準確的數據對於理解發生的原因和事件是必要的，而這只能通過在 OnCrawl 等工具中對分析、爬網、排名和特別是日誌文件數據進行交叉分析來實現。

免費試用 OnCrawl

您是否有興趣將這些技術應用於您的站點以獲得可操作的審計見解？

開始免費試用

錯過了直播？ 觀看重播！

即使您無法參加實時網絡研討會，或者您無法參加完整的會議，您仍然可以查看完整版本。