如何使用更優化的抓取預算開始更高的排名

已發表: 2018-09-06

影響排名的因素有很多——外部鏈接、關鍵字使用、網站速度等等。但是，當您開始優化您的網站時，您需要記住的是，為了獲得回報，您的網站需要被抓取和索引。

您的網站被抓取的方式取決於您的抓取預算——Googlebot 在特定時間段內訪問您網站的次數。您網站的可見性取決於抓取預算的平衡程度。

為什麼抓取預算會影響您的網站在 Google 中的知名度？

抓取預算有限。這帶來了幾個挑戰：

如果未優化抓取預算，Googlebot 不會訪問所有網站頁面。因此，它們不會被編入索引，也不會在搜索結果中排名。
由於其他網站頁面的爬取頻率，更新後的頁面很長一段時間都不會受到 Googlebot 的關注。這會對您的 SEO 時間表產生負面影響：只要 Google 不了解您的優化工作，您的 SERP 可見性就不會提高。

因此，為了確保所有重要頁面都被定期訪問，需要優化爬取預算。這是你如何做到的。

如何確定您當前的抓取預算

要確定您的抓取預算是否需要優化，請首先檢查您是否缺少預算。根據 Google 的 Gary Illyes 的說法，只有大型網站才真正需要優先考慮要抓取的內容，尤其是那些根據參數自動生成大量 URL 的網站。如果您認為您的網站需要額外的抓取預算平衡，請從這裡開始。

在 Google Search Console 中，您可以找到您當前網站的抓取統計信息，並了解您的抓取預算的詳細信息。

大致的抓取預算可以這樣計算：

平均每天抓取的頁面數 x 一個月的天數 =
大概的抓取預算

例如，從下面的報告中，您可以看到谷歌在這個網站上每天抓取 371 個頁面。

Google Search Console 中的抓取統計信息圖表

因此，本網站的大致抓取預算為：

371 x 30 = 11130

但要準確了解 Google 爬蟲訪問您網站的頻率，您需要檢查服務器日誌。 Google Search Console 顯示 12 個機器人的匯總抓取預算，要查看準確的抓取預算分佈，您需要一個日誌分析工具。

爬網圖中的起伏可能是問題的徵兆，但情況並非總是如此。例如，上圖中的峰值代表重新提交的站點地圖，這是 Googlebot 重新訪問該網站的觸發器。

如何優化您的抓取預算

要優化您的抓取預算，您需要遵守一個簡單的規則：

確保需要爬取的被爬取，不需要爬取的不被爬取。

這意味著，重要的頁面得到了足夠的關注，而那些沒有給您的網站帶來任何價值的頁面被排除在外。以下是帶您到那裡的確切步驟。

1.確保您的所有重要頁面都可以被 Googlebot 訪問（例如沒有被 robots.txt 阻止）

令人驚訝的是，當重要頁面在 robots.txt 文件中具有拒絕狀態時，這種情況很常見。通過這種方式，它們會被 Googlebot 忽略，因此不會被索引。您的任務是確保您要抓取的頁面不具有該狀態並且可供抓取工具訪問。

您可以在 Google Search Console 中找到 robots.txt 文件。為確保您的重要頁面未被拒絕，只需瀏覽文件即可。

2. 檢查您網站的總體健康狀況，因為它會影響 Googlebot 的訪問頻率（也稱為抓取速度限制）

正如穀歌自己所說，抓取速度限制是給定網站的最大抓取速度。簡而言之，它指定了 Googlebot 可以創建多少個並行連接來抓取網站，以及它應該在兩次抓取之間等待多長時間。當站點速度很高時，限制會上升，Googlebot 會創建更多的同時連接。當網站響應率低或返回服務器錯誤時，限制會降低，Googlebot 抓取的次數也會減少。

因此，您網站的抓取方式也會受到網站健康狀況的影響。這包括網站速度、移動友好性、404 錯誤數量等。

可以使用這些工具檢查站點的運行狀況。

OnCrawl 允許您查找具有重複和幾乎重複內容的頁面、404 和孤立頁面（沒有指向它的內部鏈接）等。

OnCrawl 中的重複內容小部件

OnCrawl 中的孤立頁面小部件

谷歌的移動友好測試檢查網站的移動友好性
可以藉助 PageSpeed Insights 或 GTmetrix 免費工具檢查網站的速度。

然後，您可以使用 OnCrawl 等日誌文件分析器監控您的抓取頻率，並查看 Googlebot 是否更頻繁地訪問您的網頁。

3.排除沒有給用戶帶來任何價值的頁面

這些是內容薄弱或沒有內容的頁面、技術頁面等。由於它們被編入索引並且印像很少，因此可以在 Google Search Console 中找到它們。另一個發現它們的地方是 OnCrawl 的 SEO Impact 報告。例如，它顯示了字數對抓取頻率的影響。

例如，大型電子商務網站的一個常見問題是分面導航。 Ryan Stewart 在他關於抓取預算優化的視頻中談到了這一點（您可以跳到 7:20 來查看這一點，但整個視頻也非常有用）。當用戶在網站上選擇一個類別時，它的參數將添加到頁面 URL。根據 Googlebot 的說法，從那一刻起，它就是一個不同的 URL，需要單獨訪問。由於可能的類別組合的數量很大，並且可能會大大超出爬網預算，因此需要過濾掉此類頁面。

當會話標識符放置在 URL 中時，會出現類似的問題。這些頁面也應該被過濾掉。

4. 優先考慮您的頁面，以便更頻繁地抓取最重要的頁面

如果頁面具有巨大的流量潛力，它就很重要。

首先，這些是已經有很多流量的頁面；你可以在谷歌分析中發現它們。在行為報告下，轉到網站內容→所有頁面並按瀏覽量對頁面進行排序。

其次，是排名在提高的頁面，這意味著它們越來越受歡迎。此類頁面可以在 Google Search Console 中找到，但由於其過濾選項有限，您可能需要一段時間才能發現它們。

另一種方法是使用 AccuRanker，因為它可以讓您查看哪些類型的頁面具有不斷增長的可見性趨勢。要開始使用它，您可以一鍵從 Google Search Console 導入關鍵字列表，然後找出最有希望的頁面。

此外，還有一種方法可以在接下來的幾周和幾個月內發現可能有額外 SEO 流量的頁面。它涉及一些使用 Google Search Console API 和 Google Data Studio 的操作，但結果有些驚人。通過使用著陸頁作為維度和印象、URL 點擊和 URL CTR 作為指標，您可以找到比其他頁面更受歡迎的頁面。

當您發現哪些頁面需要優先排序時，您可以執行以下操作以確保更頻繁地抓取它們：

將最重要的頁面移到更靠近主頁的位置，甚至在此處提供指向它們的鏈接。例如，您可以將頁面鏈接添加到導航或“特別優惠”部分。
在沒有產品（缺貨/季節性產品）的所有頁麵類別中放置 301 重定向。一旦有問題的產品重新入庫，不要忘記關閉該重定向。

5.提供足夠的頁面內部鏈接

內部鏈接對於作為 Googlebot 主要途徑的抓取至關重要。如果頁面上沒有內部鏈接，它根本無法前進。因此，通過添加指向頁面的鏈接，您可以增加其更快被索引的機會。

例如，如果您希望更頻繁地抓取舊頁面，請將指向它的鏈接添加到新頁面。當 Googlebot 訪問新頁面時，它也會重新索引舊頁面。

通過將頁面鏈接添加到網站的導航菜單，您還可以讓用戶和 Googlebot 輕鬆訪問它。 SEMrush 使用這種技術來加快其新博客文章的抓取速度。所有新文章都會出現在其主頁的“最近的帖子”部分，因此會被 Googlebot 優先處理。

該技術還可用於加快電子商務網站上新產品頁面的索引。

包起來

如上所述，抓取預算優化對於具有分支結構的大型網站（例如電子商務網站）更為重要。但由於正確的頁面抓取是 SEO 的基礎，並且直接影響 SERP 的可見性，您可能需要修改抓取統計數據並平衡抓取預算以加快 SEO 工作的結果。

抓取預算優化的基本工具包包括：

Google Search Console 查看您當前的抓取預算估算
站點健康審計器（例如 OnCrawl）可查找重複內容、404 頁面、孤立頁面等。
用於檢查您網站的移動設備友好性的工具，例如 Google 的移動設備友好性測試
網站速度檢查器，例如 PageSpeed Insights 或 GTmetrix
用於查找具有高人氣潛力的頁面的工具——那些已經有大量流量的頁面（您可以在 Google Analytics 中看到那些頁面）或具有不斷增長的可見度趨勢的頁面（可以在 AccuRanker 的幫助下找到）。