Shopify Robots.txt 文件：如何查找、編輯和隱藏頁面

已發表: 2022-06-27

像谷歌這樣的搜索引擎在互聯網上搜索新數據，並使用爬蟲或蜘蛛抓取網頁以查找新的或更新的內容。

作為 Shopify 店主，您可以使用 robots.txt 文件來阻止搜索引擎抓取可能通過竊取 PageRank 降低網站 SEO 的頁面內容。

正如 Google 的 robots.txt 指南中所述，robots.txt 文件告訴搜索引擎爬蟲可以或不可以請求哪些頁面或文件。 但是，請注意，這並不能確保您將網頁排除在 Google 之外。 我們將在本文後面介紹如何將 Shopify 頁面排除在 Google 之外。

在這篇文章中，我們將解釋您的 Shopify robots.txt 文件的位置、如何對搜索引擎隱藏頁面以及您是否可以對其進行編輯。 讓我們潛入水中。

兩個機器人指向 robots.txt 文本

如何查找 Shopify Robots.txt 文件並提交您的站點地圖

您的 Shopify robots.txt 文件位於 Shopify 商店主域名的根目錄中。 它看起來像域名斜線 robots.txt，如下例所示：

examplestore.com/robots.txt

提交您的站點地圖

網站站點地圖概念

如果您認為您的 Shopify 商店的特定頁面、文件或內容被 robots.txt 阻止，並且您想要對其進行編輯以便 Google 和其他搜索引擎對其進行索引，請再想一想。

您無需編輯 robots.txt 文件以確保 Google 將您的網站內容編入索引。

您可以將站點地圖提交給 Google，讓它了解您網站的內容、文件和更新的所有信息。 站點地圖是自動生成的，它們位於 Shopify 商店域的根目錄中。 即katies-apperal.com/sitemap.xml 。

Shopify 站點地圖文件包含指向您的所有產品、頁面、博客文章、產品圖片和產品系列的鏈接。 搜索引擎使用此文件為您的網站編制索引，以便您商店的頁面出現在搜索結果中。

  • 對於基本 Shopify 計劃：只有您商店的主域具有生成的站點地圖文件，並且可以被搜索引擎發現。

  • 對於 Advanced Shopify 或 Shopify Plus Plan：如果您使用國際域，則會為您的所有域生成站點地圖文件。

請注意，搜索引擎可能需要一些時間來抓取您的網頁並將其編入索引。 Google 不保證該過程需要多長時間。 您可以使用 Google Search Console 為每個頁面手動請求索引或提交您商店的站點地圖。

以下是將您的 Shopify 站點地圖提交到 Search Console 的方法：

第 1 步。轉到您的 Search Console 帳戶。 單擊 ≡ 並選擇添加屬性。

步驟 2.從選擇屬性類型框中，選擇URL 前綴。 然後，輸入您要添加為屬性的 Shopify 域。 （包括https://部分。）

步驟 3.點擊繼續。 在“驗證所有權”窗口中選擇HTML 標記。

第 4 步。突出顯示完整的 HTML 標記並將其複製到剪貼板。

<meta name="google-site-verification" content="IV7BPLESttSpBdxSWN1s4zlr4HIcuHkGQYmE3wLG59w" />

步驟 5。轉到 Shopify 管理員 >在線商店>主題。

步驟 6.找到您要編輯的主題並點擊Actions ，然後點擊Edit Code 。

第 7 步。查看佈局部分，找到並單擊theme.liquid 。

步驟 8.將您複製的標籤粘貼到開始<head>標籤正下方的空白行中。

步驟 9.保存並返回Search Console以單擊驗證。

請注意，驗證過程不會立即發生。 如果您收到錯誤消息，請等待 15 分鐘以再次單擊驗證。

如何編輯 Shopify Robots.txt 文件

如果您問，“我可以編輯我的 Shopify Robots.txt 文件嗎？ ” 答案是否定的。 如果您使用的是 Shopify 等託管服務，則無法編輯 robots.txt 文件。 Shopify 會自動為您處理 robots.txt 文件，請放心，他們會正確處理這些文件。

例如，Shopify 會自動阻止您的購物車頁面出現在搜索引擎中。 這有助於您商店的 SEO，因為它允許在搜索結果中更輕鬆地找到產品頁面。

簡而言之，這是為了確保您的產品頁面排名高於結帳頁面。

如何從搜索引擎中隱藏 Shopify 頁面？

儘管您無法編輯 Shopify robots.txt 文件，但您可以隱藏 robots.txt 中未包含的頁面。 可以通過自定義商店的 theme.liquid 佈局文件的<head>部分來實現。

1.打開您的 Shopify 管理頁面並轉到在線商店>主題。

2.找到您要編輯的主題。 然後，單擊操作>編輯代碼。

3.單擊主題.液體。

4.要排除搜索模板，請將以下代碼粘貼到<head>部分：

{% if template contains 'search' %}<meta name="robots" content="noindex">{% endif %}

5.如果要排除特定頁面，請將以下代碼粘貼到<head>部分：

{% if handle contains 'page-handle-you-want-to-exclude' %}<meta name="robots" content="noindex">{% endif %}

  • 不要忘記將 page-handle-you-want-to-exclude 替換為正確的頁面句柄。

6.保存更改。

來源： Shopify

Robots.txt 文件的用途是什麼？

robots.txt 文件的主要目的是管理爬網程序訪問您網站的流量，並且通常根據頁麵類型將頁面保持在 Google 之外。

網頁：您可以使用 robots.txt 文件管理網頁的流量，但不能在 Google 搜索結果中隱藏您的網頁。 它仍然可以出現在搜索結果中。

媒體文件： robots.txt 文件可以幫助您管理流量並防止圖片、視頻和音頻文件出現在 Google 搜索結果中。

資源文件： Robots.txt 文件可以阻止資源文件，例如不重要的腳本、圖像或樣式文件，並幫助您管理這些文件的流量。

如何將 Shopify 頁面排除在 Google 之外？

如果您想阻止 Google 訪問網頁，則應使用 noindex 指令或密碼保護您的網頁。

了解 Robots.txt 文件的局限性

  • 如果被其他網站鏈接，帶有 robots.txt 文件的頁面仍然可以被 Google 索引。
  • 不同的爬蟲索引語法不同，有些可能無法理解某些指令。
  • 是否遵守您的 robots.txt 指令取決於爬蟲。 並非所有搜索引擎都支持 robots.txt 指令。

注意：在所有情況下，測試 Shopify 商店的 robots.txt 文件都很重要。 在這方面，您可以使用 Google 的 Robots.txt 測試器。

您可能喜歡的有用文章：

  • 如何創建 Shopify 添加到購物車鏈接
  • Shopify 集合圖像大小：如何調整和優化您的圖像
  • 如何將 HTML 文件上傳到 Shopify 商店的根目錄