Shopify Robots.txt 文件：如何查找、编辑和隐藏页面

已发表: 2022-06-27

像谷歌这样的搜索引擎在互联网上搜索新数据，并使用爬虫或蜘蛛抓取网页以查找新的或更新的内容。

作为 Shopify 店主，您可以使用 robots.txt 文件来阻止搜索引擎抓取可能通过窃取 PageRank 降低网站 SEO 的页面内容。

正如 Google 的 robots.txt 指南中所述，robots.txt 文件告诉搜索引擎爬虫可以或不可以请求哪些页面或文件。 但是，请注意，这并不能确保您将网页排除在 Google 之外。 我们将在本文后面介绍如何将 Shopify 页面排除在 Google 之外。

在这篇文章中，我们将解释您的 Shopify robots.txt 文件的位置、如何对搜索引擎隐藏页面以及您是否可以对其进行编辑。 让我们潜入水中。

两个机器人指向 robots.txt 文本

如何查找 Shopify Robots.txt 文件并提交您的站点地图

您的 Shopify robots.txt 文件位于 Shopify 商店主域名的根目录中。 它看起来像域名斜线 robots.txt，如下例所示：

examplestore.com/robots.txt

提交您的站点地图

网站站点地图概念

如果您认为您的 Shopify 商店的特定页面、文件或内容被 robots.txt 阻止，并且您想要对其进行编辑以便 Google 和其他搜索引擎对其进行索引，请再想一想。

您无需编辑 robots.txt 文件以确保 Google 将您的网站内容编入索引。

您可以将站点地图提交给 Google，让它了解您网站的内容、文件和更新的所有信息。 站点地图是自动生成的，它们位于 Shopify 商店域的根目录中。 即katies-apperal.com/sitemap.xml 。

Shopify 站点地图文件包含指向您的所有产品、页面、博客文章、产品图片和产品系列的链接。 搜索引擎使用此文件为您的网站编制索引，以便您商店的页面出现在搜索结果中。

  • 对于基本 Shopify 计划：只有您商店的主域具有生成的站点地图文件，并且可以被搜索引擎发现。

  • 对于 Advanced Shopify 或 Shopify Plus Plan：如果您使用国际域，则会为您的所有域生成站点地图文件。

请注意，搜索引擎可能需要一些时间来抓取您的网页并将其编入索引。 Google 不保证该过程需要多长时间。 您可以使用 Google Search Console 为每个页面手动请求索引或提交您商店的站点地图。

以下是将您的 Shopify 站点地图提交到 Search Console 的方法：

第 1 步。转到您的 Search Console 帐户。 单击 ≡ 并选择添加属性。

步骤 2.从选择属性类型框中，选择URL 前缀。 然后，输入您要添加为属性的 Shopify 域。 （包括https://部分。）

步骤 3.点击继续。 在“验证所有权”窗口中选择HTML 标记。

第 4 步。突出显示完整的 HTML 标记并将其复制到剪贴板。

<meta name="google-site-verification" content="IV7BPLESttSpBdxSWN1s4zlr4HIcuHkGQYmE3wLG59w" />

步骤 5。转到 Shopify 管理员 >在线商店>主题。

步骤 6.找到您要编辑的主题并点击Actions ，然后点击Edit Code 。

第 7 步。查看布局部分，找到并单击theme.liquid 。

步骤 8.将您复制的标签粘贴到开始<head>标签正下方的空白行中。

步骤 9.保存并返回Search Console以单击验证。

请注意，验证过程不会立即发生。 如果您收到错误消息，请等待 15 分钟以再次单击验证。

如何编辑 Shopify Robots.txt 文件

如果您问，“我可以编辑我的 Shopify Robots.txt 文件吗？ ” 答案是否定的。 如果您使用的是 Shopify 等托管服务，则无法编辑 robots.txt 文件。 Shopify 会自动为您处理 robots.txt 文件，请放心，他们会正确处理这些文件。

例如，Shopify 会自动阻止您的购物车页面出现在搜索引擎中。 这有助于您商店的 SEO，因为它允许在搜索结果中更轻松地找到产品页面。

简而言之，这是为了确保您的产品页面排名高于结帐页面。

如何从搜索引擎中隐藏 Shopify 页面？

尽管您无法编辑 Shopify robots.txt 文件，但您可以隐藏 robots.txt 中未包含的页面。 可以通过自定义商店的 theme.liquid 布局文件的<head>部分来实现。

1.打开您的 Shopify 管理页面并转到在线商店>主题。

2.找到您要编辑的主题。 然后，单击操作>编辑代码。

3.单击主题.液体。

4.要排除搜索模板，请将以下代码粘贴到<head>部分：

{% if template contains 'search' %}<meta name="robots" content="noindex">{% endif %}

5.如果要排除特定页面，请将以下代码粘贴到<head>部分：

{% if handle contains 'page-handle-you-want-to-exclude' %}<meta name="robots" content="noindex">{% endif %}

  • 不要忘记将 page-handle-you-want-to-exclude 替换为正确的页面句柄。

6.保存更改。

来源： Shopify

Robots.txt 文件的用途是什么？

robots.txt 文件的主要目的是管理爬网程序访问您网站的流量，并且通常根据页面类型将页面保持在 Google 之外。

网页：您可以使用 robots.txt 文件管理网页的流量，但不能在 Google 搜索结果中隐藏您的网页。 它仍然可以出现在搜索结果中。

媒体文件： robots.txt 文件可以帮助您管理流量并防止图片、视频和音频文件出现在 Google 搜索结果中。

资源文件： Robots.txt 文件可以阻止资源文件，例如不重要的脚本、图像或样式文件，并帮助您管理这些文件的流量。

如何将 Shopify 页面排除在 Google 之外？

如果您想阻止 Google 访问网页，则应使用 noindex 指令或密码保护您的网页。

了解 Robots.txt 文件的局限性

  • 如果被其他网站链接，带有 robots.txt 文件的页面仍然可以被 Google 索引。
  • 不同的爬虫索引语法不同，有些可能无法理解某些指令。
  • 是否遵守您的 robots.txt 指令取决于爬虫。 并非所有搜索引擎都支持 robots.txt 指令。

注意：在所有情况下，测试 Shopify 商店的 robots.txt 文件都很重要。 在这方面，您可以使用 Google 的 Robots.txt 测试器。

您可能喜欢的有用文章：

  • 如何创建 Shopify 添加到购物车链接
  • Shopify 集合图像大小：如何调整和优化您的图像
  • 如何将 HTML 文件上传到 Shopify 商店的根目录