SEO 的自定义搜索：使用 Google 的可编程搜索引擎及其自定义搜索 JSON API 分析搜索意图
已发表: 2022-01-18如今，搜索引擎优化的命脉是什么？ 确切地说，搜索意图。 或者换一种说法：用户在搜索您的目标关键字时希望看到什么？
查看当前的前 10 名排名很有可能让您接近正确答案——或者至少接近公开的最佳答案。 当然，目前还没有人找到满足用户搜索意图的最佳方式——而且您的新内容可能会胜过所有人。 因此，始终建议保持开放的心态。
特别是如果您是一个较小的玩家，深入的专题研究可能会揭示您的竞争对手迄今为止错过的内容机会。 但即使是“仅”从当前排名中提取搜索意图，也需要手动分析，而这种分析很少扩展到大型关键字集。
在本文中，我们采用另一种方式：我们如何在更大范围内评估用户搜索意图的各个方面？ 我们可以通过分析搜索结果批量回答哪些与我们的 SEO 策略相关的基本问题？
一个实际的例子
让我们从一个用例开始，让这个抽象主题更加具体。 有没有注意到时尚行业的自然搜索结果中存在“关键词性别偏见”（仅德语文章）？ 在“连帽衫”等关键词的排名中，您主要看到带有男性产品的“男性”登陆页面，而对于“外套”，排名中主要是带有女性产品的页面。
因此，为男性和女性产品创建一个“中性”页面 www.example.com/c/coats/ 可能没有意义，因为通用术语“外套”及其搜索意图已经由女性页面 www.example 提供.com/c/women/coats/。
作为 SEO，我们在创建登录页面之前需要此类信息——理想情况下，无需手动通过 Google 搜索运行每个关键字。 Google 的可编程搜索引擎及其自定义搜索 JSON API 使这一切成为可能。
但是，让我们从顶部开始。 这就是我们将在整篇文章中介绍的内容：
首先，我们将探讨什么是可编程搜索引擎 (PSE)以及我们如何访问它的 API。 一点剧透：这是一种免费的方式，可以通过标准化、可访问和可扩展的方式为您的关键字词获取 Google 搜索结果的代理。
我们将逐步研究您自己的自定义搜索引擎的设置，生成 API 密钥以访问其数据并设置 Google 表格模板来分析输出。
然后，我们将在三个 SEO 用例中将这些技能付诸实践。 这将向您展示 API 如何回答围绕关键字和搜索意图分析的非常实用的 SEO 问题。
最后，我们将看看搜索意图的状态以及本文如何增加新的视角。
什么是 Google 的可编程搜索引擎及其自定义搜索 JSON API？
首先，让我们探索可编程搜索和 API 是什么，以及两者如何帮助我们评估搜索意图。
在您浏览万维网的过程中，您很可能已经接触过 Google 的可编程搜索引擎。 原因很简单：它为网站管理员提供了一个搜索引擎功能，他们可以轻松地将其集成到他们的网站中。
它的强大之处在于：您不只是集成了常规 Google 搜索的 iframe。 不，您可以使用可编程搜索引擎（简称：PSE）的多种设置完全自定义和调整搜索体验。
- 您的网站需要内部搜索功能吗？ 然后将 PSE 限制为仅传送来自您的域的 URL。
- 您是否有某个主题的附属网站？ 然后通过创建一个主题搜索引擎为您的用户提供额外的价值，该引擎只提供关于您的网站关注的主题实体（由 Google 的知识图谱提供）的结果。
还是只提供由公共领域图像提供商托管的 URL 的图像搜索？ 或者……你明白了：选择是无穷无尽的。 您甚至可以从您定制的可编程搜索引擎上显示的广告中赚钱。
现在让我们继续讨论自定义搜索 JSON API，以及在您设置好自己的可编程搜索引擎后如何使用它。 我已经为您提供了我对上述 API 的个人定义：API 是一种免费方式，可以通过标准化、可访问和可扩展的方式为您的关键字词获取Google 搜索结果的代理。 让我们分解一下：
为什么自定义搜索 JSON API 具有可扩展性？
API 从您的可编程搜索引擎中获取您的自定义搜索结果，并以 JSON 格式将它们交付给您。 JSON-LD（用于链接数据的 JavaScript 对象表示法）是一种广泛使用的格式，用于在应用程序之间以简单的文本形式交换数据。 因此，您可以在您自己的任何应用程序中使用 API 的数据，例如关键字的 URL 和标题标签排名，就像我们稍后将在 Google 表格中那样。
自定义搜索 JSON API 真的免费吗？
是的，有一定的限制。 您可以为每个 Google 帐户每天提交 100 个免费请求或支付费用（每 1.000 个查询 5 美元）以将其增加到每天 10.000 个请求（更多信息）。
根据我的经验，只要稍加规划，每月约 3.000 个请求就足以满足许多 SEO 用例。 如果需要，您可以随时将任务拆分到团队成员的多个帐户上。
为什么可编程搜索只是真实 Google 搜索结果的代理？
可编程搜索引擎的一个强大功能：您可以选择完全不限制您的自定义搜索并搜索整个网络。 这基本上可以为您提供真正的 Google 搜索将提供的结果的代理——但只有原始的有机结果，没有丰富的结果或特色片段等花哨的集成，并且排名 URL 的确切位置存在差异。
您可能会想到另一个问题：为什么我们不仅获得相同的数据，而且来自真正的 Google 搜索结果？
使用可编程搜索引擎有哪些优势？
两件事：首先，自定义搜索 API 是免费的，其次，不涉及灰色区域。 正式地，谷歌不允许对其搜索结果进行任何抓取（参见关于自动查询的信息）。 由于许多人还是这样做了，他们通过验证码设置了禁止访问限制。
如果您曾尝试使用网页抓取工具抓取 Google 的搜索结果，您会注意到您遇到了 403 或 302 状态码。这通常是验证您的人性的 CAPTCHA 或由于异常流量而被阻止（见图 1） .
图 1：使用 Web 抓取工具和请求块抓取 Google 搜索结果 URL 的输出
相比之下，可编程搜索引擎的结果可通过自定义搜索 JSON API 自由访问。 尽管如此，就像生活中经常发生的那样，这里也有一个权衡：来自可编程搜索引擎的搜索结果只是一个代理，因此不是 100% 真实的谷歌搜索结果的代表——即使具有匹配的位置和语言设置。
这引发了下一个问题：输出是否足以为我们的 SEO 决策提供信息？
可编程搜索引擎的结果与真正的 Google 搜索结果相比如何？
输出是否足以为我们的 SEO 决策提供信息？ 我的简短回答：是的。
让我们看看我们之前的“连帽衫”和“外套”的例子。 下面，我列出了我从真正的英国 Google 搜索（通过 Valentin 应用程序本地化）中手动提取的前 10 名排名与设置为英国位置和语言英语的可编程搜索引擎。
图 2：结果比较——真正的 Google 搜索与可编程搜索引擎
图 3：第一页上相同 URL 的匹配颜色的结果比较概览
在图 3 中，我获取了第一页结果，并用相同颜色标记了两个搜索引擎之间的所有重叠 URL。 白色的 URL 是没有匹配的 URL，因此只出现在其中一个搜索引擎中。
底线：这两个搜索引擎之间有很强的重叠，尽管精确的排名位置不同，以及外观和感觉（见图 2）。 最重要的是，可编程搜索引擎的结果中缺少所有花哨的 SERP 集成，例如丰富的结果、特色片段、标题重写或缩进片段。
到目前为止，这对于我处理的用例来说已经足够准确了。 但是，当然，您必须根据您的项目做出自己的评估。
可编程搜索引擎的结果并不是 Google 真实搜索结果的精确表示。 但它们仍然是一个很好的代理，可以帮助我们分析项目特定的搜索意图，该意图超出了导航、交易和信息关键字等经典分类。
但是现在让我们从有趣的部分开始并设置整个事情。
设置步骤：自定义搜索和 Google 表格模板
我们首先设置您自己的可编程搜索引擎并访问其 API。 然后我们继续使用 Google 表格模板来处理 API 的输出。
可编程搜索引擎：如何设置和访问其 API？
我们的第一个目标是检索两个凭据：(1) 可编程搜索引擎的 ID 号和 (2) 用于访问自定义搜索 API 的 JSON 输出的 API 密钥。
您还可以在自定义搜索 JSON API 文档的介绍部分中找到我们完成的所有设置步骤。
设置步骤 1：登录您的 Google Mail 帐户。
设置步骤 2：填写可编程搜索引擎的初始设置页面。
- 转到 https://programmablesearchengine.google.com/cse/create/new。 这将引导您进入可编程搜索引擎 (PSE) 的设置页面（参见图 4）。
- 在“要搜索的站点”字段中填写随机域。 出于某种原因，这是强制性的，即使我们打算使用 PSE 搜索整个网络。 我们可以稍后删除此输入。
- 设置您的 PSE 应本地化的语言。您可以稍后更改。
- 现在您已经创建了自己的 PSE。 在其“公共 URL”上尝试一下，或转到“控制面板”进行下一个设置（参见图 5）。
图 4：设置步骤 2 - 可编程搜索引擎设置页面（旧版式）
图 5：设置步骤 2 - 可编程搜索引擎设置完成（旧布局）
设置步骤 3：调整可编程搜索引擎控制面板中的设置。
- 这就是魔法发生的地方。 正如 PSE 介绍中所解释的，有无数的用例和设置可供选择。
- 对于我们的 Google 搜索结果代理，我们只需要更改四个基本设置（参见图 7）：
- 地区：谷歌的搜索总是本地化的。 要创建适当的代理，您还需要为 PSE 的结果选择一个区域。
- 语言：语言设置也是如此。 如果语言设置与您在设置页面中的初始选择不同，请更改语言设置。
- 要搜索的站点：为安全起见，请删除对最初输入域的限制。
- 搜索整个网络：将其切换为 ON。
- 全部完成：复制您的“搜索引擎 ID”并记下以备后用（参见图 6）。
图 6：设置步骤 3 - 可编程搜索引擎 - 搜索引擎 ID（旧设计） 
图 7：设置步骤 3 - 可编程搜索引擎 - 控制面板设置（旧布局）
旁注：可编程搜索引擎的新控制面板布局
创建新的可编程搜索引擎时，您会注意到“预览新的控制面板！”的提示。 我试了一下：目前，新面板中只有第一个设置页面不同（参见图 8）。
然后，当您想要自定义 PSE 时，它会将您带回到已经熟悉的控制面板的相同设置页面（参见图 9）。 新布局的一个好处：您可以在第一页直接选择“搜索整个网络”选项，而不必先输入域限制。 无论如何，请准备好尽快更新此工具的外观。
图 8：设置步骤 2 - 可编程搜索引擎设置页面（新布局）
图 9：设置步骤 2 - 可编程搜索引擎设置完成（新布局）
设置步骤 4：获取自定义搜索 JSON API 的 API 密钥。
- 要访问新创建的可编程搜索引擎的 JSON 输出，您需要一个 API 密钥。 这样，Google 还可以检查您查询 API 的频率。
- 转到自定义搜索文档，然后单击“获取密钥”。 输入项目名称并接受条款和条件（见图 10-11）。
- 全部完成：复制您的“API KEY”并记下以备后用（参见图 12）。
图 10：设置步骤 4 - 自定义搜索 JSON API - 带有“获取密钥”的文档
图 11：设置步骤 4 – 自定义搜索 JSON API – 启用 API
图 12：设置步骤 4 – 自定义搜索 JSON API – 复制 API 密钥
旁注：当您单击“获取密钥”时，后台会发生什么？
您的 Google 帐户已连接到 Google Cloud Platform，其中为新创建的项目中的自定义搜索 API 生成 API 密钥。
您可以通过注册并登录 Google Cloud 来实现同样的目的。 但是点击按钮肯定更快更方便。 无论如何，您应该在 Google Cloud Console 中再次找到您的 API 密钥：https://console.cloud.google.com/apis/credentials（确保在左上栏中选择正确的项目。）
抓取数据³
学到更多谷歌表格模板：如何借助 API 分析搜索意图？
预先全面披露：许多功劳来自 www.pemavor.com 及其出色的排名检查脚本。 他们的 Google Apps 脚本连接到自定义搜索 JSON API，从可编程搜索引擎中为您列表中的每个关键字提取前 10 个搜索结果，甚至还有一个内置的调度程序，允许您安排几天内每天 100 个免费请求提前。
这个工具帮助我们解决了我们在日常 SEO 任务中遇到的一个非常实际的问题：如何大规模评估之前引入的“关键字性别偏见”。 这是我深入探讨该主题的起点，现在我想分享一些我应用脚本的用例。
但首先，您如何自己设置包含其脚本的 Google 表格？ 如果您已完成前面的设置步骤，那么您已经具备了运行脚本所需的所有要素：您的 Google Mail 帐户、可编程搜索引擎的搜索引擎 ID 以及用于访问自定义搜索 JSON API 的 API 密钥。
如果您之前没有记下 ID 和 API 密钥，您可以在此处检索它们：
- 搜索引擎 ID： https://programmablesearchengine.google.com/controlpanel/all
再次确保您的 PSE 具有正确的设置：“搜索所有网络”以及您想要的区域和语言。 - 自定义搜索 JSON API 密钥： https://console.cloud.google.com/apis/credentials
- 转到 Google Cloud 的凭据页面。 在这里，您应该可以找到您为任何 Google Cloud 产品创建的所有密钥的概览。
- 确保选择用于为自定义搜索 JSON API 创建 API 密钥的正确项目（左上角导航栏）。
- 如果这是您的第一个 API 密钥，则单击该链接时应默认选择该项目。
现在，准备好凭据后，复制我修改后的 Google 表格版本：
自定义搜索引擎优化 | pemavor.com | 约翰娜·迈尔改编
（如果您想在不经过我的改编的情况下获得原始 Google 表格，请转到原始博客文章）
您需要完成以下步骤才能完成设置：
设置步骤 5：制作您自己的 Google 表格副本并授权脚本。
自定义搜索引擎优化 | pemavor.com | 约翰娜·迈尔改编
图 13：设置步骤 5 - 搜索引擎优化的 Google 表格自定义搜索 - 脚本初始化
图 14：设置步骤 5 - 搜索引擎优化的 Google 表格自定义搜索 - 脚本授权
设置步骤 6：输入您的凭据和关键字列表。
- 选项卡“设置”：输入您的搜索引擎 ID 和 API 密钥。
设置您的首选语言和位置。
每日限制可以保持在 100，因为这是免费计划的最大值。 - 选项卡“关键字”：在第一列中，输入您要为其获取可编程搜索引擎的 SERP 的关键字列表。
图 15：设置步骤 6 - 搜索引擎优化的 Google 表格自定义搜索 - 关键字列表
设置步骤 7：运行脚本以检索可编程搜索引擎的结果。
- 菜单选项“检查排名”：您可以在“帮助”旁边的菜单中找到它（参见图 16）。
初始化脚本并授予它在您的帐户中运行的权限。
根据您的关键字数量，选择“手动运行”（即席 - 最多 100 个关键字）或“启用调度程序”（每天 100 个关键字）。 - 选项卡“SERP Rankings”：启动脚本后，您可以观察 API 输出是如何被一个接一个地拉到这里的（参见图 17）。
图 16：设置步骤 4 - 用于 SEO 的 Google Sheet 自定义搜索
图 17： Google Sheet 脚本演示
自定义搜索 API 实战：SEO 用例
到目前为止，您已经看到了 www.pemavor.com 发布的脚本的基本功能。 在最后三个选项卡（“性别”、“页面类型”、“域”）中，我添加了关于如何在实践中使用 API 数据的个人用例演示。
时尚行业示例 | 性别
再次，让我们以时尚行业为例。 如果你在这个领域很活跃，你肯定会注意到在搜索意图方面存在一定的关键词性别偏见，例如在谷歌的英国搜索结果中。
- 如果您搜索“连帽衫”，您会发现前 10 名中包含男性产品的着陆页。
- 对于像“外套”这样的术语，它主要是女性产品的登陆页面。
- 对于“浴袍”，您会看到更多包含男女产品的通用页面。
这对我们 SEO 意味着什么：如果您想对这些术语进行排名，您更有可能通过设置遵循搜索意图模式的登录页面来实现您想要的结果。
如果您已经为特定项目做 SEO 一段时间了，您可能有很好的直觉，并且知道哪个主题应该针对哪个目标网页。 但它总是有助于验证我们的直觉。 如何？ 你通过谷歌运行它。
- 老派的做法：你必须手动检查和评估每个时尚关键词的“关键词性别”。
- 使用 API：您可以将其自动化。 从自定义搜索 JSON API 中获取搜索标题和 URL，并将它们与“女性”等术语进行匹配 | “女” | “男人” | “男性”。
在 Google 表格的“性别”选项卡中，您可以找到正在实施的想法。 要获得与 GIF 相同的输出，您首先必须使用“关键字”选项卡中的“时尚关键字”运行脚本。
图 18：演示 Google 表格脚本 - 选项卡“性别”
它是如何工作的？ 过滤器公式从“SERP 排名”选项卡中提取 URL、片段标题和关键字。 RegEx 公式检查是否与“女性”等术语匹配 | “女” | “男人” | “男” | “为了她” | “为了他”。 由此产生的“性别计数”通过数据透视表在关键字的基础上进行汇总。
旁注：另一个（SEO）时尚建议
如果您将类别关键字与其他字词（例如与可用过滤器中的特征）结合使用，请重新检查您的关键字性别。 以“袜子”一词为例，您应该在其中找到充满男士袜子登陆页面的 SERP。 但是，一旦添加了“粉红色”颜色，“粉红色袜子”的 SERP 就会面向女性。
美容行业示例 | 页面类型
现在我们转向另一个行业，从时尚转向香水，这立即改变了搜索意图格局。 想一想：你的普通外套有一个通用名称和一个没有人会搜索的随机文章编号。 在其他领域——如香水——产品名称具有真正的搜索潜力。
以“最著名的香水”的精选片段作为我们的灵感来源，我们发现在英国搜索量很大的香水名称：
- 香奈儿 N°5（“香奈儿 5 号” – 33.100 SV）
- Dolce&Gabbana 浅蓝色（“浅蓝色 dolce and gabbana” – 14.800 SV）
- 鸦片 Yves Saint Laurent（“鸦片香水” - 9.900 SV）
- Calvin Klein CK ONE（“ck one” - 9.900 SV）
- Acqua di Parma Colonia（“acqua di Parma Colonia” – 4.400 SV）
但是我们如何确定我们应该使用我们的产品 URL 来定位这些术语中的每一个呢？ 毕竟，香奈儿也有同名香奈儿 N°5 的品牌线，而 Acqua di Parma 出售各种古龙水，而不仅仅是一种。 优化产品 URL 和品牌 URL 可能会导致自相残杀。
同样，查看 SERP 有助于我们做出决定：直观地说，品牌（线）页面上的产品选择可能会带来更好的转化。 但是如果搜索结果以产品 URL 为主，我们应该优化一个产品 URL 来竞争排名。
大规模进行这种评估需要什么？ 识别竞争对手页面类型的模式，将它们添加到 RegEx 中，然后让脚本为您完成剩下的工作。
诚然，这项涵盖竞争对手页面类型的 URL 模式的初步研究——并提出相应的 RegEx 模式——将需要一些时间。 但是，为其他分析做好准备是值得的，也是一个很好的洞察力。
在 Google 表格的“页面类型”选项卡中，您可以找到香水行业的一些示例。 要获得与 GIF 中相同的输出，您首先必须使用“关键字”选项卡中的“香水关键字”运行脚本：
图 19：演示 Google Sheet 脚本 - 选项卡“页面类型”
利基产品示例 | 竞争对手域名
最后但并非最不重要的是，最后一个用例，为了稍微改变一下，让我们离开香水和时尚的世界。 想象一下，您是专业或利基产品（例如设计家具或公路赛车）的高端制造商的 SEO。
在这种情况下，建议您在投入时间和精力之前仔细选择您尝试定位的关键字。 对诸如“自行车”之类的通用关键字进行排名可能会超出范围 - 也因为搜索“女士自行车”的用户可能不希望以 5.000 英镑的公路赛车结束他们的客户旅程。
同样，同样的问题：您如何从大量潜在的关键字中筛选出合适的关键字——而不是每次都手动检查搜索意图？
第一步可以是提出两个域列表：
- 域列表 1：您的竞争对手/合作伙伴以及所有可能提供类似于您想要排名的搜索意图的域。
- 域列表 2：您不能或不想与之竞争的其他所有人。
查看“公路赛车”与“自行车”的英国 SERP：如果您是像 www.ribblecycles.co.uk 这样的高端自行车商店，您应该将 www.decathlon.co.uk 放在第二个域名列表中。 或者，如果您是一家豪华家具店，您应该将所有通用家具店（如 www.habitat.co.uk）放在第二个列表中。 通常这也可以用来将 B2B 关键字与 B2C 关键字分开，甚至可以将产品报价与“家庭办公家具”与“办公室室内设计”等服务报价分开。
如果 Google 选择仅对域列表 2 中与您的产品或业务模式不相似的域进行排名，那么这个关键字不值得您花费时间和精力——或者至少不是您的最高优先级。
在 Google 表格的“域”选项卡中，我将两个自行车商店的域列表放在一起，以展示这将如何在自行车行业的实践中发挥作用。 要获得与 GIF 相同的输出，您首先必须使用“关键字”选项卡中的“自行车关键字”运行脚本：
图 20：演示 Google 表格脚本 - 选项卡“域”
请注意，我没有深入研究自行车行业，并且某些领域分组对于真正的行业专家可能没有意义。 但是这个例子应该足够清楚地说明原则：分析您的竞争环境，找出适合您提供的搜索意图的域，然后根据此评估您的关键字潜力。
最后的一些想法：什么是搜索意图？
在结束这篇文章时，我想退后一步，看看大局：什么是搜索意图？ 有许多定义和有价值的文章深入探讨了这个问题。
SEO 工具箱 Sistrix 包括四个主要类别的搜索意图，它们非常接近导航、信息和事务查询之间的经典区别。
- 知道：用户正在寻找有关特定主题的被动信息内容。
- 做：用户主动想做某事，购买、下载或安装产品。
- 网站：用户想要导航到特定网站。
- 访问：用户想要访问本地企业。
但是，在决定着陆页的布局和内容时，此类分类只能带您到此为止。 奥拉夫·科普 (Olaf Kopp) 在他关于如何根据微搜索意图映射您的内容决策的深入文章中超越了这一点（文章只有德语）。
一个例子：他将信息搜索意图拆分为“娱乐”、“定义”或“启用”等微观意图，具体取决于内容是否应该娱乐用户，给他们一个以前未知的概念的定义，或者教他们如何做某事.
今天，我们添加了搜索意图分析的另一个维度：您的项目特定搜索意图。 无论您的项目的利基是什么，您都可能已经注意到一些重复出现的 SERP 模式。 在可编程搜索引擎及其自定义搜索 JSON API 的帮助下，您可以利用这些个人行业见解并将其应用于更大的关键字集。
谷歌努力为用户提供最好的搜索结果——并为此花费了大量资金。 对我们 SEO 来说，这是一个非常宝贵的数据源，我们不应该放任不管。 特别是由于关键字的搜索意图也在不断变化，无论是由于季节性还是因为谷歌不断改进其自然语言处理能力。 使用我们介绍的方法，您可以以编程方式进行搜索意图分析。
最后一点，像往常一样，有一件事是正确的：当你有一个直接的实际应用时，你学到的最多。 时尚行业中的关键字性别偏见是让我首先探索 API 的用例。 所以问问自己：您可以使用可编程搜索引擎及其自定义搜索 JSON API 解决哪些 SEO 问题？
___
PS：如果您在设置 Google 表格方面需要帮助或在个人用例中遇到正则表达式：请随时联系！ 我自己不是 RegEx 专家，但总是可以尝试并帮助解决这个问题。