来自 CloudFlare 的 Bing IndexNow 中的错误 URL

已发表: 2022-12-28

您是否在 Google Search Console 中遇到网站错误？ 这些错误可能包括带有重定向的页面、被 robots.txt 阻止的页面、软 404、404 以及带有正确规范标签的页面。 看到这些错误可能会令人沮丧，特别是如果您认为您已经在受影响的页面上设置了指令。 但是为什么会出现这些错误，您可以采取什么措施来解决这些错误？

基于 CloudFlare 社区论坛上关于此问题的讨论，这里有更多的概述和摘要，以及如何解决这些不正确的页面 URL 进入 IndexNow 数据。

在本文中，我们将探讨这些错误的可能原因并提供解决这些错误的解决方案。 一些可能的原因可能包括使用 Cloudflare 的“立即索引”功能或更改 Google 的搜索引擎结果页面 (SERP)。 我们还将讨论使用您自己的“立即索引”功能或插件的好处，以及阻止某些搜索引擎的潜在缺点。 通过遵循这些提示，您可以帮助确保您的网站没有错误并针对搜索引擎进行了全面优化。

  • Cloudflare 的“Index Now”功能
  • 使用您自己的“立即索引”功能或插件
  • 阻止某些搜索引擎
  • 随时了解 Google SERP 的最新变化
来自 CloudFlare 的 Bing IndexNow 中不正确的 URL -

什么是“IndexNow”？

IndexNow 是一种工具，可帮助网站所有者快速通知搜索引擎有关其内容的更新。 通过使用 IndexNow，网站所有者可以向搜索引擎发送一个 URL 及其相关内容已被添加、修改或删除的信号。 这允许搜索引擎更快地在搜索结果中反映这些变化，而不是等待它们的常规爬网计划来发现更新。 如果没有 IndexNow，搜索引擎可能需要几天到几周的时间才能检测到网站内容的变化。 IndexNow 有助于确定已更改 URL 抓取的优先级，从而减少搜索引擎抓取所有 URL 以发现新内容的需要。

Cloudflare 的“Index Now”功能

Cloudflare 的“Index Now”功能是一种允许用户提交 URL 以供搜索引擎（特别是 Bing 和 Yandex）编制索引的工具。 虽然此功能对于快速索引新页面很有用，但如果使用不当也会导致问题。

“立即索引”功能的一个问题是它会将所有输入的 URL 提交给 Bing 和 Yandex，即使它们输入错误或受防火墙规则限制。 这可能会导致 Google 报告其他搜索引擎请求抓取的页面上的错误。 例如，如果一个页面被 robots.txt 屏蔽，谷歌不会抓取它，但如果它通过“立即索引”功能请求被 Bing 或 Yandex 抓取，谷歌仍然可能报告错误。

为避免此问题，您可以使用自己站点的“立即索引”功能，而不是依赖 Cloudflare。 还有用于 CMS 的插件，例如 WordPress，可以支持“立即索引”功能，并有助于确保只提交有效的 URL 进行索引。 这可以节省您修复 Google Search Console 中错误的时间和精力。

还值得注意的是，虽然“立即索引”功能可用于快速将新页面编入索引，但它可能不是对所有网站最有效的解决方案。 一些专家建议使用更传统的方法，例如提交站点地图或使用内部链接，以将页面编入索引。 与任何工具一样，在您的网站上使用它之前仔细考虑利弊是很重要的。

下载 CloudFlare IndexNow 提交的 URL 列表

可以使用 Bing Webmaster Tools 下载已通过 CloudFlare 的 IndexNow 功能提交给 Bing 的 URL 列表。 这对于想要查看提交索引的 URL 并确保 Bing 只抓取有效页面的网站所有者很有用。

要从 Bing 网站管理员工具下载由 CloudFlare IndexNow 提交的 URL 列表，您需要拥有经过验证的 Bing 网站管理员帐户并登录。登录后，请按照下列步骤操作：

  1. 导航到主菜单中的“报告和数据”部分。
  2. 单击“URL 提交”选项。
  3. 在“URL 提交”选项卡下，选择“立即索引”选项。
  4. 使用页面上的过滤器来选择要下载的 URL 的日期范围。
  5. 点击页面右上角的“导出”按钮。
  6. 选择要导出数据的格式（例如，CSV、Excel 等）。
  7. 单击“导出”以下载文件。
来自 CloudFlare 的 Bing IndexNow 中不正确的 URL -

下载的文件将包含已通过 CloudFlare IndexNow 提交给 Bing 的所有 URL 的列表，以及有关提交日期和时间的信息。

使用此信息，网站所有者可以查看提交索引的 URL，并采取任何必要的措施来确保 Bing 仅抓取有效页面。 这有助于防止搜索引擎结果出现错误，并提高网站的整体搜索引擎优化。

使用您自己的“IndexNow”功能或插件

使用您自己的“立即索引”功能或插件可以有效避免因 Cloudflare 的“立即索引”功能导致 Google Search Console 错误。 通过直接从您自己的站点提交 URL 或使用插件，您可以控制提交哪些 URL 以供索引，并确保搜索引擎仅抓取有效页面。

实现您自己的“立即索引”功能的一种选择是使用插件，例如 WordPress SEO 插件。 这些插件通常包括用于向搜索引擎提交站点地图和单个 URL 的工具，以及用于为搜索引擎优化您的站点的其他功能。 使用插件可以节省您手动提交 URL 的时间和精力，并且可以提供额外的好处，例如帮助您识别和修复您网站上的其他 SEO 问题。

另一种选择是直接从您自己的站点使用“立即索引”功能。 大多数搜索引擎，包括 Google、Bing 和 Yandex，都有用于手动提交 URL 以供索引的工具。 这些工具可以通过您的搜索引擎网站管理员帐户访问，通常允许您提交单个 URL 或整个站点地图。

虽然使用您自己的“立即索引”功能或插件可以有效防止 Cloudflare“立即索引”功能导致的错误，但仔细考虑每种方法的优缺点仍然很重要。 使用插件可能更方便，但它也可能引入额外的依赖项并需要持续维护。 通过搜索引擎网站管理员工具手动提交 URL 可能更耗时，但它也可以为您提供更多控制权，从长远来看可能提供更稳定的解决方案。

阻止某些搜索引擎

在您的 robots.txt 文件中阻止某些搜索引擎，例如 Bing、Seznam 和 Yandex，可以有效地防止您的 Google Search Console 中因 Cloudflare 的“立即索引”功能而导致的错误，但这不是推荐的解决方案。 通过阻止这些搜索引擎，您可以阻止它们抓取您网站上可能导致 Google 出错的页面。

要在 robots.txt 文件中阻止搜索引擎，您需要添加一行代码，指定要阻止的搜索引擎以及要阻止的页面或目录。 例如，要阻止 Bing 抓取您的整个网站，您可以将以下代码行添加到您的 robots.txt 文件中：

用户代理：Bing 不允许：/

您还可以通过指定路径来阻止特定页面或目录，例如：

用户代理：Bing 禁止：/private/

请务必注意，在 robots.txt 文件中阻止搜索引擎并不能保证搜索引擎不会抓取您的网站。 某些搜索引擎可能会忽略您的 robots.txt 文件中的指令，或者它们可能会在阻止的情况下抓取您的网站。 但是，使用 robots.txt 文件可能是一种有用的方式，可以向搜索引擎发出您不希望他们抓取您网站上的哪些页面或目录的信号。

阻止某些搜索引擎是防止 Google Search Console 出错的有效方法，但仔细考虑潜在的缺点很重要。 通过仅依赖一个搜索引擎，例如谷歌，您可能更容易受到其算法或政策变化的影响。 通常建议有尽可能多的替代方案，以帮助减轻对您网站排名的任何潜在影响。

使用 Screaming Frog 检查 404 错误

使用 Screaming Frog SEO Spider 是检查网站是否存在 404 错误的有用方法。 当用户尝试访问不存在或已被删除的网页时，会出现 404 错误。 这些错误可能不利于网站的用户体验和搜索引擎优化，因为它们可能会导致用户离开网站，并对网站在搜索结果中的排名产生负面影响。

使用 Screaming Frog 我们可以确定该网站不会充满 404 错误。

来自 CloudFlare 的 Bing IndexNow 中不正确的 URL -

随时了解 Google SERP 的最新变化

及时了解 Google 搜索引擎结果页面 (SERP) 的变化是针对搜索引擎优化网站和防止 Google Search Console 出错的重要组成部分。 Google 经常更改其算法和排名因素，这会对您的网站在搜索结果中的可见性和排名产生重大影响。

要随时了解 Google 的 SERP 的变化，您可以注册 Google 网站管理员中心的提醒或关注 SEO 行业博客和新闻来源。 这些来源可以提供有关新功能的更新、排名算法的更改以及其他可以帮助您针对搜索引擎优化网站的重要信息。

除了随时了解 Google SERP 的变化之外，定期检查和优化您的网站以供搜索引擎使用也很重要。 这可能包括识别和修复您的 Google Search Console 中的错误、优化您网站的内容和元标记，以及构建高质量的反向链接。 通过定期审查和优化您的网站，您可以帮助确保它针对搜索引擎进行了全面优化并且没有错误。

总的来说，及时了解 Google SERP 的最新变化并定期优化您的网站可以帮助您避免 Google Search Console 中的错误并提高您网站的可见性和在搜索结果中的排名。 通过遵循这些提示，您可以帮助确保您的网站针对搜索引擎进行了全面优化，并吸引更多流量和客户。

结论

总之，您的 Google Search Console 中的网站错误可能令人沮丧，但您可以采取一些措施来修复它们。 这些错误的一个可能原因是使用了 Cloudflare 的“立即索引”功能，该功能可以将 URL 提交给 Bing 和 Yandex，即使它们输入错误或处于防火墙规则之后。 为防止这些错误，您可以使用自己的“立即索引”功能或插件，或在 robots.txt 文件中阻止某些搜索引擎。

使用您自己的“立即索引”功能或插件可以更好地控制提交哪些 URL 以供索引，同时阻止某些搜索引擎可以帮助防止由 Cloudflare“立即索引”功能引起的错误。 但是，重要的是要仔细考虑每种方法的优缺点，以及仅依赖一个搜索引擎的潜在缺点。

及时了解 Google 搜索引擎结果页面 (SERP) 的最新变化并定期优化您的网站也有助于防止错误并提高您网站的可见度和在搜索结果中的排名。 通过遵循这些提示，您可以帮助确保您的网站针对搜索引擎进行了全面优化并且没有错误。