來自 CloudFlare 的 Bing IndexNow 中的錯誤 URL

已發表: 2022-12-28

您是否在 Google Search Console 中遇到網站錯誤？ 這些錯誤可能包括帶有重定向的頁面、被 robots.txt 阻止的頁面、軟 404、404 以及帶有正確規範標籤的頁面。 看到這些錯誤可能會令人沮喪，特別是如果您認為您已經在受影響的頁面上設置了指令。 但是為什麼會出現這些錯誤，您可以採取什麼措施來解決這些錯誤？

基於 CloudFlare 社區論壇上關於此問題的討論，這裡有更多的概述和摘要，以及如何解決這些不正確的頁面 URL 進入 IndexNow 數據。

在本文中，我們將探討這些錯誤的可能原因並提供解決這些錯誤的解決方案。 一些可能的原因可能包括使用 Cloudflare 的“立即索引”功能或更改 Google 的搜索引擎結果頁面 (SERP)。 我們還將討論使用您自己的“立即索引”功能或插件的好處，以及阻止某些搜索引擎的潛在缺點。 通過遵循這些提示，您可以幫助確保您的網站沒有錯誤並針對搜索引擎進行了全面優化。

  • Cloudflare 的“Index Now”功能
  • 使用您自己的“立即索引”功能或插件
  • 阻止某些搜索引擎
  • 隨時了解 Google SERP 的最新變化
來自 CloudFlare 的 Bing IndexNow 中不正確的 URL -

什麼是“IndexNow”？

IndexNow 是一種工具，可幫助網站所有者快速通知搜索引擎有關其內容的更新。 通過使用 IndexNow，網站所有者可以向搜索引擎發送一個 URL 及其相關內容已被添加、修改或刪除的信號。 這允許搜索引擎更快地在搜索結果中反映這些變化，而不是等待它們的常規爬網計劃來發現更新。 如果沒有 IndexNow，搜索引擎可能需要幾天到幾週的時間才能檢測到網站內容的變化。 IndexNow 有助於確定已更改 URL 抓取的優先級，從而減少搜索引擎抓取所有 URL 以發現新內容的需要。

Cloudflare 的“Index Now”功能

Cloudflare 的“Index Now”功能是一種允許用戶提交 URL 以供搜索引擎（特別是 Bing 和 Yandex）編制索引的工具。 雖然此功能對於快速索引新頁面很有用，但如果使用不當也會導致問題。

“立即索引”功能的一個問題是它會將所有輸入的 URL 提交給 Bing 和 Yandex，即使它們輸入錯誤或受防火牆規則限制。 這可能會導致 Google 報告其他搜索引擎請求抓取的頁面上的錯誤。 例如，如果一個頁面被 robots.txt 屏蔽，谷歌不會抓取它，但如果它通過“立即索引”功能請求被 Bing 或 Yandex 抓取，谷歌仍然可能報告錯誤。

為避免此問題，您可以使用自己站點的“立即索引”功能，而不是依賴 Cloudflare。 還有用於 CMS 的插件，例如 WordPress，可以支持“立即索引”功能，並有助於確保只提交有效的 URL 進行索引。 這可以節省您修復 Google Search Console 中錯誤的時間和精力。

還值得注意的是，雖然“立即索引”功能可用於快速將新頁面編入索引，但它可能不是對所有網站最有效的解決方案。 一些專家建議使用更傳統的方法，例如提交站點地圖或使用內部鏈接，以將頁面編入索引。 與任何工具一樣，在您的網站上使用它之前仔細考慮利弊是很重要的。

下載 CloudFlare IndexNow 提交的 URL 列表

可以使用 Bing Webmaster Tools 下載已通過 CloudFlare 的 IndexNow 功能提交給 Bing 的 URL 列表。 這對於想要查看提交索引的 URL 並確保 Bing 只抓取有效頁面的網站所有者很有用。

要從 Bing 網站管理員工具下載由 CloudFlare IndexNow 提交的 URL 列表，您需要擁有經過驗證的 Bing 網站管理員帳戶並登錄。登錄後，請按照下列步驟操作：

  1. 導航到主菜單中的“報告和數據”部分。
  2. 單擊“URL 提交”選項。
  3. 在“URL 提交”選項卡下，選擇“立即索引”選項。
  4. 使用頁面上的過濾器來選擇要下載的 URL 的日期範圍。
  5. 點擊頁面右上角的“導出”按鈕。
  6. 選擇要導出數據的格式（例如，CSV、Excel 等）。
  7. 單擊“導出”以下載文件。
來自 CloudFlare 的 Bing IndexNow 中不正確的 URL -

下載的文件將包含已通過 CloudFlare IndexNow 提交給 Bing 的所有 URL 的列表，以及有關提交日期和時間的信息。

使用此信息，網站所有者可以查看提交索引的 URL，並採取任何必要的措施來確保 Bing 僅抓取有效頁面。 這有助於防止搜索引擎結果出現錯誤，並提高網站的整體搜索引擎優化。

使用您自己的“IndexNow”功能或插件

使用您自己的“立即索引”功能或插件可以有效避免因 Cloudflare 的“立即索引”功能導致 Google Search Console 錯誤。 通過直接從您自己的站點提交 URL 或使用插件，您可以控制提交哪些 URL 以供索引，並確保搜索引擎僅抓取有效頁面。

實現您自己的“立即索引”功能的一種選擇是使用插件，例如 WordPress SEO 插件。 這些插件通常包括用於向搜索引擎提交站點地圖和單個 URL 的工具，以及用於為搜索引擎優化您的站點的其他功能。 使用插件可以節省您手動提交 URL 的時間和精力，並且可以提供額外的好處，例如幫助您識別和修復您網站上的其他 SEO 問題。

另一種選擇是直接從您自己的站點使用“立即索引”功能。 大多數搜索引擎，包括 Google、Bing 和 Yandex，都有用於手動提交 URL 以供索引的工具。 這些工具可以通過您的搜索引擎網站管理員帳戶訪問，通常允許您提交單個 URL 或整個站點地圖。

雖然使用您自己的“立即索引”功能或插件可以有效防止 Cloudflare“立即索引”功能導致的錯誤，但仔細考慮每種方法的優缺點仍然很重要。 使用插件可能更方便，但它也可能引入額外的依賴項並需要持續維護。 通過搜索引擎網站管理員工具手動提交 URL 可能更耗時，但它也可以為您提供更多控制權，從長遠來看可能提供更穩定的解決方案。

阻止某些搜索引擎

在您的 robots.txt 文件中阻止某些搜索引擎，例如 Bing、Seznam 和 Yandex，可以有效地防止您的 Google Search Console 中因 Cloudflare 的“立即索引”功能而導致的錯誤，但這不是推薦的解決方案。 通過阻止這些搜索引擎，您可以阻止它們抓取您網站上可能導致 Google 出錯的頁面。

要在 robots.txt 文件中阻止搜索引擎，您需要添加一行代碼，指定要阻止的搜索引擎以及要阻止的頁面或目錄。 例如，要阻止 Bing 抓取您的整個網站，您可以將以下代碼行添加到您的 robots.txt 文件中：

用戶代理：Bing 不允許：/

您還可以通過指定路徑來阻止特定頁面或目錄，例如：

用戶代理：Bing 禁止：/private/

請務必注意，在 robots.txt 文件中阻止搜索引擎並不能保證搜索引擎不會抓取您的網站。 某些搜索引擎可能會忽略您的 robots.txt 文件中的指令，或者它們可能會在阻止的情況下抓取您的網站。 但是，使用 robots.txt 文件可能是一種有用的方式，可以向搜索引擎發出您不希望他們抓取您網站上的哪些頁面或目錄的信號。

阻止某些搜索引擎是防止 Google Search Console 出錯的有效方法，但仔細考慮潛在的缺點很重要。 通過僅依賴一個搜索引擎，例如穀歌，您可能更容易受到其算法或政策變化的影響。 通常建議有盡可能多的替代方案，以幫助減輕對您網站排名的任何潛在影響。

使用 Screaming Frog 檢查 404 錯誤

使用 Screaming Frog SEO Spider 是檢查網站是否存在 404 錯誤的有用方法。 當用戶嘗試訪問不存在或已被刪除的網頁時，會出現 404 錯誤。 這些錯誤可能不利於網站的用戶體驗和搜索引擎優化，因為它們可能會導致用戶離開網站，並對網站在搜索結果中的排名產生負面影響。

使用 Screaming Frog 我們可以確定該網站不會充滿 404 錯誤。

來自 CloudFlare 的 Bing IndexNow 中不正確的 URL -

隨時了解 Google SERP 的最新變化

及時了解 Google 搜索引擎結果頁面 (SERP) 的變化是針對搜索引擎優化網站和防止 Google Search Console 出錯的重要組成部分。 Google 經常更改其算法和排名因素，這會對您的網站在搜索結果中的可見性和排名產生重大影響。

要隨時了解 Google 的 SERP 的變化，您可以註冊 Google 網站管理員中心的提醒或關注 SEO 行業博客和新聞來源。 這些來源可以提供有關新功能的更新、排名算法的更改以及其他可以幫助您針對搜索引擎優化網站的重要信息。

除了隨時了解 Google SERP 的變化之外，定期檢查和優化您的網站以供搜索引擎使用也很重要。 這可能包括識別和修復您的 Google Search Console 中的錯誤、優化您網站的內容和元標記，以及構建高質量的反向鏈接。 通過定期審查和優化您的網站，您可以幫助確保它針對搜索引擎進行了全面優化並且沒有錯誤。

總的來說，及時了解 Google SERP 的最新變化並定期優化您的網站可以幫助您避免 Google Search Console 中的錯誤並提高您網站的可見性和在搜索結果中的排名。 通過遵循這些提示，您可以幫助確保您的網站針對搜索引擎進行了全面優化，並吸引更多流量和客戶。

結論

總之，您的 Google Search Console 中的網站錯誤可能令人沮喪，但您可以採取一些措施來修復它們。 這些錯誤的一個可能原因是使用了 Cloudflare 的“立即索引”功能，該功能可以將 URL 提交給 Bing 和 Yandex，即使它們輸入錯誤或處於防火牆規則之後。 為防止這些錯誤，您可以使用自己的“立即索引”功能或插件，或在 robots.txt 文件中阻止某些搜索引擎。

使用您自己的“立即索引”功能或插件可以更好地控制提交哪些 URL 以供索引，同時阻止某些搜索引擎可以幫助防止由 Cloudflare“立即索引”功能引起的錯誤。 但是，重要的是要仔細考慮每種方法的優缺點，以及僅依賴一個搜索引擎的潛在缺點。

及時了解 Google 搜索引擎結果頁面 (SERP) 的最新變化並定期優化您的網站也有助於防止錯誤並提高您網站的可見度和在搜索結果中的排名。 通過遵循這些提示，您可以幫助確保您的網站針對搜索引擎進行了全面優化並且沒有錯誤。