Google 索引指南：Google 索引問題、統計信息等

許多 SEO 內容側重於在所需的搜索結果中排名靠前。 這是有道理的，因為如果在搜索結果（即 Google 索引）中排名不高，您就無法通過自然搜索將流量吸引到您的網站。 此外，如果不增加有機流量，您就無法為您的企業增加潛在客戶和銷售額。 如果您是營銷主管、主管、經理等，這可能是您最關心的問題。

為了對所需的術語進行排名，首先，您需要出現在 Google 索引中。 曾幾何時，讓您的網站進入索引有些困難。 “網站提交”是一項常見服務。 然而，現在谷歌非常擅長尋找新網站。 例如，如果您發布有關您網站的推文、發布新聞稿或幾乎所有鏈接到您網站的人，那麼 Google 可能知道您的存在。 但是，如果您嘗試增加搜索流量，您可能會隨著網站的增長而遇到各種 Google 索引問題。

對於非 SEO（對於 SEO 也經常如此），許多這些問題仍然非常令人困惑和沮喪。 幾乎每次我與客戶一起進行 SEO 審核時，至少都會對索引問題、重複內容、從 Google 索引中刪除頁面的最佳方式等產生一些困惑。

從這個 Google 索引概述中可以期待什麼

在這篇文章中，我將嘗試幫助營銷通才（對 SEO 有基本了解的人，負責為他們的網站帶來更多流量，但可能不會深入了解 Screaming Frog 的日常抓取和鏈接分析）日基礎）理解：

• Google 索引的工作原理。
• 解釋來自 Google.com 的不同索引統計數據或“計數”。
• 了解您的 Google Search Console 帳戶。
• 常見索引問題的技術修復（即沒有索引的頁面或您不希望索引的頁面洩漏到索引中）。

讓我們從頭開始。

Google 索引如何運作？

Google 的搜索引擎非常複雜。 深入了解 Google 如何查找、存儲頁面並確定頁面的優先級超出了本文的範圍。

在高層次上，Google 努力尋找（或抓取）盡可能多的有用頁面。 此外，Google 努力存儲（或索引）那些返回相關搜索的頁面。 此外，Google 索引努力返回最能滿足搜索者搜索查詢的正確頁面。 （作為副作用，這也可能有助於 Alphabet 的底線，但這是另一個討論）。

再次在您想要的高（和過於簡單的）級別：

• 索引的好東西（您網站上的高質量頁面，對搜索者有用並且可能為您的業務帶來理想的行動）。
• Google 索引中的不良內容（價值低和/或薄或重複的頁面對您的傷害大於幫助您將相關流量吸引到您的網站）。

另一件需要注意的事情：索引不一定與搜索結果中顯示的內容相同。 Google 在內部維護著一個頁面索引。 當您在 Google.com 上搜索主題時，您會看到您的一些網頁。 這不一定是 Google 保留在其索引中的所有頁面。 索引頁面可能永遠不會真正顯示在搜索結果中或獲得點擊並進入您的網站。

本文的其餘部分重點分析您網站的哪些頁面在索引中，以及您（作為營銷人員）可以採取哪些措施來控制和更好地優化已編入索引和未編入索引的內容。 此外，還有許多資源可用於詳細了解 Google 索引的工作原理，包括：

• Moz 對搜索引擎如何運作的演練。
• 谷歌搜索工程師關於谷歌索引如何工作的演講​​的幾個不同的分解。
• Google 工作原理的直觀表示。

了解索引統計

對於許多人來說，您看到的有關您自己站點的索引統計信息會產生一些非常混亂的想法。 Google 提供了兩種常見的方式來顯示您的網站統計信息，以了解您的網站上有多少網頁被 Google 索引。

Google.com 上的索引統計信息

要查看有多少網頁以及哪些網頁被 Google 編入索引，請先訪問 Google.com 並輸入 site:yoursite.com。 讓我們看看 Google 在網站搜索運算符中顯示的內容，我們過去曾寫過 SearchEngineLand.com：

大約 30,700 個結果 – 相當多！ 如果這是您的網站並且您是第一次檢查索引統計信息，您可能會有兩種情緒。 首先，您認為我的很多帖子都被編入了索引，這讓您感到興奮！ 相反，當您認為您的站點不包含那麼多頁面時，您可能會感到有些驚慌。

當您開始瀏覽已編入索引的頁面並點擊進入其他結果頁面時（十頁 - 或少得多，廣告和其他特色谷歌內容在很多 SERP 中占主導地位 - 當然是默認設置，但正如我經常通過 SERP 挖掘我喜歡將我的每頁結果更改為 100）一些非常奇怪的事情發生了。 當我滾動到 SEL 站點搜索的搜索結果底部時，我的設置為每頁 100 個結果，我看到 8 個鏈接：

8 x 100 個結果顯然不等於“大約 30,700”。 奇怪：我認為谷歌提供了超過 30,000 個結果。 如果我點擊第 8^頁結果的鏈接，結果會更加混亂：

如果我點擊“重複搜索並包含省略的結果”鏈接並點擊回到最後一頁，我會看到類似的內容。

但是 Search Engine Land 是一個非常值得信賴的網站，每天都會發布幾條新內容。 所以這不可能是谷歌索引的所有頁面，對吧？

絕對不是。 谷歌實際上已經看到測試完全放棄了這一點。 此外，谷歌明確表示，這些數字在未來幾年內都不會完全可信（該視頻是 2010 年的！）。 你的網站越大，這個問題就越嚴重：

DYK 您在搜索結果中看到的“結果數量”真的只是一個近似值，存在的潛在結果越多越不准確？ pic.twitter.com/o2odhwjsIA

- Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 2017 年 2 月 11 日

我們還能在哪裡找到我們的索引計數？ 或者我們如何了解我們網站上的哪些頁面被編入索引？

Google Search Console（以前稱為網站管理員工具）中的索引統計信息

您的 Google Search Console 帳戶提供有關您的網站索引結果的額外數據。 如果您沒有 GSC 帳戶，那麼今天就在這裡設置一個。

對於我們的概述，讓我們看一下我公司擁有的網站的帳戶。 Google Search Console 的整個子部分專門用於 Google 索引數據。

Google Search Console 中的索引狀態

GSC 數據通常提供更準確的信息。 此外，它還提供一些趨勢數據。 但是，如果您看到許多索引頁面似乎太低怎麼辦？ 或者大大低估了搜索分析統計數據？

通常，這些問題的發生取決於 Google Search Console 處理子域、網站的 www 和非 www 版本以及網站的 http 和 https 版本的方式。

如果您的 Google Search Console 數字非常低，請檢查頂部導航中與該網站關聯的非常具體的 URL：

此外，如果您將站點移至 https 或使用子域（例如 http://info.measuredsem.com），請將它們添加為單獨的站點。 此外，如果您從 http://www.measuredsem.com 切換到 http://measuredsem.com 或同時支持兩者，請在您的帳戶中設置您的首選域。

此外，您還可以在另一個地方獲得有關您的網站在 Google Search Console 中如何編入索引的信息。

Google Search Console 中的站點地圖

Google Search Console 包含一個站點地圖部分，可以為您的站點啟用 XML 站點地圖提交。 此外，本節還提供了索引中實際提交的頁面數量的概念。 另外，該部分顯示了該數字如何隨時間變化。

這裡的挑戰是，雖然您可以查看 XML 站點地圖以查看您提交了哪些頁面，但您不一定具有您可能想要回答特定問題的詳細程度（例如大片頁面是否是“ t 索引）。

5 個可操作的 Google 索引提示

現在您對 Google 索引的工作原理有了更多的了解。 此外，還有一些工具可以顯示您的網站在 Google 索引中的表現。 如何實際解決特定的索引相關問題？ 根據我與客戶的合作以及圍繞該主題的一些研究，以下是我發現的與 Google 索引相關的五個最大問題：

1. 如何判斷哪些特定頁面未被索引

不在 Google 索引中的頁面不會出現在搜索結果中。 因此，您可能首先要弄清楚的事情之一是“我網站上的哪些頁面沒有編入索引？” 不幸的是，上面列出的大多數方法都沒有解決這個問題的方法。 前面的方法有助於了解您網站上的網頁在 Google 索引中的位置。 但是，這些方法無法處理您網站上不在 Google 索引中的網頁。 對於一個非常小的網站，這可能很容易被發現。 但是，如果您維護一個活躍的博客，您的站點可能包含足夠多的頁面，以至於“眼球”丟失的頁面不是一個合理的選擇。 兩個主要工具解決了這個過程：

第一步：使用 Screaming Frog 抓取您的網站

在任何 SEO 網站審核過程中，Screaming Frog 通常是我最常用的應用程序之一。 在此屏幕截圖中，它提供了您網站上存在哪些頁面的圖片：

Screaming Frog 是一個超級有用/強大的 SEO 工具，但出於我們的目的，我們只想抓取網站並過濾 HTML 頁面。 然後，過濾該列表以查找我們希望在索引中的我們網站上的任何頁面。 我們將在一分鐘內開始處理我們不想要的頁面。

從那裡開始，我將使用另一個對任何技術 SEO 審核都非常有用的工具：URL Profiler。

URL Profiler 是另一個非常強大的 SEO 工具，但在這裡我們將再次將它用於非常狹窄的目的。 找出我們網站上的哪些 URL（我們剛剛從抓取中導出）實際上被編入了索引：

如果你有一個更大的網站，這通常需要一些代理來檢查索引。 如果您不太懂技術，這聽起來很嚇人，但它非常容易。 這需要幾分鐘時間，並且不需要任何技術專業知識（除了複製/粘貼技能）。

偶爾，它需要幾次，並且總是留出一些時間進行更大的爬行。 但是，最終您會得到一個列表，其中包含您網站上未編入索引的所有頁面。

2. 如何將某些內容（您的整個站點、新頁面、未編入索引的現有頁面）編入索引

將新站點編入索引過去本身就是一個行業。 然而，如今，如果您擁有合法的網站和業務，流程就會得到簡化。 事實上，您的主頁和整個域應該很快被索引。 例如，發送帶有鏈接的推文可幫助 Google 索引該站點。 或者從另一個站點接收鏈接也可以。 最後，只需將您的 URL 提交給 Google 即可獲得免費作品！ 因此，許多沒有內容、沒有外部鏈接/推文等的網站會毫不費力地被編入索引。 最近我的公司購買了 50 個域並在每個域上放置了非常簡單的佔位符頁面。 在我們進行任何形式的促銷之前，Google 已經索引了其中的 28 個。

對於具有一組需要索引的頁面的現有站點，請查看您的選項。

A. 通過 Google Search Console 獲取並提交索引

對於 URL 數量較少的站點，將它們分別提交到 Google 控制台以進行索引。 這是一個相當簡單的過程。 首先登錄到您的 Google Search Console 帳戶並查看左側導航欄下的抓取並單擊 Fetch as Google：

接下來，您輸入需要提交的 URL，然後單擊獲取。 您將可以選擇請求索引：

最後，您提交 URL 本身或 URL 以及從頁面鏈接到的那些。 出於我們的目的，因為我們有一組特定的 URL，我們希望看到索引（並且因為我們提交的數量有限——每月 500 個單個 URL 和只有 10 個多個 URL 提交）我們將提交 URL 到指數：

最後你應該看到你的索引請求通過了：

如果您正在處理一個 URL 列表，您可以給它幾天時間，然後再次通過 URL Profiler 運行同一個列表，看看您的努力如何影響索引。

B. 社交分享你的網址

通過社交網絡共享您的 URL 和內容也可以改善關鍵頁面的索引。 例如，對於有價值的頁面（以及與您的核心受眾相關的頁面），在社交上分享它們。 特別是，這適用於具有流行社交帳戶的網站。

例如，您的網站是否包含大量詳細介紹特定功能的產品頁面？ 如果是這樣，每週/每兩天排隊 1 條推文，分享特定的功能頁面。 類似“你知道{product}可以幫助{thing feature helps with}嗎？ {link}”效果很好。

C. 解決根本問題！

您的站點是否仍然包含大量需要索引的頁面？ 如果是這樣，那麼您的網站可能存在基本的 SEO 問題。 你會想要調查：

• 鏈接資產——您網站上的頁面數量是否超過了鏈接資產（指向您網站的鏈接的數量和權限）所能支持的數量？ 這可能意味著更深的頁面不會被抓取和索引，直到您找到建立指向您域的鏈接的方法（並且可能找到獲取更深頁面的鏈接和共享的方法）。
• 網站架構——您網站的信息架構超出了本文的範圍。 但是您可能擁有從您網站的主頁點擊幾次的頁面。 因此，搜索引擎很難找到這些內容。 同樣，這是需要調查的事情（和/或可能聘請經驗豐富的 SEO 進行調查）。
• 站點地圖——最後，如果您還沒有向 Google Search Console 提交動態 XML 站點地圖。 此步驟可以更好地為您的網站編制索引。

3. 如何將您不想收錄的頁面排除在索引之外

營銷人員的另一個常見問題是您希望將特定頁面保留在 Google 索引之外。 也許它是現有頁面的副本，一個非常薄的頁面，對用戶有一定的用處但對搜索者沒有用，或者它可能包含您不想在 Google 索引中包含的私人信息。

不管是什麼原因，有一些核心方法可以將內容排除在 Google 的索引之外。

1. Meta 無索引標籤

在許多情況下，將頁面排除在 Google 索引之外的首選方法是添加一個 Meta No Index 標籤，來自 Google 關於該主題的文檔：

無索引標籤提供了一個很好的解決方案。 它指示 Google 從索引中刪除頁面。 例如，內容已編入索引的網站，no index 標籤提供了一種取消索引內容的首選方法。 robots disallow 指令阻止 Google 抓取頁面。 但如果它已經存在，則不一定會將其從索引中刪除。

相反，正如穀歌工程師 Gary Illyes 指出的那樣：

DYK 阻止頁面中包含 robots.txt disallow 和 noindex 的頁面沒有多大意義，因為 Googlebot 無法“看到”noindex？ pic.twitter.com/N4639rCCWt

- Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 2017 年 2 月 10 日

Google 必須能夠抓取您的網頁才能通過此方法將其從索引中刪除。 因此，請確保頁面在其被抓取之前保持可訪問性（或 Fetch as Google 請求對其進行抓取/重新考慮）。

2. Robots.txt 不允許

對於等待索引的新站點（或站點部分），請使用 robots disallow 指令。 例如，一個暫存站點或正在建設中但尚未準備好迎接黃金時段的子域可能需要此選項。

再次添加此指令並不一定會導致您的內容從索引中刪除（如果它已經出現在索引中）。 事實上，它可能會導致一個結果被索引並且只有一個次優的描述。

使用 disallow 的一個重要警告是確保不要禁止超出預期的範圍。 請注意，不要屏蔽您網站中可能包含您希望搜索者能夠訪問的有價值內容的部分。 並使用機器人測試器工具在 Google Search Console 中測試機器人文件中的更改。

通過 Search Console 刪除 URL 和排除 URL 參數

最後，如果您網站的內容管理系統添加了一些參數（可能是由於過濾搜索結果、分頁或類似原因），而您希望將這些參數編入索引，您還可以向 Google 提供有關這些參數的更多信息或請求通過從搜索結果中暫時刪除 URL 來刪除特定的 URL（不一定從 Google 的索引中刪除，也不一定永久刪除）：

此外，這提供了一種方便的方法，用於從搜索結果中批量刪除 URL 或識別特定參數：

然後向谷歌提供更多相關信息：

谷歌的 John Mueller 表示，此功能類似於“永久”無索引內容。 因此，這為一次性 URL 提供了一種可行的選擇。 不過，理想情況下，在大多數情況下，您更希望深入挖掘並解決核心問題，而不是利用臨時刪除。 您網站的技術結構導致需要對頁面取消索引的原因是什麼？ 為什麼你（或你）首先遭受“索引膨脹”的困擾？

4. 什麼是“索引膨脹”，如何解決？

當您有不必要的頁面被 Google 編入索引時，索引膨脹很有效，這些頁面不太可能將相關流量帶到您的網站以響應用戶的查詢。 這會產生一個問題，因為它迫使搜索引擎花時間抓取和索引低價值頁面（這可能會耗盡您的“抓取預算”）。 此外，可能會在某些搜索結果中提供低價值頁面（導致糟糕的用戶體驗和糟糕的參與度指標）。 包含大量單薄或大量重複的內容以及糟糕的參與度指標可能會導致 Google 眼中的質量排名較低。

除了使用上面的工具和流程來分析哪些頁面當前在索引中，哪些頁面不在索引中，然後使用更多工具和流程從索引中刪除質量較低和價值較低的頁面之外，這裡還有兩個關於該主題的重要資源：

• Green Lane SEO 查找和修復索引膨脹問題的指南
• Portent Interactive 的快速索引診斷

這裡再次強調一個重要的注意事項是不要“切得太深”。 在您開始從 Google 的索引中刪除您網站的大部分內容之前，請查看 Analytics（或獲取 URL 並通過 URL Profiler 運行它們）以確保您不會切斷這些頁面的流量和潛在客戶/銷售。

5. 哪些工具可以幫助監控索引（即什麼是最好的“谷歌索引檢查器？”）

正如我在這裡令人作嘔地提到的那樣，我個人的偏好是利用 URL Profiler 作為 Google 索引檢查器，但這裡有一些額外的選項：

• http://indexchecking.com/
• https://northcutt.com/tools/free-seo-tools/google-indexed-pages-checker/
• https://www.greenlaneseo.com/blog/google-indexation-tester/

獎勵：移動索引資源

移動和應用程序索引與傳統索引略有不同，所以如果您遇到問題，這裡有一些額外的以移動為中心的索引資源：

• https://www.apptentive.com/blog/2015/12/15/app-indexing-how-to-index-your-app-on-google/
• https://www.bruceclay.com/blog/apps-101-what-is-deep-linking-and-app-indexing-setup/
• https://www.slideshare.net/justinrbriggs/how-to-setup-app-indexation
• http://searchengineland.com/5-tips-for-optimal-mobile-site-indexing-107088
• https://www.deepcrawl.com/blog/best-practice/app-deep-linking-for-beginners-google-app-indexing-facebook-app-links/
• https://moz.com/blog/how-to-get-your-app-content-indexed-by-google

我們錯過了什麼？ 您還看到了哪些其他 Google 索引問題/您可以分享哪些提示？