Google 索引指南：Google 索引问题、统计信息等

许多 SEO 内容侧重于在所需的搜索结果中排名靠前。 这是有道理的，因为如果在搜索结果（即 Google 索引）中排名不高，您就无法通过自然搜索将流量吸引到您的网站。 此外，如果不增加有机流量，您就无法为您的企业增加潜在客户和销售额。 如果您是营销主管、主管、经理等，这可能是您最关心的问题。

为了对所需的术语进行排名，首先，您需要出现在 Google 索引中。 曾几何时，让您的网站进入索引有些困难。 “网站提交”是一项常见服务。 然而，现在谷歌非常擅长寻找新网站。 例如，如果您发布有关您网站的推文、发布新闻稿或几乎所有链接到您网站的人，那么 Google 可能知道您的存在。 但是，如果您尝试增加搜索流量，您可能会随着网站的增长而遇到各种 Google 索引问题。

对于非 SEO（对于 SEO 也经常如此），许多这些问题仍然非常令人困惑和沮丧。 几乎每次我与客户一起进行 SEO 审核时，至少都会对索引问题、重复内容、从 Google 索引中删除页面的最佳方式等产生一些困惑。

从这个 Google 索引概述中可以期待什么

在这篇文章中，我将尝试帮助营销通才（对 SEO 有基本了解的人，负责为他们的网站带来更多流量，但可能不会深入了解 Screaming Frog 的日常抓取和链接分析）日基础）理解：

• Google 索引的工作原理。
• 解释来自 Google.com 的不同索引统计数据或“计数”。
• 了解您的 Google Search Console 帐户。
• 常见索引问题的技术修复（即没有索引的页面或您不希望索引的页面泄漏到索引中）。

让我们从头开始。

Google 索引如何运作？

Google 的搜索引擎非常复杂。 深入了解 Google 如何查找、存储页面并确定页面的优先级超出了本文的范围。

在高层次上，Google 努力寻找（或抓取）尽可能多的有用页面。 此外，Google 努力存储（或索引）那些返回相关搜索的页面。 此外，Google 索引努力返回最能满足搜索者搜索查询的正确页面。 （作为副作用，这也可能有助于 Alphabet 的底线，但这是另一个讨论）。

再次在您想要的高（和过于简单的）级别：

• 索引的好东西（您网站上的高质量页面，对搜索者有用并且可能为您的业务带来理想的行动）。
• Google 索引中的不良内容（价值低和/或薄或重复的页面对您的伤害大于帮助您将相关流量吸引到您的网站）。

另一件需要注意的事情：索引不一定与搜索结果中显示的内容相同。 Google 在内部维护着一个页面索引。 当您在 Google.com 上搜索主题时，您会看到您的一些网页。 这不一定是 Google 保留在其索引中的所有页面。 索引页面可能永远不会真正显示在搜索结果中或获得点击并进入您的网站。

本文的其余部分重点分析您网站的哪些页面在索引中，以及您（作为营销人员）可以采取哪些措施来控制和更好地优化已编入索引和未编入索引的内容。 此外，还有许多资源可用于详细了解 Google 索引的工作原理，包括：

• Moz 对搜索引擎如何运作的演练。
• 谷歌搜索工程师关于谷歌索引如何工作的演讲的几个不同的分解。
• Google 工作原理的直观表示。

了解索引统计

对于许多人来说，您看到的有关您自己站点的索引统计信息会产生一些非常混乱的想法。 Google 提供了两种常见的方式来显示您的网站统计信息，以了解您的网站上有多少网页被 Google 索引。

Google.com 上的索引统计信息

要查看有多少网页以及哪些网页被 Google 编入索引，请先访问 Google.com 并输入 site:yoursite.com。 让我们看看 Google 在网站搜索运算符中显示的内容，我们过去曾写过 SearchEngineLand.com：

大约 30,700 个结果 – 相当多！ 如果这是您的网站并且您是第一次检查索引统计信息，您可能会有两种情绪。 首先，您认为我的很多帖子都被编入了索引，这让您感到兴奋！ 相反，当您认为您的站点不包含那么多页面时，您可能会感到有些惊慌。

当您开始浏览已编入索引的页面并点击进入其他结果页面时（十页 - 或少得多，广告和其他特色谷歌内容在很多 SERP 中占主导地位 - 当然是默认设置，但正如我经常通过 SERP 挖掘我喜欢将我的每页结果更改为 100）一些非常奇怪的事情发生了。 当我滚动到 SEL 站点搜索的搜索结果底部时，我的设置为每页 100 个结果，我看到 8 个链接：

8 x 100 个结果显然不等于“大约 30,700”。 奇怪：我认为谷歌提供了超过 30,000 个结果。 如果我点击第 8^页结果的链接，结果会更加混乱：

如果我点击“重复搜索并包含省略的结果”链接并点击回到最后一页，我会看到类似的内容。

但是 Search Engine Land 是一个非常值得信赖的网站，每天都会发布几条新内容。 所以这不可能是谷歌索引的所有页面，对吧？

绝对不是。 谷歌实际上已经看到测试完全放弃了这一点。 此外，谷歌明确表示，这些数字在未来几年内都不会完全可信（该视频是 2010 年的！）。 你的网站越大，这个问题就越严重：

DYK 您在搜索结果中看到的“结果数量”真的只是一个近似值，存在的潜在结果越多越不准确？ pic.twitter.com/o2odhwjsIA

- Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 2017 年 2 月 11 日

我们还能在哪里找到我们的索引计数？ 或者我们如何了解我们网站上的哪些页面被编入索引？

Google Search Console（以前称为网站管理员工具）中的索引统计信息

您的 Google Search Console 帐户提供有关您的网站索引结果的额外数据。 如果您没有 GSC 帐户，那么今天就在这里设置一个。

对于我们的概述，让我们看一下我公司拥有的网站的帐户。 Google Search Console 的整个子部分专门用于 Google 索引数据。

Google Search Console 中的索引状态

GSC 数据通常提供更准确的信息。 此外，它还提供一些趋势数据。 但是，如果您看到许多索引页面似乎太低怎么办？ 或者大大低估了搜索分析统计数据？

通常，这些问题的发生取决于 Google Search Console 处理子域、网站的 www 和非 www 版本以及网站的 http 和 https 版本的方式。

如果您的 Google Search Console 数字非常低，请检查顶部导航中与该网站关联的非常具体的 URL：

此外，如果您将站点移至 https 或使用子域（例如 http://info.measuredsem.com），请将它们添加为单独的站点。 此外，如果您从 http://www.measuredsem.com 切换到 http://measuredsem.com 或同时支持两者，请在您的帐户中设置您的首选域。

此外，您还可以在另一个地方获得有关您的网站在 Google Search Console 中如何编入索引的信息。

Google Search Console 中的站点地图

Google Search Console 包含一个站点地图部分，可以为您的站点启用 XML 站点地图提交。 此外，本节还提供了索引中实际提交的页面数量的概念。 另外，该部分显示了该数字如何随时间变化。

这里的挑战是，虽然您可以查看 XML 站点地图以查看您提交了哪些页面，但您不一定具有您可能想要回答特定问题的详细程度（例如大片页面是否是“ t 索引）。

5 个可操作的 Google 索引提示

现在您对 Google 索引的工作原理有了更多的了解。 此外，还有一些工具可以显示您的网站在 Google 索引中的表现。 如何实际解决特定的索引相关问题？ 根据我与客户的合作以及围绕该主题的一些研究，以下是我发现的与 Google 索引相关的五个最大问题：

1. 如何判断哪些特定页面未被索引

不在 Google 索引中的页面不会出现在搜索结果中。 因此，您可能首先要弄清楚的事情之一是“我网站上的哪些页面没有编入索引？” 不幸的是，上面列出的大多数方法都没有解决这个问题的方法。 前面的方法有助于了解您网站上的网页在 Google 索引中的位置。 但是，这些方法无法处理您网站上不在 Google 索引中的网页。 对于一个非常小的网站，这可能很容易被发现。 但是，如果您维护一个活跃的博客，您的站点可能包含足够多的页面，以至于“眼球”丢失的页面不是一个合理的选择。 两个主要工具解决了这个过程：

第一步：使用 Screaming Frog 抓取您的网站

在任何 SEO 网站审核过程中，Screaming Frog 通常是我最常用的应用程序之一。 在此屏幕截图中，它提供了您网站上存在哪些页面的图片：

Screaming Frog 是一个超级有用/强大的 SEO 工具，但出于我们的目的，我们只想抓取网站并过滤 HTML 页面。 然后，过滤该列表以查找我们希望在索引中的我们网站上的任何页面。 我们将在一分钟内开始处理我们不想要的页面。

从那里开始，我将使用另一个对任何技术 SEO 审核都非常有用的工具：URL Profiler。

URL Profiler 是另一个非常强大的 SEO 工具，但在这里我们将再次将它用于非常狭窄的目的。 找出我们网站上的哪些 URL（我们刚刚从抓取中导出）实际上被编入了索引：

如果你有一个更大的网站，这通常需要一些代理来检查索引。 如果您不太懂技术，这听起来很吓人，但它非常容易。 这需要几分钟时间，并且不需要任何技术专业知识（除了复制/粘贴技能）。

偶尔，它需要几次，并且总是留出一些时间进行更大的爬行。 但是，最终您会得到一个列表，其中包含您网站上未编入索引的所有页面。

2. 如何将某些内容（您的整个站点、新页面、未编入索引的现有页面）编入索引

将新站点编入索引过去本身就是一个行业。 然而，如今，如果您拥有合法的网站和业务，流程就会得到简化。 事实上，您的主页和整个域应该很快被索引。 例如，发送带有链接的推文可帮助 Google 索引该网站。 或者从另一个站点接收链接也可以。 最后，只需将您的 URL 提交给 Google 即可获得免费作品！ 因此，许多没有内容、没有外部链接/推文等的网站会毫不费力地被编入索引。 最近我的公司购买了 50 个域并在每个域上放置了非常简单的占位符页面。 在我们进行任何形式的促销之前，Google 已经索引了其中的 28 个。

对于具有一组需要索引的页面的现有站点，请查看您的选项。

A. 通过 Google Search Console 获取并提交索引

对于 URL 数量较少的站点，将它们分别提交到 Google 控制台以进行索引。 这是一个相当简单的过程。 首先登录到您的 Google Search Console 帐户并查看左侧导航栏下的抓取并单击 Fetch as Google：

接下来，您输入需要提交的 URL，然后单击获取。 您将可以选择请求索引：

最后，您提交 URL 本身或 URL 以及从页面链接到的那些。 出于我们的目的，因为我们有一组特定的 URL，我们希望看到索引（并且因为我们提交的数量有限——每月 500 个单个 URL 和只有 10 个多个 URL 提交）我们将提交 URL 到指数：

最后你应该看到你的索引请求通过了：

如果您正在处理一个 URL 列表，您可以给它几天时间，然后再次通过 URL Profiler 运行同一个列表，看看您的努力如何影响索引。

B. 社交分享你的网址

通过社交网络共享您的 URL 和内容也可以改善关键页面的索引。 例如，对于有价值的页面（以及与您的核心受众相关的页面），在社交上分享它们。 特别是，这适用于具有流行社交帐户的网站。

例如，您的网站是否包含大量详细介绍特定功能的产品页面？ 如果是这样，每周/每两天排队 1 条推文，分享特定的功能页面。 类似“你知道{product}可以帮助{thing feature helps with}吗？ {link}”效果很好。

C. 解决根本问题！

您的站点是否仍然包含大量需要索引的页面？ 如果是这样，那么您的网站可能存在基本的 SEO 问题。 你会想要调查：

• 链接资产——您网站上的页面数量是否超过了链接资产（指向您网站的链接的数量和权限）所能支持的数量？ 这可能意味着更深的页面不会被抓取和索引，直到您找到建立指向您域的链接的方法（并且可能找到获取更深页面的链接和共享的方法）。
• 网站架构——您网站的信息架构超出了本文的范围。 但是您可能拥有从您网站的主页点击几次的页面。 因此，搜索引擎很难找到这些内容。 同样，这是需要调查的事情（和/或可能聘请经验丰富的 SEO 进行调查）。
• 站点地图——最后，如果您还没有向 Google Search Console 提交动态 XML 站点地图。 此步骤可以更好地为您的网站编制索引。

3. 如何将您不想收录的页面排除在索引之外

营销人员的另一个常见问题是您希望将特定页面保留在 Google 索引之外。 也许它是现有页面的副本，一个非常薄的页面，对用户有一定的用处但对搜索者没有用，或者它可能包含您不想在 Google 索引中包含的私人信息。

不管是什么原因，有一些核心方法可以将内容排除在 Google 的索引之外。

1. Meta 无索引标签

在许多情况下，将页面排除在 Google 索引之外的首选方法是添加一个 Meta No Index 标签，来自 Google 关于该主题的文档：

无索引标签提供了一个很好的解决方案。 它指示 Google 从索引中删除页面。 例如，内容已编入索引的网站，no index 标签提供了一种取消索引内容的首选方法。 robots disallow 指令阻止 Google 抓取页面。 但如果它已经存在，则不一定会将其从索引中删除。

相反，正如谷歌工程师 Gary Illyes 指出的那样：

DYK 阻止页面中包含 robots.txt disallow 和 noindex 的页面没有多大意义，因为 Googlebot 无法“看到”noindex？ pic.twitter.com/N4639rCCWt

- Gary Illyes ᕕ( ᐛ )ᕗ (@methode) 2017 年 2 月 10 日

Google 必须能够抓取您的网页才能通过此方法将其从索引中删除。 因此，请确保页面在其被抓取之前保持可访问性（或 Fetch as Google 请求对其进行抓取/重新考虑）。

2. Robots.txt 不允许

对于等待索引的新站点（或站点部分），请使用 robots disallow 指令。 例如，一个暂存站点或正在建设中但尚未准备好迎接黄金时段的子域可能需要此选项。

再次添加此指令并不一定会导致您的内容从索引中删除（如果它已经出现在索引中）。 事实上，它可能会导致一个结果被索引并且只有一个次优的描述。

使用 disallow 的一个重要警告是确保不要禁止超出预期的范围。 请注意，不要屏蔽您网站中可能包含您希望搜索者能够访问的有价值内容的部分。 并使用机器人测试器工具在 Google Search Console 中测试机器人文件中的更改。

通过 Search Console 删除 URL 和排除 URL 参数

最后，如果您网站的内容管理系统添加了一些参数（可能是由于过滤搜索结果、分页或类似原因），而您希望将这些参数编入索引，您还可以向 Google 提供有关这些参数的更多信息或请求通过从搜索结果中暂时删除 URL 来删除特定的 URL（不一定从 Google 的索引中删除，也不一定永久删除）：

此外，这提供了一种方便的方法，用于从搜索结果中批量删除 URL 或识别特定参数：

然后向谷歌提供更多相关信息：

谷歌的 John Mueller 表示，此功能类似于“永久”无索引内容。 因此，这为一次性 URL 提供了一种可行的选择。 不过，理想情况下，在大多数情况下，您更希望深入挖掘并解决核心问题，而不是利用临时删除。 您网站的技术结构导致需要对页面取消索引的原因是什么？ 为什么你（或你）首先遭受“索引膨胀”的困扰？

4. 什么是“索引膨胀”，如何解决？

当您有不必要的页面被 Google 编入索引时，索引膨胀很有效，这些页面不太可能将相关流量带到您的网站以响应用户的查询。 这会产生一个问题，因为它迫使搜索引擎花时间抓取和索引低价值页面（这可能会耗尽您的“抓取预算”）。 此外，可能会在某些搜索结果中提供低价值页面（导致糟糕的用户体验和糟糕的参与度指标）。 包含大量单薄或大量重复的内容以及糟糕的参与度指标可能会导致 Google 眼中的质量排名较低。

除了使用上面的工具和流程来分析哪些页面当前在索引中，哪些页面不在索引中，然后使用更多工具和流程从索引中删除质量较低和价值较低的页面之外，这里还有两个关于该主题的重要资源：

• Green Lane SEO 查找和修复索引膨胀问题的指南
• Portent Interactive 的快速索引诊断

这里再次强调一个重要的注意事项是不要“切得太深”。 在您开始从 Google 的索引中删除您网站的大部分内容之前，请查看 Analytics（或获取 URL 并通过 URL Profiler 运行它们）以确保您不会切断这些页面的流量和潜在客户/销售。

5. 哪些工具可以帮助监控索引（即什么是最好的“谷歌索引检查器？”）

正如我在这里令人作呕地提到的那样，我个人的偏好是利用 URL Profiler 作为 Google 索引检查器，但这里有一些额外的选项：

• http://indexchecking.com/
• https://northcutt.com/tools/free-seo-tools/google-indexed-pages-checker/
• https://www.greenlaneseo.com/blog/google-indexation-tester/

奖励：移动索引资源

移动和应用程序索引与传统索引略有不同，所以如果您遇到问题，这里有一些额外的以移动为中心的索引资源：

• https://www.apptentive.com/blog/2015/12/15/app-indexing-how-to-index-your-app-on-google/
• https://www.bruceclay.com/blog/apps-101-what-is-deep-linking-and-app-indexing-setup/
• https://www.slideshare.net/justinrbriggs/how-to-setup-app-indexation
• http://searchengineland.com/5-tips-for-optimal-mobile-site-indexing-107088
• https://www.deepcrawl.com/blog/best-practice/app-deep-linking-for-beginners-google-app-indexing-facebook-app-links/
• https://moz.com/blog/how-to-get-your-app-content-indexed-by-google

我们错过了什么？ 您还看到了哪些其他 Google 索引问题/您可以分享哪些技巧？