为什么不索引联合内容是正确的方法 – 跟踪 3K 联合新闻文章以确定对 Google 表面的索引、排名和流量的影响 [案例研究]

上个月，NewzDash 的 John Shehata 发表了一篇博客文章，记录了一项研究，内容涉及联合组织对新闻出版商的影响。 例如，当发布商将文章联合发布给联合合作伙伴时，哪个网站会排名以及其在 Google 界面（搜索、Google 新闻等）上的表现如何

结果证实了许多人在新闻出版商工作或帮助新闻出版商时在搜索结果页面中看到的情况。 即使合作伙伴网站上的联合内容已正确规范化为原始来源，Google 通常也可以对联合合作伙伴与原始来源进行排名。

提醒一下，Google 于 2023 年 5 月更新了有关规范化的文档，并修改了对联合内容的建议。 如果发布商不想在搜索中与联合合作伙伴竞争，Google 现在完全建议联合合作伙伴对新闻发布商内容进行 noindex。 Google 解释说，rel canonical 是不够的，因为原始页面和联合合作伙伴网站上的页面通常可能不同（当您考虑整个页面，包括样板、其他补充内容等时）。因此，Google 的系统可能很难确定这是同一篇文章被联合发布，然后对错误的版本进行排名，甚至两者都排名。 当我介绍案例研究时，很快就会详细介绍这种情况……

以下是 Google 为新闻发布商提供的文档中的信息，内容涉及如何避免 Google 新闻中联合内容的重复问题：

此前，Google 曾表示，您可以使用 rel canonical 指向原始来源，同时还提供返回原始来源的链接，这应该有助于他们的系统确定规范 url（和原始来源）。 公平地说，谷歌过去也曾解释过，你不能对内容建立索引以避免出现问题。 但正如与新闻出版商合作的任何人都了解的那样，要求联合合作伙伴不对这些内容建立索引是很难获得批准的情况。 我不会因为讨论该主题而让这篇文章陷入困境，但大多数联合合作伙伴实际上希望对内容进行排名（因此他们不太可能对他们正在消费的联合内容建立索引。）

您与他们的对话可能如下所示：

案例研究：新闻出版商联合组织问题的一个明显例子。
好的，我们知道 Google 建议不对联合合作伙伴网站上的内容建立索引，并避免使用 rel canonical 作为解决方案。 但所有这些在 SERP 中实际上是什么样子的呢？ 当内容没有建立索引时情况有多糟糕？ 它是否会影响所有 Google 界面，例如搜索、热门故事、搜索中的新闻选项卡、Google 新闻和发现？

好吧，我决定挖掘一个向合作伙伴网站大量联合内容的客户。 他们已经很长时间了，但从未真正理解真正的影响。 在我从 NewzDash 发送研究报告后，我们与整个组织的几个人通了电话。 很明显，每个人都想知道他们通过联合内容失去了多少可见性，他们在哪里失去了可见性，这是​​否也影响了内容的索引等等。 因此，作为第一步，我决定构建一个系统来开始捕获数据，以帮助识别潜在的联合问题。 接下来我将介绍这一点。

测试：检查 3K 最近发布的 URL，这些 URL 也联合提供给合作伙伴。
我退后一步，开始根据 Google 的 API（包括 Search Console API 和 URL Inspection API）制定一个系统，以尽可能地跟踪聚合情况。 我的目标是了解 Google 如何从可见性角度、索引角度和跨 Google 界面（搜索、热门故事、搜索中的新闻选项卡和发现）的性能角度处理最新发布的 3000 个 url。

这是我制定的系统：

• 根据Google新闻站点地图导出最新的三千个网址。
• 通过 URL 检查 API 运行 URL 以批量检查索引（以识别任何类型的索引问题，例如 Google 选择联合合作伙伴作为规范而不是原始来源）。 如果页面没有被索引，那么它们显然不会排名......
• 然后通过 Search Console API 批量检查每个网址的性能数据。 其中包括搜索、搜索中的“新闻”选项卡、Google 新闻和发现的数据。
• 根据该数据，将没有（或很少）性能数据的索引 URL 识别为联合问题的候选者。 如果网址没有展示次数或点击次数，那么可能是联合合作伙伴正在对我的客户进行排名。
• 抽查 SERP，了解 Google 如何从跨平台的排名角度处理 URL。

无缘无故：我发现的事情比我想象的更让我不安。
首先是对三千个网址进行索引检查，进展顺利。 几乎所有的网址都被谷歌索引了。 并且没有谷歌错误地选择联合合作伙伴作为规范的例子。 这太棒了，让我有点惊讶。 我想我至少会在某些网址上看到这一点。

接下来，我批量导出了最新三千个url的性能数据。 导出后，我能够跨表面隔离具有很少或没有性能数据的 URL。 这些是潜在联合问题的绝佳候选者。 即，如果内容没有产生任何印象或点击，那么可能是联合合作伙伴正在与我的客户进行排名。

然后我开始抽查 SERP。 在根据标记的网址列表检查了一些查询后，谷歌显示我客户的网址与联合合作伙伴的网址没有任何韵律或理由（反之亦然）。 更复杂的是，有时两个网址都排名在热门故事、搜索等中。有时一个网址排名在热门故事中，而另一个网址排名在搜索中。 搜索和 Google 新闻中的“新闻”选项卡也是如此。 真是一团糟……

我将在下面提供一个简单的示例，以便您可以看到联合组织的混乱情况。 请注意，我不得不在以下屏幕截图中严重模糊 SERP，但我想提供一个我发现的示例。 同样，这种情况的发生没有任何规律或原因。 根据这个例子，以及我在检查的其他例子中看到的内容，我可以理解为什么谷歌说不对联合合作伙伴的下游网址建立索引。 如果没有的话，这一切都可能发生。

首先，这是雅虎财经在热门故事中排名的示例，而搜索中的原始排名就在其下方：

接下来，雅虎新闻在搜索的“新闻”选项卡中排名两次（这对我的客户来说是一个重要的界面），而原始来源却无处可寻。 我的客户的徽标显示为联合内容。 多好…

然后在 Google 新闻中，原始来源排名和联合合作伙伴无处可寻：

正如您所看到的，情况一团糟……祝您定期跟踪这一情况好运。 每月数千页的可见度损失可能真的会增加……很难确定损失的展示次数和点击次数，但对于大型新闻出版商来说可能是巨大的。

发现：个性化黑洞
至于 Discover，很难跟踪那里失去的可见性，因为 feed 是个性化的，你不可能看到其他人在自己的 feed 中看到的内容。 但您可能会在联合合作伙伴的排名中找到与您自己的内容相比的例子。 下面是我最近在 Discover 的一篇 Insider Monkey 文章中发现的雅虎财经排名的示例。 请注意，Insider Monkey不是客户，也不是我在案例研究中介绍的网站，但它是 Discover 中可能发生的情况的一个很好的示例。 如果这种情况经常发生，该网站可能会损失大量流量……

以下是雅虎财经在 Discover 中的排名：

这是关于 Insider Monkey 的原始文章（但它是幻灯片格式）。 此示例显示 Google 如何看到页面的不同，这可能会导致理解它们是同一篇文章的问题：

这是雅虎财经在核心 SERP 中目标关键字的排名第二。 因此，联合合作伙伴在搜索结果中的排名高于原始合作伙伴：

给新闻出版商处理联合组织问题的要点和建议：

• 首先，尝试尽可能地理解索引和可见性问题。 使用我制定的方法至少可以了解问题的严重程度。 Google 的 API 是您的朋友，您可以在短时间内批量处理许多网址。
• 权衡向合作伙伴联合发布内容的风险和收益。 跨合作伙伴的额外可见性值得失去在搜索、热门故事、搜索中的“新闻”选项卡、Google 新闻和发现中的可见性吗？ 请记住，这也可能意味着失去强大的链接......例如，如果联合合作伙伴排名，并且其他网站链接到这些文章，您就会失去这些链接。
• 如果需要，请与联合合作伙伴讨论可能不对联合内容建立索引的问题。 这可能不会顺利……同样，他们经常想要排名来获得流量。 但你永远不知道……有些人可能会同意不对网址建立索引。
• 了解 Discover 很难跟踪，因此您失去的流量可能比您想象的要多（甚至可能很多）。 您可能会在野外发现一些联合问题，但您不能简单地去那里轻松找到联合问题（就像您可以使用搜索、热门故事、新闻选项卡和 Google 新闻一样）。
• Semrush 和 NewzDash 等工具可以从排名跟踪的角度帮助填补空白。 NewzDash 专注于新闻出版商，因此这可能是您跟踪工具库中的一个有价值的工具。 Semrush 可以在搜索和热门故事方面提供帮助。 再次，尝试对联合内容造成的可见性问题有一个扎实的认识。

摘要 – 新闻出版商的联合发布问题可能比您想象的更严重。
如果您正在聚合内容，那么我建议您尝试了解 SERP（以及整个 Google 界面）中发生的情况。 然后制定应对这种情况的攻击计划。 这可能包括保持现状，或者可能会导致您的联合策略发生变化。 但第一步是对情况有一定的了解（双关语）。 祝你好运。

GG