為什麼不索引聯合內容是正確的方法 – 跟踪 3K 聯合新聞文章以確定對 Google 表面的索引、排名和流量的影響 [案例研究]

上個月，NewzDash 的 John Shehata 發表了一篇博客文章，記錄了一項研究，內容涉及聯合組織對新聞出版商的影響。 例如，當發布商將文章聯合發布給聯合合作夥伴時，哪個網站會排名以及其在 Google 界面（搜索、Google 新聞等）上的表現如何

結果證實了許多人在新聞出版商工作或幫助新聞出版商時在搜索結果頁面中看到的情況。 即使合作夥伴網站上的聯合內容已正確規範化為原始來源，Google 通常也可以對聯合合作夥伴與原始來源進行排名。

提醒一下，Google 於 2023 年 5 月更新了有關規範化的文檔，並修改了對聯合內容的建議。 如果發布商不想在搜索中與聯合合作夥伴競爭，Google 現在完全建議聯合合作夥伴對新聞發布商內容進行 noindex。 Google 解釋說，rel canonical 是不夠的，因為原始頁面和聯合合作夥伴網站上的頁面通常可能不同（當您考慮整個頁面，包括樣板、其他補充內容等時）。因此，Google 的系統可能很難確定這是同一篇文章被聯合發布，然後對錯誤的版本進行排名，甚至兩者都排名。 當我介紹案例研究時，很快就會詳細介紹這種情況……

以下是 Google 為新聞發布商提供的文檔中的信息，內容涉及如何避免 Google 新聞中聯合內容的重複問題：

此前，Google 曾表示，您可以使用 rel canonical 指向原始來源，同時還提供返回原始來源的鏈接，這應該有助於他們的系統確定規範 url（和原始來源）。 公平地說，谷歌過去也曾解釋過，你不能對內容建立索引以避免出現問題。 但正如與新聞出版商合作的任何人都了解的那樣，要求聯合合作夥伴不對這些內容建立索引是很難獲得批准的情況。 我不會因為討論該主題而讓這篇文章陷入困境，但大多數聯合合作夥伴實際上希望對內容進行排名（因此他們不太可能對他們正在消費的聯合內容建立索引。）

您與他們的對話可能如下所示：

案例研究：新聞出版商聯合組織問題的一個明顯例子。
好的，我們知道 Google 建議不對聯合合作夥伴網站上的內容建立索引，並避免使用 rel canonical 作為解決方案。 但所有這些在 SERP 中實際上是什麼樣子的呢？ 當內容沒有建立索引時情況有多糟糕？ 它是否會影響所有 Google 界面，例如搜索、熱門故事、搜索中的新聞選項卡、Google 新聞和發現？

好吧，我決定挖掘一個向合作夥伴網站大量聯合內容的客戶。 他們已經很長時間了，但從未真正理解真正的影響。 在我從 NewzDash 發送研究報告後，我們與整個組織的幾個人通了電話。 很明顯，每個人都想知道他們通過聯合內容失去了多少可見性，他們在哪裡失去了可見性，這是​​否也影響了內容的索引等等。 因此，作為第一步，我決定構建一個系統來開始捕獲數據，以幫助識別潛在的聯合問題。 接下來我將介紹這一點。

測試：檢查 3K 最近發布的 URL，這些 URL 也聯合提供給合作夥伴。
我退後一步，開始根據 Google 的 API（包括 Search Console API 和 URL Inspection API）制定一個系統，以盡可能地跟踪聚合情況。 我的目標是了解 Google 如何從可見性角度、索引角度和跨 Google 界面（搜索、熱門故事、搜索中的新聞選項卡和發現）的性能角度處理最新發布的 3000 個 url。

這是我制定的系統：

• 根據Google新聞站點地圖導出最新的三千個網址。
• 通過 URL 檢查 API 運行 URL 以批量檢查索引（以識別任何類型的索引問題，例如 Google 選擇聯合合作夥伴作為規範而不是原始來源）。 如果頁面沒有被索引，那麼它們顯然不會排名......
• 然後通過 Search Console API 批量檢查每個網址的性能數據。 其中包括搜索、搜索中的“新聞”選項卡、Google 新聞和發現的數據。
• 根據該數據，將沒有（或很少）性能數據的索引 URL 識別為聯合問題的候選者。 如果網址沒有展示次數或點擊次數，那麼可能是聯合合作夥伴正在對我的客戶進行排名。
• 抽查 SERP，了解 Google 如何從跨平台的排名角度處理 URL。

無緣無故：我發現的事情比我想像的更讓我不安。
首先是對三千個網址進行索引檢查，進展順利。 幾乎所有的網址都被谷歌索引了。 並且沒有谷歌錯誤地選擇聯合合作夥伴作為規範的例子。 這太棒了，讓我有點驚訝。 我想我至少會在某些網址上看到這一點。

接下來，我批量導出了最新三千個url的性能數據。 導出後，我能夠跨表面隔離具有很少或沒有性能數據的 URL。 這些是潛在聯合問題的絕佳候選者。 即，如果內容沒有產生任何印像或點擊，那麼可能是聯合合作夥伴正在與我的客戶進行排名。

然後我開始抽查 SERP。 在根據標記的網址列表檢查了一些查詢後，谷歌顯示我客戶的網址與聯合合作夥伴的網址沒有任何韻律或理由（反之亦然）。 更複雜的是，有時兩個網址都排名在熱門故事、搜索等中。有時一個網址排名在熱門故事中，而另一個網址排名在搜索中。 搜索和 Google 新聞中的“新聞”選項卡也是如此。 真是一團糟……

我將在下面提供一個簡單的示例，以便您可以看到聯合組織的混亂情況。 請注意，我不得不在以下屏幕截圖中嚴重模糊 SERP，但我想提供一個我發現的示例。 同樣，這種情況的發生沒有任何規律或原因。 根據這個例子，以及我在檢查的其他例子中看到的內容，我可以理解為什麼谷歌說不對聯合合作夥伴的下游網址建立索引。 如果沒有的話，這一切都可能發生。

首先，這是雅虎財經在熱門故事中排名的示例，而搜索中的原始排名就在其下方：

接下來，雅虎新聞在搜索的“新聞”選項卡中排名兩次（這對我的客戶來說是一個重要的界面），而原始來源卻無處可尋。 我的客戶的徽標顯示為聯合內容。 多好…

然後在 Google 新聞中，原始來源排名和聯合合作夥伴無處可尋：

正如您所看到的，情況一團糟……祝您定期跟踪這一情況好運。 每月數千頁的可見度損失可能真的會增加……很難確定損失的展示次數和點擊次數，但對於大型新聞出版商來說可能是巨大的。

發現：個性化黑洞
至於 Discover，很難跟踪那裡失去的可見性，因為 feed 是個性化的，你不可能看到其他人在自己的 feed 中看到的內容。 但您可能會在聯合合作夥伴的排名中找到與您自己的內容相比的例子。 下面是我最近在 Discover 的一篇 Insider Monkey 文章中發現的雅虎財經排名的示例。 請注意，Insider Monkey不是客戶，也不是我在案例研究中介紹的網站，但它是 Discover 中可能發生的情況的一個很好的示例。 如果這種情況經常發生，該網站可能會損失大量流量……

以下是雅虎財經在 Discover 中的排名：

這是關於 Insider Monkey 的原始文章（但它是幻燈片格式）。 此示例顯示 Google 如何看到頁面的不同，這可能會導致理解它們是同一篇文章的問題：

這是雅虎財經在核心 SERP 中目標關鍵字的排名第二。 因此，聯合合作夥伴在搜索結果中的排名高於原始合作夥伴：

給新聞出版商處理聯合組織問題的要點和建議：

• 首先，嘗試盡可能地理解索引和可見性問題。 使用我制定的方法至少可以了解問題的嚴重程度。 Google 的 API 是您的朋友，您可以在短時間內批量處理許多網址。
• 權衡向合作夥伴聯合發佈內容的風險和收益。 跨合作夥伴的額外可見性值得失去在搜索、熱門故事、搜索中的“新聞”選項卡、Google 新聞和發現中的可見性嗎？ 請記住，這也可能意味著失去強大的鏈接......例如，如果聯合合作夥伴排名，並且其他網站鏈接到這些文章，您就會失去這些鏈接。
• 如果需要，請與聯合合作夥伴討論可能不對聯合內容建立索引的問題。 這可能不會順利……同樣，他們經常想要排名來獲得流量。 但你永遠不知道……有些人可能會同意不對網址建立索引。
• 了解 Discover 很難跟踪，因此您失去的流量可能比您想像的要多（甚至可能很多）。 您可能會在野外發現一些聯合問題，但您不能簡單地去那裡輕鬆找到聯合問題（就像您可以使用搜索、熱門故事、新聞選項卡和 Google 新聞一樣）。
• Semrush 和 NewzDash 等工具可以從排名跟踪的角度幫助填補空白。 NewzDash 專注於新聞出版商，因此這可能是您跟踪工具庫中的一個有價值的工具。 Semrush 可以在搜索和熱門故事方面提供幫助。 再次，嘗試對聯合內容造成的可見性問題有一個紮實的認識。

摘要 – 新聞出版商的聯合發布問題可能比您想像的更嚴重。
如果您正在聚合內容，那麼我建議您嘗試了解 SERP（以及整個 Google 界面）中發生的情況。 然後製定應對這種情況的攻擊計劃。 這可能包括保持現狀，或者可能會導致您的聯合策略發生變化。 但第一步是對情況有一定的了解（雙關語）。 祝你好運。

GG