Почему лучше не индексировать синдицированный контент: отслеживание синдицированных новостных статей объемом 3 000 000 для определения их влияния на индексацию, ранжирование и трафик на разных платформах Google [пример успеха]

В прошлом месяце Джон Шехата из NewzDash опубликовал сообщение в блоге, в котором задокументировано исследование, посвященное влиянию синдикации на издателей новостей. Например, когда издатель синдицирует статьи партнерам по распространению, какой сайт ранжируется и как это выглядит на разных платформах Google (Поиск, Новости Google и т. д.)

Результаты подтвердили то, что многие видели в поисковой выдаче с течением времени, работая или помогая издателям новостей. Google часто может ранжировать партнера по синдикации по сравнению с исходным источником, даже если синдицированный контент на партнерских сайтах правильно канонизирован по отношению к исходному источнику.

Напоминаем, что Google обновил свою документацию по канонизации в мае 2023 года и пересмотрел свои рекомендации для синдицированного контента. Теперь Google настоятельно рекомендует партнерам по синдикации не индексировать контент издателя новостей , если издатель не хочет конкурировать с этим партнером по синдикации в поиске. Google объяснил, что rel canonical недостаточно, поскольку исходная страница и страница, расположенная на веб-сайте партнера по синдикации, часто могут отличаться (если принять во внимание всю страницу, включая шаблон, другой дополнительный контент и т. д.). Таким образом, системы Google предположительно может быть трудно определить, что это одна и та же статья, которая синдицируется, а затем ранжировать неправильную версию или даже и то, и другое. Подробнее об этой ситуации вскоре, когда я расскажу о тематическом исследовании…

А вот информация из документации Google для издателей новостей о том, как избежать проблем дублирования в Новостях Google с синдицированным контентом:

Ранее Google заявлял, что вы можете использовать rel canonical, указывающий на исходный источник, а также предоставлять обратную ссылку на исходный источник, что должно было помочь их системам определить канонический URL-адрес (и исходный источник). И, чтобы быть честным с Google, они также объясняли в прошлом, что вы не можете индексировать контент, чтобы избежать проблем. Но, как понимает любой, кто работает с новостными издателями, просьба к партнерам по синдикации не индексировать этот контент — сложная ситуация для получения одобрения. Я не буду утомлять этот пост, освещая эту тему, но большинство партнеров по синдикации на самом деле хотят ранжироваться за контент (поэтому они вряд ли не будут индексировать синдицированный контент, который они потребляют).

Ваши разговоры с ними могут выглядеть так:

Практический пример: явный пример проблем с распространением новостей.
Итак, мы знаем, что Google рекомендует не индексировать контент на веб-сайте партнера по синдикации и избегать использования rel canonical в качестве решения. Но как все это на самом деле выглядит в поисковой выдаче? Насколько плоха ситуация, когда контент не индексируется? И влияет ли это на все поверхности Google, такие как Поиск, Главные новости, вкладку «Новости» в Поиске, Новости Google и Discover?

Что ж, я решил найти клиента, который активно синдицирует контент на партнерские сайты. Они уже давно, но никогда не понимали истинного воздействия. После того, как я отправил исследование из NewzDash, мы созвонились с несколькими людьми из всей организации. Было ясно, что все хотели знать, какую видимость они теряют из-за синдицирования контента, где они теряют эту видимость, влияет ли это также на индексацию контента и многое другое. Итак, в качестве первого шага я решил создать систему для сбора данных, которые могли бы помочь выявить потенциальные проблемы синдикации. Я расскажу об этом позже.

Тест: проверка недавно опубликованных URL-адресов 3K, которые также передаются партнерам.
Я сделал шаг назад и начал планировать систему отслеживания ситуации с синдикацией, насколько это было возможно, на основе API Google (включая API Search Console и API проверки URL). Моя цель состояла в том, чтобы понять, как Google обрабатывает последние три тысячи URL-адресов, опубликованных с точки зрения видимости, индексации и производительности на разных платформах Google (Поиск, Главные новости, вкладка «Новости» в поиске и «Обнаружение»).

Вот система, которую я наметил:

• Экспортируйте последние три тысячи URL-адресов на основе карты сайта Новостей Google.
• Запустите URL-адреса через API проверки URL-адресов, чтобы проверить массовое индексирование (чтобы выявить любые проблемы с индексированием, например, Google выбирает партнера по синдикации в качестве канонического, а не исходного источника). Если бы страницы не индексировались, то они явно не ранжировались бы…
• Затем проверьте данные об эффективности для каждого URL в пакетном режиме с помощью API Search Console. Это включало данные для поиска, вкладки «Новости» в поиске, новостей Google и Discover.
• На основе этих данных определите проиндексированные URL-адреса без данных о производительности (или с очень небольшими данными) как кандидаты на проблемы с распространением. Если URL-адреса не имели показов или кликов, то, возможно, партнер по синдикации ранжировался по сравнению с моим клиентом.
• Выборочно проверьте поисковую выдачу, чтобы увидеть, как Google обрабатывает URL-адреса с точки зрения ранжирования на разных поверхностях.

No Rhyme or Reason: то, что я обнаружил, обеспокоило меня даже больше, чем я думал.
Сначала была проверка индексации трех тысяч URL-адресов, которая прошла очень хорошо. Почти все URL были проиндексированы Google. И не было примеров неправильного выбора Google партнеров по синдикации в качестве канонических. Это было здорово и немного удивило меня. Я думал, что увижу это, по крайней мере, для некоторых URL-адресов.

Затем я массово экспортировал данные о производительности для последних трех тысяч URL-адресов. После экспорта я смог изолировать URL-адреса с очень небольшими или отсутствующими данными о производительности на разных поверхностях. Это были отличные кандидаты на возможные проблемы с синдикацией. т. е. если содержание не дало ни показов, ни кликов, то, возможно, партнер по синдикации ранжировался по сравнению с моим клиентом.

И тогда я начал выборочную проверку поисковой выдачи. После проверки ряда запросов на основе списка помеченных URL-адресов не было никакой логики или причины, по которой Google отображал URL-адреса моего клиента по сравнению с партнерами по синдикации (или наоборот). И, что еще больше усложняет ситуацию, иногда оба URL-адреса попадали в «Главные новости», «Поиск» и т. д. А потом были времена, когда один попадал в «Главные новости», а другой — в «Поиск». То же самое касается вкладки «Новости» в Поиске и Новостях Google. Это был бардак…

Я приведу краткий пример ниже, чтобы вы могли увидеть беспорядок синдикации. Обратите внимание, мне пришлось сильно размыть SERP на следующих скриншотах, но я хотел привести пример того, что я нашел. Опять же, не было никакой рифмы или причины, почему это происходило. На основе этого примера и того, что я видел в других примерах, которые я проверил, я могу понять, почему Google говорит не индексировать URL-адреса нижестоящих партнеров по синдикации. Если нет, то все это может произойти.

Во-первых, вот пример рейтинга Yahoo Finance в Top Stories, в то время как оригинал находится в поиске прямо под ним:

Затем Yahoo News дважды ранжируется на вкладке «Новости» в поиске (что является важной поверхностью для моего клиента), в то время как первоисточник нигде не найден. И логотип моего клиента отображается для синдицированного контента. Как мило…

А потом в Новостях Google нигде не найти первоисточников и партнеров по синдикации:

Как видите, ситуация запутанная… и удачи в попытках отслеживать это на регулярной основе. И потеря видимости на тысячах страниц в месяц действительно может суммироваться... Трудно определить точное количество потерянных показов и кликов, но оно может быть огромным для крупных новостных издателей.

Откройте для себя: Персонализированная черная дыра
А что касается Discover, здесь сложно отследить потерю видимости, поскольку лента персонализирована, и вы не можете видеть то, что видит каждый другой человек в своей собственной ленте. Но вы можете найти множество примеров того, как партнеры по синдикации ранжируются там по сравнению с вашим собственным контентом. Ниже приведен пример рейтинга Yahoo Finance, который я недавно нашел в статье Discover for an Insider Monkey. Обратите внимание, Insider Monkey — это не клиент и не сайт, который я рассматриваю в тематическом исследовании, но это хороший пример того, что может произойти в Discover. И если это происходит часто, сайт может потерять тонну трафика…

Вот рейтинг Yahoo Finance в Discover:

А вот и оригинальная статья об Insider Monkey (но в формате слайд-шоу). В этом примере показано, как Google может видеть разные страницы, что может вызвать проблемы с пониманием того, что это одна и та же статья:

А вот Yahoo Finance занимает 2-е место по целевому ключевому слову в основной поисковой выдаче. Таким образом, партнер по синдикации занимает место выше оригинала в результатах поиска:

Ключевые моменты и рекомендации для издателей новостей, занимающихся проблемами распространения:

• Во-первых, постарайтесь как можно лучше понять проблемы индексации и видимости. Используйте подход, который я наметил, чтобы хотя бы понять, насколько серьезна проблема. API-интерфейсы Google — ваши друзья, и вы можете массово обрабатывать множество URL-адресов за короткий период времени.
• Взвесьте риски и преимущества распространения контента среди партнеров. Стоит ли дополнительная видимость среди партнеров потери видимости в Поиске, Главных новостях, вкладке «Новости» в Поиске, Новостях Google и рекомендациях? Помните, что это также может означать потерю мощных ссылок … Например, если партнер по синдикации ранжируется, а другие сайты ссылаются на эти статьи, вы теряете эти ссылки.
• При необходимости поговорите с партнерами по синдикации о возможности запрета индексации синдицированного контента. Это, вероятно, не пойдет хорошо… Опять же, они часто хотят ранжироваться, чтобы получить этот трафик. Но вы никогда не знаете… некоторые могут быть в порядке без индексации URL-адресов.
• Поймите, что Discover сложно отследить, поэтому вы можете терять там больше трафика, чем вы думаете (а может быть и много). Вы можете столкнуться с некоторыми проблемами синдикации в дикой природе, но вы не можете просто пойти туда и легко найти проблемы с синдикацией (как вы можете с помощью поиска, главных новостей, вкладки «Новости» и новостей Google).
• Такие инструменты, как Semrush и NewzDash, могут помочь заполнить пробелы с точки зрения отслеживания рейтинга. А NewzDash ориентируется на издателей новостей, так что это может стать ценным инструментом в вашем арсенале отслеживания. Semrush может помочь с поиском и главными новостями. Опять же, попытайтесь получить четкое представление о проблемах с видимостью из-за синдицированного контента.

Резюме. Проблемы распространения для издателей новостей могут быть хуже, чем вы думаете.
Если вы синдицируете контент, я рекомендую попытаться понять, что происходит в поисковой выдаче (и на разных платформах Google). А затем сформируйте план действий, чтобы справиться с ситуацией. Это может включать в себя сохранение вещей как есть или может привести к изменениям в вашей стратегии синдикации. Но первый шаг — получить некоторую видимость ситуации (каламбур). Удачи.

ГАРАНТИРОВАННАЯ ПОБЕДА