Por que o conteúdo sindicalizado sem indexação é o caminho – Rastrear artigos de notícias sindicados 3K para determinar o impacto na indexação, classificação e tráfego nas superfícies do Google [estudo de caso]

No mês passado, John Shehata, do NewzDash, publicou uma postagem no blog documentando um estudo que cobre o impacto da distribuição nos editores de notícias. Por exemplo, quando um editor distribui artigos para parceiros de distribuição, qual site classifica e como isso se parece nas plataformas do Google (Pesquisa, Google Notícias, etc.)

Os resultados confirmaram o que muitos viram nas SERPs ao longo do tempo enquanto trabalhavam ou ajudavam editores de notícias. Muitas vezes, o Google pode classificar o parceiro de distribuição em relação à fonte original, mesmo quando o conteúdo distribuído em sites parceiros é canonizado corretamente para a fonte original.

E, como lembrete, o Google atualizou sua documentação sobre canonização em maio de 2023 e revisou sua recomendação para conteúdo distribuído. O Google agora recomenda totalmente que os parceiros de distribuição não indexem o conteúdo do editor de notícias se o editor não quiser competir com esse parceiro de distribuição na Pesquisa. O Google explicou que rel canonical não é suficiente, pois a página original e a página localizada no site do parceiro de distribuição geralmente podem ser diferentes (quando você leva em consideração a página inteira, incluindo o clichê, outro conteúdo suplementar etc.). Portanto, os sistemas do Google pode presumivelmente ter dificuldade em determinar que é o mesmo artigo que está sendo distribuído e, em seguida, classificar a versão errada, ou até mesmo ambas. Mais sobre essa situação em breve, quando eu cobrir o estudo de caso…

E aqui estão as informações da documentação do Google para editores de notícias sobre como evitar problemas de duplicação no Google Notícias com conteúdo distribuído:

Anteriormente, o Google disse que você poderia usar rel canonical apontando para a fonte original, além de fornecer um link de volta para a fonte original, o que deveria ter ajudado seus sistemas a determinar o URL canônico (e a fonte original). E para ser justo com o Google, eles também explicaram no passado que você não poderia indexar o conteúdo para evitar problemas. Mas, como qualquer pessoa que trabalha com editores de notícias entende, pedir a parceiros de distribuição que não indexem esse conteúdo é uma situação difícil de ser aprovado. Não vou sobrecarregar esta postagem abordando esse tópico, mas a maioria dos parceiros de distribuição realmente deseja classificar o conteúdo (portanto, é improvável que não indexem o conteúdo distribuído que estão consumindo).

Suas conversas com eles podem ser assim:

O Estudo de Caso: Um exemplo claro de problemas de distribuição de editores de notícias.
OK, então sabemos que o Google recomenda não indexar conteúdo no site do parceiro de distribuição e evitar o uso de rel canonical como solução. Mas como tudo isso realmente se parece nas SERPs? Quão ruim é a situação quando o conteúdo não é indexado? E isso afeta todas as superfícies do Google, como Pesquisa, Principais notícias, a guia Notícias na Pesquisa, Google Notícias e Discover?

Bem, decidi procurar um cliente que distribui conteúdo fortemente para sites parceiros. Eles têm feito isso por muito tempo, mas nunca realmente entenderam o verdadeiro impacto. Depois que enviei o estudo da NewzDash, ligamos para várias pessoas de toda a organização. Ficou claro que todos queriam saber quanta visibilidade estavam perdendo ao distribuir conteúdo, onde estavam perdendo essa visibilidade, se isso também estava afetando a indexação de conteúdo e muito mais. Então, como primeiro passo, decidi criar um sistema para começar a capturar dados que pudessem ajudar a identificar possíveis problemas de distribuição. Vou cobrir isso a seguir.

O teste: verificar 3K URLs publicados recentemente que também estão sendo distribuídos para parceiros.
Dei um passo para trás e comecei a mapear um sistema para rastrear a situação de distribuição da melhor maneira possível com base nas APIs do Google (incluindo a API do Search Console e a API de inspeção de URL). Meu objetivo era entender como o Google estava lidando com os últimos três mil URLs publicados do ponto de vista de visibilidade, indexação e desempenho nas superfícies do Google (Pesquisa, Principais notícias, guia Notícias na Pesquisa e Descobrir).

Aqui está o sistema que eu mapeei:

• Exporte os três mil URLs mais recentes com base no sitemap do Google Notícias.
• Execute os URLs por meio da API de inspeção de URL para verificar a indexação em massa (para identificar qualquer tipo de problema de indexação, como o Google escolhendo o parceiro de distribuição como canônico em vez da fonte original). Se as páginas não fossem indexadas, elas claramente não seriam classificadas…
• Em seguida, verifique os dados de desempenho de cada URL em massa por meio da API do Search Console. Isso incluiu dados para a Pesquisa, a guia Notícias na Pesquisa, Google Notícias e Discover.
• Com base nesses dados, identifique urls indexadas sem dados de desempenho (ou muito poucos) como candidatos a problemas de distribuição. Se os URLs não tivessem impressões ou cliques, talvez um parceiro de distribuição estivesse classificado em relação ao meu cliente.
• Verifique os SERPs para ver como o Google estava lidando com os URLs de uma perspectiva de classificação nas superfícies.

No Rhyme or Reason: O que encontrei me perturbou ainda mais do que pensei.
Primeiro foi a verificação de indexação em três mil urls, que correu muito bem. Quase todos os URLs foram indexados pelo Google. E não houve exemplos de Google escolhendo incorretamente parceiros de distribuição como canônicos. Isso foi ótimo e me surpreendeu um pouco. Achei que veria isso em pelo menos alguns dos URLs.

Em seguida, exportei dados de desempenho em massa para os últimos três mil URLs. Depois de exportado, consegui isolar URLs com muito poucos ou nenhum dado de desempenho nas superfícies. Esses eram grandes candidatos a possíveis problemas de distribuição. ou seja, se o conteúdo não gerou impressões ou cliques, talvez um parceiro de distribuição estivesse classificado em relação ao meu cliente.

E então comecei a verificar os SERPs. Depois de verificar uma série de consultas com base na lista de urls que foram sinalizadas, não havia nenhuma rima ou razão pela qual o Google estava apresentando os urls do meu cliente versus os parceiros de distribuição (ou vice-versa). E para complicar ainda mais as coisas, às vezes ambos os urls classificados em Top Stories, Search, etc. E então havia momentos em que um era classificado em Top Stories enquanto o outro era classificado em Search. E o mesmo aconteceu com a guia Notícias na Pesquisa e no Google Notícias. Foi uma bagunça…

Vou fornecer um exemplo rápido abaixo para que você possa ver a confusão de distribuição. Observe que tive que desfocar fortemente os SERPs nas capturas de tela a seguir, mas queria fornecer um exemplo do que encontrei. Mais uma vez, não havia rima ou razão para isso estar acontecendo. Com base neste exemplo e no que vi em outros exemplos que verifiquei, posso entender por que o Google está dizendo para não indexar os URLs downstream em parceiros de distribuição. Se não, nada disso pode acontecer.

Primeiro, aqui está um exemplo de classificação do Yahoo Finance nas principais notícias, enquanto o original é classificado na Pesquisa logo abaixo dele:

Em seguida, o Yahoo News é classificado duas vezes na guia Notícias na Pesquisa (que é uma superfície importante para meu cliente), enquanto a fonte original não pode ser encontrada em lugar nenhum. E o logotipo do meu cliente é mostrado para o conteúdo distribuído. Que legal…

E então, no Google Notícias, as classificações de fontes originais e os parceiros de distribuição não são encontrados em lugar nenhum:

Como você pode ver, a situação está uma bagunça... e boa sorte tentando acompanhar isso regularmente. E a visibilidade perdida em milhares de páginas por mês pode realmente aumentar... É difícil determinar o número exato de impressões e cliques perdidos, mas pode ser enorme para grandes editores de notícias.

Descubra: O buraco negro personalizado
E em relação ao Discover, é difícil rastrear a visibilidade perdida lá, pois o feed é personalizado e você não pode ver o que todas as outras pessoas estão vendo em seu próprio feed. Mas você pode encontrar exemplos de parceiros de distribuição classificados lá em relação ao seu próprio conteúdo. Abaixo está um exemplo que encontrei recentemente do ranking do Yahoo Finance no artigo Discover for an Insider Monkey. Observe que o Insider Monkey não é um cliente e não é o site que estou abordando no estudo de caso, mas é um bom exemplo do que pode acontecer no Discover. E se isso estiver acontecendo muito, o site pode estar perdendo muito tráfego…

Aqui está o ranking do Yahoo Finance no Discover:

E aqui está o artigo original no Insider Monkey (mas está em formato de apresentação de slides). Este exemplo mostra como o Google pode ver que as páginas são diferentes, o que pode causar problemas ao entender que são o mesmo artigo:

E aqui está o ranking #2 do Yahoo Finance para a palavra-chave alvo nas principais SERPs. Portanto, o parceiro de distribuição está classificado acima do original nos resultados da pesquisa:

Pontos-chave e recomendações para editores de notícias que lidam com problemas de distribuição:

• Primeiro, tente entender os problemas de indexação e visibilidade da melhor maneira possível. Use uma abordagem como a que mapeei para, pelo menos, ter uma ideia de quão ruim é o problema. As APIs do Google são suas amigas aqui e você pode processar muitos URLs em massa em um curto período de tempo.
• Avalie os riscos e benefícios de distribuir conteúdo para parceiros. Vale a pena perder a visibilidade adicional entre os parceiros na Pesquisa, Principais notícias, na guia Notícias na Pesquisa, no Google Notícias e no Discover? Lembre-se, isso também pode significar uma perda de links poderosos... Por exemplo, se o parceiro de distribuição for classificado e outros sites tiverem links para esses artigos, você estará perdendo esses links.
• Se necessário, converse com os parceiros de distribuição sobre a possibilidade de não indexar o conteúdo distribuído. Isso provavelmente NÃO vai dar certo... Mais uma vez, eles geralmente querem classificar para obter esse tráfego. Mas nunca se sabe... alguns podem aceitar não indexar os URLs.
• Entenda O Discover é difícil de rastrear, então você pode estar perdendo mais tráfego lá do que pensa (e talvez muito). Você pode encontrar alguns problemas de distribuição por aí, mas não pode simplesmente ir lá e encontrar problemas de distribuição facilmente (como você pode fazer com a Pesquisa, Principais notícias, a guia Notícias e Google Notícias).
• Ferramentas como Semrush e NewzDash podem ajudar a preencher as lacunas de uma perspectiva de rastreamento de classificação. E o NewzDash se concentra nos editores de notícias, o que pode ser uma ferramenta valiosa em seu arsenal de rastreamento. A Semrush pode ajudar com a pesquisa e as notícias principais. Mais uma vez, tente ter uma noção sólida dos problemas de visibilidade devido à distribuição de conteúdo.

Resumo – Problemas de distribuição para editores de notícias podem ser piores do que você pensa.
Se você está distribuindo conteúdo, recomendo tentar entender o que está acontecendo nas SERPs (e nas plataformas do Google). E então forme um plano de ataque para lidar com a situação. Isso pode incluir manter as coisas como estão ou pode gerar mudanças em sua estratégia de distribuição. Mas o primeiro passo é ganhar alguma visibilidade da situação (trocadilho intencional). Boa sorte.

GG