CloudFlare의 Bing IndexNow에 있는 잘못된 URL
게시 됨: 2022-12-28Google Search Console에서 사이트 오류가 발생합니까? 이러한 오류에는 리디렉션이 있는 페이지, robots.txt에 의해 차단된 페이지, 소프트 404, 404 및 적절한 표준 태그가 있는 페이지가 포함될 수 있습니다. 특히 영향을 받는 페이지에 이미 지시문을 설정했다고 생각하는 경우 이러한 오류를 보고 실망할 수 있습니다. 하지만 이러한 오류가 발생하는 이유는 무엇이며 이를 수정하기 위해 무엇을 할 수 있습니까?
이 문제에 대한 CloudFlare 커뮤니티 포럼의 토론을 기반으로 여기에서는 약간의 개요 및 요약과 이러한 잘못된 페이지 URL이 IndexNow 데이터에 들어가는 것을 해결하는 방법에 대해 설명합니다.
이 기사에서는 이러한 오류의 가능한 원인을 살펴보고 이를 해결하기 위한 솔루션을 제공합니다. 일부 가능한 원인에는 Cloudflare의 "인덱스 지금" 기능 사용 또는 Google의 검색 엔진 결과 페이지(SERP) 변경이 포함될 수 있습니다. 또한 "지금 색인 생성" 기능이나 플러그인을 사용할 때의 이점과 특정 검색 엔진을 차단할 때의 잠재적인 단점에 대해서도 논의합니다. 다음 팁을 따르면 사이트에 오류가 없고 검색 엔진에 완전히 최적화되도록 할 수 있습니다.
- Cloudflare의 "지금 인덱싱" 기능
- 나만의 "Index Now" 기능 또는 플러그인 사용
- 특정 검색 엔진 차단
- Google의 SERP 변경 사항에 대한 최신 정보 유지
"인덱스나우"란 무엇입니까?
IndexNow는 웹 사이트 소유자가 콘텐츠 업데이트에 대해 검색 엔진에 신속하게 알릴 수 있도록 도와주는 도구입니다. 웹 사이트 소유자는 IndexNow를 사용하여 URL 및 관련 콘텐츠가 추가, 수정 또는 제거되었다는 신호를 검색 엔진에 보낼 수 있습니다. 이를 통해 검색 엔진은 업데이트를 발견하기 위해 정기적인 크롤링 일정을 기다리지 않고 이러한 변경 사항을 검색 결과에 더 빠르게 반영할 수 있습니다. IndexNow가 없으면 검색 엔진이 웹 사이트 콘텐츠의 변경 사항을 감지하는 데 며칠에서 몇 주가 걸릴 수 있습니다. IndexNow는 변경된 URL의 크롤링 우선 순위를 지정하여 검색 엔진이 새로운 콘텐츠를 발견하기 위해 모든 URL을 크롤링할 필요성을 줄입니다.
Cloudflare의 "지금 인덱싱" 기능
Cloudflare의 "Index Now" 기능은 사용자가 검색 엔진, 특히 Bing 및 Yandex에서 색인을 생성할 URL을 제출할 수 있는 도구입니다. 이 기능은 새 페이지를 빠르게 인덱싱하는 데 유용할 수 있지만 올바르게 사용하지 않으면 문제가 발생할 수도 있습니다.
"지금 색인 생성" 기능의 한 가지 문제는 입력한 URL이 잘못 입력되었거나 방화벽 규칙 뒤에 있는 경우에도 입력된 모든 URL을 Bing 및 Yandex에 제출한다는 것입니다. 이로 인해 다른 검색 엔진에서 크롤링하도록 요청한 페이지에서 Google 보고 오류가 발생할 수 있습니다. 예를 들어 페이지가 robots.txt에 의해 차단된 경우 Google은 해당 페이지를 크롤링하지 않지만 "지금 색인 생성" 기능을 통해 Bing 또는 Yandex에서 크롤링하도록 요청한 경우 Google은 여전히 해당 페이지를 오류로 보고할 수 있습니다.
이 문제를 방지하려면 Cloudflare에 의존하지 않고 자신의 사이트에서 "지금 색인 생성" 기능을 사용할 수 있습니다. "지금 색인 생성" 기능을 지원하고 색인 생성을 위해 유효한 URL만 제출되도록 하는 데 도움이 되는 WordPress와 같은 CMS용 플러그인도 있습니다. 이렇게 하면 Google Search Console에서 오류를 수정하는 데 드는 시간과 노력을 절약할 수 있습니다.
또한 "지금 색인 생성" 기능은 새 페이지를 빠르게 색인화하는 데 유용할 수 있지만 모든 웹사이트에 가장 효과적인 솔루션은 아닐 수 있습니다. 일부 전문가는 페이지 색인을 생성하기 위해 사이트맵을 제출하거나 내부 링크를 사용하는 것과 같은 보다 전통적인 방법을 사용할 것을 권장합니다. 다른 도구와 마찬가지로 사이트에서 사용하기 전에 장단점을 신중하게 고려하는 것이 중요합니다.
CloudFlare IndexNow에서 제출한 URL 목록 다운로드
Bing 웹마스터 도구를 사용하여 CloudFlare의 IndexNow 기능을 통해 Bing에 제출된 URL 목록을 다운로드할 수 있습니다. 이는 인덱싱을 위해 제출되는 URL을 검토하고 유효한 페이지만 Bing에서 크롤링되도록 하려는 웹사이트 소유자에게 유용할 수 있습니다.
Bing 웹마스터 도구에서 CloudFlare IndexNow가 제출한 URL 목록을 다운로드하려면 확인된 Bing 웹마스터 계정이 있어야 하며 로그인해야 합니다. 로그인한 후 다음 단계를 따르십시오.
- 기본 메뉴에서 "보고서 및 데이터" 섹션으로 이동합니다.
- "URL 제출" 옵션을 클릭합니다.
- "URL 제출" 탭에서 "지금 인덱싱" 옵션을 선택합니다.
- 페이지의 필터를 사용하여 다운로드하려는 URL의 날짜 범위를 선택하십시오.
- 페이지 오른쪽 상단 모서리에 있는 "내보내기" 버튼을 클릭합니다.
- 데이터를 내보낼 형식(예: CSV, Excel 등)을 선택합니다.
- 파일을 다운로드하려면 "내보내기"를 클릭하십시오.
다운로드한 파일에는 CloudFlare IndexNow를 통해 Bing에 제출된 모든 URL 목록과 제출 날짜 및 시간에 대한 정보가 포함됩니다.
이 정보를 사용하여 웹 사이트 소유자는 인덱싱을 위해 제출되는 URL을 검토하고 유효한 페이지만 Bing에서 크롤링되도록 필요한 조치를 취할 수 있습니다. 이렇게 하면 검색 엔진 결과의 오류를 방지하고 사이트의 전체 검색 엔진 최적화를 개선할 수 있습니다.
자체 "IndexNow" 기능 또는 플러그인 사용
자체 "지금 색인 생성" 기능이나 플러그인을 사용하면 Cloudflare의 "지금 색인 생성" 기능으로 인해 발생하는 Google Search Console의 오류를 방지하는 효과적인 방법이 될 수 있습니다. 자신의 사이트에서 직접 URL을 제출하거나 플러그인을 사용하여 인덱싱을 위해 제출되는 URL을 제어하고 유효한 페이지만 검색 엔진에서 크롤링되도록 할 수 있습니다.
자체 "인덱스 지금" 기능을 구현하는 한 가지 옵션은 WordPress SEO 플러그인과 같은 플러그인을 사용하는 것입니다. 이러한 플러그인에는 사이트맵과 개별 URL을 검색 엔진에 제출하기 위한 도구와 검색 엔진에 맞게 사이트를 최적화하기 위한 기타 기능이 포함되는 경우가 많습니다. 플러그인을 사용하면 URL을 수동으로 제출하는 데 드는 시간과 노력을 절약할 수 있으며 사이트에서 다른 SEO 문제를 식별하고 수정하는 데 도움이 되는 등의 추가 이점을 제공할 수 있습니다.
또 다른 옵션은 자신의 사이트에서 직접 "지금 색인 생성" 기능을 사용하는 것입니다. Google, Bing, Yandex를 비롯한 대부분의 검색 엔진에는 인덱싱을 위해 URL을 수동으로 제출하는 도구가 있습니다. 이러한 도구는 검색 엔진 웹마스터 계정을 통해 액세스할 수 있으며 일반적으로 개별 URL 또는 전체 사이트맵을 제출할 수 있습니다.
자체 "지금 색인 생성" 기능이나 플러그인을 사용하면 Cloudflare의 "지금 색인 생성" 기능으로 인한 오류를 방지하는 데 효과적일 수 있지만 각 접근 방식의 장단점을 신중하게 고려하는 것이 여전히 중요합니다. 플러그인을 사용하는 것이 더 편리할 수 있지만 추가 종속성을 도입하고 지속적인 유지 관리가 필요할 수도 있습니다. 검색 엔진 웹마스터 도구를 통해 수동으로 URL을 제출하는 것은 시간이 더 많이 소요될 수 있지만 더 많은 제어 기능을 제공하고 장기적으로 더 안정적인 솔루션을 제공할 수도 있습니다.
특정 검색 엔진 차단
Bing, Seznam, Yandex와 같은 특정 검색 엔진을 robots.txt 파일에서 차단하는 것은 Cloudflare의 "지금 색인 생성" 기능으로 인해 발생하는 Google Search Console의 오류를 방지하는 효과적인 방법일 수 있지만 권장되는 솔루션은 아닙니다. 이러한 검색 엔진을 차단하면 Google에서 오류를 일으킬 수 있는 사이트의 페이지를 크롤링하는 것을 방지할 수 있습니다.
robots.txt 파일에서 검색 엔진을 차단하려면 차단할 검색 엔진과 차단할 페이지 또는 디렉토리를 지정하는 코드 줄을 추가해야 합니다. 예를 들어 Bing이 전체 사이트를 크롤링하지 못하도록 차단하려면 robots.txt 파일에 다음 코드 줄을 추가합니다.
사용자 에이전트: Bing 금지: /
다음과 같이 경로를 지정하여 특정 페이지나 디렉터리를 차단할 수도 있습니다.
사용자 에이전트: Bing 금지: /private/
robots.txt 파일에서 검색 엔진을 차단한다고 해서 검색 엔진이 사이트를 크롤링하지 않는다는 보장은 없다는 점에 유의해야 합니다. 일부 검색 엔진은 robots.txt 파일의 지시문을 무시하거나 차단에도 불구하고 사이트를 크롤링할 수 있습니다. 그러나 robots.txt 파일을 사용하면 사이트에서 크롤링을 원하지 않는 페이지나 디렉토리를 검색 엔진에 알릴 수 있는 유용한 방법이 될 수 있습니다.
특정 검색 엔진을 차단하면 Google Search Console의 오류를 방지하는 효과적인 방법이 될 수 있지만 잠재적인 단점을 신중하게 고려하는 것이 중요합니다. Google과 같은 하나의 검색 엔진에만 의존하면 알고리즘이나 정책의 변경에 더 취약할 수 있습니다. 일반적으로 사이트 순위에 미치는 잠재적인 영향을 완화하는 데 도움이 되도록 가능한 한 많은 대안을 마련하는 것이 좋습니다.
Screaming Frog로 404 오류 확인
Screaming Frog SEO Spider 사용은 웹사이트에서 404 오류를 확인하는 유용한 방법입니다. 404 오류는 사용자가 존재하지 않거나 제거된 웹 페이지에 액세스하려고 할 때 발생합니다. 이러한 오류는 사용자가 사이트를 떠나게 하고 검색 결과에서 사이트 순위에 부정적인 영향을 미칠 수 있으므로 웹사이트의 사용자 경험과 검색 엔진 최적화에 해로울 수 있습니다.
Screaming Frog를 사용하면 웹 사이트에 404 오류가 가득하지 않은지 확인할 수 있습니다.
Google의 SERP 변경 사항에 대한 최신 정보 유지
Google 검색 엔진 결과 페이지(SERP)의 변경 사항을 최신 상태로 유지하는 것은 검색 엔진에 맞게 사이트를 최적화하고 Google 검색 콘솔의 오류를 방지하는 데 중요한 부분입니다. Google은 검색 결과에서 사이트의 가시성과 순위에 상당한 영향을 미칠 수 있는 알고리즘 및 순위 요소를 자주 변경합니다.
Google SERP의 변경 사항에 대한 최신 정보를 받으려면 Google Webmaster Central의 알림에 가입하거나 SEO 업계 블로그 및 뉴스 소스를 팔로우하세요. 이러한 소스는 새로운 기능에 대한 업데이트, 순위 알고리즘 변경 사항 및 검색 엔진에 맞게 사이트를 최적화하는 데 도움이 되는 기타 중요한 정보를 제공할 수 있습니다.
Google SERP의 변경 사항에 대한 정보를 유지하는 것 외에도 검색 엔진에 맞게 사이트를 정기적으로 검토하고 최적화하는 것도 중요합니다. 여기에는 Google Search Console의 오류 식별 및 수정, 사이트 콘텐츠 및 메타 태그 최적화, 고품질 백링크 구축이 포함될 수 있습니다. 사이트를 정기적으로 검토하고 최적화하면 사이트가 검색 엔진에 완전히 최적화되고 오류가 없는지 확인할 수 있습니다.
전반적으로 Google의 SERP 변경 사항에 대한 최신 정보를 유지하고 정기적으로 사이트를 최적화하면 Google Search Console의 오류를 방지하고 검색 결과에서 사이트의 가시성과 순위를 개선하는 데 도움이 될 수 있습니다. 이러한 팁을 따르면 사이트가 검색 엔진에 완전히 최적화되고 더 많은 트래픽과 고객을 유치하는 데 도움이 될 수 있습니다.
결론
결론적으로 Google Search Console의 사이트 오류는 실망스러울 수 있지만 이를 수정하기 위해 취할 수 있는 단계가 있습니다. 이러한 오류의 가능한 원인 중 하나는 URL이 잘못 입력되었거나 방화벽 규칙 뒤에 있더라도 Bing 및 Yandex에 URL을 제출할 수 있는 Cloudflare의 "인덱스 지금" 기능을 사용하기 때문입니다. 이러한 오류를 방지하기 위해 자체 "지금 색인 생성" 기능 또는 플러그인을 사용하거나 robots.txt 파일에서 특정 검색 엔진을 차단할 수 있습니다.
고유한 "지금 색인 생성" 기능이나 플러그인을 사용하면 색인 생성을 위해 제출되는 URL을 보다 효과적으로 제어할 수 있으며, 특정 검색 엔진을 차단하면 Cloudflare "지금 색인 생성" 기능으로 인한 오류를 방지할 수 있습니다. 그러나 각 접근 방식의 장단점은 물론 하나의 검색 엔진에만 의존할 때의 잠재적인 단점을 신중하게 고려하는 것이 중요합니다.
Google 검색 엔진 결과 페이지(SERP)의 변경 사항을 최신 상태로 유지하고 정기적으로 사이트를 최적화하면 오류를 방지하고 검색 결과에서 사이트의 가시성과 순위를 개선하는 데 도움이 될 수 있습니다. 다음 팁을 따르면 사이트가 검색 엔진에 완전히 최적화되고 오류가 없는지 확인할 수 있습니다.