SEO에서 Robots.txt란 무엇인가요: 생성 및 최적화 방법

게시 됨: 2022-04-22

오늘의 주제는 트래픽 수익화와 직접적인 관련이 없습니다. 그러나 robots.txt는 웹사이트의 SEO에 영향을 미치고 결국에는 웹사이트가 받는 트래픽 양에 영향을 줄 수 있습니다. 많은 웹 관리자가 잘못된 robots.txt 항목으로 인해 웹사이트 순위를 망쳤습니다. 이 가이드는 이러한 모든 함정을 피하는 데 도움이 될 것입니다. 꼭 끝까지 읽어주세요!

내용물
  • robots.txt 파일이란 무엇입니까?
  • robots.txt 파일은 어떻게 보이나요?
  • robots.txt 파일을 찾는 방법
  • Robots.txt 파일은 어떻게 작동합니까?
  • Robots.txt 구문
  • 지원되는 지시문
  • 사용자 에이전트*
  • 허용하다
  • 허용하지 않음
  • 사이트맵
  • 지원되지 않는 지시문
  • 크롤링 지연
  • NOINDEX
  • 노팔로우
  • robots.txt 파일이 필요합니까?
  • robots.txt 파일 만들기
  • Robots.txt 파일: SEO 모범 사례
  • 각 지시문에 새 줄 사용
  • 와일드카드를 사용하여 지침 단순화
  • URL의 끝을 지정하려면 달러 기호 "$"를 사용하십시오.
  • 각 사용자 에이전트를 한 번만 사용하십시오.
  • 의도하지 않은 오류를 방지하기 위해 특정 지침을 사용합니다.
  • 해시가 있는 robots.txt 파일에 댓글 입력
  • 각 하위 도메인에 서로 다른 robots.txt 파일 사용
  • 좋은 콘텐츠를 차단하지 마세요
  • 크롤링 지연을 남용하지 마세요
  • 대소문자 구분에 주의
  • 기타 모범 사례:
  • robots.txt를 사용하여 콘텐츠 색인 생성 방지
  • robots.txt를 사용하여 비공개 콘텐츠 보호
  • robots.txt를 사용하여 악성 중복 콘텐츠 숨기기
  • 모든 봇에 대한 모든 액세스
  • 모든 봇에 대한 액세스 권한 없음
  • 모든 봇에 대해 하나의 하위 디렉토리 차단
  • 모든 봇에 대해 하나의 하위 디렉터리 차단(허용된 내에서 하나의 파일 포함)
  • 모든 봇에 대해 하나의 파일 차단
  • 모든 봇에 대해 하나의 파일 형식(PDF) 차단
  • Googlebot에 대해서만 매개변수화된 모든 URL 차단
  • robots.txt 파일에 오류가 있는지 테스트하는 방법
  • 제출된 URL이 robots.txt에 의해 차단됨
  • robots.txt에 의해 차단됨
  • 색인이 생성되었지만 robots.txt에 의해 차단됨
  • Robots.txt 대 메타 로봇 ​​대 x-로봇
  • 추가 읽기
  • 마무리

robots.txt 파일이란 무엇입니까?

robots.txt 또는 로봇 제외 프로토콜은 검색 엔진 로봇이 해당 페이지의 스키마 마크업까지 모든 웹 페이지를 크롤링하는 방법을 제어하는 ​​일련의 웹 표준입니다. 웹 크롤러가 전체 웹사이트 또는 웹사이트의 일부에 액세스하는 것을 방지할 수 있는 표준 텍스트 파일입니다.

SEO를 조정하고 기술 문제를 해결하는 동안 광고에서 수동 소득을 얻을 수 있습니다. 웹사이트에 있는 한 줄의 코드는 정기적인 판매 대금을 반환합니다!

광고에서 적립
목차로 ↑

robots.txt 파일은 어떻게 보이나요?

구문은 간단합니다. 사용자 에이전트와 지시문을 지정하여 봇에 규칙을 부여합니다. 파일의 기본 형식은 다음과 같습니다.

사이트맵: [사이트맵의 URL 위치]

사용자 에이전트: [봇 식별자]

[지침 1]

[지침 2]

[지시...]

사용자 에이전트: [다른 봇 식별자]

[지침 1]

[지침 2]

[지시...]

robots.txt 파일을 찾는 방법

웹사이트에 이미 robots.txt 파일이 있는 경우 브라우저에서 https://yourdomainname.com/robots.txt URL로 이동하여 찾을 수 있습니다. 예를 들어, 여기 우리 파일이 있습니다

로봇 txt 파일
목차로 ↑

Robots.txt 파일은 어떻게 작동합니까?

robots.txt 파일은 HTML 마크업 코드(따라서 .txt 확장자)가 포함되지 않은 일반 텍스트 파일입니다. 이 파일은 웹사이트의 다른 모든 파일과 마찬가지로 웹 서버에 저장됩니다. 사용자는 이 페이지가 귀하의 페이지에 연결되어 있지 않기 때문에 이 페이지를 방문할 가능성이 낮지만 대부분의 웹 크롤러 봇은 전체 웹사이트를 크롤링하기 전에 해당 페이지를 검색합니다.

robots.txt 파일은 봇에 지침을 제공할 수 있지만 해당 지침을 시행할 수는 없습니다. 웹 크롤러 또는 뉴스 피드 봇과 같은 우수한 봇은 도메인 페이지를 방문하기 전에 파일을 확인하고 지침을 따릅니다. 그러나 악성 봇은 금지된 웹 페이지를 찾기 위해 파일을 무시하거나 처리합니다.

robots.txt 파일에 충돌하는 명령이 포함된 경우 봇은 가장 구체적인 지침을 사용합니다.

목차로 ↑

Robots.txt 구문

robots.txt 파일은 각각 user-agent로 시작하는 '지시문'의 여러 섹션으로 구성됩니다. 사용자 에이전트는 코드가 통신하는 크롤링 봇을 지정합니다. 모든 검색 엔진을 한 번에 처리하거나 개별 검색 엔진을 관리할 수 있습니다.

봇은 웹사이트를 크롤링할 때마다 이를 호출하는 사이트 부분에서 작동합니다.

사용자 에이전트: *

허용하지 않음: /

사용자 에이전트: Googlebot

허용하지 않음:

사용자 에이전트: Bingbot

허용하지 않음: /not-for-bing/

지원되는 지시문

지시문은 선언한 사용자 에이전트가 따라야 하는 지침입니다. Google은 현재 다음 지시문을 지원합니다.

사용자 에이전트*

프로그램이 웹 서버(로봇 또는 일반 웹 브라우저)에 연결할 때 해당 ID에 대한 기본 정보가 포함된 "user-agent"라는 HTTP 헤더를 보냅니다. 모든 검색 엔진에는 사용자 에이전트가 있습니다. Google의 로봇은 Googlebot, Yahoo의 Slurp, Bing의 BingBot으로 알려져 있습니다. 사용자 에이전트는 특정 사용자 에이전트 또는 모든 사용자 에이전트에 적용할 수 있는 일련의 지시문을 시작합니다.

허용하다

허용 지시문은 검색 엔진에 페이지나 하위 디렉터리(심지어 제한된 디렉터리 포함)를 크롤링하도록 지시합니다. 예를 들어 검색 엔진이 하나를 제외한 모든 블로그 게시물에 액세스할 수 없도록 하려는 경우 robots.txt 파일은 다음과 같을 수 있습니다.

사용자 에이전트: *

허용하지 않음: /블로그

허용: /blog/allowed-post

그러나 검색 엔진은 /blog/allowed-post에 액세스할 수 있지만 다음에 액세스할 수는 없습니다.

/블로그/다른 게시물

/blog/yet-another-post

/블로그/다운로드-me.pd

허용하지 않음

웹사이트의 robots.txt 파일에 추가된 disallow 지시문은 검색 엔진이 특정 페이지를 크롤링하지 않도록 지시합니다. 대부분의 경우 이렇게 하면 검색 결과에 페이지가 표시되지 않습니다.

이 지시문을 사용하여 일반 대중에게 숨기고 있는 특정 폴더의 파일과 페이지를 검색 엔진이 크롤링하지 않도록 지시할 수 있습니다. 예를 들어, 아직 작업 중이지만 실수로 게시한 콘텐츠입니다. 모든 검색 엔진이 블로그에 액세스하지 못하도록 하려면 robots.txt 파일이 다음과 같이 표시될 수 있습니다.

사용자 에이전트: *

허용하지 않음: /블로그

즉, /blog 디렉토리의 모든 하위 디렉토리도 크롤링되지 않습니다. 이렇게 하면 Google이 /blog를 포함하는 URL에 액세스하는 것도 차단됩니다.

목차로 ↑

사이트맵

사이트맵은 검색 엔진이 크롤링하고 색인을 생성할 페이지 목록입니다. 사이트맵 지시어를 사용하면 검색 엔진이 XML 사이트맵의 위치를 ​​알게 됩니다. 가장 좋은 방법은 검색 엔진의 웹마스터 도구에 제출하는 것입니다. 각 도구는 방문자에게 귀하의 웹사이트에 대한 귀중한 정보를 제공할 수 있기 때문입니다.

각 사용자 에이전트에 대해 사이트맵 지시문을 반복할 필요가 없으며 하나의 검색 에이전트에 적용되지 않는다는 점에 유의하는 것이 중요합니다. robots.txt 파일의 시작 또는 끝에 사이트맵 지시문을 추가합니다.

파일에 있는 사이트맵 지시문의 예:

사이트맵: https://www.domain.com/sitemap.xml

사용자 에이전트: Googlebot

허용하지 않음: /블로그/

허용: /blog/post-title/

사용자 에이전트: Bingbot

허용하지 않음: /services/

목차로 ↑

지원되지 않는 지시문

다음은 Google에서 더 이상 지원하지 않는 지시문입니다. 그 중 일부는 기술적으로 승인되지 않았습니다.

크롤링 지연

Yahoo, Bing, Yandex는 웹사이트의 인덱싱에 신속하게 대응하고 크롤링 지연 지시문에 반응하여 잠시 동안 웹사이트를 점검합니다.

다음 줄을 블록에 적용하십시오.

사용자 에이전트: Bingbot

크롤링 지연: 10

즉, 검색 엔진이 웹 사이트를 크롤링하기 전에 10초를 기다리거나 크롤링 후 웹 사이트에 다시 액세스하기 전에 10초를 기다릴 수 있음을 의미합니다. 이는 사용 중인 사용자 에이전트에 따라 동일하지만 약간 다릅니다.

NOINDEX

noindex 메타 태그는 검색 엔진이 페이지 중 하나를 인덱싱하지 못하도록 하는 좋은 방법입니다. 태그를 사용하면 봇이 웹 페이지에 액세스할 수 있지만 색인을 생성하지 않도록 로봇에 알립니다.

  • noindex 태그가 있는 HTTP 응답 헤더입니다. 이 태그는 X-Robots-Tag가 있는 HTTP 응답 헤더 또는 <head> 섹션에 배치된 <meta> 태그의 두 가지 방법으로 구현할 수 있습니다. <meta> 태그의 모양은 다음과 같습니다.

<메타 이름=”로봇” 콘텐츠=”NOINDEX”>

  • 404 및 410 HTTP 상태 코드. 404 및 410 상태 코드는 페이지를 더 이상 사용할 수 없음을 나타냅니다. 404/410 페이지를 크롤링하고 처리한 후 Google 색인에서 자동으로 제거합니다. 404 및 410 오류 페이지의 위험을 줄이려면 웹사이트를 정기적으로 크롤링하고 301 리디렉션을 사용하여 필요한 경우 기존 페이지로 트래픽을 보냅니다.
목차로 ↑

노팔로우

Nofollow는 검색 엔진이 특정 경로에 있는 페이지 및 파일의 링크를 따르지 않도록 지시합니다. 2020년 3월 1일부터 Google은 더 이상 nofollow 속성을 지시문으로 간주하지 않습니다. 대신 표준 태그와 마찬가지로 힌트가 됩니다. 페이지의 모든 링크에 대해 "nofollow" 속성을 원하면 로봇의 메타 태그, x-robots 헤더 또는 rel= "nofollow" 링크 속성을 사용하십시오.

이전에는 다음 지시문을 사용하여 Google이 블로그의 모든 링크를 팔로우하지 못하도록 할 수 있었습니다.

사용자 에이전트: Googlebot

팔로우 취소: /블로그/

robots.txt 파일이 필요합니까?

덜 복잡한 웹사이트는 많이 필요하지 않습니다. Google은 일반적으로 robots.txt에 의해 차단된 웹페이지의 색인을 생성하지 않지만 이러한 페이지가 검색결과에 나타나지 않는다고 보장할 수 있는 방법은 없습니다. 이 파일을 사용하면 검색 엔진을 통해 웹 사이트의 콘텐츠를 더 많이 제어하고 보안할 수 있습니다.

로봇 파일은 또한 다음을 수행하는 데 도움이 됩니다.

  • 중복 콘텐츠가 크롤링되는 것을 방지합니다.
  • 다른 웹사이트 섹션에 대한 개인 정보를 유지합니다.
  • 내부 검색 결과 크롤링을 제한합니다.
  • 서버 과부하를 방지합니다.
  • "크롤링 예산" 낭비를 방지합니다.
  • 이미지, 비디오 및 리소스 파일을 Google 검색 결과에서 제외하세요.

이러한 조치는 궁극적으로 SEO 전술에 영향을 미칩니다. 예를 들어, 중복된 콘텐츠는 검색 엔진을 혼란스럽게 하고 두 페이지 중 어떤 페이지가 첫 번째 순위를 차지할지 선택하도록 강요합니다. 콘텐츠를 만든 사람과 관계없이 Google은 상위 검색 결과에 대해 원본 페이지를 선택하지 않을 수 있습니다.

Google이 사용자를 속이거나 순위를 조작하기 위한 중복 콘텐츠를 감지하는 경우 웹사이트의 색인 및 순위를 조정합니다. 결과적으로 귀하의 사이트 순위가 저하되거나 Google 색인에서 완전히 제거되어 검색 결과에서 사라질 수 있습니다.

다른 웹 사이트 섹션에 대한 개인 정보를 유지하면 웹 사이트 보안이 향상되고 해커로부터 보호됩니다. 장기적으로 이러한 조치는 웹사이트를 보다 안전하고 신뢰할 수 있으며 수익성 있게 만들 것입니다.

당신은 트래픽에서 이익을 원하는 웹사이트 소유자입니까? Adsterra를 사용하면 모든 웹사이트에서 수동 소득을 얻을 수 있습니다!

가입하고 적립
목차로 ↑

robots.txt 파일 만들기

메모장과 같은 텍스트 편집기가 필요합니다.

  1. 새 시트를 만들고 빈 페이지를 'robots.txt'로 저장하고 빈 .txt 문서에 지시문을 입력하기 시작합니다.
  2. cPanel에 로그인하고 사이트의 루트 디렉토리로 이동하여 public_html 폴더를 찾습니다.
  3. 파일을 이 폴더로 드래그한 다음 파일의 권한이 올바르게 설정되었는지 다시 확인하십시오.

소유자로서 파일을 쓰고, 읽고, 편집할 수 있지만 제3자는 허용되지 않습니다. 파일에 "0644" 권한 코드가 나타나야 합니다. 그렇지 않은 경우 파일을 마우스 오른쪽 버튼으로 클릭하고 "파일 권한"을 선택합니다.

Robots.txt 파일: SEO 모범 사례

각 지시문에 새 줄 사용

각 지시문은 별도의 줄에 선언해야 합니다. 그렇지 않으면 검색 엔진이 혼란스러워집니다.

사용자 에이전트: *

허용하지 않음: /디렉토리/

허용하지 않음: /another-directory/

와일드카드를 사용하여 지침 단순화

지시문을 선언할 때 모든 사용자 에이전트에 와일드카드(*)를 사용하고 URL 패턴을 일치시킬 수 있습니다. 와일드카드는 패턴이 균일한 URL에 적합합니다. 예를 들어 URL에 물음표(?)가 있는 모든 필터 페이지가 크롤링되지 않도록 할 수 있습니다.

사용자 에이전트: *

허용하지 않음: /*?

URL의 끝을 지정하려면 달러 기호 "$"를 사용하십시오.

검색 엔진은 .pdf와 같은 확장자로 끝나는 URL에 액세스할 수 없습니다. 즉, /file.pdf에는 액세스할 수 없지만 ".pdf"로 끝나지 않는 /file.pdf?id=68937586에는 액세스할 수 있습니다. 예를 들어 검색 엔진이 웹사이트의 모든 PDF 파일에 액세스하지 못하도록 하려는 경우 robots.txt 파일은 다음과 같을 수 있습니다.

사용자 에이전트: *

허용하지 않음: /*.pdf$

각 사용자 에이전트를 한 번만 사용하십시오.

Google에서는 동일한 user-agent를 두 번 이상 사용하는 경우 중요하지 않습니다. 다양한 선언의 모든 규칙을 단일 지시문으로 컴파일하고 이를 따릅니다. 그러나 각 user-agent를 한 번만 선언하는 것이 덜 혼란스럽기 때문에 의미가 있습니다.

지시문을 깔끔하고 단순하게 유지하면 심각한 오류의 위험이 줄어듭니다. 예를 들어 robots.txt 파일에 다음과 같은 사용자 에이전트 및 지시문이 포함된 경우.

사용자 에이전트: Googlebot

허용하지 않음: /a/

사용자 에이전트: Googlebot

허용하지 않음: /b/

의도하지 않은 오류를 방지하기 위해 특정 지침을 사용합니다.

지시문을 설정할 때 특정 지침을 제공하지 않으면 SEO에 피해를 줄 수 있는 오류가 발생할 수 있습니다. 다국어 사이트가 있고 /de/ 하위 디렉토리에 대한 독일어 버전을 작업 중이라고 가정합니다.

아직 준비되지 않았기 때문에 검색 엔진이 액세스할 수 있기를 원하지 않습니다. 다음 robots.txt 파일은 검색 엔진이 해당 하위 폴더와 해당 콘텐츠의 색인을 생성하지 못하도록 합니다.

사용자 에이전트: *

허용하지 않음: /de

그러나 검색 엔진이 /de로 시작하는 페이지나 파일을 크롤링하지 못하도록 제한합니다. 이 경우 후행 슬래시를 추가하는 것이 간단한 솔루션입니다.

사용자 에이전트: *

허용하지 않음: /de/

목차로 ↑

해시가 있는 robots.txt 파일에 댓글 입력

댓글은 개발자와 여러분이 robots.txt 파일을 이해하는 데 도움이 됩니다. 주석을 포함하려면 해시(#)로 줄을 시작합니다. 크롤러는 해시로 시작하는 줄을 무시합니다.

# 이것은 Bing 봇이 우리 사이트를 크롤링하지 않도록 지시합니다.

사용자 에이전트: Bingbot

허용하지 않음: /

각 하위 도메인에 서로 다른 robots.txt 파일 사용

Robots.txt는 호스트 도메인의 크롤링에만 영향을 줍니다. 다른 하위 도메인에서 크롤링을 제한하려면 다른 파일이 필요합니다. 예를 들어, 기본 웹사이트를 example.com에 호스팅하고 블로그를 blog.example.com에 호스팅하는 경우 두 개의 robots.txt 파일이 필요합니다. 기본 도메인의 루트 디렉토리에 하나를 배치하고 다른 파일은 블로그의 루트 디렉토리에 배치해야 합니다.

좋은 콘텐츠를 차단하지 마세요

SEO 결과에 부정적인 영향을 미치지 않도록 공개하려는 양질의 콘텐츠를 차단하기 위해 robots.txt 파일 또는 noindex 태그를 사용하지 마십시오. noindex 태그를 철저히 확인하고 페이지의 규칙을 허용하지 않습니다.

크롤링 지연을 남용하지 마세요

크롤링 지연에 대해 설명했지만 봇이 모든 페이지를 크롤링하지 못하도록 제한하므로 자주 사용하지 않아야 합니다. 일부 웹사이트에서는 작동할 수 있지만 웹사이트가 크면 순위와 트래픽에 피해를 줄 수 있습니다.

대소문자 구분에 주의

Robots.txt 파일은 대소문자를 구분하므로 robots 파일을 올바른 형식으로 생성했는지 확인해야 합니다. robots 파일의 이름은 모두 소문자로 된 'robots.txt'여야 합니다. 그렇지 않으면 작동하지 않습니다.

기타 모범 사례:

  • 웹사이트의 콘텐츠나 섹션이 크롤링되는 것을 차단하지 않는지 확인하십시오.
  • SERP 결과에서 민감한 데이터(개인 사용자 정보)를 유지하기 위해 robots.txt를 사용하지 마십시오. 데이터 암호화 또는 noindex 메타 지시문과 같은 다른 방법을 사용하여 다른 페이지가 개인 페이지에 직접 연결되는 경우 액세스를 제한합니다.
  • 일부 검색 엔진에는 둘 이상의 사용자 에이전트가 있습니다. 예를 들어 Google은 자연 검색에 Googlebot을 사용하고 이미지에 Googlebot-Image를 사용합니다. 동일한 검색 엔진의 대부분의 사용자 에이전트가 동일한 규칙을 따르기 때문에 각 검색 엔진의 여러 크롤러에 대한 지시문을 지정할 필요가 없습니다.
  • 검색 엔진은 robots.txt 콘텐츠를 캐시하지만 매일 업데이트합니다. 파일을 변경하고 더 빠르게 업데이트하려면 파일 URL을 Google에 제출하면 됩니다.
목차로 ↑

robots.txt를 사용하여 콘텐츠 색인 생성 방지

페이지를 비활성화하는 것은 봇이 페이지를 직접 크롤링하는 것을 방지하는 가장 효과적인 방법입니다. 그러나 다음 상황에서는 작동하지 않습니다.

  • 다른 소스에 페이지에 대한 링크가 있는 경우 봇은 여전히 ​​페이지를 크롤링하고 색인을 생성합니다.
  • 불법 봇은 계속해서 콘텐츠를 크롤링하고 색인을 생성합니다.

robots.txt를 사용하여 비공개 콘텐츠 보호

PDF 또는 감사 페이지와 같은 일부 비공개 콘텐츠는 봇을 차단하더라도 색인을 생성할 수 있습니다. 모든 독점 페이지를 로그인 뒤에 배치하는 것은 disallow 지시문을 강화하는 가장 좋은 방법 중 하나입니다. 귀하의 콘텐츠는 계속 사용할 수 있지만 방문자는 콘텐츠에 액세스하기 위해 추가 단계를 수행합니다.

robots.txt를 사용하여 악성 중복 콘텐츠 숨기기

중복 콘텐츠는 동일한 언어의 다른 콘텐츠와 동일하거나 매우 유사합니다. Google은 고유한 콘텐츠가 있는 페이지의 색인을 생성하고 표시하려고 합니다. 예를 들어 사이트에 각 기사의 "일반" 및 "프린터" 버전이 있고 noindex 태그가 둘 다 차단하는 경우 그 중 하나를 나열합니다.

robots.txt 파일의 예

다음은 몇 가지 샘플 robots.txt 파일입니다. 이것들은 주로 아이디어를 위한 것이지만, 그 중 하나가 귀하의 필요를 충족하는 경우 복사하여 텍스트 문서에 붙여넣고 "robots.txt"로 저장하고 적절한 디렉토리에 업로드하십시오.

모든 봇에 대한 모든 액세스

빈 robots.txt 파일이 있거나 없는 경우를 포함하여 검색 엔진에 모든 파일에 액세스하도록 지시하는 방법에는 여러 가지가 있습니다.

사용자 에이전트: *

허용하지 않음:

모든 봇에 대한 액세스 권한 없음

다음 robots.txt 파일은 모든 검색 엔진이 전체 사이트에 액세스하지 않도록 지시합니다.

사용자 에이전트: *

허용하지 않음: /

모든 봇에 대해 하나의 하위 디렉토리 차단

사용자 에이전트: *

허용하지 않음: /폴더/

모든 봇에 대해 하나의 하위 디렉터리 차단(허용된 내에서 하나의 파일 포함)

사용자 에이전트: *

허용하지 않음: /폴더/

허용: /folder/page.html

모든 봇에 대해 하나의 파일 차단

사용자 에이전트: *

허용하지 않음: /this-is-a-file.pdf

모든 봇에 대해 하나의 파일 형식(PDF) 차단

사용자 에이전트: *

허용하지 않음: /*.pdf$

Googlebot에 대해서만 매개변수화된 모든 URL 차단

사용자 에이전트: Googlebot

허용하지 않음: /*?

robots.txt 파일에 오류가 있는지 테스트하는 방법

Robots.txt의 실수는 심각할 수 있으므로 이를 모니터링하는 것이 중요합니다. robots.txt와 관련된 문제에 대해 Search Console의 '범위' 보고서를 정기적으로 확인하세요. 발생할 수 있는 일부 오류, 의미 및 해결 방법은 아래에 나열되어 있습니다.

제출된 URL이 robots.txt에 의해 차단됨

차단된 URL

robots.txt가 사이트맵에 있는 URL 중 하나 이상을 차단했음을 나타냅니다. 사이트맵이 올바르고 정규화, 색인 생성되지 않음 또는 리디렉션된 페이지가 포함되지 않은 경우 robots.txt는 사용자가 보내는 페이지를 차단해서는 안 됩니다. 그렇다면 영향을 받는 페이지를 식별하고 robots.txt 파일에서 차단을 제거하십시오.

Google의 robots.txt 테스터를 사용하여 차단 지시문을 식별할 수 있습니다. 실수가 다른 페이지나 파일에 영향을 줄 수 있으므로 robots.txt 파일을 편집할 때 주의하십시오.

robots-txt 테스터
목차로 ↑

robots.txt에 의해 차단됨

이 오류는 robots.txt가 Google에서 색인을 생성할 수 없는 콘텐츠를 차단했음을 나타냅니다. 이 콘텐츠가 중요하고 색인을 생성해야 하는 경우 robots.txt에서 크롤링 블록을 제거하세요. (또한 콘텐츠가 색인되지 않았는지 확인하십시오.)

Google 색인에서 콘텐츠를 제외하려면 로봇의 메타 태그 또는 x-robots-header를 사용하고 크롤링 블록을 제거하십시오. 이것이 콘텐츠를 Google 색인에서 제외하는 유일한 방법입니다.

색인이 생성되었지만 robots.txt에 의해 차단됨

이는 Google이 robots.txt에 의해 차단된 일부 콘텐츠의 색인을 계속 생성한다는 의미입니다. Robots.txt는 콘텐츠가 Google 검색 결과에 표시되지 않도록 하는 솔루션이 아닙니다.

인덱싱을 방지하려면 크롤링 블록을 제거하고 메타 로봇 ​​태그 또는 x-robots-tag HTTP 헤더로 교체하십시오. 실수로 이 콘텐츠를 차단했고 Google에서 색인을 생성하도록 하려면 robots.txt에서 크롤링 차단을 제거하세요. Google 검색에서 콘텐츠의 가시성을 높이는 데 도움이 될 수 있습니다.

Robots.txt 대 메타 로봇 ​​대 x-로봇

이 세 가지 로봇 명령의 차이점은 무엇입니까? Robots.txt는 간단한 텍스트 파일이고 meta 및 x-robots는 메타 지시문입니다. 기본적인 역할 외에도 세 가지 기능은 서로 다릅니다. Robots.txt는 전체 웹 사이트 또는 디렉토리에 대한 크롤링 동작을 지정하는 반면 meta 및 x-robot은 개별 페이지(또는 페이지 요소)에 대한 인덱싱 동작을 정의합니다.

추가 읽기

유용한 리소스

  • Wikipedia: 로봇 배제 프로토콜
  • Robots.txt에 대한 Google 문서
  • Robots.txt에 대한 Bing(및 Yahoo) 문서
  • 지시어 설명
  • Robots.txt에 대한 Yandex 문서
목차로 ↑

마무리

robots.txt 파일의 중요성과 전반적인 SEO 관행 및 웹사이트 수익성에 대한 기여를 완전히 이해하셨기를 바랍니다. 웹사이트에서 수입을 얻는 데 여전히 어려움을 겪고 있다면 Adsterra 광고로 수입을 올리기 위해 코딩이 필요하지 않습니다. HTML, WordPress 또는 Blogger 웹사이트에 광고 코드를 입력하고 지금 바로 수익을 올리십시오!

트래픽으로 수익 창출