meta 태그를 사용한다
meta 태그를 사용하여 검색 엔진에 인덱스시키지 않는 방법입니다. head 요소내에 이하와 같이 기술합니다.
"noindex"로 설정하면 검색 인덱스 등록을 차단할 수 있습니다."robots"로 함으로써 대부분의 검색 엔진 크롤러의 인덱스 등록 대상에서 제외할 수 있습니다. 또, 아래와 같이 설정하면 페이지의 인덱스 등록을 Google 크롤러만이 실행할 수 없게 할 수도 있습니다.
robots.txt를 사용한다
robots.txt는 크롤러를 제어하기 위한 텍스트 파일입니다. 이것을 사용하여 특정 파일이나 디렉토리별 검색 엔진에 인덱스시키지 않도록 할 수 있습니다.
robots.txt 만드는 법
먼저 어떤 크롤러를 대상으로 할 것인지 'User-Agent:'를 사용하여 명령합니다.
User-Agent:
라고 설정하면 모든 크롤러가 대상이 됩니다.
User-Agent: Googlebot
「Google bot」이라고 설정하면 Google 크롤러만 대상이 됩니다.
다음으로 크롤을 금지하고 싶은 페이지를 설정합니다.
금지시키려면 "Disallow:"를 사용합니다.
User-Agent: *
Disallow: /sample/
이렇게 설정하면, 「/sample/」라고 하는 디렉토리내의 크롤을 금지할 수 있습니다.
반대로 "Allow:"라고 하면 크롤을 허용할 수 있습니다.
「Disallow:」나 「Allow:」의 나머지는 슬래시(/)부터 기술하도록 해 주세요.
참고로 robots.txt에서 페이지를 차단하고 있으면 크롤러가 noindex 태그를 인식하지 못한다고 합니다. 그러면 다른 페이지에서 링크가 붙어 있거나 하면 그 페이지는 검색 결과에 계속 표시될 가능성이 있다고 합니다.