검색팀에서 일을 하다보면 검색결과 삭제요청을 하는 고객들을 만납니다.
개인정보가 유출되는 경우도 있고, 명예훼손에 관한 내용도 있고, 공개를 원하지 않는 내용이
검색되서 지우기를 희망하는 분도 있지요..

그리고 자신의 사이트에 검색엔진의 로봇이 아예 접근도 하지 않았으면 하는 바람을 가지신
분들도 있습니다.

사적인 사이트, 회사정보를 담고 있는 사이트, 트래픽 문제로 로봇을 거부하고 싶은 사이트 등등..

가끔 회사내부정보나 고객정보가 검색엔진에 노출되서 항의하시는 경우가 있습니다.
사이트에서 중요한 정보가 노출될 수 있으면 관련자들만 볼 수 있게 꼭 로그인 프로세스를 만들어
두시는 것이 좋습니다. 로봇은 ID랑 패스워드가 없으니 그런정보는 보호할 수 있습니다.

그외에 사이트에 아예 로봇을 접근하지 못하게 하려면 로봇 배제 표준(Robot Exclusion Standard)을
따를 수 있습니다.

방법은 robots.txt 파일을 사이트의 최상위 주소에 저장해 두시면 됩니다.
꼭 최상위 루트 디렉토리에 저장해야 합니다. 파일에는 아래처럼 내용을 적어두시면 됩니다.

모든 크롤링 로봇을 접근을 막을 경우
User-agent: *
Disallow: /

일부 크롤링을 막고 싶은 경우
User-agent: *
Disallow: /my_secret/
Disallow: /company_confidential/

이렇게 작성하면 로봇은 my_secret, company_confidential 라는 폴더에 속한
내용은 크롤링 하지 않습니다.

야후검색 로봇만을 배제하고 싶을 때
User-agent: Slurp
Disallow: /

야후검색 로봇을 일부 내용에 한해서만 크롤링 금지 할 경우
User-agent: Slurp
Disallow: /cgi-bin/

야후검색 로봇에만 크롤링을 허용할 경우
User-agent: Slurp
Disallow:
User-agent: *
Disallow: /
--------------------------------------------------------------------------
특정한 페이지에서만 검색엔진의 접근을 막고 싶은경우는 웹문서 head 에
　　 라는 메타태그에 추가하면 됩니다.
--------------------------------------------------------------------------
Robot Exclusion Standard. http://www.robotstxt.org/wc/exclusion.html
1994 Robots Exclusion Standard http://www.robotstxt.org/wc/norobots.html