robots

Robots.txt 파일 작성요령

□ 개요

최근 웹 검색엔진의 성능이 월등히 향상되면서 HTML로 작성된 웹페이지의 내용은 물론 웹사이트에 올려놓은 PDF나 DOC같은 문서파일 내용까지 검색 가능
이에 따라 정보유출을 방지하기 위한 홈페이지 운영자들의 각별한 주의와 기술적 대비책 마련이 필요
대책의 일환으로 '인터넷 검색엔진 배제표준(Robots Exclusion Protocol)' 적용
- 인터넷 검색엔진 배제표준이란 보안이 필요한 내용이 검색엔진에 유출 되지 못하도록 웹페이지를 작성하는 방법을 기술한 국제기술표준
이를 이용하여 사이트 모든 페이지의 노출을 차단할 수 있고 원하는 페이지에 대해서만 노출차단도 가능

□ robots.txt 작성 방법

+ robots.txt를 웹 서버의 홈페이지 최상위 디렉토리에 저장
+ robots.txt의 내용
   - 모든 로봇에 대한 모든 디렉토리 검색 거부시
      User-agent: *
      Disallow: / 
   - 모든 로봇에 대한 서버 일부분만 검색거부시 
     (예: /secure 디렉토리, /policy 디렉토리만 검색거부)
      User-agent: *
      Disallow: /secure/
      Disallow: /policy/

<참고> 위와 유사한 방법으로 HTML문서의 <HEAD>와 </HEAD> 태그 사이 <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">라는 메타태그를 추가할 경우에도 로봇에 의한 웹문서 유출 불가