| = Robots.txt 파일 작성요령 |
| = |
| = □ 개요 |
| - 최근 웹 검색엔진의 성능이 월등히 향상되면서 HTML로 작성된 웹페이지의 내용은 물론 웹사이트에 올려놓은 PDF나 DOC같은 문서파일 내용까지 검색 가능 |
| - 이에 따라 정보유출을 방지하기 위한 홈페이지 운영자들의 각별한 주의와 기술적 대비책 마련이 필요 |
| - 대책의 일환으로 '인터넷 검색엔진 배제표준(Robots Exclusion Protocol)' 적용 |
| - - 인터넷 검색엔진 배제표준이란 보안이 필요한 내용이 검색엔진에 유출 되지 못하도록 웹페이지를 작성하는 방법을 기술한 국제기술표준 |
| - 이를 이용하여 사이트 모든 페이지의 노출을 차단할 수 있고 원하는 페이지에 대해서만 노출차단도 가능 |
| + * 최근 웹 검색엔진의 성능이 월등히 향상되면서 HTML로 작성된 웹페이지의 내용은 물론 웹사이트에 올려놓은 PDF나 DOC같은 문서파일 내용까지 검색 가능 |
| + * 이에 따라 정보유출을 방지하기 위한 홈페이지 운영자들의 각별한 주의와 기술적 대비책 마련이 필요 |
| + * 대책의 일환으로 '인터넷 검색엔진 배제표준(Robots Exclusion Protocol)' 적용 |
| + ** 인터넷 검색엔진 배제표준이란 보안이 필요한 내용이 검색엔진에 유출 되지 못하도록 웹페이지를 작성하는 방법을 기술한 국제기술표준 |
| + * 이를 이용하여 사이트 모든 페이지의 노출을 차단할 수 있고 원하는 페이지에 대해서만 노출차단도 가능 |
| = |
| = □ robots.txt 작성 방법 |
| - robots.txt를 웹 서버의 홈페이지 최상위 디렉토리에 저장 |
| - robots.txt의 내용 |
| + + robots.txt를 웹 서버의 홈페이지 최상위 디렉토리에 저장 |
| + + robots.txt의 내용 |
| = - 모든 로봇에 대한 모든 디렉토리 검색 거부시 |
| = User-agent: * |
| = Disallow: / |
| = - 모든 로봇에 대한 서버 일부분만 검색거부시 |
| = (예: /secure 디렉토리, /policy 디렉토리만 검색거부) |
| = User-agent: * |
| = Disallow: /secure/ |
| = Disallow: /policy/ |
| = |
| = <참고> |
| = 위와 유사한 방법으로 HTML문서의 <HEAD>와 </HEAD> 태그 사이 |
| = <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">라는 |
| = 메타태그를 추가할 경우에도 로봇에 의한 웹문서 유출 불가 |
| = |
