[Linux] 검색로봇의 웹 서버 접근 막기

Webzip 이나 텔레포트 등의 검색로봇들은 웹사이트를 통채로 받아가버리죠 ..

내용 퍼가는건 둘째치고 퍼가는동안 걸리는 트래픽은 무시하지 못할 정도 일 수 있습니다.

아파치 환경설정을 간단히 편집하여 로봇의 접근을 막을 수 있습니다.

BrowserMatch "WebZIP" go_out
BrowserMatch "Teleport" go_out
BrowserMatch "GetRight" go_out

거부할 검색 브라우저를 go_out 이라고 정의하고
디렉토리에서 Deny 를 설정 합니다.

Options IncludesNoExec ExecCGI
AllowOverride None
Order allow,deny
Allow from all
Deny from env=go_out

상대편에서 브라우저 이름을 바꾸었을때는 어쩔 수 없지만 그래도 많이 걸러질 수 있겠네요