robots.txt 뜻: 크롤러에게 보내는 접근 안내
robots.txt
robots.txt는 사이트의 어느 경로를 크롤링할 수 있는지 크롤러에게 안내하는 파일입니다. 검색엔진의 방문을 관리할 때 사용합니다.
크롤러에게 보내는 접근 안내
여기서 자주 혼동하는 부분이 있습니다. 크롤링을 막아도 다른 곳의 링크 등을 통해 주소 자체가 검색 결과에 남을 수 있습니다. 검색 노출을 제어하는 목적이라면 noindex 같은 수단의 작동 조건도 함께 살펴봐야 합니다. 민감한 자료에는 로그인과 접근 권한 관리가 필요합니다.
근거 자료
블링크애드 용어사전 자료 확인
← 전체 용어사전 보기