Googlebot 뜻: Google의 검색 크롤러

Google의 검색 크롤러

내 화면에서 사이트가 잘 보이더라도 Googlebot의 접근은 막혀 있을 수 있습니다. 서버 설정이나 접근 제한을 점검하는 이유가 여기에 있습니다. 손님에게 보이는 화면과 검색엔진이 받아본 내용을 함께 확인해야 할 때가 있습니다.

이어서 살펴볼 개념

접근 문제를 살펴볼 때는 크롤링, robots.txt, noindex의 역할을 구분해서 읽어보세요. 페이지를 가져오는 일과 검색에서 제외하도록 알리는 일을 나누어 볼 수 있습니다.