robots.txt 파일은 웹사이트의 루트 디렉토리에 위치해야 하며, 검색 엔진 크롤러가 사이트를 크롤링할 때 어떤 부분을 크롤링해야 하고 어떤 부분을 피해야 하는지 지시하는 역할을 합니다. 사이트 관리자는 이 파일을 통해 특정 URL을 검색 엔진에서 차단하거나 크롤링 속도를 조절하는 등의 지시를 할 수 있고, 크롤링을 원하는 사람들은 원하는 페이지의 크롤링 허용여부를 확인할 수 있습니다. robots.txt 파일 작성법 모든 크롤러 차단 User-agent: * Disallow: / 모든 검색 엔진 크롤러가 사이트의 모든 부분에 접근하는 것을 차단합니다. 특정 크롤러 차단 User-agent: Googlebot Disallow: / 구글의 크롤러만 사이트 전체에 접근하는 것을 차단합니다. 특정 섹션(디..