써치킴의 우당탕탕 개발 블로그

robot.txt웹사이트에 웹 크롤러같은 로봇들의 접근을 제어하기 위한 규약웹사이트에서 크롤링하며 정보를 수집하는 검색엔진 크롤러(or 검색로봇)가 액세스하거나 정보수집을 해도 되는 페이지가 무엇인지, 안되는 페이지가 무엇인지 알려주는 역할을 하는 txt 파일크롤링웹페이지의 내용을 가져오는 것. 스크래핑(Scraping)이라고도 한다.robot.txt 작성[기본 형식]User-agent: *Disallow: /forbidden/User-agent: robots.txt에서 지정하는 크롤링 규칙이 적용되어야 할 크롤러를 지정Allow: 크롤링을 허용할 경로 (/ 부터의 상대 경로).Disallow: 크롤링을 제한할 경로 (/ 부터의 상대 경로).Sitemap: 사이트맵이 위치한 경로의 전체 URL (http..