robots.txt 생성기
User-agent별 허용·차단과 사이트맵 위치를 넣어 robots.txt를 바로 생성
도구를 불러오는 중…
🔒 이 도구는 100% 브라우저에서 처리됩니다. 업로드한 파일과 입력한 내용은 서버로 전송되지 않습니다.
검색엔진 크롤러에게 어떤 경로를 허용하고 막을지 알려 주는 robots.txt 파일을 클릭 몇 번으로 만드는 도구입니다. User-agent 그룹별 Allow·Disallow 규칙과 Sitemap 위치를 입력하면 표준 형식의 파일을 즉시 생성하고 다운로드할 수 있습니다.
사용 방법
- '전체 허용·전체 차단' 프리셋으로 시작하거나 직접 규칙을 입력합니다.
- User-agent를 정하고 Disallow·Allow 경로를 한 줄에 하나씩 적습니다.
- 필요하면 그룹을 추가하고 Sitemap URL을 한 줄에 하나씩 넣습니다.
- 'robots.txt 복사'나 '파일 다운로드'로 결과를 가져옵니다.
자주 묻는 질문
- 입력한 경로가 서버로 전송되나요?
- 아니요. 규칙 입력과 robots.txt 생성이 전부 브라우저 안에서만 이뤄지며, 어떤 경로나 URL도 서버로 전송하거나 저장하지 않습니다.
- 만든 파일은 어디에 올려야 하나요?
- 반드시 사이트 최상위 경로에 robots.txt 라는 이름으로 올려야 합니다. 예: https://example.com/robots.txt. 하위 폴더에 두면 검색엔진이 인식하지 못합니다.
- Disallow 하면 검색결과에서 완전히 사라지나요?
- 아니요. Disallow는 크롤링(방문)을 자제해 달라는 안내일 뿐 색인 자체를 막지는 않습니다. 검색결과에서 확실히 빼려면 해당 페이지에 noindex 메타태그를 쓰거나 접근을 인증으로 보호해야 합니다.