robots.txt 생성기

robots.txt 생성기는 도메인의 루트에 있는 일반 텍스트 파일을 빌드하고 크롤러에게 사이트의 어떤 부분을 가져올 수 있는지 알려줍니다. 형식은 단순해 보입니다. `allow:` 및 `disallow:` 규칙이 뒤에 오는 `allow:` 및 `disallow:` 룰이 있습니다. 하지만 세부 사항은 그룹 내에서만 적용되며, 경로는 슬래시로 시작되어야 하며, `*`와 `$`는 특정 방식으로 `*`와 `$`로 시작해야 하며, `user-agent: *`에서 전체 사이트를 Google에서 가져올 수 있습니다. 이 도구는 구문이 구성에 의해 올바르도록 구조화된 형식으로 파일을 빌드합니다.

그것은 세대를 넘어 세 가지 작업을 수행합니다. 그것은 구축 파일을 lints 실제 footguns 플래그: 상대 경로, "모든 것을 허용"을 조용히 의미 베어 `Disallow:`, 절대적이지 사이트 맵 URL,매우 높은 크롤링 지연 및 담요 블록,그리고 하나의 크롤러가 두 그룹에 걸쳐 분할 될 때 메모를 다시 편집 가능한 그룹으로 기존의 robots.txt 구문 분석,그래서 당신은 오늘 라이브 무엇을 붙여 넣을 수 있습니다 그것을 수정합니다. 그리고 그것은 당신의 규칙에 대해 URL 을 테스트합니다 동일한 가장 긴 일치 우선 순위 실제 크롤러 사용 - 가장 구체적인 일치 패턴 승리,동점 비트를 허용,같은 크롤러를 명명 그룹이 결합 - 그래서 당신은 당신이 배포하기 전에 도달 할 수있는 페이지를 증명할 수 있습니다.

robots.txt 파일 생성기로서 페이지는 작업된 예에서 열립니다. `User-agent: *` group disallows /admin/, /cart and /*?sessionid= and allows /admin/public/, and a second group rejects GPTBot,ClaudeBot and CCBot with `Disallow: /`. Googlebot 으로 /admin/public/style.css 를 테스트하고 결과가 허용됩니다. 왜냐하면 `Allow: /admin/public/`이 가장 긴 일치 규칙이기 때문입니다. /admin/settings 로 경로를 변경하고 `Disallow: /admin/`로 뒤집힙니다. 유효성 검사기는 `Disallow: /`가 그 세 크롤러를위한 것입니다. 이 무료 robots.txt generator 는 가입이 필요하지 않습니다.

분명히 말할 가치가 있는 한 가지는 robots.txt가 인덱싱이 아닌 크롤링을 제어하며 보안 경계가 아닙니다. Google은 가져온 적이 없는 URL을 색인을 생성할 수 있기 때문에 차단된 URL이 다른 페이지에 연결되어 있는 경우에도 검색 결과에 계속 표시될 수 있습니다. 인덱스에서 페이지를 유지하려면 'noindex' 메타 태그 또는 X-Robots-tag 헤더가 필요합니다. 크롤러는 페이지를 가져올 수 있는 경우에만 볼 수 있습니다. 그리고 파일은 공개되어 있습니다. /robots.txt에서 누구나 당신의 파일을 읽을 수 있으므로 거기에 비밀 디렉토리를 나열하면 광고합니다. 비공개에 대해 인증을 사용하십시오.