Gerador de Robôs.txt

Um gerador de robôs.txt cria o arquivo de texto simples que fica na raiz do seu domínio e informa aos rastreadores quais partes do seu site podem buscar. O formato parece simples - uma linha `user-agent:` seguida por `permitir:` e `disallow:` regras - mas as regras de detalhes se aplicam apenas dentro de um grupo, os caminhos devem começar com uma barra, `*` e `$` se comportam de maneiras específicas e uma única dispersão `disallow: /` em `user-agent: *` pode puxar um site inteiro fora do google. Esta ferramenta cria o arquivo a partir de um formulário estruturado, de modo que a sintaxe é correta por construção.

Ele faz três trabalhos além da geração Ele tolda o arquivo que constrói e sinaliza as armas de pé reais: caminhos relativos, um `Disallow nu:` that silently means "permite tudo", URLs de mapa do site que não são absolutos, um Crawl-delay e blocos de cobertor muito altos, e observa quando um rastreador é dividido em dois grupos Ele analisa um robots.txt existente de volta em grupos editáveis, para que você possa colar o que está ao vivo hoje e corrigi-lo E testa uma URL contra suas regras com a mesma precedência de partida mais longa que os rastreadores reais usam - o padrão de correspondência mais específico ganha, Permite batidas Desligar em laços e grupos nomeando o mesmo rastreador são combinados - para que você possa provar que uma página está acessível antes de implantar.

Como um gerador de arquivos robots.txt, a página abre em um exemplo trabalhado O agente-usuário `User-agent: *` group disallows /admin/, /cart and /*?sessionid= and allow /admin/public/, and a second group recus GPTBot, ClaudeBot and CCBot with `Disallow: /`. Test /admin/public/style.css as Googlebot and the result is Allowed, porque ` Permit: /admin/public/` is the long matching rule. Mude o caminho para/admin/settings and it flips to Disallowed by `Disallow: /admin/`. The validator shows one warning, confirming the `Disallow: /` is mean for those three robots.txt generager needs signup.

Uma coisa que vale a pena afirmar claramente: o Robots.txt controla o rastreamento, não a indexação, e não é um limite de segurança. Um URL bloqueado ainda pode aparecer nos resultados da pesquisa se outras páginas se conectarem a ele, porque o Google pode indexar um URL que nunca foi buscado. Para manter uma página fora do índice, você precisa de uma metatag `noindex` ou de um cabeçalho X-robots-tag - que o rastreador só pode ver se é permitido buscar a página. E o arquivo é público: qualquer pessoa pode ler o seu em /robots.txt, então, anuncie um diretório secreto aí o anuncia. Use a autenticação para qualquer coisa privada.