Gerador de Robôs.txt

Um gerador de robôs.txt cria o arquivo de texto simples que fica na raiz do seu domínio e informa aos rastreadores quais partes do seu site podem buscar. O formato parece simples - uma linha `user-agent:` seguida por `permitir:` e `disallow:` regras - mas as regras de detalhes se aplicam apenas dentro de um grupo, os caminhos devem começar com uma barra, `*` e `$` se comportam de maneiras específicas e uma única dispersão `disallow: /` em `user-agent: *` pode puxar um site inteiro fora do google. Esta ferramenta cria o arquivo a partir de um formulário estruturado, de modo que a sintaxe é correta por construção.

Ele faz três trabalhos além da geração. Ele clareia seu arquivo e sinaliza as armas reais: regras que flutuam fora de qualquer grupo, caminhos relativos, um 'disallow:` que silenciosamente significa "permitir tudo", URLs de mapa do site que não são diretivas desconhecidas absolutas e blocos de cobertor. Ele analisa um robots.txt existente de volta em grupos editáveis, para que você possa colar o que está ao vivo hoje e corrigi-lo. E testa uma URL em relação às suas regras com a mesma precedência de correspondência mais longa que os rastreadores reais usam - o padrão de correspondência mais específico vence e permite que as batidas desautorizem em gravatas - para que você possa provar que uma página pode ser acessada antes de implantar.

Uma coisa que vale a pena afirmar claramente: o Robots.txt controla o rastreamento, não a indexação, e não é um limite de segurança. Um URL bloqueado ainda pode aparecer nos resultados da pesquisa se outras páginas se conectarem a ele, porque o Google pode indexar um URL que nunca foi buscado. Para manter uma página fora do índice, você precisa de uma metatag `noindex` ou de um cabeçalho X-robots-tag - que o rastreador só pode ver se é permitido buscar a página. E o arquivo é público: qualquer pessoa pode ler o seu em /robots.txt, então, anuncie um diretório secreto aí o anuncia. Use a autenticação para qualquer coisa privada.