Générateur robots.txt

Un générateur robots.txt construit le fichier en texte brut qui se trouve à la racine de votre domaine et indique aux robots d'exploration quelles parties de votre site peuvent récupérer. Le format semble simple - une ligne "user-agent:` suivi de "Autoriser :` et "désallow :" - mais les détails mordent : les règles ne s'appliquent qu'à l'intérieur d'un groupe, les chemins doivent commencer par un slash, `*` et `$` se comportent de manière spécifique, et un seul errant errant : /` sous `user-agent : *` peut extraire un site entier de Google. Cet outil construit le fichier à partir d'une forme structurée afin que la syntaxe soit correcte par construction.

Il fait trois travaux au-delà de la génération Il line le fichier qu'il construit et signale les vrais pistolets de pied : des chemins relatifs, un simple `Disallow :` that silently means « allow everything », des URL de sitemap qui ne sont pas absolues, un très haut Crawl-retard et des blocs de couverture, et des notes quand un robot d'exploration est divisé en deux groupes Il analyse un robot existant.txt de nouveau en groupes modifiables, afin que vous puissiez coller ce qui est en direct aujourd'hui et le corriger Et il teste une URL contre vos règles avec le même plus long-match précédent les vrais robots d'exploration utilisent - Autoriser les gains, Permettre.

En tant que générateur de fichiers robots.txt, la page s'ouvre sur un exemple travaillé Le groupe `User-agent : *` group disallows /admin/, /cart and /* ?sessionid= and allows /admin/public/, and a second group refuse GPTBot, ClaudeBot and CCBot with `Disallow : /admin/public/style.css as Googlebot and the result is Allow :/admin/public/` is the long long matching rule to /admin/`to Disallis/Dallowing these.D) these signers.

Une chose qui vaut la peine d'être dite clairement : robots.txt contrôle l'exploration, pas l'indexation, et ce n'est pas une limite de sécurité. Une URL bloquée peut toujours apparaître dans les résultats de recherche si d'autres pages lui sont liées, car Google peut indexer une URL qu'il n'a jamais récupérée. Pour garder une page hors de l'index, vous avez besoin d'une balise méta `noindex` ou d'un en-tête de balise x-robots - que le robot d'exploration ne peut voir que s'il est autorisé à récupérer la page. Et le fichier est public : n'importe qui peut lire le vôtre sur /robots.txt, donc la liste d'un répertoire secret y fait la publicité. Utilisez l'authentification pour tout ce qui est privé.