User-agent: * Disallow: /admin/ Disallow: /cart Disallow: /*?sessionid= Allow: /admin/public/ User-agent: GPTBot User-agent: ClaudeBot User-agent: CCBot Disallow: / Sitemap: https://example.com/sitemap.xml
Upload this to the root of your domain so it is served at /robots.txt.
The longest matching path pattern wins, and Allow beats Disallow on a tie — the same precedence real crawlers use.
Click Block to add a group that refuses a crawler outright. Compliance is voluntary — this stops cooperative bots, not scrapers.
| Token | What it is | Action |
|---|---|---|
| Googlebot | Google Search's main web crawler. Blocking it removes you from Google over time. | |
| Googlebot-Image | Crawls images for Google Images. Block it to keep photos out of image search. | |
| Bingbot | Microsoft Bing's crawler. Also feeds Bing-powered results in other products. | |
| DuckDuckBot | DuckDuckGo's own crawler for its instant answers and index. | |
| Baiduspider | Baidu's crawler, the dominant search engine in China. | |
| YandexBot | Yandex's crawler, the leading search engine in Russia. | |
| Slurp | Yahoo's legacy crawler. Still used for some Yahoo verticals. | |
| Applebot | Apple's crawler, powering Siri and Spotlight Suggestions. | |
| Twitterbot | Fetches link preview cards for X/Twitter. Blocking it kills your share previews. | |
| facebookexternalhit | Fetches Open Graph previews for Facebook, Messenger, and WhatsApp. | |
| GPTBotAI | OpenAI's crawler that collects public web content used to train its models. | |
| ClaudeBotAI | Anthropic's crawler for gathering training data for Claude. | |
| PerplexityBotAI | Perplexity's crawler, used to index pages its answer engine cites. | |
| CCBotAI | Common Crawl's bot. Its public corpus is a common source of AI training data. | |
| Google-ExtendedAI | Controls whether Google may use your content for Gemini and Vertex AI training. It does not affect Google Search ranking or indexing. | |
| BytespiderAI | ByteDance's crawler, associated with TikTok and its AI products. | |
| anthropic-aiAI | Legacy Anthropic token. Harmless to keep alongside ClaudeBot for older references. |
Un générateur robots.txt construit le fichier en texte brut qui se trouve à la racine de votre domaine et indique aux robots d'exploration quelles parties de votre site peuvent récupérer. Le format semble simple - une ligne "user-agent:` suivi de "autoriser :` et "désallow :" - mais les détails mordent : les règles ne s'appliquent qu'à l'intérieur d'un groupe, les chemins doivent commencer par un slash, `*` et `$` se comportent de manière spécifique, et un seul errant errant : /` sous `user-agent : *` peut extraire un site entier de Google. Cet outil construit le fichier à partir d'une forme structurée afin que la syntaxe soit correcte par construction.
Il effectue trois emplois au-delà de la génération. Il associe votre fichier et signale les véritables pieds de marche : des règles flottant en dehors de tout groupe, chemins relatifs, un "désautoriser" :" qui signifie silencieusement "autoriser tout", les URL de plan de site qui ne sont pas des directives absolues, inconnues et des blocs de couverture. Il analyse un robots.txt existant dans des groupes modifiables, afin que vous puissiez coller ce qui est en direct aujourd'hui et le réparer. Et il teste une URL par rapport à vos règles avec la même préséance de précédents les plus longues que les véritables robots d'exploration utilisent - le modèle de correspondance le plus spécifique gagne, et autorise les battements à interdire les liens - afin que vous puissiez prouver qu'une page est accessible avant de vous déployer.
Une chose qui vaut la peine d'être dite clairement : robots.txt contrôle l'exploration, pas l'indexation, et ce n'est pas une limite de sécurité. Une URL bloquée peut toujours apparaître dans les résultats de recherche si d'autres pages lui sont liées, car Google peut indexer une URL qu'il n'a jamais récupérée. Pour garder une page hors de l'index, vous avez besoin d'une balise méta `noindex` ou d'un en-tête de balise x-robots - que le robot d'exploration ne peut voir que s'il est autorisé à récupérer la page. Et le fichier est public : n'importe qui peut lire le vôtre sur /robots.txt, donc la liste d'un répertoire secret y fait la publicité. Utilisez l'authentification pour tout ce qui est privé.
Choisissez un préréglage – autorisez tout, bloquez tout, WordPress, Shopify, Next.js ou bloquez les robots d'intelligence artificielle – pour remplir le formulaire en un clic, ou coller votre robot.txt et laisser l'outil réanalyser dans des groupes modifiables.
Ajoutez un groupe par robot ou un ensemble de robots d'exploration, en choisissant dans la liste des bots connus ou en tapant un jeton. Donnez à chaque groupe son refus et autorisez les chemins, et un retard de crawl si le moteur que vous ciblez en est un.
Ajoutez une ou plusieurs URL absolues du sitemap. Le validateur s'exécute sur chaque frappe et signale les erreurs, les avertissements et les notes avec des numéros de ligne. Corrigez tout ce qui est rouge avant d'expédier.
Entrez un chemin et un agent utilisateur pour voir autorisé ou non et exactement quelle règle l'a décidé. Lorsqu'il se comporte comme vous l'attendez, copiez le fichier ou téléchargez robots.txt et téléchargez-le sur la racine de votre domaine.
Teste n'importe quel chemin par rapport à n'importe quel agent utilisateur à l'aide de la priorité RFC 9309 - le modèle de correspondance le plus long gagne, autorise les liens de rupture - et nomme la règle exacte qui l'a décidé.
Attrape les règles en dehors d'un groupe, les chemins relatifs, les lignes de refus vides, les URL de plan de site non absolues, les directives inconnues et une interruption de la demande : / qui désindexerait votre site
Autorisez tout, bloquez tout, WordPress, Shopify, Next.js et bloquez les robots d'intelligence artificielle remplissent chacun le formulaire avec un point de départ raisonnable et correct.
Bloquer GPTBOT, ClaudeBot, PerplexityBot, CCBOT, Google-Extended, ByTespider et Anthropic-AI en un clic tout en gardant les moteurs de recherche pleinement les bienvenus
Generate SEO, Open Graph, and Twitter Card meta tags for any page, with live preview and length checks
Preview how your link will look on Facebook, X, LinkedIn, Slack, and Discord, validate your og: tags, and copy a correct meta block
Turn any title or text into a clean, SEO-friendly URL slug — with accent transliteration, hyphen or underscore separators, stop-word removal, and batch mode.
0 comments
No comments yet. Be the first to share your thoughts!