User-agent: * Disallow: /admin/ Disallow: /cart Disallow: /*?sessionid= Allow: /admin/public/ User-agent: GPTBot User-agent: ClaudeBot User-agent: CCBot Disallow: / Sitemap: https://example.com/sitemap.xml
Upload this to the root of your domain so it is served at /robots.txt.
The longest matching path pattern wins, and Allow beats Disallow on a tie — the same precedence real crawlers use.
Click Block to add a group that refuses a crawler outright. Compliance is voluntary — this stops cooperative bots, not scrapers.
| Token | What it is | Action |
|---|---|---|
| Googlebot | Google Search's main web crawler. Blocking it removes you from Google over time. | |
| Googlebot-Image | Crawls images for Google Images. Block it to keep photos out of image search. | |
| Bingbot | Microsoft Bing's crawler. Also feeds Bing-powered results in other products. | |
| DuckDuckBot | DuckDuckGo's own crawler for its instant answers and index. | |
| Baiduspider | Baidu's crawler, the dominant search engine in China. | |
| YandexBot | Yandex's crawler, the leading search engine in Russia. | |
| Slurp | Yahoo's legacy crawler. Still used for some Yahoo verticals. | |
| Applebot | Apple's crawler, powering Siri and Spotlight Suggestions. | |
| Twitterbot | Fetches link preview cards for X/Twitter. Blocking it kills your share previews. | |
| facebookexternalhit | Fetches Open Graph previews for Facebook, Messenger, and WhatsApp. | |
| GPTBotAI | OpenAI's crawler that collects public web content used to train its models. | |
| ClaudeBotAI | Anthropic's crawler for gathering training data for Claude. | |
| PerplexityBotAI | Perplexity's crawler, used to index pages its answer engine cites. | |
| CCBotAI | Common Crawl's bot. Its public corpus is a common source of AI training data. | |
| Google-ExtendedAI | Controls whether Google may use your content for Gemini and Vertex AI training. It does not affect Google Search ranking or indexing. | |
| BytespiderAI | ByteDance's crawler, associated with TikTok and its AI products. | |
| anthropic-aiAI | Legacy Anthropic token. Harmless to keep alongside ClaudeBot for older references. |
Un generatore robots.txt crea il file di testo in chiaro che si trova alla radice del tuo dominio e indica ai crawler quali parti del tuo sito possono recuperare. Il formato sembra semplice - una riga "user-agent:" seguita da regole `consenti:` e `disallow:` — ma i dettagli mordono: le regole si applicano solo all'interno di un gruppo, i percorsi devono iniziare con una barra, `*` e `$` comportarsi in modi specifici e un singolo `disallow: /` sotto `user-agent: *` può estrarre un intero sito da Google. Questo strumento crea il file da un modulo strutturato in modo che la sintassi sia corretta per costruzione.
Fa tre lavori oltre la generazione. Lancia il tuo file e segnala i veri pistole: regole che fluttuano al di fuori di qualsiasi gruppo, percorsi relativi, un 'non consentire:' che significa silenziosamente "consenti tutto", URL della mappa del sito che non siano assoluti, direttive sconosciute e blocchi di coperta. Analizza un robots.txt esistente in gruppi modificabili, in modo da poter incollare ciò che è live oggi e risolverlo. E verifica un URL rispetto alle tue regole con la stessa precedenza che i crawlers di corrispondenza più lunga usano - il modello di corrispondenza più specifico vince e consente i battiti non consentiti sui pareggi - in modo da poter dimostrare che una pagina è raggiungibile prima di distribuire.
Una cosa che vale la pena affermare chiaramente: robots.txt controlla la scansione, non l'indicizzazione e non è un confine di sicurezza. Un URL bloccato può ancora apparire nei risultati di ricerca se altre pagine si collegano ad esso, perché Google può indicizzare un URL che non ha mai recuperato. Per mantenere una pagina fuori dall'indice è necessario un meta tag `noindex` o un'intestazione di tag x-robots, che il crawler può vedere solo se è consentito recuperare la pagina. E il file è pubblico: chiunque può leggere il tuo su /robots.txt, quindi elencare una directory segreta lo pubblicizza lì. Usa l'autenticazione per qualsiasi cosa privata.
Scegli un preset - Consenti tutto, blocca tutto, WordPress, Shopify, Next.js o Blocca i crawler AI - per compilare il modulo in un clic o incolla il tuo Live Robots.txt e lascia che lo strumento lo ripartisca in gruppi modificabili.
Aggiungi un gruppo per crawler o un set di crawler, scegliendo dall'elenco dei bot conosciuti o digitando un token. Assegna a ciascun gruppo il suo disabilita e consenti i percorsi e un ritardo di scansione se il motore che stai prendendo di mira ne onora uno.
Aggiungi uno o più URL della mappa del sito assoluti. Il validatore viene eseguito su ogni sequenza di tasti e segnala errori, avvisi e note con numeri di riga: correggi qualsiasi cosa rossa prima della spedizione.
Inserisci un percorso e un agente utente per vedere consentito o non consentito e esattamente quale regola l'ha deciso. Quando si comporta come ti aspetti, copia il file o scarica robots.txt e caricalo nella radice del tuo dominio.
Verifica qualsiasi percorso contro qualsiasi agente utente che utilizza la precedenza RFC 9309 - il modello di corrispondenza più lungo vince, consente interruzioni di pareggio - e nomina la regola esatta che l'ha deciso
Cattura le regole al di fuori di un gruppo, percorsi relativi, linee di non allow vuote, URL della mappa del sito non assoluti, direttive sconosciute e un disabilitante generale: / che disinnegherebbe il tuo sito
Consenti tutto, blocca tutto, WordPress, Shopify, Next.js e Block AI Crawlers riempiono l'intero modulo con un punto di partenza sensato e corretto
Blocca GptBot, Claudebot, PerplexityBot, CCBot, Google Extended, Bytespider e Anthropic-A in un click mantenendo i motori di ricerca benvenuti
Generate SEO, Open Graph, and Twitter Card meta tags for any page, with live preview and length checks
Preview how your link will look on Facebook, X, LinkedIn, Slack, and Discord, validate your og: tags, and copy a correct meta block
Turn any title or text into a clean, SEO-friendly URL slug — with accent transliteration, hyphen or underscore separators, stop-word removal, and batch mode.
0 comments
No comments yet. Be the first to share your thoughts!