User-agent: * Disallow: /admin/ Disallow: /cart Disallow: /*?sessionid= Allow: /admin/public/ User-agent: GPTBot User-agent: ClaudeBot User-agent: CCBot Disallow: / Sitemap: https://example.com/sitemap.xml
Upload this to the root of your domain so it is served at /robots.txt.
The longest matching path pattern wins, and Allow beats Disallow on a tie — the same precedence real crawlers use.
Click Block to add a group that refuses a crawler outright. Compliance is voluntary — this stops cooperative bots, not scrapers.
| Token | What it is | Action |
|---|---|---|
| Googlebot | Google Search's main web crawler. Blocking it removes you from Google over time. | |
| Googlebot-Image | Crawls images for Google Images. Block it to keep photos out of image search. | |
| Bingbot | Microsoft Bing's crawler. Also feeds Bing-powered results in other products. | |
| DuckDuckBot | DuckDuckGo's own crawler for its instant answers and index. | |
| Baiduspider | Baidu's crawler, the dominant search engine in China. | |
| YandexBot | Yandex's crawler, the leading search engine in Russia. | |
| Slurp | Yahoo's legacy crawler. Still used for some Yahoo verticals. | |
| Applebot | Apple's crawler, powering Siri and Spotlight Suggestions. | |
| Twitterbot | Fetches link preview cards for X/Twitter. Blocking it kills your share previews. | |
| facebookexternalhit | Fetches Open Graph previews for Facebook, Messenger, and WhatsApp. | |
| GPTBotAI | OpenAI's crawler that collects public web content used to train its models. | |
| ClaudeBotAI | Anthropic's crawler for gathering training data for Claude. | |
| PerplexityBotAI | Perplexity's crawler, used to index pages its answer engine cites. | |
| CCBotAI | Common Crawl's bot. Its public corpus is a common source of AI training data. | |
| Google-ExtendedAI | Controls whether Google may use your content for Gemini and Vertex AI training. It does not affect Google Search ranking or indexing. | |
| BytespiderAI | ByteDance's crawler, associated with TikTok and its AI products. | |
| anthropic-aiAI | Legacy Anthropic token. Harmless to keep alongside ClaudeBot for older references. |
Ein Robots.txt-Generator erstellt die Klartextdatei, die sich an der Wurzel Ihrer Domain befindet und den Crawlern mitteilt, welche Teile Ihrer Website sie abrufen können. Das Format sieht einfach aus - eine "Benutzeragentur:" Linie, gefolgt von "Zulassen:" und "Disallow:" -Regeln - aber die Details, die nur innerhalb einer Gruppe gelten, müssen mit einem Schrägstrich beginnen, "*" und "$" verhalten sich auf bestimmte Weise, und ein einzelner Streut "Verleumdung: /" unter "Benutzeragent: *" kann eine ganze Seite aus Google ziehen. Dieses Tool erstellt die Datei aus einer strukturierten Form, sodass die Syntax durch Konstruktion korrekt ist.
Es erledigt drei Jobs über die Generation hinaus. Es fließt Ihre Datei und markiert die echten Fußwaffen: Regeln, die außerhalb einer Gruppe schweben, relative Pfade, ein bloßes "Disallow:" bedeutet "alles zulassen", Sitemap-URLs, die nicht absolut sind, unbekannte Direktiven und Blöcke. Es analysiert eine vorhandene robots.txt in bearbeitbare Gruppen, sodass Sie das, was heute live ist, einfügen und beheben. Und es testet eine URL gegen Ihre Regeln mit der gleichen Verwendung von echten Crawlern mit der höchsten Übereinstimmung - das spezifischste übereinstimmende Muster gewinnt und lässt Beats bei der Bindung nicht zu. Damit können Sie beweisen, dass eine Seite vor der Bereitstellung erreichbar ist.
Eine Sache, die es wert ist, klar zu sagen: robots.txt steuert das Kriechfahren, nicht das Indexieren, und es ist keine Sicherheitsgrenze. Eine blockierte URL kann in den Suchergebnissen weiterhin angezeigt werden, wenn andere Seiten darauf verlinken, da Google eine URL indizieren kann, die er noch nie abgerufen hat. Um eine Seite aus dem Index herauszuhalten, benötigen Sie ein `noindex` Meta-Tag oder einen X-Robots-Tag-Header. Der Crawler kann nur sehen, ob er die Seite abrufen darf. Und die Datei ist öffentlich: Jeder kann Ihre unter /robots.txt lesen, also werben Sie dort ein geheimes Verzeichnis an. Verwenden Sie die Authentifizierung für alles private.
Wählen Sie eine Voreinstellung - alles zulassen, alles blockieren, WordPress, Shopify, Next.js oder Block AI-Crawler -, um das Formular mit einem Klick auszufüllen oder fügen Sie Ihre Live Robots.txt ein und lassen Sie es vom Tool zurück in bearbeitbare Gruppen.
Fügen Sie eine Gruppe pro Crawler oder eine Gruppe von Crawlern hinzu, wählen Sie aus der bekannten Bot-Liste oder geben Sie einen Token ein. Geben Sie jeder Gruppe ihre Verbots- und Erlaubnispfade und eine Kriechverzögerung, wenn der Motor, den Sie anvisieren, eine Ehre erweist.
Fügen Sie eine oder mehrere absolute Sitemap-URLs hinzu. Der Validator läuft bei jedem Tastendruck und meldet Fehler, Warnungen und Notizen mit Zeilennummern - Korrigieren Sie alles, was Sie vor dem Versand rot haben.
Geben Sie einen Pfad und einen Benutzeragenten ein, um zulässig oder nicht zulässig zu sehen und welche Regel es genau entschieden hat. Wenn es sich so verhält, wie Sie es erwarten, kopieren Sie die Datei oder laden Sie sie herunter.
Testet jeden Pfad gegen jeden Benutzeragenten mit der Vorrangigkeit von RFC 9309 - das längste übereinstimmende Muster gewinnt, lässt Bindungen zu, und benennt die genaue Regel, die es entschieden hat
Fängt Regeln außerhalb einer Gruppe, relative Pfade, leere Zeilen, nicht zulassen, nicht absolute Sitemap-URLs, unbekannte Direktiven und eine pauschale Nichtzulassen: / Das würde Ihre Website deindexen
Alles zulassen, alles blockieren, WordPress, Shopify, Next.js und Block-AI-Crawler füllen das gesamte Formular mit einem vernünftigen, korrekten Startpunkt aus
Blockieren Sie GPTBot, Claudebot, PerplexityBot, CCbot, Google-Extended, ByteSpider und Anthropic-AI mit einem Klick, während Suchmaschinen vollständig willkommen sind
Generate SEO, Open Graph, and Twitter Card meta tags for any page, with live preview and length checks
Preview how your link will look on Facebook, X, LinkedIn, Slack, and Discord, validate your og: tags, and copy a correct meta block
Turn any title or text into a clean, SEO-friendly URL slug — with accent transliteration, hyphen or underscore separators, stop-word removal, and batch mode.
0 comments
No comments yet. Be the first to share your thoughts!