什么是 robots.txt 生成器？
robots.txt 生成器构建位于您的域根的纯文本文件，并告诉爬虫他们可能获取的网站的哪些部分。 格式看起来很简单 - 一个 `user-agent:` 行，后面跟着`allow:` 和 `disallow:` 规则——但细节咬合：规则只适用于组内，路径必须以斜杠、`*` 和 `$` 以特定方式开始，并且单一的流浪 `disallow: /` 下 `user-agent: ` 下的 /` 下 `user-agent: ` 可以将整个站点从 Google 中拉出。 该工具从结构化表单构建文件，因此语法通过构造是正确的。
它做了三个超越世代的工作。它将构建的文件中列出并标记真实的脚枪:相对路径、裸露的`Disallow:`默默地表示"允许一切",非绝对的站点地图 URL、非常高的爬虫延迟和毯子块,以及当一个爬虫被分成两组时记录。它将现有的 robots。txt 解析回可编辑的组,因此您可以粘贴今天的 live 并修复它。它会根据您的规则测试一个 URL,并具有相同的最长匹配优先级真实爬虫使用 - 最具体的匹配模式获胜,允许节拍不允许并组合使用相同的爬虫命名组 - 因此您可以在部署之前证明页面是可到达的。
作为 robots。txt 文件生成器,页面打开一个工作示例。`User-agent: *`group disallows /admin/,/cart and /*?sessionid= and allows /admin/public/,第二个组拒绝 GPTBot、ClaudeBot 和 CCBot with`Disallow:/`。将/admin/public/style。css 测试为 Googlebot,结果是允许的,因为`Alow:/admin/public/`是最长的匹配规则。将路径更改为/admin/settings,然后翻转为 Disallow by`Disallow:/admin/`。验证器显示一个警告,确认`Disallow:/`是针对那三个爬虫的。这个免费的robots。txt生成器不需要注册。
值得一提的是： robots.txt 控制爬行，而不是索引，它不是安全边界。 如果其他网页链接到该网页，则仍会显示阻止的网址，因为 Google 可以将其从未获取的网址编入索引。 要将页面排除在索引之外，您需要一个 `noindex` 元标记或一个 x-robots-tag 标头 - 爬网程序只能看到它是否被允许获取页面。 并且该文件是公开的：任何人都可以在 /robots.txt 中读取您的文件，因此列出了一个秘密目录在其中进行广告。 对任何私有的东西使用身份验证。
如何使用 robots.txt 生成器？
从预设或粘贴当前文件开始
选择一个预设 - 允许所有内容，阻止所有内容，WordPress，Shopify，Next.js 或 Block AI 爬虫 - 一键填写表单，或粘贴您的实时 robots.txt 并让工具将其解析回可编辑的组中。
建立您的用户代理组
每个抓取工具或一组爬网器添加一个组，从已知的机器人列表中进行选择或键入令牌。 给每组它的禁止和允许路径，如果你的引擎是你所针对的引擎，则进行爬行延迟。
添加站点地图并读取验证器
添加一个或多个绝对站点地图 URL。验证器在每次击键上运行并报告错误、警告和注释,并使用一行有故障的行号。在发货前修复任何红色内容,并替换预设中放入的示例。com 站点地图 URL。
测试 URL，然后复制或下载
输入路径和用户代理以查看允许或不允许以及确切的规则决定了它。 当它按照您期望的方式运行时，请复制文件或下载 robots.txt 并将其上传到您的域根。
主要特点
真正最长匹配的 URL 测试器
使用RFC 9309优先级测试任何用户代理的路径 - 最长的匹配模式获胜，允许断开联系 - 并命名决定它的确切规则
内置验证器
捕获相对路径、空禁止和允许行、非绝对站点地图 URL、超过 30 秒的抓取延迟以及毯子禁止:/这将使您的网站退出搜索
一键预设
允许所有内容，阻止所有内容，WordPress，Shopify，Next.js和Block AI爬虫，每个人都用一个明智的、正确的起点填满整个表格
AI 爬行器控制
一键阻止GPTBOT，Claudebot，PleprepleityBot，CCBOT，Google-Extended，Bytespider和Anthropic-AI，同时保持搜索引擎的全力欢迎
Frequently Asked Questions
Related Tools
Hreflang Generator
Free hreflang generator for multilingual and multi-region sites - build hreflang tags as HTML link tags, XML sitemap entries, or an HTTP header. Validates codes and x-default. Runs client-side.
htaccess Redirect Generator
Generate Apache .htaccess 301 and 302 redirect rules from a list of old-to-new URLs, plus force-HTTPS and www canonicalization directives, all in the browser.
Domain Search
Check one name across dozens of TLDs at once. RDAP first, WHOIS fallback, and a verdict of available, taken or unknown, never a guess
Maps Scraper
Pull business listings for any search and place: name, address, category, rating, review count, phone and website, deduplicated and exportable as CSV.
Comments
0 comments
No comments yet. Be the first to share your thoughts!