robots.txt 生成器

robots.txt 生成器构建位于您的域根的纯文本文件，并告诉爬虫他们可能获取的网站的哪些部分。 格式看起来很简单 - 一个 `user-agent:` 行，后面跟着`allow:` 和 `disallow:` 规则——但细节咬合：规则只适用于组内，路径必须以斜杠、`*` 和 `$` 以特定方式开始，并且单一的流浪 `disallow: /` 下 `user-agent: ` 下的 /` 下 `user-agent: ` 可以将整个站点从 Google 中拉出。 该工具从结构化表单构建文件，因此语法通过构造是正确的。

它完成了三项超出世代的工作。 它会将文件标记为真实的行列：浮动的规则，在任何组之外，相对路径，一个裸露的`disallow:`，它默默地表示“允许一切”，站点地图的URL不是绝对的，未知的指令和一揽子块。 它将现有的 robots.txt 解析为可编辑的组，因此您可以粘贴今天的实时内容并进行修复。 它会根据您的规则与真实爬虫使用的最长匹配优先级测试您的规则 - 最具体的匹配模式获胜，并允许在 TIE 上不允许节拍 - 这样您就可以在部署之前证明页面是可访问的。

值得一提的是： robots.txt 控制爬行，而不是索引，它不是安全边界。 如果其他网页链接到该网页，则仍会显示阻止的网址，因为 Google 可以将其从未获取的网址编入索引。 要将页面排除在索引之外，您需要一个 `noindex` 元标记或一个 x-robots-tag 标头 - 爬网程序只能看到它是否被允许获取页面。 并且该文件是公开的：任何人都可以在 /robots.txt 中读取您的文件，因此列出了一个秘密目录在其中进行广告。 对任何私有的东西使用身份验证。