robots.txt 產生器

robots.txt 產生器建構位於您網域根目錄的純文字檔案，並告訴爬蟲他們可能取得的網站的哪些部分。 格式看起來很簡單 - 一個 `user-agent:` 行，後面跟著 `allow:` 和 `disallow:` 規則 - 但細節 bit: 規則只適用於群組，路徑必須以斜線、`*` 和 `$` 以特定方式開始，並且在 `user-agent: *` 下可以將整個網站拉出 Google 之外。 此工具從結構化表單建構檔案，因此語法透過結構進行正確。

它做了三項以外的工作。 它掛牌並標記真正的足球：規則漂浮在任何群組之外，相對路徑，一個裸露的“不允許：”靜默意味著“允許一切”，不是絕對的網站地圖 URL，未知指令，以及毯子塊。 它將現有的 robots.txt 解析為可編輯的群組，因此您可以貼上今天的即時內容並修復它。 它使用與真實爬蟲相同的最長優先級來測試您的規則 - 最具體的匹配模式獲勝，並允許在 tie 上禁止使用節拍 - 這樣您就可以在部署之前證明頁面是可訪問的。

值得簡單陳述的一件事：robots.txt 控制爬行，而不是索引，它不是安全邊界。 如果其他頁面連結到它，則阻止的 URL 仍然可以出現在搜尋結果中，因為 Google 可以索引它從未取得的 URL。 要將頁面排除在索引之外，您需要一個 `noindex` 元標記或 X-robots-tag 標題 - 爬蟲只能查看是否允許取出頁面。 該文件是公開的：任何人都可以在 /robots.txt 上閱讀您的文件，因此在那裡列出秘密目錄會做廣告。 對任何私有的使用身份驗證。