什麼是 robots.txt 產生器？
robots.txt 產生器建構位於您網域根目錄的純文字檔案，並告訴爬蟲他們可能取得的網站的哪些部分。 格式看起來很簡單 - 一個 `user-agent:` 行，後面跟著 `allow:` 和 `disallow:` 規則 - 但細節 bit: 規則只適用於群組，路徑必須以斜線、`*` 和 `$` 以特定方式開始，並且在 `user-agent: *` 下可以將整個網站拉出 Google 之外。 此工具從結構化表單建構檔案，因此語法透過結構進行正確。
它做著超越世代的三項工作。它連結它建立的檔案並標記真正的足球槍:相對路徑,一個裸露的`Disallow:` that silently means "allow everything", sitemap URL that is not absolute, a very high Crawl-delay and clayet blocks, and notes when one crawler is splited分成兩組。它將現有的機器人。txt 解析回可編輯的群組,這樣您就可以貼上今天動態的內容並修復它。它根據您的規則測試 URL,並使用與真實爬蟲相同的最長匹配優先級 - 最具體的匹配模式獲勝,允許擊敗不允許平局,以及命名相同爬蟲的群組被組合 - 這樣您就可以證明頁面在部署之前可以訪問。
作為 robots。txt 檔案產生器,頁面在工作範例上開啟。 `User-agent: *` group disallow /admin/, /cart and /*?sessionid= 並允許 /admin/public/,第二個群組拒絕 GPTBot、ClaudeBot 和 CCBot with `Disallow: /`。將/admin/public/style。css 測試為 Googlebot,結果為允許,因為 `Allow: /admin/public/` 是最長的匹配規則。將路徑變更為/admin/settings,然後翻轉為 “Disallow” “Admin/`”。驗證器顯示一個警告,確認 “Disallow”: /` is imply for this three crawler。這個免費的機器人。txt 產生器不需要註冊。
值得簡單陳述的一件事：robots.txt 控制爬行，而不是索引，它不是安全邊界。 如果其他頁面連結到它，則阻止的 URL 仍然可以出現在搜尋結果中，因為 Google 可以索引它從未取得的 URL。 要將頁面排除在索引之外，您需要一個 `noindex` 元標記或 X-robots-tag 標題 - 爬蟲只能查看是否允許取出頁面。 該文件是公開的：任何人都可以在 /robots.txt 上閱讀您的文件，因此在那裡列出秘密目錄會做廣告。 對任何私有的使用身份驗證。
如何使用 robots.txt 產生器？
從預設開始或貼上您目前的文件
選擇預設 - 允許一切，阻止一切，WordPress，Shopify，Next.js 或 Block AI 爬蟲 - 一鍵填寫表單，或粘貼您的 Live Robots.txt 並讓該工具將其解析回可編輯的群組。
建立您的使用者代理群組
每個爬蟲或一組爬蟲添加一個群組，從已知的機器人清單中選擇或鍵入一個令牌。 給每個組別不允許和允許路徑，如果您瞄準的引擎 Honour 一號，則為 Crawl-Delay 提供。
新增網站地圖並閱讀驗證器
新增一個或多個絕對網站地圖 URL。驗證器在每次擊鍵時運行,並報告錯誤、警告和註釋,並在一行出現故障時使用行號。在發貨前修復任何紅色內容,並替換預設輸入的 example。com 網站地圖 URL。
測試 URL，然後複製或下載
輸入路徑和使用者代理以查看允許或不允許的規則以及確切的規則決定了它。 當它按照您的預期方式行事時，請複製檔案或下載 robots.txt 並將其上傳到您的網域根。
主要特點
真正的最長匹配的 URL 測試儀
使用 RFC 9309 優先權對任何用戶代理測試任何路徑 - 最長的匹配模式獲勝，允許斷線 - 並命名決定它的確切規則
內建驗證器
捕獲相對路徑、空的禁止和允許行、非絕對網站地圖 URL、超過 30 秒的爬行延遲以及禁止:/這將使您的網站從搜尋中刪除
一鍵預設
允許一切，阻止一切，wordpress，shopify，next.js 和 block ai crawlers 每個都用一個明智的、正確的起點填滿整個表單
人工智慧爬蟲控制
Block GPTBot、Claudebot、PerplexityBot、CCBot、Google 擴展、Bytespider 和 Anthropic-AI，同時讓搜尋引擎充分歡迎
Frequently Asked Questions
Related Tools
Hreflang Generator
Free hreflang generator for multilingual and multi-region sites - build hreflang tags as HTML link tags, XML sitemap entries, or an HTTP header. Validates codes and x-default. Runs client-side.
htaccess Redirect Generator
Generate Apache .htaccess 301 and 302 redirect rules from a list of old-to-new URLs, plus force-HTTPS and www canonicalization directives, all in the browser.
Domain Search
Check one name across dozens of TLDs at once. RDAP first, WHOIS fallback, and a verdict of available, taken or unknown, never a guess
Maps Scraper
Pull business listings for any search and place: name, address, category, rating, review count, phone and website, deduplicated and exportable as CSV.
Comments
0 comments
No comments yet. Be the first to share your thoughts!