Robots.txt ジェネレーター

robots.txt ジェネレーターは、ドメインのルートにあるプレーンテキスト ファイルを構築し、サイトのどの部分をフェッチするかをクローラに知らせます。 `user-agent:` 行の後に `allow:` と `disallow:` ルールが続く ` ` ` ` ` と `disallow:` が続く ' 行のように見える ただ、ルールはグループ内でのみ適用されます、パスはスラッシュで始まり、`*` と `$` は特定の方法で動作し、`ser-agent: /` の下で `user-agent: *` は、サイト全体を Google から引き出すことができます。 このツールは構造化された形式からファイルを構築するため、構文は構造によって正しいです。

これは生成を超えた3 つのジョブを行います.ビルドしたファイルをリンクし,本物のフットガンにフラグを立てます:相対パス,黙って「すべてを許可する」という意味の裸の `Disallow:`,絶対的ではないサイトマップURL,非常に高いクロールディレイとブランケットブロック,1 つのクローラーが2 つのグループに分割されたときにメモします.既存のrobots.txtを再び編集可能なグループに解析するので,今日生きているものを貼り付けて修正できます.そしてそれはあなたのルールに対してURLをテストします.real crawlersが使用するのと同じ最長のマッチの優先順位 - 最も具体的なマッチングパターンが勝ちます,Allow beats disallow on ties,そして同じクローラーを命名したグループが結合されます - だから,あなたが展開する前にページに到達可能であることを証明できます.

robots.txt ファイルジェネレーターとして、ページは作業例で開きます。 `User-agent: *` グループは /admin/、/cart および /*?sessionid= を許可し、/admin/public/ を許可します。 2 番目のグループは GPTBot、ClaudeBot、および CCBot を `Disallow: /` で拒否します。 /admin/public/style.css を Googlebot としてテストし、結果は許可されます。なぜなら、 `Allow: /admin/public/` が最も長いマッチングルールだからです。 /admin/settings へのパスを変更すると、それは `Disallow: /admin/` によって Disallowed に切り替わります。 validator は 1 つの警告を表示し、 `Disallow: /` がその 3 つのクローラーのためのものであることを確認します。この無料の robots.txt ジェネレーターにはサインアップは必要ありません。

はっきり言ってもらうべきことの 1 つ: robots.txt は、インデックス作成ではなくクロールを制御し、セキュリティの境界ではありません。 他のページがリンクされていても、ブロックされた URL は、フェッチしたことのない URL をインデックス化できるため、検索結果に表示される可能性があります。 ページをインデックスから除外するには、「noindex」メタ タグまたは X-Robots-Tag ヘッダーが必要です。これは、クローラーがページをフェッチすることが許可されているかどうかだけを確認できます。 ファイルは公開されています。/robots.txt で誰でも自分のファイルを読むことができるので、そこに秘密のディレクトリをリストすると、それをアドバタイズします。 プライベートなものには認証を使用します。