Robots.txt ジェネレーター

robots.txt ジェネレーターは、ドメインのルートにあるプレーンテキスト ファイルを構築し、サイトのどの部分をフェッチするかをクローラに知らせます。 フォーマットは単純に見えます — `user-agent:` 行の後に `allow:` と `disallow:` ルールが続きます — しかし、詳細バイト: ルールはグループ内でのみ適用されます。パスはスラッシュで始まり、`*` と `$` は特定の方法で動作し、`ser-agent: /` の下で `user-agent: *` の下に、サイト全体を Google からプルできます。 このツールは構造化された形式からファイルを構築するため、構文は構造によって正しいです。

世代を超えて 3 つの仕事をします。 ファイルをリンクし、実際のフットガンにフラグを立てます。グループの外に出ているルール、相対パス、「すべてを許可する」という裸の「disallow:」、絶対に「すべてを許可する」、絶対的ではない、不明なディレクティブではない、ブランケット ブロックの外に出るルール。 既存の robots.txt を編集可能なグループに戻し、現在ライブのものを貼り付けて修正できます。 また、実際のクローラーが使用するのと同じ最も長い一致の優先順位でルールに対して URL をテストします。最も具体的な一致パターンが勝ち、ビートが引き分けで許可されないようにします。これにより、展開前にページに到達できることを証明できます。

はっきり言ってもらうべきことの 1 つ: robots.txt は、インデックス作成ではなくクロールを制御し、セキュリティの境界ではありません。 他のページがリンクされていても、ブロックされた URL は、フェッチしたことのない URL をインデックス化できるため、検索結果に表示される可能性があります。 ページをインデックスから除外するには、「noindex」メタ タグまたは X-Robots-Tag ヘッダーが必要です。これは、クローラーがページのフェッチを許可されているかどうかだけを確認できます。 ファイルは公開されています。/robots.txt で誰でも自分のファイルを読むことができるので、そこに秘密のディレクトリをリストすると、それをアドバタイズします。 プライベートなものには認証を使用します。