Robots.txt ジェネレーター

robots.txt ジェネレーターは、ドメインのルートにあるプレーンテキスト ファイルを構築し、サイトのどの部分をフェッチするかをクローラに知らせます。 `user-agent:` 行の後に `allow:` と `disallow:` ルールが続く ` ` ` ` ` と `disallow:` が続く ' 行のように見える ただ、ルールはグループ内でのみ適用されます、パスはスラッシュで始まり、`*` と `$` は特定の方法で動作し、`ser-agent: /` の下で `user-agent: *` は、サイト全体を Google から引き出すことができます。 このツールは構造化された形式からファイルを構築するため、構文は構造によって正しいです。

世代を超えて 3 つの仕事をします。 ファイルをリンクし、実際のフットガンにフラグを立てます。グループの外に出ているルール、相対パス、「すべてを許可する」という裸の「disallow:」、絶対に「すべてを許可する」、絶対的ではない、不明なディレクティブではない、ブランケット ブロックの外に出るルール。 既存の robots.txt を編集可能なグループに戻し、現在ライブのものを貼り付けて修正できます。 また、実際のクローラが使用するのと同じ最長一致の優先順位で、ルールに対して URL をテストします。最も具体的な一致パターンが勝ち、ビートが引き分けで許可されないようにすることで、展開前にページに到達できることを証明できます。

はっきり言ってもらうべきことの 1 つ: robots.txt は、インデックス作成ではなくクロールを制御し、セキュリティの境界ではありません。 他のページがリンクされていても、ブロックされた URL は、フェッチしたことのない URL をインデックス化できるため、検索結果に表示される可能性があります。 ページをインデックスから除外するには、「noindex」メタ タグまたは X-Robots-Tag ヘッダーが必要です。これは、クローラーがページをフェッチすることが許可されているかどうかだけを確認できます。 ファイルは公開されています。/robots.txt で誰でも自分のファイルを読むことができるので、そこに秘密のディレクトリをリストすると、それをアドバタイズします。 プライベートなものには認証を使用します。