Robots.txt-generator

Een robots.txt-generator bouwt het bestand met platte tekst dat zich aan de root van uw domein bevindt en vertelt crawlers welke delen van uw site ze kunnen ophalen. Het formaat ziet er eenvoudig uit - een `user-agent:`-regel gevolgd door `toestaan:` en `disallow:` regels - maar de details bijten: regels zijn alleen van toepassing binnen een groep, paden moeten beginnen met een slash, `*` en `$` gedragen zich op specifieke manieren, en een enkele zwerf `disallow: /` onder `user-agent: *` kan een hele site uit google halen. Deze tool bouwt het bestand op van een gestructureerd formulier, zodat de syntaxis correct is door constructie.

Het doet drie taken voorbij generatie Het geeft een doordruk aan het bestand dat het bouwt en markeert de echte footguns: relatieve paden, een kale `Disallow:` that silent means "alles toestaan", sitemap URL's die niet absoluut zijn, een zeer hoge Crawl-delay en dekenblokken, en notities wanneer één crawler over twee groepen is gesplitst Het parseert een bestaande robots.txt terug in bewerkbare groepen, zodat je kunt plakken wat vandaag live is en het kunt repareren En het test een URL tegen je regels met dezelfde voorrang van de langste wedstrijd die echte crawlers gebruiken - de meest specifieke matching patroon wint, Toestaan beats Disallow on ties, en groepen die dezelfde crawler een naamgeving pagina noemen worden gecombineerd - zodat je kunt bereiken voordat je een pagina implementeert.

Als robots.txt bestandsgenerator opent de pagina op een uitgewerkt voorbeeld De `User-agent: *` group disallows /admin/, /cart and /*?sessionid= and allows /admin/public/, and a second group deny GPTBot, ClaudeBot en CCBot with `Disallow: /` Test /admin/public/style.css as Googlebot and the result is Allowed, because `Allow: /admin/public/` is the longest matching rule Change the path to /admin/settingsetlimled for three no nee.admin.admitly bevestigt dat.

Eén ding dat het waard is om duidelijk te zeggen: robots.txt controleert crawlt, niet indexeren, en het is geen beveiligingsgrens. Een geblokkeerde URL kan nog steeds in de zoekresultaten verschijnen als andere pagina's ernaar linken, omdat Google een URL kan indexeren die nooit is opgehaald. Om een pagina uit de index te houden, hebt u een `noindex` metatag of een x-robots-tag-header nodig - die de crawler alleen kan zien als hij de pagina mag ophalen. En het bestand is openbaar: iedereen kan de jouwe lezen op /robots.txt, dus het vermelden van een geheime map daar adverteert het. Gebruik authenticatie voor alles wat privé is.