Robots.txt-generator

Een robots.txt-generator bouwt het bestand met platte tekst dat zich aan de root van uw domein bevindt en vertelt crawlers welke delen van uw site ze kunnen ophalen. Het formaat ziet er eenvoudig uit - een `user-agent:`-regel gevolgd door `toestaan:` en `disallow:` regels - maar de details bijten: regels zijn alleen van toepassing binnen een groep, paden moeten beginnen met een slash, `*` en `$` gedragen zich op specifieke manieren, en een enkele zwerver `disallow: /` onder `user-agent: *` kan een hele site uit Google halen. Deze tool bouwt het bestand op van een gestructureerd formulier, zodat de syntaxis correct is door constructie.

Het doet drie banen buiten de generatie. Het lint je bestand en markeert de echte voetgeweren: regels die buiten elke groep zweven, relatieve paden, een kale `disallow:` die stil betekent "allow alles toe", sitemap-URL's die geen absolute, onbekende richtlijnen en algemene blokken zijn. Het parseert een bestaande robots.txt terug in bewerkbare groepen, zodat u kunt plakken wat er vandaag live is en het repareren. En het test een URL tegen uw regels met dezelfde prioriteit die echte crawlers gebruiken - de meest specifieke wint voor matchingpatronen, en laat beats niet toestaan op banden - zodat u kunt bewijzen dat een pagina bereikbaar is voordat u implementeert.

Eén ding dat het waard is om duidelijk te zeggen: robots.txt controleert crawlt, niet indexeren, en het is geen beveiligingsgrens. Een geblokkeerde URL kan nog steeds in de zoekresultaten verschijnen als andere pagina's ernaar linken, omdat Google een URL kan indexeren die nooit is opgehaald. Om een pagina uit de index te houden, hebt u een `noindex` metatag of een x-robots-tag-header nodig - die de crawler alleen kan zien als hij de pagina mag ophalen. En het bestand is openbaar: iedereen kan de jouwe lezen op /robots.txt, dus het vermelden van een geheime map daar adverteert het. Gebruik authenticatie voor alles wat privé is.