Generatore robots.txt

Un generatore robots.txt crea il file di testo in chiaro che si trova alla radice del tuo dominio e indica ai crawler quali parti del tuo sito possono recuperare. Il formato sembra semplice - una riga `user-agent:` seguita da regole `consenti:` e `disallow:` - ma i dettagli mordono: le regole si applicano solo all'interno di un gruppo, i percorsi devono iniziare con una barra, `*` e `$` comportarsi in modi specifici e un singolo `disallow: /` sotto `user-agent: *` può estrarre un intero sito da Google. Questo strumento crea il file da un modulo strutturato in modo che la sintassi sia corretta per costruzione.

Fa tre lavori oltre la generazione. Permette il file che costruisce e contrassegna i veri footgun: percorsi relativi, un semplice `allow:` che significa silenziosamente "consenti tutto", URL della mappa del sito che non sono assoluti, un ritardo di scansione e blocchi di coperta molto elevati e note quando un crawler è diviso in due gruppi. Analizza nuovamente un robot.txt esistente in gruppi modificabili, in modo da poter incollare ciò che è live oggi e correggerlo. E testa un URL rispetto alle tue regole con la stessa precedenza di corrispondenza più lunga utilizzata dai crawler reali: vince il modello di corrispondenza più specifico, Consenti battiti Disallow sui legami e i gruppi che nominano lo stesso crawler sono combinati - in modo da poter dimostrare che una pagina è raggiungibile prima di distribuirla.

Come generatore di file robots.txt, la pagina si apre su un esempio funzionante. L'agente utente `: *` group non consente /admin/, /cart e /*?sessionid= e consente /admin/public/, e un secondo gruppo rifiuta GPTBot, ClaudeBot e CCBot con `Disallow: /`. Test /admin/public/style.css come Googlebot e il risultato è consentito, perché `Allow: /admin/public/` è la regola di corrispondenza più lunga Cambia il percorso in /admin/settings e passa a Disallowed by `Disallow: /admin/`. Il validatore mostra un avviso, confermando che il `Disallow: /` è destinato a quei tre crawler. Questo generatore di robot gratuiti.txt non ha bisogno di registrazione.

Una cosa che vale la pena affermare chiaramente: robots.txt controlla la scansione, non l'indicizzazione e non è un confine di sicurezza. Un URL bloccato può ancora apparire nei risultati di ricerca se altre pagine si collegano ad esso, perché Google può indicizzare un URL che non ha mai recuperato. Per mantenere una pagina fuori dall'indice è necessario un meta tag `noindex` o un'intestazione di tag x-robots - che il crawler può vedere solo se è consentito recuperare la pagina. E il file è pubblico: chiunque può leggere il tuo su /robots.txt, quindi elencare una directory segreta lo pubblicizza lì. Usa l'autenticazione per qualsiasi cosa privata.