Generador de robots.txt

Un generador de robots.txt crea el archivo de texto sin formato que se encuentra en la raíz de su dominio y les dice a los rastreadores qué partes de su sitio pueden obtener. El formato parece simple: una línea `usuario:` seguida de `permitir:` y reglas `disAllow:`, pero las reglas de bit: las reglas solo se aplican dentro de un grupo, las rutas deben comenzar con una barra, `*` y `$` se comportan de manera específica, y una sola descarnada `disollow: /` en `Usuario-agente: *` puede sacar un sitio completo de Google. Esta herramienta construye el archivo desde un formulario estructurado para que la sintaxis sea correcta por construcción.

Hace tres trabajos más allá de la generación. Enreda su archivo y marca las armas de fuego reales: reglas que flotan fuera de cualquier grupo, rutas relativas, un `dislow en simple:` que significa silenciosamente "permitir todo", URL del mapa del sitio que no son directivas absolutas, desconocidas y bloques generales. Analiza un robots.txt existente en grupos editables, para que puedas pegar lo que está en vivo hoy y arreglarlo. Y prueba una URL con sus reglas con el mismo uso de los rastreadores reales de precedencia de mayor partido (el patrón de coincidencia más específico gana y permite que los ritmos no permitan los lazos) para que pueda probar que una página es accesible antes de implementar.

Una cosa que vale la pena indicar claramente: robots.txt controla el rastreo, no la indexación, y no es un límite de seguridad. Una URL bloqueada puede seguir apareciendo en los resultados de búsqueda si otras páginas se vinculan, porque Google puede indexar una URL que nunca ha recuperado. Para mantener una página fuera del índice, necesita una metaetiqueta de meta o un encabezado de etiqueta x-robots, que el rastreador solo puede ver si se le permite recuperar la página. Y el archivo es público: cualquiera puede leer el tuyo en /robots.txt, por lo que enumerar un directorio secreto allí lo anuncia. Utilice la autenticación para cualquier cosa privada.