Generador de robots.txt

Un generador de robots.txt crea el archivo de texto sin formato que se encuentra en la raíz de su dominio y les dice a los rastreadores qué partes de su sitio pueden obtener. El formato parece simple: una línea `usuario:` y `permitir:` y `reglas de `disAllow:` - pero las reglas de `Biter de detalles sólo se aplican dentro de un grupo, las rutas deben comenzar con una barra, `*` y `$` se comportan de manera específica, y una sola `dislow: /` puede extraer un sitio completo de Google. Esta herramienta construye el archivo desde un formulario estructurado para que la sintaxis sea correcta por construcción.

Realiza tres trabajos más allá de la generación. Limita el archivo que construye y marca las pistolas reales: rutas relativas, un simple `Disallow:` que silenciosamente significa "permitir todo", URL de mapas de sitio que no son absolutas, un retardo de rastreo muy alto y bloques generales, y notas cuando un rastreador se divide en dos grupos. Analiza un robot.txt existente nuevamente en grupos editables, para que pueda pegar lo que está vivo hoy y solucionarlo. Y prueba una URL según sus reglas con la misma precedencia de coincidencia más larga que usan los rastreadores reales: el patrón de coincidencia más específico gana, permite ritmos no permitidos en los empates y los grupos que nombran el mismo rastreador se combinan, para que pueda demostrar que se puede acceder a una página antes de implementarla.

Como generador de archivos robots.txt, la página se abre en un ejemplo trabajado. El grupo `User-agent: *` no permite /admin/, /cart y /*?sessionid= y permite /admin/public/, y un segundo grupo rechaza GPTBot, ClaudeBot y CCBot con `Disallow: /`. Pruebe /admin/public/style.css como Googlebot y el resultado está permitido, porque `Allow: /admin/public/` es la regla de coincidencia más larga. Cambie la ruta a /admin/settings y pasará a No permitido por `Disallow: /admin/`. El validador muestra una advertencia que confirma que `Disallow: /` está destinado a esos tres rastreadores. Este generador gratuito de robots.txt no necesita registro.

Una cosa que vale la pena indicar claramente: robots.txt controla el rastreo, no la indexación, y no es un límite de seguridad. Una URL bloqueada puede seguir apareciendo en los resultados de búsqueda si otras páginas se vinculan, porque Google puede indexar una URL que nunca ha recuperado. Para mantener una página fuera del índice, necesita una metaetiqueta de meta o un encabezado de etiqueta x-robots, que el rastreador solo puede ver si se le permite recuperar la página. Y el archivo es público: cualquiera puede leer el tuyo en /robots.txt, por lo que enumerar un directorio secreto allí lo anuncia. Utilice la autenticación para cualquier cosa privada.