מהו מחולל robots.txt?
מחולל robots.txt בונה את קובץ הטקסט הפשוט שיושב בשורש הדומיין שלך ומספר לסורקים אילו חלקים מהאתר שלך הם עשויים להביא. הפורמט נראה פשוט - 'סוכן-משתמש:` ואחריו `אפשר:` ו`לא לאפשר:` חוקים - אבל הפרטים ביס: כללים חלים רק בתוך קבוצה, הנתיבים חייבים להתחיל עם לוכסן, `*` ו-`$` להתנהג בדרכים ספציפיות, ו- `serly `sallow's `sery-agent: /` תחת `user-agent: *` יכול למשוך אתר שלם. כלי זה בונה את הקובץ מצורה מובנית כך שהתחביר יהיה נכון לפי בנייה.
הוא עושה שלוש עבודות מעבר לדור הוא ממצה את הקובץ שהוא בונה ומסמן את רובי הרגליים האמיתיים: נתיבים יחסיים, `Disallow:` חשוף שפירושו בשקט "אפשר הכל", כתובות אתרים של מפת אתר שאינן מוחלטות, עיכוב-זחילה גבוה מאוד ובלוקים גורפים, ומציין מתי סורק אחד מפוצל על פני שתי קבוצות הוא מנתח robots.txt קיים בחזרה לקבוצות הניתנות לעריכה, כך שתוכל להדביק את מה שחי היום ולתקן אותו. וזה בודק כתובת URL מול הכללים שלך עם אותה עדיפות במשחק הארוך ביותר שסורקים אמיתיים משתמשים בהם - דפוס ההתאמה הספציפי ביותר מנצח, אפשר פעימות לא לאפשר על קשרים, וקבוצות ששמות אותו סורק משולבות - כך שתוכל להוכיח שדף נגיש לפני שאתה פורס.
כמחולל קבצים robots.txt, הדף נפתח על דוגמה מעובדת.The `User-agent: *` group disallows /admin/, /cart and /*?sessionid= and allows /admin/public/, and a second group revises GPTBot, ClaudeBot and CCBot with `Disallow: /`. Test /admin/public/style.css as Googlebot and the result is Allowed, because `Allow: /admin/public/` is the longest matching rule.Change the path to /admin/settings and it flips to Disallowed by `Disallow: /admin/`.The validator shows one warning, confirming the` Disallow: /` is meant for those three crawlers.This free robots.txt generator needs no signup.
דבר אחד שכדאי לציין בפשטות: ROBOS.TXT שולט בסריקה, לא באינדקס, וזה לא גבול אבטחה. כתובת URL חסומה עדיין יכולה להופיע בתוצאות החיפוש אם דפים אחרים מקשרים אליה, מכיוון שגוגל יכולה לאינדקס כתובת URL שמעולם לא הביאה. כדי לשמור דף מחוץ לאינדקס אתה צריך מטא תג `noindex` או כותרת x-robots-tag - שהסורק יכול לראות רק אם מותר לו להביא את הדף. והקובץ הוא ציבורי: כל אחד יכול לקרוא את שלך ב-/robots.txt, אז רישום ספרייה סודית שם מפרסם אותו. השתמש באימות לכל דבר פרטי.
כיצד להשתמש במחולל robots.txt?
התחל מהגדרה מראש או הדבק את הקובץ הנוכחי שלך
בחר הגדרה מראש - אפשר הכל, חסום הכל, וורדפרס, shopify, next.js, או חסום סורקי בינה מלאכותית - למלא את הטופס בלחיצה אחת, או הדבק את הרובוטים החיים שלך.txt ותן לכלי לנתח אותו בחזרה לקבוצות הניתנות לעריכה.
בנה את קבוצות סוכן המשתמש שלך
הוסף קבוצה לכל סורק או קבוצת סורקים, בחר מתוך רשימת הבוטים הידועים או הקלדת אסימון. תן לכל קבוצה את הפסילה שלה ואפשר נתיבים, ועיכוב זחילה אם המנוע שאתה מכוון אליו מכבד אחד.
הוסף מפות אתר וקרא את המאמת
הוסף כתובת URL מוחלטת אחת או יותר של מפת אתר המאמת פועל על כל הקשה ומדווח על שגיאות, אזהרות והערות, עם מספר שורה שבה שורה אחת אשמה. תקן כל דבר אדום לפני שאתה שולח, והחלף את כתובת האתר של מפת האתר לדוגמה.com שהקביעות המוגדרות מראש הוכנסו.
בדוק כתובת URL ולאחר מכן העתק או הורד
הזן נתיב וסוכן משתמש כדי לראות מותר או אסור ואיזה כלל בדיוק החליט. כאשר הוא מתנהג כפי שאתה מצפה, העתק את הקובץ או הורד את robots.txt והעלה אותו לשורש הדומיין שלך.
תכונות מפתח
בודק כתובות אתרים אמיתי עם ההתאמה הארוכה ביותר
בודק כל נתיב מול כל סוכן משתמש המשתמש בעדיפות RFC 9309 - דפוס ההתאמה הארוך ביותר מנצח, מאפשר שובר קשרים - ומציין את הכלל המדויק שהחליט על כך
מאמת מובנה
תופס נתיבים יחסיים, שורות Disallow ו-Allow ריקות, כתובות URL לא מוחלטות של מפת אתר, עיכוב סריקה במשך 30 שניות, ושמיכה Disallow: / שתוציא את האתר שלך מחיפוש
הגדרות קבועות מראש בלחיצה אחת
אפשר הכל, חסום הכל, וורדפרס, Shopify, Next.js, וחסום סורקי בינה מלאכותית ממלאים כל אחד את כל הטופס עם נקודת התחלה הגיונית ונכונה
בקרות זחל בינה מלאכותית
Block GPTBot, Claudebot, PerplexityBot, CCBot, Google-Extended, Bytespider ו-Anthropic-AI בלחיצה אחת תוך שמירה על מנועי החיפוש בברכה מלאה
Frequently Asked Questions
Related Tools
Hreflang Generator
Free hreflang generator for multilingual and multi-region sites - build hreflang tags as HTML link tags, XML sitemap entries, or an HTTP header. Validates codes and x-default. Runs client-side.
htaccess Redirect Generator
Generate Apache .htaccess 301 and 302 redirect rules from a list of old-to-new URLs, plus force-HTTPS and www canonicalization directives, all in the browser.
Domain Search
Check one name across dozens of TLDs at once. RDAP first, WHOIS fallback, and a verdict of available, taken or unknown, never a guess
Maps Scraper
Pull business listings for any search and place: name, address, category, rating, review count, phone and website, deduplicated and exportable as CSV.
Comments
0 comments
No comments yet. Be the first to share your thoughts!