
- דומיין חינם
- SSL חינם
- החזר כספי תוך 30 יום
מהו מחולל robots.txt?
מחולל robots.txt בונה את קובץ הטקסט הפשוט שיושב בשורש הדומיין שלך ומספר לסורקים אילו חלקים מהאתר שלך הם עשויים להביא. הפורמט נראה פשוט - 'סוכן-משתמש:` ואחריו `אפשר:` ו`לא לאפשר:` חוקים - אבל הפרטים ביס: כללים חלים רק בתוך קבוצה, הנתיבים חייבים להתחיל עם לוכסן, `*` ו-`$` להתנהג בדרכים ספציפיות, ו- `serly `sallow's `sery-agent: /` תחת `user-agent: *` יכול למשוך אתר שלם. כלי זה בונה את הקובץ מצורה מובנית כך שהתחביר יהיה נכון לפי בנייה.
הוא עושה שלוש עבודות מעבר לדור הוא ממצה את הקובץ שהוא בונה ומסמן את רובי הרגליים האמיתיים: נתיבים יחסיים, `Disallow:` חשוף שפירושו בשקט "אפשר הכל", כתובות אתרים של מפת אתר שאינן מוחלטות, עיכוב-זחילה גבוה מאוד ובלוקים גורפים, ומציין מתי סורק אחד מפוצל על פני שתי קבוצות הוא מנתח robots.txt קיים בחזרה לקבוצות הניתנות לעריכה, כך שתוכל להדביק את מה שחי היום ולתקן אותו. וזה בודק כתובת URL מול הכללים שלך עם אותה עדיפות במשחק הארוך ביותר שסורקים אמיתיים משתמשים בהם - דפוס ההתאמה הספציפי ביותר מנצח, אפשר פעימות לא לאפשר על קשרים, וקבוצות ששמות אותו סורק משולבות - כך שתוכל להוכיח שדף נגיש לפני שאתה פורס.
כמחולל קובצי robots.txt, הדף נפתח על דוגמה מעשית. הקבוצה `User-agent: *` חוסמת את /admin/, /cart ו-/*?sessionid= ומתירה את /admin/public/, וקבוצה שנייה דוחה את GPTBot, ClaudeBot ו-CCBot עם `Disallow: /`. בדקו את /admin/public/style.css בתור Googlebot והתוצאה היא "מותר", כי `Allow: /admin/public/` הוא הכלל התואם הארוך ביותר. שנו את הנתיב ל-/admin/settings והתוצאה מתהפכת ל"חסום" על ידי `Disallow: /admin/`. הבודק מציג אזהרה אחת, שמאשרת ש-`Disallow: /` מיועד לשלושת הסורקים האלה. מחולל robots.txt החינמי הזה לא דורש הרשמה.
דבר אחד שכדאי לציין בפשטות: ROBOS.TXT שולט בסריקה, לא באינדקס, וזה לא גבול אבטחה. כתובת URL חסומה עדיין יכולה להופיע בתוצאות החיפוש אם דפים אחרים מקשרים אליה, מכיוון שגוגל יכולה לאינדקס כתובת URL שמעולם לא הביאה. כדי לשמור דף מחוץ לאינדקס אתה צריך מטא תג `noindex` או כותרת x-robots-tag - שהסורק יכול לראות רק אם מותר לו להביא את הדף. והקובץ הוא ציבורי: כל אחד יכול לקרוא את שלך ב-/robots.txt, אז רישום ספרייה סודית שם מפרסם אותו. השתמש באימות לכל דבר פרטי.
כיצד להשתמש במחולל robots.txt?
התחל מהגדרה מראש או הדבק את הקובץ הנוכחי שלך
בחר הגדרה מראש - אפשר הכל, חסום הכל, וורדפרס, shopify, next.js, או חסום סורקי בינה מלאכותית - למלא את הטופס בלחיצה אחת, או הדבק את הרובוטים החיים שלך.txt ותן לכלי לנתח אותו בחזרה לקבוצות הניתנות לעריכה.
בנה את קבוצות סוכן המשתמש שלך
הוסף קבוצה לכל סורק או קבוצת סורקים, בחר מתוך רשימת הבוטים הידועים או הקלדת אסימון. תן לכל קבוצה את הפסילה שלה ואפשר נתיבים, ועיכוב זחילה אם המנוע שאתה מכוון אליו מכבד אחד.
הוסף מפות אתר וקרא את המאמת
הוסף כתובת URL מוחלטת אחת או יותר של מפת אתר המאמת פועל על כל הקשה ומדווח על שגיאות, אזהרות והערות, עם מספר שורה שבה שורה אחת אשמה. תקן כל דבר אדום לפני שאתה שולח, והחלף את כתובת האתר של מפת האתר לדוגמה.com שהקביעות המוגדרות מראש הוכנסו.
בדוק כתובת URL ולאחר מכן העתק או הורד
הזן נתיב וסוכן משתמש כדי לראות מותר או אסור ואיזה כלל בדיוק החליט. כאשר הוא מתנהג כפי שאתה מצפה, העתק את הקובץ או הורד את robots.txt והעלה אותו לשורש הדומיין שלך.
תכונות מפתח
בודק כתובות אתרים אמיתי עם ההתאמה הארוכה ביותר
בודק כל נתיב מול כל סוכן משתמש המשתמש בעדיפות RFC 9309 - דפוס ההתאמה הארוך ביותר מנצח, מאפשר שובר קשרים - ומציין את הכלל המדויק שהחליט על כך
מאמת מובנה
תופס נתיבים יחסיים, שורות Disallow ו-Allow ריקות, כתובות URL לא מוחלטות של מפת אתר, עיכוב סריקה במשך 30 שניות, ושמיכה Disallow: / שתוציא את האתר שלך מחיפוש
הגדרות קבועות מראש בלחיצה אחת
אפשר הכל, חסום הכל, וורדפרס, Shopify, Next.js, וחסום סורקי בינה מלאכותית ממלאים כל אחד את כל הטופס עם נקודת התחלה הגיונית ונכונה
בקרות זחל בינה מלאכותית
Block GPTBot, Claudebot, PerplexityBot, CCBot, Google-Extended, Bytespider ו-Anthropic-AI בלחיצה אחת תוך שמירה על מנועי החיפוש בברכה מלאה
שאלות נפוצות
כלים קשורים
מחולל Hreflang
מחולל hreflang חינם עבור אתרים רב לשוניים ורב אזורים - לבנות hreflang תגיות כמו HTML קישור תגיות, XML sitemap ערכים, או כותרת HTTP.מאמת קודים ו - x-default.Runs צד הלקוח.
מחולל הפניה מחדש של htaccess
צור Apache .htaccess 301 ו-302 Redirect Rules מרשימה של כתובות אתרים ישנות לחדשות, בתוספת הנחיות כוח-https ו-www canonicalization, הכל בדפדפן.
חיפוש דומיין
בדוק שם אחד על פני עשרות TLDs בבת אחת. RDAP תחילה, WHOIS fallback, ופסק דין של זמין, נלקח או לא ידוע, אף פעם לא ניחוש
מגרד מפות
משוך רישומים עסקיים עבור כל חיפוש ומקום: שם, כתובת, קטגוריה, דירוג, ספירת ביקורות, טלפון ואתר, ללא שכפול וניתן לייצוא כ-CSV.
Comments
0 comments
No comments yet. Be the first to share your thoughts!

