ما هو مولد robots.txt؟
يقوم مولد Robots.txt بإنشاء ملف النص العادي الموجود في جذر نطاقك ويخبر زواحف الزحف بأي أجزاء من موقعك قد يجلبونها. يبدو التنسيق بسيطًا - `` وكيل المستخدم: '' سطر متبوعًا بـ `` السماح: '' و`العدو: القواعد - لكن التفاصيل تنطبق فقط داخل مجموعة ، يجب أن تبدأ المسارات بشرطة مائلة ، و`*` و`$` تتصرف بطرق محددة ، و "إلغاء السماح: /" ضمن "وكيل المستخدم: *" يمكن سحب موقع كامل من Google. تقوم هذه الأداة ببناء الملف من نموذج منظم بحيث يكون بناء الجملة صحيحًا بالبناء.
يقوم بثلاث وظائف بعد الجيل. إنه يربط الملف الذي ينشئه ويضع علامة على بنادق القدم الحقيقية: المسارات النسبية، و`Disallow:` الذي يعني بصمت "السماح بكل شيء"، وعناوين URL لخريطة الموقع غير المطلقة، وتأخير الزحف المرتفع جدًا والكتل الشاملة، ويلاحظ عندما يكون زاحف واحد مقسمة إلى مجموعتين. يقوم بتحليل نص الروبوتات الموجود مرة أخرى إلى مجموعات قابلة للتحرير، حتى تتمكن من لصق ما هو موجود اليوم وإصلاحه. ويختبر عنوان URL وفقًا لقواعدك بنفس أسبقية المطابقة الأطول التي تستخدمها برامج الزحف الحقيقية - يفوز نمط المطابقة الأكثر تحديدًا، ويسمح بالإيقاعات، ولا يسمح بالروابط، ويتم دمج المجموعات التي تسمي نفس الزاحف - حتى تتمكن من إثبات إمكانية الوصول إلى الصفحة قبل النشر.
كمولد ملفات robots.txt، تفتح الصفحة على مثال عملي. وكيل ``The `firedolator: *` group لا يسمح بـ/admin/و/cart و/*؟sessionid= ويسمح بـ/admin/public/، والمجموعة الثانية ترفض GPTBot وClaudeBot وCCBot باستخدام `Disallow:/`.`.
شيء واحد يستحق الذكر بوضوح: يتحكم Robots.txt في الزحف وليس الفهرسة ، وهو ليس حدًا أمنيًا. لا يزال من الممكن أن يظهر عنوان URL المحظور في نتائج البحث إذا كانت الصفحات الأخرى مرتبطة به، لأن Google يمكنها فهرسة عنوان URL لم يسبق له جلبه. للحفاظ على صفحة خارج الفهرس ، تحتاج إلى علامة وصفية "noindex" أو رأس علامة X-robots - والتي لا يمكن للزاحف إلا أن يرى ما إذا كان مسموحًا لها بجلب الصفحة. والملف عام: يمكن لأي شخص قراءة ما يخصك على /robots.txt ، لذا فإن إدراج دليل سري هناك يعلن عنه. استخدم المصادقة لأي شيء خاص.
كيفية استخدام مولد robots.txt؟
ابدأ من إعداد مسبق أو الصق ملفك الحالي
اختر إعدادًا مسبقًا - اسمح بكل شيء ، أو حظر كل شيء ، أو WordPress ، أو Shopify ، أو Next.js ، أو حظر برامج زحف AI - لملء النموذج بنقرة واحدة ، أو الصق الروبوتات الحية الخاصة بك ودع الأداة تحللها مرة أخرى في مجموعات قابلة للتحرير.
قم ببناء مجموعات وكيل المستخدم الخاصة بك
أضف مجموعة لكل زاحف أو مجموعة من برامج الزحف ، اختر من قائمة الروبوت المعروفة أو اكتب رمزًا مميزًا. امنح كل مجموعة عدم السماح بها واسمح بالمسارات ، وتأخير الزحف إذا كان المحرك الذي تستهدفه هو الشرف.
أضف خرائط الموقع واقرأ المدقق
أضف واحدًا أو أكثر من عناوين URL لخريطة الموقع المطلقة. يعمل المدقق على كل ضغطة مفتاح ويبلغ عن الأخطاء والتحذيرات والملاحظات، برقم سطر حيث يوجد سطر واحد معيب. قم بإصلاح أي شيء باللون الأحمر قبل الشحن، واستبدل عنوان URL لخريطة موقع com المثال الذي وضعته الإعدادات المسبقة.
اختبر عنوان URL ثم انسخه أو تنزيله
أدخل مسارًا ووكيل مستخدم لرؤية مسموح به أو غير مسموح به والقاعدة التي قررت ذلك بالضبط. عندما تتصرف بالطريقة التي تتوقعها ، انسخ الملف أو تنزيل robots.txt وقم بتحميله إلى جذر المجال الخاص بك.
الميزات الرئيسية
اختبار URL الأطول تطابقًا حقيقيًا
يختبر أي مسار ضد أي وكيل مستخدم باستخدام أسبقية RFC 9309 - يفوز نمط المطابقة الأطول ، ويسمح بكسر العلاقات - ويسمي القاعدة الدقيقة التي قررت ذلك
مثبت مدمج
يلتقط المسارات النسبية، وأسطر "عدم السماح" و"السماح" الفارغة، وعناوين URL غير المطلقة لخريطة الموقع، وتأخير الزحف لأكثر من 30 ثانية، وبطانية "عدم السماح":/من شأنها أن تُسقط موقعك من البحث
بنقرة واحدة الإعدادات المسبقة
اسمح لكل شيء ، وحظر كل شيء ، و WordPress ، و Shopify ، و Next.js ، وحظر زحف AI ، يملأ كل نموذج بجميع النموذج بنقطة بداية معقولة وصحيحة
ضوابط الزاحف
حظر GPTBot و Claudebot و PerplexityBot و CCBot و Google-Extended و Bytespider و Anthropic-AI بنقرة واحدة مع الحفاظ على الترحيب الكامل بمحركات البحث
Frequently Asked Questions
Related Tools
Hreflang Generator
Free hreflang generator for multilingual and multi-region sites - build hreflang tags as HTML link tags, XML sitemap entries, or an HTTP header. Validates codes and x-default. Runs client-side.
htaccess Redirect Generator
Generate Apache .htaccess 301 and 302 redirect rules from a list of old-to-new URLs, plus force-HTTPS and www canonicalization directives, all in the browser.
Domain Search
Check one name across dozens of TLDs at once. RDAP first, WHOIS fallback, and a verdict of available, taken or unknown, never a guess
Maps Scraper
Pull business listings for any search and place: name, address, category, rating, review count, phone and website, deduplicated and exportable as CSV.
Comments
0 comments
No comments yet. Be the first to share your thoughts!