Robots.txt Generator: إنشاء قواعد الزحف والتحقق من صحتها واختبارها دون إلغاء فهرسة موقعك

أغلى أربع شخصيات رأيتها مشحونة على الإطلاق كانت Disallow: /. قام فريق بدفع برنامج robots.txt إلى مرحلة الإنتاج أثناء الإصدار، ولم يلاحظ أحد، وعلى مدى الأيام العشرة التالية، أسقطت Google بهدوء معظم صفحات الموقع &#39؛s. لم تتعطل حركة المرور بطريقة أدت إلى إطلاق الإنذارات؛ استنزفت. بحلول الوقت الذي فكر فيه شخص ما للتحقق /robots.txt، كان الاسترداد شهرًا من إعادة الزحف. الملف الذي تسبب فيه كان طوله أربعة أسطر.

Robots.txt بسيط بشكل خادع. إنه نص عادي، وربما يحتوي على ستة توجيهات تستحق المعرفة، وتركيب الجملة مناسب على بطاقة الفهرسة. هذه البساطة هي بالضبط سبب حدوث خطأ: لا توجد خطوة بناء، ولا يوجد رابط في CI الخاص بك، ولا يوجد نظام كتابة، ولا توجد رسالة خطأ. إذا كتبت قاعدة لا يستطيع الزاحف تحليلها، فإن الزاحف يتجاهل هذا السطر بصمت ويستمر. يبدو ملفك جيدًا، ويبدو موقعك جيدًا، ويتم الزحف إلى شيء كنت تعتقد أنه محظور - أو لا يتم الزحف إلى شيء تحتاجه.

أنا أبني تولز.ديف وأكتب ملفات robots.txt لبيئات التدريج ومواقع العملاء ومشاريعي الخاصة باستمرار، لذلك قمت ببناء ملف مولد robots.txt لجعل أوضاع الفشل مرئية. يقوم بإنشاء الملف من نموذج منظم، وبالتالي يكون بناء الجملة صحيحًا من خلال البناء. فهو يربط ما كتبته ويستدعي بنادق القدم بأرقام الأسطر. ويختبر عنوان URL وفقًا لقواعدك باستخدام نفس أسبقية المطابقة الأطول التي تستخدمها برامج الزحف الحقيقية، حتى تتمكن من إثبات إمكانية الوصول إلى الصفحة قبل النشر وليس بعد أن تخبرك وحدة التحكم في البحث بذلك.

ليرة تركية؛DR: يخبر Robots.txt برامج الزحف بما قد تجلبه. فهو لا يزيل الصفحات من نتائج البحث، ولا يحمي أي شيء خاص - الملف عام، والامتثال طوعي. تنطبق القواعد فقط داخل أ User-agent: المجموعة، المسارات يجب أن تبدأ بـ /، * يطابق أي شيء، زائدة $ يثبت النهاية، وعندما تتطابق قاعدتان، يفوز النمط الأطول مع السماح بكسر الروابط. ال مولد robots.txt يبني ويرسم ويختبر كل ذلك في متصفحك.

ما الذي يتحكم فيه robots.txt فعليًا

Robots.txt هو توجيه زحف، وليس توجيه فهرس. يفسر هذا التمييز الوحيد معظم الالتباس المحيط به.

عندما يريد الزاحف جلب عنوان URL على مضيفك، فإنه يقوم بجلبه أولاً https://yourhost/robots.txt ويتحقق مما إذا كان عنوان URL مسموحًا به. إذا أ Disallow تتطابق القاعدة، ولا يطلب الزاحف حسن التصرف الصفحة. هذه هي الآلية بأكملها. فهو يحكم طلب HTTP، ولا شيء غير ذلك.

ما لا يفعله هو إزالة عنوان URL من فهرس البحث. يستطيع Google فهرسة عناوين URL التي لم يتم جلبها مطلقًا، ويستخدم فقط نص الربط وسياق الروابط التي تشير إليها. إذا قمت بالحظر /pricing في robots.txt وخمسين موقعًا يرتبطون بـ /pricing، قد يستمر Google في إظهار عنوان URL هذا في النتائج - عادةً بدون وصف، لأنه لا يقرأ الصفحة أبدًا. إن حظر عنوان URL الذي تريده خارج البحث يعمل بشكل فعال ضدك: noindex العلامة التي من شأنها إزالتها موجودة داخل الصفحة، ولا يمكن للزاحف غير المسموح له بجلب الصفحة رؤيتها أبدًا. التسلسل الصحيح هو السماح بالزحف والخدمة <meta name="robots" content="noindex"> أو X-Robots-Tag: noindex header، انتظر حتى يتم إسقاط الصفحة، وبعد ذلك فقط قم بحظرها إذا كنت تريد توفير ميزانية الزحف.

كما أنه لا يحمي أي شيء. يتم تقديم Robots.txt علنًا في مسار معروف؛ يمكن لأي شخص، بما في ذلك كل مهاجم على الإنترنت، قراءة ما تريد في المتصفح. أ Disallow: /internal-admin-v2/ الخط عبارة عن علامة تشير إلى الشيء الذي تريد إخفاؤه. تتجاهل الكاشطات الضارة الملف تمامًا - واحترامه هو اتفاقية طوعية، وليس آلية تنفيذ. أي شيء يجب أن يكون خاصًا يحتاج إلى مصادقة أو قائمة السماح لـ IP. Robots.txt هو طلب، تم تقديمه بأدب، للزواحف التي تختار الاستماع.

الميزات الرئيسية لمولد Robots.txt

محرر المجموعة المنظمة

قواعد الملف &#39؛s هي مجموعات: واحدة أو أكثر User-agent: السطور متبوعة بالقواعد التي تنطبق عليها. كتابة ذلك يدويًا تدعو إلى الخطأ الهيكلي الأكثر شيوعًا، وهي قاعدة تطفو فوق الأول User-agent: الخط حيث لا ينطبق على أحد. يقوم المولد ببناء المجموعات ككائنات من الدرجة الأولى، لذا فإن كل قاعدة تضيفها تنتمي بالضرورة إلى مجموعة.

مدقق يقوم بالإبلاغ عن بنادق القدم الحقيقية

يعمل جهاز linter على كل ضغطة مفتاح ويبلغ عن الأخطاء والتحذيرات والملاحظات بأرقام الأسطر. فهو يضع علامة على القواعد خارج أي مجموعة، والمسارات التي تفتقد الشرطة المائلة الرئيسية، وهي عارية Disallow: بدون قيمة (وهو ما يعني &quot؛ اسمح بكل شيء &quot؛ ولا يعني أبدًا ما قصده المؤلف)، عناوين URL لخريطة الموقع ليست مطلقة $ يُستخدم في أي مكان باستثناء نهاية النمط، والتوجيهات غير المعروفة، ومجموعات وكلاء المستخدم المكررة، و- بصوت عالٍ - أ Disallow: / يجلس تحت User-agent: *.

اختبار URL حقيقي

أدخل مسارًا ووكيل مستخدم وتقارير الأداة مسموح بها أو غير مسموح بها، بالإضافة إلى القاعدة الدقيقة التي قررتها. منطق الأسبقية هو الحقيقي من RFC 9309: يفوز أطول نمط مسار مطابق بغض النظر عن قواعد الترتيب التي تظهر في الملف، وإذا كان هناك نمطان بنفس الطول، فسمح بالإيقاع وعدم السماح. هذا هو الجزء الذي يخطئ فيه الأشخاص غالبًا من الحدس، لأنه لا يتصرف مثل قواعد الفوز بالمباراة الأولى لجدار الحماية &#39؛.

الإعدادات المسبقة بنقرة واحدة

اسمح بكل شيء، وحظر كل شيء، وWordPress، وShopify، وNext.js، وBlock AI، حيث تملأ كل منها النموذج بأكمله بنقطة بداية صحيحة ومعقولة. كتل WordPress المعدة مسبقًا /wp-admin/ أثناء النحت /wp-admin/admin-ajax.phpوهو ما تنساه العديد من الملفات المكتوبة بخط اليد وبالتالي تعطل وظائف الواجهة الأمامية التي تحتاجها Google لعرض الصفحة.

ضوابط الزاحف الذكاء الاصطناعي

تضيف نقرة واحدة مجموعات رفض لـ GPTBot، وClaudeBot، وPerplexityBot، وCCBot، وGoogle-Extending، وBytespider، وanthropic-ai، مع ترك Googlebot وBingbot مجانيين للزحف. يشرح الجدول الزاحف المعروف ما يفعله كل روبوت بالفعل، لذلك تقوم باختيار مستنير بدلاً من لصق قائمة من منشور مدونة.

يحلل ملفك الحالي

الصق الروبوت.txt الذي تخدمه بالفعل وتقرأه الأداة مرة أخرى في مجموعات قابلة للتحرير. معظم أعمال الروبوتات ليست جديدة - فهي تقوم بتدقيق وإصلاح شيء كتبه شخص غادر قبل ثلاث سنوات - والبدء مما هو حي بالفعل هو الطريقة الوحيدة المعقولة للقيام بذلك.

كل شيء يبقى في متصفحك

يتم إنشاء الملف ومواءمته واختباره بالكامل في JavaScript من جانب العميل. لا يتم تحميل أي شيء، حتى تتمكن بأمان من صياغة القواعد لمضيف مرحلي أو قسم غير معلن من الموقع، وتعمل الأداة دون اتصال بالإنترنت بمجرد تحميلها.

كيفية استخدام مولد Robots.txt

الخطوة 1: ابدأ من الإعداد المسبق، أو قم باستيراد ما لديك بالفعل

إذا كنت تبدأ من جديد، فاختر الإعداد المسبق الأقرب إلى مجموعتك. إذا كنت تخدم بالفعل robots.txt، فأحضره منه https://yoursite.com/robots.txt، الصقه في مربع الاستيراد، وانقر فوق تحليل إلى مجموعات. تقوم الأداة بإعادة بناء بنية المجموعة، ويخبرك المدقق على الفور بالخطأ في الملف الذي كنت تقوم بتشغيله في الإنتاج.

الخطوة 2: قم ببناء مجموعات وكيل المستخدم الخاص بك

تستهدف كل مجموعة واحدًا أو أكثر من برامج الزحف. أضف برامج الزحف من قائمة الروبوتات المعروفة أو اكتب رمزًا مميزًا مباشرةً - تتم مطابقة الرموز المميزة لحالة الأحرف بشكل غير حساس، لذا googlebot و Googlebot متكافئة. مجموعة مع * هو الشامل: فهو ينطبق على أي زاحف ليس لديه مجموعة أكثر تحديدًا خاصة به.

الشيء الحاسم الذي يجب استيعابه هنا هو أن الزواحف تطيع مجموعة واحدة بالضبط. يقرأ Googlebot Googlebot المجموعة إذا كانت موجودة وتتجاهل * المجموعة بالكامل - لا يتم دمجها. إذا قمت بإنشاء Googlebot مجموعة لإضافة قاعدة واحدة، يجب عليك تكرار كل قاعدة من * قم بالتجمع بداخلها، وإلا سيتوقف Googlebot بصمت عن طاعتهم جميعًا. وهذا يفاجئ الجميع تقريبًا في المرة الأولى.

الخطوة 3: أضف القواعد وخرائط الموقع وقراءة أداة التحقق من الصحة

أضف عدم السماح بمسارات لما تريد أن تتخطاه برامج الزحف، واسمح بمسارات للمقتطفات الموجودة بداخلها. أضف تأخير الزحف فقط إذا كنت تستهدف محركًا يكرم واحدًا. أضف عناوين URL لخريطة الموقع الخاصة بك - يجب أن تكون مطلقة، بما في ذلك المخطط والمضيف، وتكون خارج أي مجموعة، وتنطبق على الجميع.

ثم اقرأ المدقق. الأخطاء هي الأشياء التي لن تنجح. التحذيرات هي أشياء ربما لا تعني ما تعتقده. الملاحظات هي الفرص. أصلح كل شيء باللون الأحمر قبل أن تذهب أبعد من ذلك.

الخطوة 4: اختبر عناوين URL التي تهتم بها بالفعل

هذه هي الخطوة التي يتخطاها الأشخاص ولا ينبغي لهم ذلك. خذ المسارات الثلاثة أو الأربعة التي تعتبر حالة الزحف فيها مهمة حقًا - صفحات منتجك، ومدونتك، ومسار المسؤول الذي تعتقد أنك حظرته، وملف CSS الذي تحتاجه Google لعرض تخطيطك - واختبر كل منها مقابل Googlebot. تخبرك الأداة بأنه مسموح أو غير مسموح وتسمي القاعدة المسؤولة. إذا فاجأتك نتيجة ما، فإن قواعدك لا تقول ما تعتقد أنها تقوله، ومن الأرخص بكثير معرفة ذلك الآن.

الخطوة 5: نسخ أو تنزيل ونشر على الجذر

انسخ الملف أو قم بتنزيله robots.txtثم اخدمها بالضبط https://yourhost/robots.txt مع أ 200 الحالة و text/plain نوع المحتوى. لا يوجد مكان آخر يعمل. /blog/robots.txt لا يقرأه أحد.

بروتوكول استبعاد الروبوتات بالتفصيل

إنه أخيرًا معيار

لمدة خمسة وعشرين عامًا، كان robots.txt عبارة عن اتفاقية تم وصفها في منشور قائمة بريدية عام 1994، وقام كل من الزواحف بتفسير الغموض بطريقته الخاصة. في عام 2022 تم نشره على أنه RFC 9309، الذي يقنن قواعد التحليل، ودلالات المطابقة، وترتيب الأسبقية الذي تقاربت عليه Google وBing وأخطر برامج الزحف. عندما يقول هذا الدليل &quot؛ القاعدة هي X&quot؛ وهذا يعني أن RFC 9309 يقول X - وليس أن منشور المدونة يؤكد ذلك.

المجموعات، ولماذا يطيع الزاحف واحدًا فقط

يتكون السجل من واحد أو أكثر متتاليين User-agent: الأسطر متبوعة بأسطر القواعد التي تنطبق عليها. يعرّف الزاحف نفسه برمز المنتج - Googlebot، Bingbot، GPTBot- ويبحث عن المجموعة التي يتطابق رمزها بشكل أكثر تحديدًا. إنه يطيع تلك المجموعة الواحدة دون غيرها. ال * المجموعة هي المجموعة الاحتياطية، وتستخدم فقط عندما لا يكون هناك شيء أكثر تحديدًا متطابقًا.

والنتيجة العملية تستحق التكرار لأنها تسبب الكثير من الضرر: فالمجموعات لا ترث. ملف يقرأ

User-agent: *
Disallow: /admin/
Disallow: /cart

User-agent: Googlebot
Disallow: /internal/

يعني أن Googlebot قد يزحف /admin/ و /cart بحرية. وجدت مجموعتها الخاصة، وبالتالي * المجموعة غير مرئية لها. إذا كنت تريد حظر Googlebot من الثلاثة، فيجب أن تظهر القواعد الثلاثة داخل Googlebot مجموعة.

أسبقية أطول مباراة

عندما تتطابق قاعدتان أو أكثر في المجموعة المعمول بها مع عنوان URL، فإن الفائز هو الذي لديه أطول نمط مسار، تقاس بالأحرف. الترتيب في الملف غير ذي صلة. إذا كان أطول السماح بالمطابقة وأطول عدم السماح بالمطابقة لهما نفس الطول، فسيفوز السماح.

User-agent: *
Disallow: /admin
Allow: /admin/public

بموجب هذه القواعد، /admin/public/logo.png يكون مسموح- نمط السماح هو 13 حرفًا مقابل Disallow&#39؛s 6 - بينما /admin/secret يكون غير مسموح، لأن نمط عدم السماح فقط هو الذي يطابقه. هذه هي الآلية الكامنة وراء كل &quot؛ حظر الدليل، والسماح بملف واحد بداخله &quot؛ النمط، بما في ذلك WordPress&#39؛s admin-ajax.php اقتطاع. ولهذا السبب أيضًا، تؤدي كتابة القواعد من أعلى إلى أسفل مثل تكوين جدار الحماية إلى ظهور حدس خاطئ: لا توجد انتصارات في المباراة الأولى، ولا سقوط، ولا ترتيب.

أحرف البدل والمرساة النهائية

يتم دعم حرفين خاصين في أنماط المسار.

* يطابق أي تسلسل من الأحرف، بما في ذلك لا شيء. Disallow: /*?sessionid= يحظر أي عنوان URL يحتوي على معلمة الاستعلام هذه في أي مكان.

$ يثبت نهاية عنوان URL، ويعني ذلك فقط عندما يكون هو الحرف الأخير للنمط. Disallow: /*.pdf$ كتل /whitepaper.pdf لكن لا /whitepaper.pdf?download=1، لأن عنوان URL هذا لا ينتهي عند .pdf. أسقط $ وأنت تحجب كليهما - بالإضافة إلى أي شيء آخر يحتوي مساره فقط .pdf.

بدون أ $المطابقة هي أ مباراة البادئة، الذي يعثر الناس باستمرار. Disallow: /admin كتل /admin، /admin/، /admin/usersو أيضا /administrator و /admin-tools، لأن كلهم يبدأون بالسلسلة /admin. إذا كنت تقصد الدليل فقط، فاكتب /admin/.

لا يتم تكريم تأخير الزحف عالميًا

Crawl-delay: 10 يطلب من الزاحف الانتظار لمدة عشر ثوانٍ بين الطلبات. Bing وYandex والعديد من برامج الزحف الصغيرة تحترم ذلك. يتجاهل Googlebot ذلك تمامًا- يقوم Google بضبط معدل الزحف بناءً على أوقات استجابة الخادم والإعداد في Search Console، وليس بناءً على توجيه في ملفك. يعد ضبط تأخير زحف كبير على موقع كبير بمثابة مسدس قدم بطيء الحركة: عند 10 ثوانٍ لكل طلب، يستغرق الموقع المكون من 100000 صفحة ما يقرب من اثني عشر يومًا للزحف مرة واحدة، وعمليًا لا يتم الزحف إلى الكثير منه على الإطلاق. إذا كان الزحف يضر خادمك حقًا، فقم بإصلاح الخادم أو قم بتخزين الصفحات مؤقتًا؛ يؤدي خنق الزاحف في الغالب إلى جعلك غير مرئي.

حظر برامج الزحف للذكاء الاصطناعي

تنقسم برامج الزحف الخاصة بالذكاء الاصطناعي إلى فئتين يخلطهما الأشخاص بشكل روتيني. تقوم برامج الزحف التدريبية - GPTBot، وClaudeBot، وCCBot، وBytespider، وGoogle-Extend - بجمع المحتوى المستخدم لتدريب النماذج. تقوم برامج الزحف الخاصة بمحرك الإجابة، والتي يعد PerplexityBot أوضح مثال عليها، بجلب الصفحات حتى يمكن الاستشهاد بها في الإجابات التي تم إنشاؤها، والتي يمكن أن ترسل لك حركة مرور الإحالة. يؤدي حظر الفئة الأولى إلى حماية المحتوى الخاص بك من الاندماج في النموذج؛ يؤدي حظر الفئة الثانية إلى إزالتك من السطح الذي قد يتم الاستشهاد بك فيه بطريقة أخرى.

Google-Extended يستحق ملاحظة محددة لأن تسميته مضللة. إنه ليس زاحفًا. إنه رمز مميز يتحكم فيما إذا كان المحتوى الذي تم جلبه بالفعل بواسطة Googlebot يمكن استخدامه لتدريب Gemini وVertex AI. عدم السماح له لا يوجد تأثير على الإطلاق في بحث Google، الزحف أو الفهرسة أو التصنيف. يمكنك رفض استخدام تدريب الذكاء الاصطناعي الخاص بـ Google&#39 والحفاظ على تواجدك في البحث سليمًا تمامًا.

والتحذير الذي ينطبق عليهم جميعا: الامتثال طوعي. يؤدي حظر GPTBot إلى إيقاف OpenAI&#39؛s المعلن عن الزاحف لأن OpenAI اختار احترام الملف. فهو لا يفعل شيئًا بشأن المكشطة التي تكمن في وكيل المستخدم الخاص به، ولا يوجد توجيه robots.txt يمكنه ذلك.

مرجع التوجيه

حالات الاستخدام الشائعة

إبقاء النفايات خارج الفهرس دون حجب أي شيء مهم

مهمة الخبز والزبدة: حظر عناوين URL للبحث متعدد الأوجه، وسلاسل استعلام معرف الجلسة، ونتائج البحث الداخلي، وصفحات سلة التسوق أو الدفع، بحيث تنفق برامج الزحف ميزانيتها على الصفحات التي يمكن تصنيفها بالفعل. المصيدة مفرطة في الحظر. قاعدة مثل Disallow: /*? يحظر كل عنوان URL بسلسلة استعلام، والتي تتضمن في العديد من المواقع صفحات الفئات المرقمة التي تريد بشدة الزحف إليها. اختبار الأنماط قبل شحنها.

أخذ موقع التدريج الظلام

User-agent: * زائد Disallow: / هي الدعوة الصحيحة لبيئة التدريج أو المعاينة، ويقوم Block بكل شيء تم إعداده مسبقًا بإنتاجه. لكن تعامل مع هذا على أنه نظافة وليس أمانًا: يجب أن تكون بيئات التدريج أيضًا وراء مصادقة HTTP أو قائمة السماح لـ IP، لأن robots.txt لا تخفي المضيف ولا تمنع أي شخص من تصفحه. ويجب ألا يتم ترقية الملف أبدًا إلى الإنتاج - ضعه في مسار النشر ومراجعة #39؛s المختلفة، لأن هذا الخطأ الدقيق هو الطريقة الوحيدة الأكثر شيوعًا التي تختفي بها المواقع من Google.

إصلاح الموقع الذي توقف عن البحث

عندما تسقط حركة المرور العضوية من منحدر، /robots.txt هو أول شيء يجب التحقق منه، قبل تحديثات الخوارزمية وعمليات تدقيق الارتباط الخلفي. لصق الملف المباشر في المولد وقراءة مخرجات المدقق. ضالة Disallow: /، القاعدة التي تحظر CSS وJavaScript Googlebot تحتاج إلى عرض الصفحة، أو أ Googlebot المجموعة التي تتجاوز عن طريق الخطأ مجموعة مكتوبة بعناية * سوف تظهر المجموعة على الفور.

تحديد ما يمكن أن تفعله برامج زحف الذكاء الاصطناعي بالمحتوى الخاص بك

أصبح لدى الناشرين ومواقع التوثيق وأي شخص يكون محتواه هو المنتج الآن قرار حقيقي يجب اتخاذه بشأن تدريب برامج الزحف. يمنحك الإعداد المسبق لبرامج الزحف Block AI افتراضيًا يمكن الدفاع عنه - الترحيب بمحركات البحث، ورفض برامج الزحف التدريبية - ويشرح جدول الزاحف كل واحد منها حتى تتمكن من إجراء استثناءات عمدًا، مثل الاحتفاظ بـ PerplexityBot مسموحًا به لحركة الإحالة مع رفض روبوتات التدريب الخالصة.

تدقيق موقع موروث

أنت تتولى إدارة الموقع ولا أحد يعرف السبب /resources/ غير مفهرسة. استيراد الروبوتات الحية.txt، وتشغيل جهاز الاختبار مقابل المسارات المعنية، وتسمية الأداة القاعدة الدقيقة للقيام بذلك. يستغرق هذا دقيقة ويحل محل فترة ما بعد الظهر من التخمين.

لماذا يتم إنشاء robots.txt في المتصفح

ال مولد robots.txt يعمل بالكامل من جانب العميل. مساراتك وأسماء المضيفين والقواعد الخاصة بك لا تترك الجهاز أبدًا، وهو أمر مهم أكثر مما قد يبدو - بنية الدليل لمنتج لم يتم إصداره، وعنوان URL لمضيف التدريج، والمسارات الداخلية التي تحاول الحفاظ عليها هادئة هي كل الأشياء التي تستحق عدم لصقها في شخص آخر &#39؛ سجلات الخادم. بمجرد تحميل الصفحة، فإنها تعمل دون اتصال بالإنترنت، ويكون الإخراج عبارة عن ملف نصي عادي تمتلكه.

يقع Robots.txt جنبًا إلى جنب مع بعض الوظائف المجاورة. ال مولد العلامات ينتج noindex والعلامات الأساسية التي تقوم بالعمل لا تستطيع الروبوتات.txt القيام بها. ال افتح معاينة الرسم البياني يوضح كيف سيتم عرض الروابط الخاصة بك بمجرد وصول برامج الزحف التي سمحت بها وإحضارها. و ال مولد البزاق يبني المسارات النظيفة التي ستتوافق معها قواعدك في نهاية المطاف.

أسئلة وأجوبة

أين أضع ملف robots.txt؟

يجب أن يتم تقديمه بالضبط /robots.txt على المضيف ينطبق على - على سبيل المثال https://example.com/robots.txt. لا تبحث الزواحف في أي مكان آخر. ملف في /blog/robots.txt يتم تجاهله بالكامل، ويتم تشغيل الملف example.com لا يحكم shop.example.com؛ كل مضيف يحتاج إلى خاصته. خدمتها بحالة 200 و text/plain نوع المحتوى.

هل عدم السماح بإزالة صفحة من Google؟

لا، وهذا هو سوء الفهم الأكثر أهمية حول التنسيق. يمنع عدم السماح Google من جلب الصفحة؛ ولا يزيل عنوان URL من الفهرس. إذا ارتبطت مواقع أخرى بعنوان URL محظور، فلا يزال بإمكان Google إدراجه، عادةً بدون وصف لأنه لم يقرأ الصفحة مطلقًا. لإبقاء الصفحة خارج نتائج البحث، اسمح بالزحف وتقديم ملف noindex علامة تعريف الروبوتات أو X-Robots-Tag رأس. إذا قمت بحظر عنوان URL، فلن يتمكن الزاحف أبدًا من رؤية noindex الذي أضفته.

هل Robots.txt طريقة لإخفاء الصفحات الخاصة؟

لا، إنه ملف عام يمكن لأي شخص قراءته، وتكريمه أمر طوعي - يتجاهله الكاشطون الضارون تمامًا. قائمة /internal-admin/ في قواعد عدم السماح الخاصة بك، تخبر كل مهاجم بمكان البحث بالضبط. أي شيء يجب أن يظل خاصًا يحتاج إلى مصادقة، أو قائمة السماح لـ IP، أو عدم وجوده على الإنترنت العام على الإطلاق.

كيف يتفاعل السماح وعدم السماح عندما يتطابق كلاهما مع عنوان URL؟

تفوز القاعدة الأكثر تحديدًا، حيث تعني الخصوصية طول نمط المسار. معين Disallow: /admin و Allow: /admin/public، عنوان URL /admin/public مسموح به لأن نمط السماح أطول، بينما /admin/secret محظور. إذا كان هناك نمطان بنفس الطول تمامًا، فالسماح بالفوز. لا يهم قواعد الترتيب التي تظهر في الملف، الأمر الذي يفاجئ الأشخاص الذين يتوقعون سلوك الفوز بالمباراة الأولى على غرار جدار الحماية.

ماذا تفعل البطاقات البدلية * و $؟

تتطابق العلامة النجمية مع أي مجموعة من الأحرف، لذا Disallow: /*?sessionid= يحظر أي عنوان URL يحتوي على تلك المعلمة. علامة الدولار تثبت نهاية عنوان URL، لذلك Disallow: /*.pdf$ كتل /report.pdf لكن لا /report.pdf?download=1. بدون أ $، المطابقة هي مطابقة البادئة: Disallow: /admin كتل /admin، /admin/usersو أيضا /administrator، لأن كلهم يبدأون بهذه السلسلة.

كيف يمكنني حظر برامج الزحف مثل GPTBot وClaudebot؟

أعط كل واحد مجموعته الخاصة مع Disallow: /. تقوم برامج الزحف Block AI المحددة مسبقًا بذلك لـ GPTBot وClaudeBot وPerplexityBot وCCBot وGoogle-Extending وBytespider وanthropic-ai بنقرة واحدة مع ترك Googlebot وBingbot مجانيين للزحف. لاحظ أن Google-Extensive يتحكم فقط في استخدام التدريب لـ Gemini وVertex AI وليس له أي تأثير على بحث Google. الامتثال طوعي، لذلك يؤدي هذا إلى إيقاف برامج الزحف التعاونية، وليس أدوات الكشط المحددة.

هل يعمل تأخير الزحف بالفعل؟

ذلك يعتمد على الزاحف. يتجاهله Googlebot تمامًا - يتم ضبط معدل الزحف من Search Console ومن الخادم الخاص بك &#39؛ أوقات الاستجابة. يحترمها Bing وYandex والعديد من برامج الزحف الأصغر حجمًا، ويتعاملون مع القيمة على أنها الحد الأدنى لعدد الثواني بين الطلبات. قد يعني تعيين تأخير كبير على موقع كبير عدم الزحف إلى معظم الصفحات على الإطلاق، لذا احتفظ بالقيم صغيرة وقم بإصلاح سعة الخادم بدلاً من ذلك إذا كان الزحف يمثل مشكلة حقيقية.

ماذا يحدث إذا كان لدى robots.txt خطأ في بناء الجملة؟

يتجاهل الزاحف الخطوط التي لا يمكنهم تحليلها بصمت ويستمرون في الباقي، لذلك تفشل القاعدة المكسورة بهدوء وليس بصوت عالٍ. توجيه غير معروف، أو مسار يفتقد خطه المائل الرئيسي، أو قاعدة موضوعة فوق الأول User-agent: الخط ببساطة لا يفعل شيئًا، ولن تكتشف ذلك حتى تتحرك حركة المرور الخاصة بك. هذا هو بالضبط الغرض من أداة التحقق من الصحة: فهو يقوم بالإبلاغ عن كل منها برقم سطر قبل النشر.