Die teuersten vier Charaktere, die ich je gesehen habe, waren Disallow: /drohen Ein Team hat während einer Veröffentlichung einen Staging-Roboter.txt in die Produktion gebracht, und in den folgenden zehn Tagen hat Google die meisten Seiten der Website leise gelöscht. Der Verkehr stürzte nicht so ab, dass Alarme ausgelöst wurden, sondern erschöpfte. Zu der Zeit dachte jemand daran zu überprüfen /robots.txtDie Erholung war ein Monat des erneuten Krabbelns. Die Datei, die es verursachte, war vier Zeilen lang.
robots.txt ist täuschend einfach. Es ist einfach Text, es gibt vielleicht sechs wissenswürdige Richtlinien, und die Syntax passt auf eine Karteikarte. Diese Einfachheit ist genau der Grund, warum es schief geht: Es gibt keinen Build-Schritt, keinen Linter in Ihrem CI, kein Typsystem und keine Fehlermeldung. Wenn Sie eine Regel schreiben, die ein Crawler nicht analysieren kann, ignoriert der Crawler diese Zeile stillschweigend und setzt fort. Ihre Datei sieht gut aus, Ihre Website sieht gut aus und etwas, von dem Sie dachten, dass es blockiert wurde, wird gecrawlt - oder etwas, das Sie gekriechbar haben müssen, ist nicht der Fall.
Ich baue toolz.dev Und ich schreibe ständig robots.txt-Dateien für Staging-Umgebungen, Kundenseiten und meine eigenen Projekte, also habe ich die robots.txt-Generator um die Fehlermodi sichtbar zu machen. Es baut die Datei aus einer strukturierten Form auf, sodass die Syntax durch Konstruktion richtig ist. Es fließt das, was Sie geschrieben haben, und ruft die Fußwaffen mit Leitungsnummern. Und es testet eine URL gegen Ihre Regeln mit der gleichen Verwendung von Real-Crawlern mit der höchsten Übereinstimmung, die Sie vor der Bereitstellung erreichen können, anstatt dass die Search Console Ihnen mitteilt, dass dies nicht der Fall ist.
tl; dr: Robots.txt sagt Crawlern, was sie abholen können. Es werden keine Seiten aus den Suchergebnissen entfernt und nichts privates geschützt. Die Datei ist öffentlich und die Einhaltung ist freiwillig. Regeln gelten nur innerhalb von a
User-agent:Gruppe, Pfade müssen mit beginnen/,*Passt zu allem, ein Nachlauf$Verankert das Ende, und wenn zwei Regeln übereinstimmen, gewinnt das längste Muster mit den zulässigen Bindungen. der robots.txt-Generator Erstellt, fusselt und testet all das in Ihrem Browser.
Was Robots.txt tatsächlich steuert
Robots.txt ist eine Crawl-Direktive, keine Index-Direktive. Diese einzige Unterscheidung erklärt den größten Teil der Verwirrung um ihn herum.
Wenn ein Crawler eine URL auf Ihrem Host abrufen möchte, holt er zuerst https://yourhost/robots.txt und prüft, ob die URL zulässig ist. Wenn a Disallow Regelübereinstimmungen, ein gut erzogener Crawler fordert die Seite nicht an. Das ist der gesamte Mechanismus. Es regelt die HTTP-Anfrage und nichts anderes.
Was es nicht tut, ist eine URL aus dem Suchindex zu entfernen. Google kann und erstellt URLs, die es noch nie abgerufen hat, und verwendet nur den Ankertext und den Kontext von Links, die darauf weisen. Wenn Sie blockieren /pricing in robots.txt und fünfzig Websites verlinken /pricing, Google zeigt diese URL möglicherweise immer noch in den Ergebnissen an - normalerweise ohne Beschreibung, da die Seite nie gelesen wurde. Das Blockieren einer URL, die Sie außerhalb der Suche wünschen, funktioniert aktiv gegen Sie: noindex Tag, das es entfernt, lebt auf der Seite, und ein Crawler, der die Seite nicht abrufen darf, kann sie nie sehen. Die richtige Reihenfolge ist das Crawlen, dienen <meta name="robots" content="noindex"> oder ein X-Robots-Tag: noindex Warten Sie, bis die Seite ausfällt, und blockieren Sie sie erst dann, wenn Sie das Crawler-Budget sparen möchten.
Es schützt auch nichts. Robots.txt wird öffentlich auf einem bekannten Pfad bedient, jeder, einschließlich aller Angreifer im Internet, kann Ihren Browser in einem Browser lesen. ein Disallow: /internal-admin-v2/ Linie ist ein Wegweiser, der auf das gewünschte Objekt zeigt. Scharfschützen ignorieren die Datei vollständig - die Ehre ist eine freiwillige Konvention, kein Durchsetzungsmechanismus. Alles, was privat sein muss, benötigt eine Authentifizierung oder eine IP-Zulassungsliste. robots.txt ist eine Anfrage an Crawler, die sich für das Zuhören entschieden haben.
Hauptmerkmale des robots.txt-Generators
Strukturierter Gruppeneditor
Die Grammatik der Datei ist Gruppen: eine oder mehrere User-agent: Zeilen gefolgt von den Regeln, die für sie gelten. Das Schreiben von Hand lädt den häufigsten strukturellen Fehler ein, der über dem ersten schwebt User-agent: Linie, wo es auf niemanden zutrifft. Der Generator baut Gruppen als erstklassige Objekte auf, sodass jede von Ihnen hinzugefügte Regel notwendigerweise zu einer Gruppe gehört.
Ein Validator, der die echten Fußwaffen meldet
Der Linter läuft auf jedem Tastendruck und meldet Fehler, Warnungen und Notizen mit Zeilennummern. Es markiert Regeln außerhalb jeder Gruppe, Pfade, die ihren führenden Schrägstrich verfehlen, eine bloße Disallow: ohne Wert (was "alles zulassen" bedeutet und fast nie das ist, was der Autor gemeint hat), Sitemap-URLs, die nicht absolut sind, $ Überall, aber am Ende eines Musters, unbekannte Direktiven, doppelte Benutzeragentengruppen und - laut - a Disallow: / Sitzen unter User-agent: *drohen
Ein echter URL-Tester
Geben Sie einen Pfad und einen Benutzeragenten ein und die zulässigen oder nicht zulässigen Tool-Berichte sowie die genaue Regel, die dies entschieden hat. Die Vorranglogik ist die echte von RFC 9309: Das längste übereinstimmende Pfadmuster gewinnt unabhängig von den Ordnungsregeln in der Datei. Wenn zwei Muster gleich lang sind, lassen Sie Beats nicht zu. Dies ist der Teil, den die Leute von Intuition am häufigsten falsch machen, da sie sich nicht wie die Regeln für die ersten Gewinne von Firewall verhält.
Ein-Klick-Voreinstellungen
Erlaube alles, blockiere alles, blockiere alles, speichere WordPress, Shopify, Next.js und Block-AI-Crawler füllen das gesamte Formular mit einem korrekten, vernünftigen Ausgangspunkt aus. Die WordPress-Voreinstellungen blockiert /wp-admin/ Beim Ausschnitzen /wp-admin/admin-ajax.php, die viele handgeschriebene Dateien vergessen und dadurch die Front-End-Funktionalität brechen, die Google benötigt, um die Seite zu rendern.
AI-Crawler-Steuerelemente
Ein Klick fügt Ablehnungsgruppen für GPTBot, Claudebot, PerplexityBot, CCBot, Google-Extended, ByteSpider und Anthropic-AI hinzu, während GoogleBot und Bingbot frei kriechen können. Die bekannte Crawler-Tabelle erklärt, was jeder Bot tatsächlich tut. Sie treffen also eine informierte Wahl, anstatt eine Liste aus einem Blog-Beitrag einzufügen.
Analysiert Ihre vorhandene Datei
Fügen Sie die bereits bediente robots.txt ein und das Tool liest sie in bearbeitbare Gruppen zurück. Die meisten robots.txt-Arbeiten sind keine grünen Feldern - sie prüfen und reparieren etwas, das vor drei Jahren von jemandem geschrieben wurde, der gegangen ist - und von dem, was tatsächlich live ist, ist die einzig vernünftige Möglichkeit, dies zu tun.
Alles bleibt in Ihrem Browser
Die Datei wird in clientseitiger JavaScript generiert, flink und getestet. Es wird nichts hochgeladen, sodass Sie sicher Regeln für einen Staging-Host oder einen unangekündigten Abschnitt einer Website erstellen können. Das Tool funktioniert nach dem Laden offline.
So verwenden Sie den robots.txt-Generator
Schritt 1: Starten Sie von einem Preset oder importieren Sie, was Sie bereits haben
Wenn Sie neu anfangen, wählen Sie die Voreinstellung, die Ihrem Stapel am nächsten liegt. Wenn Sie bereits einen robots.txt bedienen, holen Sie ihn ab https://yoursite.com/robots.txt, fügen Sie es in das Feld Import ein und klicken Sie auf "In Gruppen analysieren". Das Tool rekonstruiert die Gruppenstruktur und der Validator sagt Ihnen sofort, was mit der Datei, die Sie in der Produktion ausgeführt haben, nicht stimmt.
Schritt 2: Erstellen Sie Ihre Benutzeragentengruppen
Jede Gruppe zielt auf einen oder mehrere Crawler. Fügen Sie Crawler aus der bekannten Bot-Liste hinzu oder geben Sie A-Token direkt ein. Token sind also unempfindlich gegenüber Groß- und Kleinschreibung googlebot und Googlebot sind gleichwertig. Eine Gruppe mit * ist das Sammeln: Es gilt für jeden Crawler, der keine spezifischere Gruppe für sich hat.
Das Entscheidende hier zu verinnerlichen ist, dass Crawler genau einer Gruppe gehorchen. Googlebot liest die Googlebot Gruppe, wenn man existiert und ignoriert die * vollständig gruppieren - es wird nicht zusammengeführt. Wenn Sie eine erstellen Googlebot Gruppe Um eine Regel hinzuzufügen, müssen Sie jede Regel aus der * Gruppe darin, oder Googlebot hört stillschweigend auf, ihnen zu gehorchen. Das überrascht fast alle beim ersten Mal.
Schritt 3: Fügen Sie Regeln, Sitemaps hinzu und lesen Sie den Validator
Fügen Sie Verbotspfade für das zu überspringende Crawler hinzu und lassen Sie Pfade für die darin enthaltenen Carve-Outs zu. Fügen Sie nur eine Crawl-Verzögerung hinzu, wenn Sie einen Motor anvisieren, der einen ehrt. Fügen Sie Ihre Sitemap-URLs hinzu - diese müssen absolut sein, einschließlich Schema und Host, und sie sitzen außerhalb jeder Gruppe und gelten für alle.
Dann lesen Sie den Validator. Fehler sind Dinge, die nicht funktionieren. Warnungen sind Dinge, die wahrscheinlich nicht das bedeuten, was Sie denken. Notizen sind Chancen. Repariere alles rot, bevor du weiter gehst.
Schritt 4: Testen Sie die URLs, die Ihnen wirklich wichtig sind
Dies ist der Schritt, den die Leute überspringen und nicht. Gehen Sie auf den drei oder vier Pfaden, deren Crawling-Status wirklich wichtig ist - Ihre Produktseiten, Ihr Blog, die Administratorroute, die Sie blockiert haben, die CSS-Datei, die Google Ihr Layout rendern muss - und testen Sie jede gegen Googlebot. Das Tool sagt Ihnen, dass Sie die zulässige oder nicht zulässige Regel benennen. Wenn Sie ein Ergebnis überrascht, sagen Ihre Regeln nicht, was Sie denken, und es ist weitaus billiger, dies jetzt zu lernen.
Schritt 5: Kopieren oder Herunterladen und Bereitstellen im Root
Kopieren Sie die Datei oder laden Sie sie herunter robots.txt, dann genau servieren https://yourhost/robots.txt Mit einem 200 Status und a text/plain Inhaltstyp. Nirgendwo sonst funktioniert. /blog/robots.txt wird von niemandem gelesen.
Das Ausschlussprotokoll der Roboter im Detail
Es ist endlich ein Standard
Für 25 Jahre war Robots.txt eine Konvention, die in einem Mailinglistenpost von 1994 beschrieben wurde, und Crawler interpretierten die Unklarheiten jeweils auf ihre eigene Art und Weise. 2022 erschien es als RFC 9309, die die Parsing-Regeln, die passende Semantik und die Rangfolge, die Google, Bing und die schwerwiegendsten Crawler zusammengefunden haben, kodifiziert. Wenn dieser Leitfaden "Die Regel lautet X" sagt, bedeutet RFC 9309 X - nicht, dass ein Blog-Beitrag dies behauptet.
Gruppen, und warum Crawler nur einem gehorchen
Ein Datensatz besteht aus einem oder mehreren aufeinanderfolgenden User-agent: Linien gefolgt von den auf sie zutreffenden Regellinien. Ein Crawler identifiziert sich mit einem Produkt-Token — Googlebot, Bingbot, GPTBot - und sucht nach der Gruppe, deren Token am spezifischsten übereinstimmt. Es gehorcht dieser eine Gruppe und keine andere. der * Gruppe ist der Fallback, der nur verwendet wird, wenn nichts spezifischer übereinstimmt.
Die praktische Konsequenz wird wiederholt, weil es so viel Schaden verursacht: Gruppen erben nicht. eine Datei, die liest
User-agent: *
Disallow: /admin/
Disallow: /cart
User-agent: Googlebot
Disallow: /internal/
bedeutet, dass Googlebot möglicherweise kriecht /admin/ und /cart frei. Es hat eine eigene Gruppe gefunden, also die * Gruppe ist dafür unsichtbar. Wenn Sie möchten, dass Googlebot von allen drei blockiert wird, müssen alle drei Regeln innerhalb der Googlebot Gruppe
Vorrang vor der längsten Übereinstimmung
Wenn zwei oder mehr Regeln in der zutreffenden Gruppe einer URL entsprechen, ist der Gewinner derjenige mit dem längstes Pfadmuster, gemessen in Zeichen. Die Reihenfolge in der Datei ist unerheblich. Wenn die längste Übereinstimmung zulässig und die längste Übereinstimmung nicht zulässig sind, lassen Sie Gewinne zu.
User-agent: *
Disallow: /admin
Allow: /admin/public
Unter diesen Regeln, /admin/public/logo.png ist erlaubt — Das Zulässige Muster besteht aus 13 Zeichen gegen die Verbotsung 6 — während /admin/secret ist ungültig, weil nur das Disallow-Muster damit übereinstimmt. Dies ist der Mechanismus hinter jedem "Blockieren des Verzeichnisses, erlauben Sie eine Datei darin" - Muster, einschließlich WordPress admin-ajax.php Carve-out. Es ist auch der Grund, warum das Schreiben von Regeln wie eine Firewall-Konfiguration falsche Intuitionen erzeugt: Es gibt keine ersten Gewinne, keinen Durchfall und keine Bestellung.
Wildcards und der Endanker
Zwei Sonderzeichen werden in Pfadmustern unterstützt.
* Entspricht einer beliebigen Zeichenfolge, einschließlich keine. Disallow: /*?sessionid= Blockiert jede URL, die diesen Abfrageparameter enthält.
$ Verankert das Ende der URL und bedeutet nur, dass es der endgültige Charakter des Musters ist. Disallow: /*.pdf$ Blöcke /whitepaper.pdf Aber nicht /whitepaper.pdf?download=1, weil diese URL nicht endet .pdfdrohen Lass das fallen $ Und Sie blockieren beide - zusammen mit allem anderen, dessen Pfad nur enthält .pdfdrohen
Ohne $, Matching ist ein Präfix übereinstimmen, die Menschen ständig stolpert. Disallow: /admin Blöcke /admin, /admin/, /admin/users, und auch /administrator und /admin-tools, weil alle mit der Zeichenfolge beginnen /admindrohen Wenn Sie nur das Verzeichnis gemeint haben, schreiben Sie /admin/drohen
Crawl-Delay wird nicht allgemein geehrt
Crawl-delay: 10 Bittet einen Crawler, zwischen den Anforderungen zehn Sekunden zu warten. Bing, Yandex und verschiedene kleinere Crawler ehren es. Googlebot ignoriert es vollständig — Google passt die Crawling-Rate basierend auf den Serverantwortzeiten und der Einstellung in der Search Console an, nicht auf einer Direktive in Ihrer Datei. Das Festlegen einer großen Kriechverzögerung auf einem großen Standort ist eine Zeitlupen-Fußwaffe: Bei 10 Sekunden pro Anfrage dauert es fast zwölf Tage, bis ein 100.000-seitiger Standort einmal gekriet hat, und in der Praxis wird ein Großteil davon nie gekriecht. Wenn das Crawlen Ihren Server wirklich verletzt, reparieren Sie den Server oder zwischenspeichern Sie die Seiten, und das Drosseln des Crawlers macht Sie meistens nur unsichtbar.
Blockieren von KI-Crawlern
Die KI-Crawler teilen sich in zwei Kategorien auf, die Menschen routinemäßig zusammenführen. Trainings-Crawler - GPTBot, Claudebot, CCbot, ByteSpider, Google-Extended - Sammeln Sie Inhalte, die zum Trainieren von Modellen verwendet werden. Answer-Engine-Crawler, von denen PerplexityBot das klarste Beispiel ist, rufen Sie Seiten ab, damit sie in generierten Antworten zitiert werden können, die Ihnen den Empfehlungsverkehr senden können. Blockieren der ersten Kategorie schützt Ihren Inhalt vor der Aufnahme in ein Modell, das Blockieren der zweiten entfernt Sie von einer Oberfläche, auf der Sie sonst zitiert werden könnten.
Google-Extended verdient eine bestimmte Notiz, weil es irregeführt wird. Es ist kein Crawler. Es ist ein Token, der steuert, ob bereits von Googlebot abgerufene Inhalte für Gemini- und Vertex-KI-Training verwendet werden können. es hat nicht zugelassen Keine Auswirkung Auf der Google-Suche crawlen, indizieren oder ranking. Sie können die Nutzung von Google-KI-Schulungen ablehnen und Ihre Suche vollständig intakt halten.
Und die Einschränkung, die für alle gilt: Compliance ist freiwillig. Das Blockieren von Gptbot stoppt den deklarierten Crawler von OpenAI, da OpenAI die Datei einrichtet. Es macht nichts über einen Scraper, der über seinen User-Agent liegt, und es gibt keine robots.txt-Direktive, die es kann.
Verweise
| Anweisung | Spielraum | Zweck | geehrt von |
|---|---|---|---|
User-agent: |
Öffnet eine Gruppe | Namen Der/die Crawler(e) Die folgenden Regeln gelten. * ist das Allerding. |
jeder |
Disallow: |
Innerhalb einer Gruppe | fordert den Crawler auf, keine URLs abzurufen, die dem Pfad entsprechen. eine bloße Disallow: ohne Wert bedeutet "Alles zulassen". |
jeder |
Allow: |
Innerhalb einer Gruppe | schnitzt eine Ausnahme aus einem breiteren Disallowdrohen Gewinnt die Bindungen nach dem längsten Spiel. |
Google, Bing, die meisten modernen Crawler |
Crawl-delay: |
Innerhalb einer Gruppe | Mindestsekunden zwischen den Anfragen. | Bing, Yandex, andere — nicht Googlebot |
Sitemap: |
global | Absolute URL eines Sitemap- oder Sitemap-Index. Gilt für alle Crawler unabhängig von der Platzierung. | Google, Bing, die meisten Crawler |
Host: |
global | Bevorzugter Spiegel/Domäne. Eine Yandex-Erweiterung. | Nur Yandex |
Noindex: |
- | funktioniert nicht. Google hat den Support 2019 fallen gelassen. Verwenden Sie a noindex Meta-Tag oder X-Robots-Tag Kopfball. |
keiner |
# |
irgendwohin | kommentieren Alles, was danach in der Linie ist, wird ignoriert. | jeder |
Häufige Anwendungsfälle
Halten Sie Junk aus dem Index, ohne etwas Wichtiges zu blockieren
Der Brot-und-Butter-Auftrag: Blockieren Sie URLs für die Facett-Suche, Abfragezeichenfolgen der Sitzungs-ID, interne Suchergebnisse und Warenkorb- oder Kassenseiten, damit Crawler ihr Budget für Seiten ausgeben, die tatsächlich rangieren können. Die Falle ist überblockiert. Eine Regel wie Disallow: /*? Blockiert jede URL mit einer Abfragezeichenfolge, die auf vielen Websites paginierte Kategorieseiten enthält, die Sie unbedingt durchsuchen möchten. Testen Sie die Muster, bevor Sie sie versenden.
Eine Staging-Site dunkel machen
User-agent: * Pluszeichen Disallow: / ist der richtige Aufruf für eine Staging- oder Vorschauumgebung, und der Block Everything Preset erzeugt ihn. Aber behandeln Sie dies als Hygiene, nicht als Sicherheit: Staging-Umgebungen sollten auch hinter HTTP-Auth oder einer IP-Zulassungsliste stehen, da robots.txt weder den Host verbirgt noch jemanden daran hindert, ihn zu durchsuchen. Und die Datei darf niemals in die Produktion befördert werden - legen Sie sie in die Diff-Überprüfung der Bereitstellungspipeline, da dieser genaue Fehler die gängigste Art und Weise ist, wie Websites von Google verschwinden.
Reparieren einer Website, die nicht gesucht wurde
Wenn der organische Verkehr von einer Klippe fällt, /robots.txt ist das erste, was zu überprüfen ist, bevor der Algorithmus aktualisiert und die Backlink-Audits. Fügen Sie die Live-Datei in den Generator ein und lesen Sie die Validierungsausgabe. Ein Streuner Disallow: /, eine Regel, die das CSS und Javascript blockiert Googlebot benötigt, um die Seite zu rendern, oder a Googlebot Gruppe, die versehentlich eine sorgfältig geschriebene überschreibt * Gruppe wird sofort angezeigt.
Entscheiden Sie, was KI-Crawler mit Ihren Inhalten anfangen können
Verlage, Dokumentationsseiten und jeder, dessen Inhalt das Produkt ist, haben jetzt eine echte Entscheidung über Schulungscrawler. Das Block-AI-Crawler-Preset gibt Ihnen eine vertretbare Standardeinstellung - Suchmaschinen willkommen, Trainings-Crawler abgelehnt - und die Crawler-Tabelle erklärt jede, sodass Sie absichtlich Ausnahmen machen können, z. B. das Halten des Versendens für den Überweisungsverkehr zulässig, während die reinen Trainings-Bots abgelehnt werden.
Auditing einer geerbten Site
Sie übernehmen eine Seite und niemand weiß warum /resources/ nicht indiziert ist. Importieren Sie die Live Robots.txt, führen Sie den Tester gegen die betreffenden Pfade aus und das Tool benennt die genaue Regel, die dies tut. Dies dauert eine Minute und ersetzt einen Nachmittag des Ratens.
Warum Robots.txt im Browser generieren
der robots.txt-Generator Läuft komplett clientseitig. Ihre Pfade, Hostnamen und Regeln verlassen den Computer nie, was wichtiger ist, als es scheint - die Verzeichnisstruktur eines unveröffentlichten Produkts, die URL eines Staging-Hosts und die internen Routen, die Sie still zu halten versuchen, sind alles, was es wert ist, nicht in die Serverprotokolle eines anderen einzufügen. Sobald die Seite geladen ist, funktioniert sie offline, und die Ausgabe ist eine einfache Textdatei, die Sie besitzen.
robots.txt sitzt neben einigen Nachbarjobs. der Meta-Tag-Generator produziert das noindex und kanonische Tags, die die Arbeit robots.txt nicht ausführen können. der Graph-Vorschau öffnen Zeigt, wie Ihre Links rendern werden, sobald die Crawler, die Sie zulassen haben, kommen und sie abrufen. und das Schneckengenerator Erstellt die sauberen Pfade, mit denen Ihre Regeln übereinstimmen.
FAQ
Wo lege ich die robots.txt-Datei ab?
es muss genau serviert werden /robots.txt Auf dem Host gilt es - zum Beispiel https://example.com/robots.txtdrohen Crawler suchen nirgendwo anders. eine Datei bei /blog/robots.txt wird vollständig ignoriert und die Datei auf example.com regiert nicht shop.example.com;; jeder Gastgeber braucht seinen eigenen. Servieren Sie es mit einem 200-Status und einem text/plain Inhaltstyp.
Entfernt eine Seite von Google nicht zu?
Nein, und dies ist das konsequenteste Missverständnis über das Format. Verhindern, dass Google eine Seite abruft, entfernt die URL nicht aus dem Index. Wenn andere Websites eine blockierte URL verlinken, kann Google diese immer noch auflisten, normalerweise ohne Beschreibung, da die Seite nie gelesen wird. Um eine Seite aus den Suchergebnissen herauszuhalten, lassen Sie das Crawlen zu und dienen Sie noindex Roboter Meta-Tag oder ein X-Robots-Tag Kopfball. Wenn Sie die URL blockieren, kann der Crawler den von Ihnen hinzugefügten Noindex nie sehen.
Ist robots.txt eine Möglichkeit, private Seiten zu verbergen?
kein drohen Es ist eine öffentliche Datei, die jeder lesen kann, und die Ehre ist freiwillig - Schädlinge ignorieren sie vollständig. Auflistung /internal-admin/ In Ihren Regeln für Nichtzulassen sagt jedem Angreifer genau, wo er suchen soll. Alles, was privat bleiben muss, braucht eine Authentifizierung, eine IP-Zulassungsliste oder ist überhaupt nicht im öffentlichen Internet.
Wie kann Interact zulassen und nicht zulassen, wenn beide einer URL entsprechen?
Die spezifischste Regel gewinnt, wobei die Spezifität die Länge des Pfadmusters bedeutet. gegeben Disallow: /admin und Allow: /admin/public, die URL /admin/public ist erlaubt, weil das erlaubte Muster länger ist, während /admin/secret ist blockiert. Wenn zwei Muster genau gleich lang sind, lassen Sie Gewinne zu. Die Bestellregeln erscheinen in der Datei, was die Leute überrascht, die das Verhalten von First-Match-Gewinn-Gewinn im Firewall-Stil erwarten.
Was machen die * und $ Wildcards?
Ein Stern passt also zu jedem Lauf von Charakteren Disallow: /*?sessionid= Blockiert jede URL, die diesen Parameter enthält. Ein Dollarzeichen verankert also das Ende der URL Disallow: /*.pdf$ Blöcke /report.pdf Aber nicht /report.pdf?download=1drohen Ohne $, Matching ist eine Präfix-Übereinstimmung: Disallow: /admin Blöcke /admin, /admin/users, und auch /administrator, weil alle mit dieser Zeichenfolge beginnen.
Wie blockiere ich KI-Crawler wie gptbot und claudebot?
Geben Sie jedem seine eigene Gruppe mit Disallow: /drohen Das Block-AI-Crawler-Preset erledigt dies für GPTBot, Claudebot, PerplexityBot, CCBot, Google-Extended, ByteSpider und Anthropic-AI in einem einzigen Klick, während Googlebot und Bingbot frei bleiben. Beachten Sie, dass Google-Extended nur die Schulung für Gemini und Vertex AI kontrolliert und keine Auswirkungen auf die Google-Suche hat. Die Einhaltung ist freiwillig, so dass die kooperativen Raupen nicht feststehen, keine bestimmten Schaber.
Funktioniert die Kriechverzögerung tatsächlich?
Es kommt auf den Crawler an. Googlebot ignoriert es vollständig - die Crawling-Rate wird von der Search Console und von den Antwortzeiten Ihres Servers angepasst. Bing, Yandex und mehrere kleinere Crawler ehren es und behandeln den Wert als die minimale Anzahl von Sekunden zwischen den Anforderungen. Wenn Sie eine große Verzögerung auf einer großen Website festlegen, können die meisten Seiten nie gecrawlt werden. Halten Sie also die Werte klein und beheben Sie die Serverkapazität.
Was passiert, wenn mein robots.txt einen Syntaxfehler hat?
Crawler verwerfen stillschweigend Linien, die sie nicht analysieren und mit dem Rest fortfahren können, so dass eine gebrochene Regel leise und nicht laut scheitert. Eine unbekannte Direktive, ein Pfad fehlt der führende Schrägstrich oder eine Regel, die über dem ersten platziert wird User-agent: Line tut einfach nichts und Sie werden es erst herausfinden, wenn sich Ihr Verkehr bewegt. Genau dafür ist der Validator gedacht: Er meldet diese vor der Bereitstellung mit einer Zeilennummer.
