Alles, was robots.txt steuert, und das Eine, was sie nicht steuert

Was ist robots.txt?

Eine Website veröffentlicht robots.txt im Stammverzeichnis eines Hosts, um Crawlern mitzuteilen, welche URL-Pfade sie abrufen dürfen, und das ist der gesamte Umfang der Datei: robots.txt bittet einen Crawler, eine Seite nicht abzurufen, macht die Seite nicht privat und hält die URL nicht zuverlässig aus den Suchergebnissen heraus. Die Regeln stammen aus RFC 9309, dem Robots Exclusion Protocol, einem Standards-Track-Dokument, das im September 2022 von Martijn Koster, Gary Illyes, Henner Zeller und Lizzi Sassman veröffentlicht wurde. RFC 9309 verlangt, dass die Regeln "in einer Datei namens '/robots.txt' (komplett kleingeschrieben) im Top-Level-Pfad des Dienstes zugänglich" sind, und Googles robots.txt-Spezifikation ergänzt, dass die Regeln "nur für den Host, das Protokoll und die Portnummer gelten, unter denen die robots.txt-Datei gehostet wird." Lesen Sie die Datei als Verkehrssteuerung für Crawler, die sich freiwillig daran halten.

Zuletzt geprüft: 8. September 2026

Warum taucht eine in robots.txt blockierte Seite trotzdem bei Google auf?

Google listet die URL, weil ein Link darauf zeigte, und das Listen einer URL erfordert keinen Abruf. Googles robots.txt-Einführung, zuletzt aktualisiert am 10. Dezember 2025, hält fest, dass eine robots.txt-Datei "kein Mechanismus ist, um eine Webseite aus Google herauszuhalten", und Googles Spezifikation ergänzt, dass Google "die Inhalte von Seiten, deren Crawling nicht erlaubt ist, nicht indexieren kann, die URL aber trotzdem indexieren und ohne Snippet in den Suchergebnissen anzeigen darf." Eine Disallow-Regel stoppt den Abruf und sonst nichts, also trägt das Ergebnis den Ankertext der verlinkenden Seite anstelle einer Beschreibung.

Die Lösung läuft der Intuition entgegen. Ein noindex-Robots-Meta-Tag wirkt nur, wenn der Crawler die Seite abruft und liest, also ist genau eine Disallow-Zeile das, was noindex unsichtbar macht. Löschen Sie das Disallow, liefern Sie noindex aus und lassen Sie Google die Seite abrufen, damit Google lernt, sie fallen zu lassen. Für Inhalte, die überhaupt nicht lesbar sein dürfen, nutzen Sie Authentifizierung: robots.txt ist eine öffentliche Datei, die jedem, der sie öffnet, Ihre sensiblen Pfade auflistet.

Was macht jede robots.txt-Anweisung?

RFC 9309 definiert drei Felder, User-Agent, Allow und Disallow, dazu drei Sonderzeichen, und Googles Spezifikation ergänzt das Sitemap-Feld.

Kodieren Sie ein wörtliches *, $ oder # innerhalb eines Pfads prozentual, wie RFC 9309 empfiehlt.

Crawl-delay steht außerhalb des Standards. Googles robots.txt-Spezifikation, zuletzt aktualisiert am 31. August 2026, listet die vier Felder auf, die Google liest, und stellt fest, dass "andere Felder wie crawl-delay nicht unterstützt werden." Die Unterstützung hängt vom jeweiligen Crawler ab: Anthropics Dokumentation veröffentlicht Crawl-delay: 1 unter User-agent: ClaudeBot als Alternative zu einer vollständigen Sperre. Schreiben Sie die Zeile nur für Crawler, deren Betreiber sie dokumentiert.

Welche Regel gewinnt, wenn Allow und Disallow beide passen?

Das längste passende Pfadmuster gewinnt, gemessen in Oktetten, und bei exaktem Gleichstand gewinnt Allow.

winner = the allow or disallow rule whose path pattern contains the most octets; on an exact tie, allow

RFC 9309 formuliert es so: "Der spezifischste gefundene Treffer MUSS verwendet werden. Der spezifischste Treffer ist der Treffer mit den meisten Oktetten", und löst Gleichstände mit "Wenn eine 'allow'-Regel und eine 'disallow'-Regel gleichwertig sind, SOLLTE die 'allow'-Regel verwendet werden." Googles Spezifikation kommt zum selben Ergebnis: "Bei widersprüchlichen Regeln, einschließlich solcher mit Platzhaltern, verwendet Google die am wenigsten restriktive Regel."

Rechnen Sie es gegen https://example.com/blog/drafts/post-1 durch:

19 schlägt 13 schlägt 6, also gewinnt die dritte Regel und der Crawler ruft die Seite ab. Löschen Sie diese Zeile, dann schlägt 13 die 6, und das Disallow übernimmt. Bei einem Gleichstand zählen Disallow: /p und Allow: /p beide 2 Oktette, also gewinnt Allow und /page bleibt crawlbar. Die Zeilenreihenfolge ändert nichts, zählen Sie also Zeichen, statt Regeln umzusortieren.

Wie wählen Crawler aus, welche User-Agent-Gruppe gilt?

Ein Crawler gleicht sein Produkt-Token ohne Beachtung der Groß- und Kleinschreibung mit den User-Agent-Zeilen ab, befolgt diese eine Gruppe und fällt nur dann auf die *-Gruppe zurück, wenn keine Gruppe passt. RFC 9309 verlangt, dass "Crawler eine Zuordnung ohne Beachtung der Groß- und Kleinschreibung verwenden MÜSSEN, um die Gruppe zu finden, die zum Produkt-Token passt" und dass "Crawler die Gruppe mit einer User-Agent-Zeile mit dem Wert '*' befolgen MÜSSEN, wenn keine passende Gruppe existiert". Zwei Gruppen, die dasselbe Token nennen, werden zusammengeführt, was RFC 9309 als Regeln formuliert, die "zu einer Gruppe kombiniert werden MÜSSEN", und was Googles Spezifikation als Crawler beschreibt, die "die Gruppen intern zusammenführen".

Die Folge überrascht viele. Geben Sie GPTBot eine eigene Gruppe, dann liest GPTBot die *-Gruppe nicht mehr, also bindet ihn kein einziges Disallow mehr, das für alle anderen geschrieben wurde. Wiederholen Sie die gemeinsamen Disallow-Zeilen in jeder benannten Gruppe. Aus demselben Grund zählt es, jedes KI-Crawler-Token exakt zu schreiben: ein Tippfehler wirft einen Crawler zurück in die *-Gruppe.

Wie blockiert man KI-Crawler in robots.txt?

Nennen Sie das Token jedes Betreibers in einer eigenen Gruppe und entscheiden Sie getrennt für Trainings-Crawler und für die Such-Crawler, die zitieren und zurückverlinken.

# https://example.com/robots.txt
 
User-agent: *
Disallow: /cart/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
 
# Model training
User-agent: GPTBot
Disallow: /
 
User-agent: ClaudeBot
Disallow: /
 
User-agent: Google-Extended
Disallow: /
 
# Answer engines that cite and link
User-agent: OAI-SearchBot
Disallow: /cart/
Disallow: /account/
 
User-agent: PerplexityBot
Disallow: /cart/
Disallow: /account/
 
User-agent: Claude-SearchBot
Disallow: /cart/
Disallow: /account/

Die wiederholten /cart/- und /account/-Zeilen sind die Gruppenregel in Aktion, keine Füllung: jeder benannte Crawler liest nur seine eigene Gruppe. Drei Einschränkungen kommen von den Betreibern. Google dokumentiert, dass "Google-Extended keinen eigenen User-Agent-String für HTTP-Anfragen hat" und "in steuernder Funktion" arbeitet, und dass eine Sperre "weder die Aufnahme einer Website in die Google Suche beeinflusst noch als Ranking-Signal in der Google Suche verwendet wird." OpenAI trennt GPTBot, der crawlt, um seine Foundation Models zu verbessern, von OAI-SearchBot, der Websites in der ChatGPT-Suche sichtbar macht, also lässt eine Sperre des GPTBot-Tokens den Zugriff der ChatGPT-Suche unberührt. Perplexity dokumentiert, dass Perplexity-User robots.txt-Regeln in den meisten Fällen ignoriert, weil ein Nutzer den Abruf angefordert hat. Dieselbe Aufteilung pro Betreiber reicht über diese Liste hinaus: Amazonbot crawlt zur Verbesserung von Amazons Produkten und darf Amazons KI-Modelle trainieren, solange sein Token nicht gesperrt ist, und Applebot-Extended lässt sich einzeln sperren, um das Training von Apple Intelligence zu stoppen, ohne Siri, Spotlight und die Safari-Suche zu berühren. OpenAI betreibt denselben On-Demand-Abruf unter einem dritten Token, ChatGPT-User, getrennt von GPTBot und OAI-SearchBot.

Trainings-Crawler zu blockieren und Antwortmaschinen zu behalten, ist eine Sichtbarkeitsentscheidung, und sie ist messbar. RedReplier verfolgt die öffentlichen Threads, die eine Marke nennen, und genau das bedeutet Social-Media-Monitoring in der Praxis.

Was passiert, wenn robots.txt fehlt, riesig ist oder einen Fehler zurückgibt?

Der HTTP-Status entscheidet, und die beiden Fehlerklassen weisen in entgegengesetzte Richtungen. RFC 9309 legt fest, dass bei einem 4xx "der Crawler auf beliebige Ressourcen auf dem Server zugreifen DARF", und dass er bei einem 5xx "ein vollständiges Disallow annehmen MUSS". Ein 404 öffnet den gesamten Host und ein 503 schließt ihn, also pausiert ein fehlerhafter Origin während eines Deploys das Crawling von allem. RFC 9309 setzt außerdem eine Parsing-Grenze von "mindestens 500 Kibibyte", die Google durchsetzt, indem es Inhalte jenseits von 500 KiB ignoriert, begrenzt die Wiederverwendung einer zwischengespeicherten Kopie auf 24 Stunden, sofern die Datei nicht unerreichbar ist, was Googles eigenem 24-Stunden-Cache entspricht, und fordert Crawler auf, "mindestens fünf aufeinanderfolgende Weiterleitungen" zu verfolgen, bevor sie die Datei als nicht verfügbar behandeln. Prüfen Sie, dass Ihr CDN für /robots.txt auf jedem Host und Protokoll, das Sie ausliefern, 200 zurückgibt.

Ist robots.txt dasselbe wie llms.txt?

Nein. robots.txt ist ein Standard mit einem RFC dahinter und dokumentierter Unterstützung von jedem großen Crawler-Betreiber, während llms.txt eine vorgeschlagene Konvention ist, die keine der hier zitierten Crawler-Dokumentationen erwähnt. Die beiden beantworten verschiedene Fragen: robots.txt sagt, welche Pfade ein Crawler abrufen darf, und llms.txt schlägt vor, welche Inhalte ein Modell zuerst lesen sollte.

Keine der beiden Dateien ist eine rechtliche Kontrolle. Ein Crawler, der robots.txt ignoriert, bricht eine Konvention, und ob das in unrechtmäßige Erhebung übergeht, hängt von Nutzungsbedingungen, Zugangskontrollen und Rechtsraum ab. Für garantierten, erlaubten Zugriff auf die Daten einer Plattform klärt die Wahl zwischen Scraping und einer API die Sache.

Häufig gestellte Fragen

Hält robots.txt eine Seite aus den Suchergebnissen heraus?

Nein. Googles robots.txt-Einführung sagt direkt, dass robots.txt "kein Mechanismus ist, um eine Webseite aus Google herauszuhalten." Eine gesperrte URL, auf die andere Websites verlinken, kann als nackte URL ohne Snippet in den Ergebnissen erscheinen. Verwenden Sie ein noindex-Meta-Tag auf einer crawlbaren Seite oder Authentifizierung, wenn Ausschluss das Ziel ist.

Spielt die Reihenfolge der Zeilen in robots.txt eine Rolle?

Nein. RFC 9309 löst Konflikte über die Anzahl der Oktette im passenden Pfadmuster, also schlägt Disallow: /blog/drafts/ mit 13 Oktetten Allow: /blog/ mit 6 Oktetten, egal wo die beiden Zeilen in der Datei stehen. Die Reihenfolge zählt nur für die Gruppierung, denn jedes Allow und Disallow gehört zur User-Agent-Zeile darüber.

Deckt eine robots.txt-Datei Subdomains und beide Protokolle ab?

Nein. Googles Spezifikation legt fest, dass die Regeln "nur für den Host, das Protokoll und die Portnummer gelten, unter denen die robots.txt-Datei gehostet wird." Eine Datei unter https://example.com/robots.txt sagt nichts über https://shop.example.com/ oder über die http-Version. Veröffentlichen Sie eine eigene Datei auf jedem Host, den Sie steuern wollen.

Kann ich noindex in die robots.txt schreiben?

Googles robots.txt-Spezifikation listet vier Felder auf, die Google liest, User-Agent, Allow, Disallow und Sitemap, und noindex gehört nicht dazu. Liefern Sie noindex als Robots-Meta-Tag im Head der Seite oder als X-Robots-Tag-HTTP-Header aus. Beide setzen voraus, dass die Seite crawlbar bleibt, entfernen Sie also jedes Disallow, das sie abdeckt.

Stoppt robots.txt Scraper?

Nein. RFC 9309 beschreibt Regeln, die ein Crawler freiwillig befolgt, ohne Durchsetzungsmechanismus, also ruft ein Scraper, der die Datei ignoriert, die Seiten trotzdem ab. Perplexity sagt das offen über seinen eigenen Perplexity-User-Fetcher, der robots.txt-Regeln in den meisten Fällen ignoriert, weil ein Nutzer die Seite angefordert hat. Rate Limiting, Authentifizierung und WAF-Regeln sind die Kontrollen, die etwas durchsetzen.

Schadet das Blockieren von KI-Crawlern der Sichtbarkeit in der Suche?

Google-Extended zu blockieren schadet nicht, nach Googles eigener Aussage, dass es "weder die Aufnahme einer Website in die Google Suche beeinflusst noch als Ranking-Signal in der Google Suche verwendet wird." Antwortmaschinen-Crawler zu blockieren ist ein anderer Handel: Anthropic gibt an, dass eine Sperre von Claude-SearchBot die Sichtbarkeit in Claudes Suchergebnissen verringern kann, und OAI-SearchBot und PerplexityBot existieren, um Websites sichtbar zu machen und zu verlinken. Blockieren Sie die Trainings-Tokens und behalten Sie die Such-Tokens, wenn Ihnen Zitate wichtig sind.

Wer hat RFC 9309 geschrieben?

Martijn Koster, Gary Illyes, Henner Zeller und Lizzi Sassman haben RFC 9309 geschrieben, das Robots Exclusion Protocol. Das Dokument erreichte im September 2022 den Status Standards Track. Googles eigene robots.txt-Spezifikation baut auf denselben Regeln auf und ergänzt Felder, die RFC 9309 offenlässt, etwa Sitemap.

Wie groß darf eine robots.txt-Datei sein, bevor Google sie ignoriert?

RFC 9309 legt eine Verarbeitungsgrenze von mindestens 500 Kibibyte für eine robots.txt-Datei fest. Google setzt diese Grenze durch, indem alles über der 500-KiB-Marke ignoriert wird, sodass Regeln danach nie greifen. Halte die Datei kurz und bündle die Logik in wenigen User-Agent-Gruppen statt in einer langen Liste.

Blockiert das Sperren von GPTBot auch die ChatGPT-Suche?

GPTBot und OAI-SearchBot sind laut OpenAIs Dokumentation getrennte Tokens. GPTBot crawlt, um OpenAIs Foundation-Modelle zu verbessern, während OAI-SearchBot Seiten innerhalb der ChatGPT-Suche anzeigt. Wird nur GPTBot gesperrt, bleibt der Zugriff der ChatGPT-Suche erhalten, weil jeder Crawler nur seine eigene User-Agent-Gruppe liest.

Wie lange cacht Google eine robots.txt-Datei, bevor sie erneut geprüft wird?

Google speichert eine abgerufene robots.txt-Datei bis zu 24 Stunden im Cache, bevor sie erneut geprüft wird, außer die Datei ist nicht erreichbar. RFC 9309 setzt für generische Crawler dieselbe Obergrenze. Eine Änderung an einer Disallow-Zeile kann fast einen Tag brauchen, bis sie wirkt. Plane Deploys neuer Sperrregeln mit diesem Vorlauf ein.