Was llms.txt ist und welche KI-Engines bestätigt haben, dass sie es lesen

Was ist llms.txt?

Jeremy Howard schlug llms.txt als Markdown-Datei vor, die unter /llms.txt auf einer Website liegt und die Seiten und sauberen Markdown-Dokumente auflistet, die ein KI-Agent zuerst lesen sollte, wenn er die Website verstehen muss. Der Vorschlag trägt auf llmstxt.org die Datumszeile 3 September 2024, und der dort inzwischen veröffentlichte Text ist als v2 gekennzeichnet. Die Datei kuratiert statt aufzuzählen: Sie nennt eine Handvoll besonders wertvoller URLs und beschreibt jede einzelne, während eine Sitemap alles Indexierbare auflistet.

Die Spezifikation nennt die Motivation in einem Satz: "Agenten sind am besten mit knappen Informationen auf Expertenniveau bedient, gesammelt an einem einzigen, zugänglichen Ort." Nichts an dem Vorschlag gewährt Zugang, entzieht Zugang oder verpflichtet eine Engine, die Datei abzurufen. Es ist eine Anregung, veröffentlicht unter einem vorhersehbaren Pfad.

Zuletzt geprüft: 9 September 2026.

Was muss eine llms.txt-Datei enthalten?

Eine H1 ist das einzige Element, das die Spezifikation verlangt, jeder andere Abschnitt ist optional. Die Spezifikation legt die Reihenfolge fest, und genau das erlaubt einem Parser oder einer Regex, die Datei ohne Sprachmodell zu lesen.

Die Form, die die Spezifikation als eigenes Musterbeispiel veröffentlicht:

# Title
 
> Optional description goes here
 
Optional details go here
 
## Section name
 
- [Link title](https://link_url): Optional link details
 
## Optional
 
- [Link title](https://link_url)

Daraus folgen zwei Platzierungsregeln. Die Datei liegt im Root der Website oder unter einem beliebigen Unterpfad, und "eine Datei deckt die URLs unter ihrem Pfad ab, und wo mehr als eine Datei zutrifft, sollten Agenten die spezifischste verwenden", /docs/llms.txt deckt also nur /docs/ ab. Derselbe Vorschlag bittet Websites, unter page.md oder page.html.md einen sauberen Markdown-Zwilling jeder Seite auszuliefern und beide mit den Link-Relationen rel="alternate" type="text/markdown" und rel="describedby" anzukündigen, in HTML oder in einem HTTP-Link:-Header.

Welche KI-Engines haben bestätigt, dass sie llms.txt lesen?

Kein Engine-Betreiber gibt in seiner Crawler-Dokumentation an, dass seine Produkte llms.txt lesen, und die drei größten Anbieter veröffentlichen alle eine für ihre eigene Entwicklerdokumentation. Eine Datei zu veröffentlichen und eine Datei zu konsumieren sind getrennte Handlungen, und die Lücke dazwischen ist die ganze Geschichte dieses Formats.

Das Nächste an einer Bestätigung durch einen Anbieter kommt von Chrome. Lighthouse liefert in seinen Prüfungen zum agentischen Browsen ein llms.txt-Audit aus, das die Datei als "eine aufkommende Konvention beschreibt, die eine maschinenlesbare Zusammenfassung der Inhalte einer Website bereitstellt, speziell für LLMs und KI-Agenten", und warnt, dass "Agenten ohne diese Datei mehr Zeit mit dem Crawlen der Website verbringen können, um deren übergeordnete Struktur und Hauptinhalte zu verstehen". Dieses Audit nennt keine Engine, die eine solche Datei liest. Behandeln Sie jede Verbreitungszahl, die Ihnen zu llms.txt begegnet, mit Misstrauen, solange sie keine Quelle und kein Datum nennt. Die Aussage der Spezifikation selbst ist qualitativ: "Tausende von Websites veröffentlichen eine llms.txt-Datei."

Wie unterscheidet sich llms.txt von robots.txt?

robots.txt ist eine Datei für Abruferlaubnisse mit einem RFC dahinter und dokumentierter Unterstützung durch jeden großen Crawler-Betreiber, und llms.txt ist ein Vorschlag zur Inhaltskuratierung ohne Durchsetzung und ohne bestätigten Abnehmer. Die Spezifikation zieht dieselbe Linie selbst: "robots.txt teilt automatisierten Werkzeugen mit, welcher Zugriff auf eine Website als akzeptabel gilt, etwa für Suchindexierungs-Bots. Die Informationen in llms.txt werden stattdessen bei Bedarf genutzt, wenn ein Agent Informationen zu einem Thema braucht, während er einer Person hilft."

Beide Dateien sind öffentlich und keine von beiden ist eine rechtliche Kontrolle. Welcher Crawler tatsächlich vorbeikommt, ist eine Frage, die Serverlogs beantworten und keine der beiden Dateien, und die Einträge zu CCBot und ChatGPT-User behandeln, was jeder User Agent bedeutet, wenn er auftaucht.

Was ist llms-full.txt?

Mintlify hat llms-full.txt als Begleitdatei geschaffen, die nach eigenen Worten "Ihre gesamte Dokumentations-Website in einer einzigen Datei zusammenführt, als Kontext für KI-Werkzeuge und LLM-Indexierung", wobei jede Seite als Titel, Quell-URL, Beschreibung und vollständiger Markdown-Text ausgegeben wird. Die Spezifikation von llms.txt definiert llms-full.txt nicht, erwähnt sie nicht und verlangt sie nicht. Dokumentationsplattformen erzeugen beide zusammen, weshalb das Paar auf so vielen Doku-Seiten gleichzeitig auftaucht.

Die praktische Aufteilung: llms.txt ist ein Index, der klein genug für ein Kontextfenster ist, und llms-full.txt ist der Korpus dahinter. Eine Website, die nur den vollständigen Dump veröffentlicht, hat einem Agenten eine Datei überreicht, die für den Zweck, den der Index bedienen sollte, zu groß ist.

Wer sollte eine llms.txt-Datei veröffentlichen?

Dokumentationsteams haben den klarsten Nutzen, denn Coding-Agenten sind das eine Publikum, das beobachtbar dem Format folgt. Die Spezifikation sagt es direkt: "llms.txt-Dateien werden am stärksten für Softwaredokumentation genutzt, wo Coding-Agenten ihnen folgen, um API-Referenzen und Tutorials zu finden." Ein Coding-Agent, den man auf Ihre API-Doku richtet, ruft die von Ihnen genannten URLs ab, was eine andere Lage ist als eine Suchmaschine, die entscheidet, was sie zitiert.

Für eine Marketing-Website kostet die Veröffentlichung eine Stunde und verspricht heute nichts Messbares. Schreiben Sie sie, wenn Ihre Inhalte aus HTML wirklich schwer zu parsen sind, und schreiben Sie sie nicht anstelle der Arbeit, für die es Belege gibt. Von einem Assistenten zitiert zu werden, läuft weiterhin über crawlbare Seiten, klare Antworten und Erwähnungen durch Dritte, und das ist das Gebiet von Generative Engine Optimization und Answer Engine Optimization.

Wie prüfen Sie, ob irgendetwas Ihre llms.txt liest?

Greppen Sie Ihre Access-Logs nach Anfragen an /llms.txt und lesen Sie bei jedem Treffer den User Agent. Eine Anfrage von einem Agenten-User-Agent bedeutet, dass etwas die Datei abgerufen hat, ein leeres Ergebnis über einen Monat bedeutet, dass nichts es getan hat, und beide Antworten kosten Sie einen Befehl. Diese Logzeile ist der einzige verfügbare Erstanbieter-Beleg, denn kein Anbieter meldet llms.txt-Abrufe in einer Konsole.

Abrufzahlen sagen Ihnen trotzdem nicht, ob ein Assistent Sie zitiert hat. Beobachten Sie dafür die Antworten selbst: RedReplier verfolgt die öffentlichen Gespräche, die Ihre Marke nennen, auf Reddit, X, Bluesky, Facebook und Hacker News – und genau dort suchen Assistenten, wenn sie Fragen in Ihrer Kategorie beantworten.

Häufig gestellte Fragen

Hilft llms.txt bei SEO?

Kein dokumentierter Ranking-Effekt existiert. Googles Dokumentation zu KI-Funktionen erwähnt llms.txt nicht und nennt robots.txt als die Steuerung dafür, wie Websites für die Suche gecrawlt werden. Die Datei zu veröffentlichen ändert nichts daran, wie Googlebot Ihre Seiten abruft oder rankt, und keine Google-Dokumentation verknüpft die beiden.

Wohin gehört llms.txt auf einer Website?

Unter /llms.txt im Root der Website oder unter einen beliebigen Unterpfad wie /docs/llms.txt. Die Spezifikation sagt, eine Datei "deckt die URLs unter ihrem Pfad ab, und wo mehr als eine Datei zutrifft, sollten Agenten die spezifischste verwenden". Eine Datei unter einem Unterpfad ist die richtige Wahl, wenn nur ein Teil Ihrer Website es wert ist, einen Agenten hindurchzuführen.

Ist llms.txt ein offizieller Standard?

Nein. llms.txt ist ein Vorschlag, den Jeremy Howard auf llmstxt.org veröffentlicht hat, gehostet im Repository AnswerDotAI/llms-txt und offen für Beiträge aus der Community. Es gibt keinen RFC, kein Standardisierungsgremium und keine Pflicht zur Einhaltung, und das ist der Unterschied zu RFC 9309, dem Dokument hinter robots.txt.

Was ist der Unterschied zwischen llms.txt und sitemap.xml?

Eine Sitemap listet jede indexierbare Seite für Suchmaschinen auf, und llms.txt listet eine kuratierte Auswahl für Agenten auf. Die Spezifikation argumentiert, eine Sitemap sei kein Ersatz, weil sie Markdown-Fassungen von Seiten auslässt, hilfreiche externe URLs ausschließt und Dokumente abdeckt, die in Summe das Kontextfenster eines Modells sprengen.

Brauche ich zusätzlich llms-full.txt?

Nein. Die Spezifikation von llms.txt definiert llms-full.txt überhaupt nicht. Die Konvention stammt von Mintlify, das beide für die von ihm gehosteten Doku-Seiten erzeugt, und die vollständige Datei ist ein Ein-Datei-Dump eines ganzen Dokumentationsbestands, kein Index.

Sollte ich KI-Crawler blockieren, statt sie zu führen?

Das ist eine robots.txt-Entscheidung, und sie hängt davon ab, ob Ihnen Zitate mehr wert sind als Trainingstoken. Anthropic, OpenAI und Google betreiben jeweils getrennte User Agents für Training und für Suche, ein Blockieren des einen muss das andere also nicht blockieren. Eine llms.txt zu veröffentlichen ersetzt keine dieser Regeln und hebt keine davon auf.

Wer hat llms.txt entwickelt?

Jeremy Howard hat das Format vorgeschlagen, mit einer Datierung vom 3. September 2024 auf llmstxt.org. Der dort veröffentlichte Text trägt heute die Kennzeichnung v2, und das Projekt liegt im Repository AnswerDotAI/llms-txt, offen für Beiträge aus der Community. Eine Standardisierungsstelle steht nicht dahinter.

Liest ChatGPT llms.txt-Dateien?

OpenAI veröffentlicht unter developers.openai.com/llms.txt eine eigene llms.txt für seine Entwicklerdokumentation, doch in der Crawler-Dokumentation steht nirgends, dass ChatGPT oder ein anderes OpenAI-Produkt eine solche Datei liest. Diese Dokumentation behandelt robots.txt, User Agents und IP-Bereiche und verlinkt die eigene llms.txt nur als Inhaltsverzeichnis der Doku. Dass Sie selbst eine solche Datei veröffentlichen, sagt nichts darüber aus, ob OpenAIs Crawler sie andernorts auswerten.

Was passiert, wenn keine llms.txt veröffentlicht wird?

Nichts bricht dadurch. Die Spezifikation zieht selbst den Vergleich zu robots.txt: Wer robots.txt ignoriert, bricht eine seit langem etablierte Konvention, während das Ignorieren von llms.txt keinen dokumentierten Effekt hat. Der Lighthouse-Audit von Chrome warnt, dass Agenten ohne die Datei mehr Zeit brauchen könnten, um die Struktur einer Website zu erfassen, doch das ist ein Mehraufwand für den Agenten, keine Strafe für die Website.

Nutzen Coding-Agenten llms.txt tatsächlich?

Die Spezifikation sagt, llms.txt-Dateien würden "am stärksten für Softwaredokumentation genutzt, wo Coding-Agenten ihnen folgen, um API-Referenzen und Tutorials zu finden", die einzige Zielgruppe, für die das Format bislang Belege liefert. Das unterscheidet sich von einer Suchmaschine, die selbst entscheidet, was sie zitiert. Ein Coding-Agent, der auf Ihre API-Dokumentation zeigt, ruft genau die dort genannten URLs ab.