glossary

Wat llms.txt is, en welke AI-engines hebben bevestigd dat ze het lezen

Taras Shynkarenko
Taras Shynkarenko
•Bijgewerkt: •8 min leestijd
Wat llms.txt is, en welke AI-engines hebben bevestigd dat ze het lezenWat llms.txt is, en welke AI-engines hebben bevestigd dat ze het lezen

TL;DR

8 min leestijd

Jeremy Howard stelde llms.txt in september 2024 voor als Markdown-bestand in de root van een site, met de pagina's die een AI-agent als eerste moet lezen. De specificatie vereist een H1, staat een samenvatting in een blockquote toe en structureert de rest als H2-secties met lijsten van links. Google, OpenAI en Anthropic publiceren elk een llms.txt voor hun eigen developerdocumentatie, en geen van de drie zegt in de documentatie over zijn crawlers dat zijn producten er een lezen.

Wat is llms.txt?

Jeremy Howard stelde llms.txt voor als Markdown-bestand op /llms.txt van een website, met de pagina's en schone Markdown-documenten die een AI-agent als eerste moet lezen als die de site moet begrijpen. Het voorstel heeft de datum 3 september 2024 op llmstxt.org, en de tekst die daar nu staat, heet v2. Het bestand selecteert in plaats van alles op te sommen: het noemt een handvol waardevolle URL's en beschrijft elk ervan, terwijl een sitemap alles noemt wat geïndexeerd kan worden.

De specificatie vat de motivatie in één zin samen: "Agents are best served by concise, expert-level information gathered in a single, accessible location." Niets in het voorstel geeft toegang, weigert toegang of verplicht een engine om het bestand op te halen. Het is een suggestie op een voorspelbaar pad.

Laatst gecontroleerd: 9 september 2026.

Wat moet een llms.txt-bestand bevatten?

Een H1 is het enige element dat de specificatie vereist, en elke andere sectie is optioneel. De specificatie legt de volgorde vast, en daardoor kan een parser of een regex het bestand lezen zonder taalmodel.

ElementVerplichtWat de specificatie zegt
H1Ja"An H1 with the name of the project or site. This is the only required section"
BlockquoteNee"A blockquote with a short summary of the project, containing key information necessary for understanding the rest of the file"
Vrije MarkdownNee"Zero or more markdown sections (e.g. paragraphs, lists, etc) of any type except headings"
H2-lijsten met linksNee"Zero or more markdown sections delimited by H2 headers, containing 'file lists' of URLs where further detail is available"
Een lijstitemn.v.t."a required markdown hyperlink [name](url), then optionally a : and notes about the file"
## OptionalNeeVolgens afspraak gereserveerd voor "links an agent can skip when a shorter context is needed"

De vorm die de specificatie als eigen voorbeeld publiceert:

# Title
 
> Optional description goes here
 
Optional details go here
 
## Section name
 
- [Link title](https://link_url): Optional link details
 
## Optional
 
- [Link title](https://link_url)

Daar volgen twee regels voor de plaatsing uit. Het bestand staat in de root van de site of op een willekeurig subpad, en "a file covers the URLs under its path, and where more than one file applies, agents should use the most specific one", dus /docs/llms.txt dekt alleen /docs/. Hetzelfde voorstel vraagt sites om van elke pagina een schone Markdown-tweeling aan te bieden op page.md of page.html.md, en beide bekend te maken met de linkrelaties rel="alternate" type="text/markdown" en rel="describedby", in HTML of in een HTTP-header Link:.

Een kantoormedewerker bekijkt site-analytics op een laptop, het soort controle dat zou laten zien of een AI-crawler ooit om llms.txt vroeg.

Welke AI-engines hebben bevestigd dat ze llms.txt lezen?

Geen enkele beheerder van een engine zegt in de documentatie over zijn crawlers dat zijn producten llms.txt lezen, en de drie grootste leveranciers publiceren er alle drie een voor hun eigen developerdocumentatie. Een bestand publiceren en een bestand gebruiken zijn twee verschillende dingen, en het gat daartussen is het hele verhaal van dit formaat.

LeverancierPubliceert een llms.txt voor de eigen documentatieOfficiële uitspraak dat de engine llms.txt leest
GoogleJa, op ai.google.dev/gemini-api/docs/llms.txtNiet gevonden. De documentatie AI features and your website van Google noemt llms.txt nergens en noemt robots.txt "the control for site owners to manage access to how their sites are crawled for Search"
OpenAIJa, op developers.openai.com/llms.txtNiet gevonden. De documentatie over crawlers van OpenAI behandelt robots.txt, user agents en IP-bereiken, en linkt de eigen llms.txt alleen als index van de documentatie
AnthropicJa, op docs.anthropic.com/llms.txtNiet gevonden. Het supportartikel over crawlers van Anthropic zegt dat de bots "respect 'do not crawl' signals by honoring industry standard directives in robots.txt" en noemt llms.txt nergens

Het dichtst bij erkenning door een leverancier komt Chrome. Lighthouse heeft een audit voor llms.txt in de controles voor agentic browsing, die het bestand omschrijft als "an emerging convention used to provide a machine-readable summary of a website's content, specifically designed for LLMs and AI agents", en waarschuwt dat "without this file, agents may spend more time crawling the site to understand its high-level structure and primary content." Die audit noemt geen engine die er een leest. Wantrouw elk adoptiecijfer voor llms.txt dat je tegenkomt, tenzij er een bron en een datum bij staan. De eigen bewering van de specificatie is kwalitatief: "thousands of sites publish an llms.txt file."

Drie leveranciers, één patroon
Publiceren een eigen llms.txt3 van 3
Noemen robots.txt als crawlcontrole3 van 3
Bevestigen dat ze llms.txt lezen0 van 3
Google, OpenAI en Anthropic op drie punten, op basis van de crawlerdocumentatie die elk publiceert.

Hoe verschilt llms.txt van robots.txt?

robots.txt is een bestand voor toestemming om op te halen, met een RFC erachter en gedocumenteerde ondersteuning van elke grote crawlerbeheerder, en llms.txt is een voorstel voor het selecteren van content, zonder handhaving en zonder bevestigde gebruiker. De specificatie trekt die grens zelf ook: "robots.txt lets automated tools know what access to a site is considered acceptable, such as for search indexing bots. llms.txt information is instead used on demand, when an agent needs information about a topic while assisting a user."

robots.txtllms.txt
StatusRFC 9309, Standards Track, september 2022Voorstel van één auteur, v2 op llmstxt.org
Vraag die het beantwoordtMag je dit pad ophalenWat moet je als eerste lezen
Gebruikt doorElke gedocumenteerde grote crawlerGeen leverancier documenteert dat het het gebruikt
Gevolg als je het negeertBreekt een al lang bestaande conventieNiets

Beide bestanden zijn openbaar en geen van beide is een juridisch middel. Welke crawler er echt langskomt, beantwoorden je serverlogs, niet een van beide bestanden, en de items over CCBot en ChatGPT-User leggen uit wat elke user agent betekent als die opduikt.

Wat is llms-full.txt?

Mintlify bedacht llms-full.txt als begeleidend bestand dat, in hun woorden, "combines your entire documentation site into a single file as context for AI tools and LLM indexing", met elke pagina weergegeven als titel, bron-URL, omschrijving en volledige Markdown-tekst. De specificatie van llms.txt definieert llms-full.txt niet, noemt het niet en vereist het niet. Documentatieplatforms genereren de twee samen, en daarom verschijnt het paar op zoveel documentatiesites tegelijk.

De praktische verdeling: llms.txt is een index die klein genoeg is om in een contextvenster te passen, en llms-full.txt is het corpus erachter. Een site die alleen de volledige dump publiceert, geeft een agent een bestand dat te groot is voor het doel waarvoor de index is ontworpen.

Een developer schrijft documentatiepagina's in een code-editor, het soort werk waar een llms.txt-bestand een agent naartoe moet wijzen.

Wie moet een llms.txt-bestand publiceren?

Documentatieteams halen er het duidelijkste rendement uit, omdat coding agents het enige publiek zijn waarvan is waargenomen dat het het formaat volgt. De specificatie zegt het rechtstreeks: "llms.txt files are used most heavily for software documentation, where coding agents follow them to find API references and tutorials." Een coding agent die op je API-documentatie wordt gericht, haalt de URL's op die je noemt, en dat is een andere situatie dan een zoekmachine die beslist wat ze citeert.

RedReplier
RedReplier

Aan de slag

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Voor een marketingsite kost publiceren een uur en belooft het vandaag niets meetbaars. Schrijf het als je content echt moeilijk uit HTML te halen is, en schrijf het niet in plaats van het werk waar wel bewijs achter zit. Geciteerd worden door een assistent loopt nog steeds via crawlbare pagina's, duidelijke antwoorden en vermeldingen door derden, het terrein van generative engine optimization en answer engine optimization.

Hoe controleer je of iets je llms.txt leest?

Doorzoek je accesslogs met grep op verzoeken naar /llms.txt en lees bij elke hit de user agent. Een verzoek van de user agent van een agent betekent dat iets het bestand ophaalde, een leeg resultaat over een maand betekent dat niets dat deed, en beide antwoorden kosten je één commando. Die logregel is het enige first-party bewijs dat er is, want geen enkele leverancier rapporteert ophaalacties van llms.txt in een console.

Aantallen ophaalacties vertellen je nog steeds niet of een assistent je citeerde. Daarvoor kijk je naar de antwoorden zelf: RedReplier volgt de openbare gesprekken die je merk noemen op Reddit, X, Bluesky, Facebook en Hacker News, en daar gaan assistenten zoeken als ze vragen in je categorie beantwoorden.

Veelgestelde vragen

Helpt llms.txt bij SEO?

Er is geen gedocumenteerd effect op de ranking. De documentatie van Google over AI-functies noemt llms.txt niet en noemt robots.txt als het middel om te bepalen hoe sites voor Search worden gecrawld. Het bestand publiceren verandert niets aan hoe Googlebot je pagina's ophaalt of rangschikt, en geen enkele documentatie van Google verbindt de twee.

Waar zet je llms.txt op een site?

Op /llms.txt in de root van de site, of op een willekeurig subpad zoals /docs/llms.txt. De specificatie zegt dat een bestand "covers the URLs under its path, and where more than one file applies, agents should use the most specific one." Een bestand op een subpad is de juiste keuze als maar een deel van je site het waard is om een agent doorheen te leiden.

Is llms.txt een officiële standaard?

Nee. llms.txt is een voorstel dat Jeremy Howard publiceerde op llmstxt.org, gehost in de repository AnswerDotAI/llms-txt en open voor bijdragen uit de community. Het heeft geen RFC, geen standaardisatieorgaan en geen nalevingsplicht, en dat is het verschil met RFC 9309, het document achter robots.txt.

Wat is het verschil tussen llms.txt en sitemap.xml?

Een sitemap noemt elke indexeerbare pagina voor zoekmachines, en llms.txt noemt een selectie voor agents. De specificatie stelt dat een sitemap geen vervanging is, omdat die geen Markdown-versies van pagina's bevat, nuttige externe URL's weglaat en documenten omvat die samen groter zijn dan het contextvenster van een model.

Heb ik ook llms-full.txt nodig?

Nee. De specificatie van llms.txt definieert llms-full.txt helemaal niet. De conventie komt van Mintlify, dat beide genereert voor de documentatiesites die het host, en het volledige bestand is een dump van een hele documentatieset in één bestand, geen index.

Moet ik AI-crawlers blokkeren in plaats van ze te leiden?

Dat is een beslissing voor robots.txt, en die hangt af van of citaties belangrijker voor je zijn dan trainingstokens. Anthropic, OpenAI en Google draaien elk aparte user agents voor training en voor zoeken, dus de ene blokkeren hoeft de andere niet te blokkeren. Een llms.txt publiceren vervangt of overschrijft geen van die regels.

Wie heeft llms.txt bedacht?

Jeremy Howard stelde het formaat voor, met de datum 3 september 2024 op llmstxt.org. De tekst die daar nu staat, heet v2, en het project staat in de repository AnswerDotAI/llms-txt, open voor bijdragen uit de community. Er zit geen standaardisatieorgaan achter.

Leest ChatGPT llms.txt-bestanden?

OpenAI publiceert een eigen llms.txt op developers.openai.com/llms.txt voor de developerdocumentatie, maar nergens in de documentatie over de crawlers staat dat ChatGPT of een ander OpenAI-product er een leest. Die documentatie behandelt robots.txt, user agents en IP-bereiken, en linkt de eigen llms.txt van het bedrijf alleen als index van de documentatie. Het bestand op je eigen site publiceren vertelt je niets over of de crawlers van OpenAI het elders gebruiken.

Wat gebeurt er als je geen llms.txt-bestand publiceert?

Er gaat niets kapot. De specificatie maakt het contrast met robots.txt zelf: robots.txt negeren breekt een al lang bestaande conventie voor crawlen, terwijl llms.txt negeren geen gedocumenteerd effect heeft. De Lighthouse-audit van Chrome waarschuwt dat agents zonder het bestand meer tijd kunnen besteden aan het crawlen van een site om de structuur te vinden, maar dat zijn kosten in de moeite van de agent, geen straf voor de site.

Gebruiken coding agents llms.txt echt?

De specificatie zegt dat llms.txt-bestanden "are used most heavily for software documentation, where coding agents follow them to find API references and tutorials", het enige publiek waarvoor het formaat gedocumenteerd bewijs heeft. Dat is een andere situatie dan een zoekmachine die zelf beslist wat ze citeert. Een coding agent die op je API-documentatie wordt gericht, haalt precies de URL's op die je daar noemt.

Zie ons vaker in Google

Met één klik markeer je RedReplier als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.

Voordat je gaat...

RedReplier

RedReplier

Vang elke koper die vraagt om wat jij verkoopt

RedReplier houdt Reddit, X, Bluesky en Hacker News in realtime in de gaten, rangschikt elke thread op koopintentie en schrijft een concept voor je antwoord, zodat jij er als eerste bij bent.

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Gerelateerde artikelen