TL;DR
8 min leestijdJeremy Howard stelde llms.txt in september 2024 voor als Markdown-bestand in de root van een site, met de pagina's die een AI-agent als eerste moet lezen. De specificatie vereist een H1, staat een samenvatting in een blockquote toe en structureert de rest als H2-secties met lijsten van links. Google, OpenAI en Anthropic publiceren elk een llms.txt voor hun eigen developerdocumentatie, en geen van de drie zegt in de documentatie over zijn crawlers dat zijn producten er een lezen.
Wat is llms.txt?
Jeremy Howard stelde llms.txt voor als Markdown-bestand op /llms.txt van een website, met de pagina's en schone Markdown-documenten die een AI-agent als eerste moet lezen als die de site moet begrijpen. Het voorstel heeft de datum 3 september 2024 op llmstxt.org, en de tekst die daar nu staat, heet v2. Het bestand selecteert in plaats van alles op te sommen: het noemt een handvol waardevolle URL's en beschrijft elk ervan, terwijl een sitemap alles noemt wat geïndexeerd kan worden.
De specificatie vat de motivatie in één zin samen: "Agents are best served by concise, expert-level information gathered in a single, accessible location." Niets in het voorstel geeft toegang, weigert toegang of verplicht een engine om het bestand op te halen. Het is een suggestie op een voorspelbaar pad.
Laatst gecontroleerd: 9 september 2026.
Wat moet een llms.txt-bestand bevatten?
Een H1 is het enige element dat de specificatie vereist, en elke andere sectie is optioneel. De specificatie legt de volgorde vast, en daardoor kan een parser of een regex het bestand lezen zonder taalmodel.
| Element | Verplicht | Wat de specificatie zegt |
|---|---|---|
| H1 | Ja | "An H1 with the name of the project or site. This is the only required section" |
| Blockquote | Nee | "A blockquote with a short summary of the project, containing key information necessary for understanding the rest of the file" |
| Vrije Markdown | Nee | "Zero or more markdown sections (e.g. paragraphs, lists, etc) of any type except headings" |
| H2-lijsten met links | Nee | "Zero or more markdown sections delimited by H2 headers, containing 'file lists' of URLs where further detail is available" |
| Een lijstitem | n.v.t. | "a required markdown hyperlink [name](url), then optionally a : and notes about the file" |
## Optional | Nee | Volgens afspraak gereserveerd voor "links an agent can skip when a shorter context is needed" |
De vorm die de specificatie als eigen voorbeeld publiceert:
# Title
> Optional description goes here
Optional details go here
## Section name
- [Link title](https://link_url): Optional link details
## Optional
- [Link title](https://link_url)Daar volgen twee regels voor de plaatsing uit. Het bestand staat in de root van de site of op een willekeurig subpad, en "a file covers the URLs under its path, and where more than one file applies, agents should use the most specific one", dus /docs/llms.txt dekt alleen /docs/. Hetzelfde voorstel vraagt sites om van elke pagina een schone Markdown-tweeling aan te bieden op page.md of page.html.md, en beide bekend te maken met de linkrelaties rel="alternate" type="text/markdown" en rel="describedby", in HTML of in een HTTP-header Link:.

Welke AI-engines hebben bevestigd dat ze llms.txt lezen?
Geen enkele beheerder van een engine zegt in de documentatie over zijn crawlers dat zijn producten llms.txt lezen, en de drie grootste leveranciers publiceren er alle drie een voor hun eigen developerdocumentatie. Een bestand publiceren en een bestand gebruiken zijn twee verschillende dingen, en het gat daartussen is het hele verhaal van dit formaat.
| Leverancier | Publiceert een llms.txt voor de eigen documentatie | Officiële uitspraak dat de engine llms.txt leest |
|---|---|---|
| Ja, op ai.google.dev/gemini-api/docs/llms.txt | Niet gevonden. De documentatie AI features and your website van Google noemt llms.txt nergens en noemt robots.txt "the control for site owners to manage access to how their sites are crawled for Search" | |
| OpenAI | Ja, op developers.openai.com/llms.txt | Niet gevonden. De documentatie over crawlers van OpenAI behandelt robots.txt, user agents en IP-bereiken, en linkt de eigen llms.txt alleen als index van de documentatie |
| Anthropic | Ja, op docs.anthropic.com/llms.txt | Niet gevonden. Het supportartikel over crawlers van Anthropic zegt dat de bots "respect 'do not crawl' signals by honoring industry standard directives in robots.txt" en noemt llms.txt nergens |
Het dichtst bij erkenning door een leverancier komt Chrome. Lighthouse heeft een audit voor llms.txt in de controles voor agentic browsing, die het bestand omschrijft als "an emerging convention used to provide a machine-readable summary of a website's content, specifically designed for LLMs and AI agents", en waarschuwt dat "without this file, agents may spend more time crawling the site to understand its high-level structure and primary content." Die audit noemt geen engine die er een leest. Wantrouw elk adoptiecijfer voor llms.txt dat je tegenkomt, tenzij er een bron en een datum bij staan. De eigen bewering van de specificatie is kwalitatief: "thousands of sites publish an llms.txt file."
Hoe verschilt llms.txt van robots.txt?
robots.txt is een bestand voor toestemming om op te halen, met een RFC erachter en gedocumenteerde ondersteuning van elke grote crawlerbeheerder, en llms.txt is een voorstel voor het selecteren van content, zonder handhaving en zonder bevestigde gebruiker. De specificatie trekt die grens zelf ook: "robots.txt lets automated tools know what access to a site is considered acceptable, such as for search indexing bots. llms.txt information is instead used on demand, when an agent needs information about a topic while assisting a user."
| robots.txt | llms.txt | |
|---|---|---|
| Status | RFC 9309, Standards Track, september 2022 | Voorstel van één auteur, v2 op llmstxt.org |
| Vraag die het beantwoordt | Mag je dit pad ophalen | Wat moet je als eerste lezen |
| Gebruikt door | Elke gedocumenteerde grote crawler | Geen leverancier documenteert dat het het gebruikt |
| Gevolg als je het negeert | Breekt een al lang bestaande conventie | Niets |
Beide bestanden zijn openbaar en geen van beide is een juridisch middel. Welke crawler er echt langskomt, beantwoorden je serverlogs, niet een van beide bestanden, en de items over CCBot en ChatGPT-User leggen uit wat elke user agent betekent als die opduikt.
Wat is llms-full.txt?
Mintlify bedacht llms-full.txt als begeleidend bestand dat, in hun woorden, "combines your entire documentation site into a single file as context for AI tools and LLM indexing", met elke pagina weergegeven als titel, bron-URL, omschrijving en volledige Markdown-tekst. De specificatie van llms.txt definieert llms-full.txt niet, noemt het niet en vereist het niet. Documentatieplatforms genereren de twee samen, en daarom verschijnt het paar op zoveel documentatiesites tegelijk.
De praktische verdeling: llms.txt is een index die klein genoeg is om in een contextvenster te passen, en llms-full.txt is het corpus erachter. Een site die alleen de volledige dump publiceert, geeft een agent een bestand dat te groot is voor het doel waarvoor de index is ontworpen.

Wie moet een llms.txt-bestand publiceren?
Documentatieteams halen er het duidelijkste rendement uit, omdat coding agents het enige publiek zijn waarvan is waargenomen dat het het formaat volgt. De specificatie zegt het rechtstreeks: "llms.txt files are used most heavily for software documentation, where coding agents follow them to find API references and tutorials." Een coding agent die op je API-documentatie wordt gericht, haalt de URL's op die je noemt, en dat is een andere situatie dan een zoekmachine die beslist wat ze citeert.
RedReplier
Aan de slag
Reddit, X, Bluesky en HN
Realtime meldingen op intentie
Onbeperkt AI-antwoorden
Gerangschikt op koopintentie
Voor een marketingsite kost publiceren een uur en belooft het vandaag niets meetbaars. Schrijf het als je content echt moeilijk uit HTML te halen is, en schrijf het niet in plaats van het werk waar wel bewijs achter zit. Geciteerd worden door een assistent loopt nog steeds via crawlbare pagina's, duidelijke antwoorden en vermeldingen door derden, het terrein van generative engine optimization en answer engine optimization.
Hoe controleer je of iets je llms.txt leest?
Doorzoek je accesslogs met grep op verzoeken naar /llms.txt en lees bij elke hit de user agent. Een verzoek van de user agent van een agent betekent dat iets het bestand ophaalde, een leeg resultaat over een maand betekent dat niets dat deed, en beide antwoorden kosten je één commando. Die logregel is het enige first-party bewijs dat er is, want geen enkele leverancier rapporteert ophaalacties van llms.txt in een console.
Aantallen ophaalacties vertellen je nog steeds niet of een assistent je citeerde. Daarvoor kijk je naar de antwoorden zelf: RedReplier volgt de openbare gesprekken die je merk noemen op Reddit, X, Bluesky, Facebook en Hacker News, en daar gaan assistenten zoeken als ze vragen in je categorie beantwoorden.
Veelgestelde vragen
Helpt llms.txt bij SEO?
Er is geen gedocumenteerd effect op de ranking. De documentatie van Google over AI-functies noemt llms.txt niet en noemt robots.txt als het middel om te bepalen hoe sites voor Search worden gecrawld. Het bestand publiceren verandert niets aan hoe Googlebot je pagina's ophaalt of rangschikt, en geen enkele documentatie van Google verbindt de twee.
Waar zet je llms.txt op een site?
Op /llms.txt in de root van de site, of op een willekeurig subpad zoals /docs/llms.txt. De specificatie zegt dat een bestand "covers the URLs under its path, and where more than one file applies, agents should use the most specific one." Een bestand op een subpad is de juiste keuze als maar een deel van je site het waard is om een agent doorheen te leiden.
Is llms.txt een officiële standaard?
Nee. llms.txt is een voorstel dat Jeremy Howard publiceerde op llmstxt.org, gehost in de repository AnswerDotAI/llms-txt en open voor bijdragen uit de community. Het heeft geen RFC, geen standaardisatieorgaan en geen nalevingsplicht, en dat is het verschil met RFC 9309, het document achter robots.txt.
Wat is het verschil tussen llms.txt en sitemap.xml?
Een sitemap noemt elke indexeerbare pagina voor zoekmachines, en llms.txt noemt een selectie voor agents. De specificatie stelt dat een sitemap geen vervanging is, omdat die geen Markdown-versies van pagina's bevat, nuttige externe URL's weglaat en documenten omvat die samen groter zijn dan het contextvenster van een model.
Heb ik ook llms-full.txt nodig?
Nee. De specificatie van llms.txt definieert llms-full.txt helemaal niet. De conventie komt van Mintlify, dat beide genereert voor de documentatiesites die het host, en het volledige bestand is een dump van een hele documentatieset in één bestand, geen index.
Moet ik AI-crawlers blokkeren in plaats van ze te leiden?
Dat is een beslissing voor robots.txt, en die hangt af van of citaties belangrijker voor je zijn dan trainingstokens. Anthropic, OpenAI en Google draaien elk aparte user agents voor training en voor zoeken, dus de ene blokkeren hoeft de andere niet te blokkeren. Een llms.txt publiceren vervangt of overschrijft geen van die regels.
Wie heeft llms.txt bedacht?
Jeremy Howard stelde het formaat voor, met de datum 3 september 2024 op llmstxt.org. De tekst die daar nu staat, heet v2, en het project staat in de repository AnswerDotAI/llms-txt, open voor bijdragen uit de community. Er zit geen standaardisatieorgaan achter.
Leest ChatGPT llms.txt-bestanden?
OpenAI publiceert een eigen llms.txt op developers.openai.com/llms.txt voor de developerdocumentatie, maar nergens in de documentatie over de crawlers staat dat ChatGPT of een ander OpenAI-product er een leest. Die documentatie behandelt robots.txt, user agents en IP-bereiken, en linkt de eigen llms.txt van het bedrijf alleen als index van de documentatie. Het bestand op je eigen site publiceren vertelt je niets over of de crawlers van OpenAI het elders gebruiken.
Wat gebeurt er als je geen llms.txt-bestand publiceert?
Er gaat niets kapot. De specificatie maakt het contrast met robots.txt zelf: robots.txt negeren breekt een al lang bestaande conventie voor crawlen, terwijl llms.txt negeren geen gedocumenteerd effect heeft. De Lighthouse-audit van Chrome waarschuwt dat agents zonder het bestand meer tijd kunnen besteden aan het crawlen van een site om de structuur te vinden, maar dat zijn kosten in de moeite van de agent, geen straf voor de site.
Gebruiken coding agents llms.txt echt?
De specificatie zegt dat llms.txt-bestanden "are used most heavily for software documentation, where coding agents follow them to find API references and tutorials", het enige publiek waarvoor het formaat gedocumenteerd bewijs heeft. Dat is een andere situatie dan een zoekmachine die zelf beslist wat ze citeert. Een coding agent die op je API-documentatie wordt gericht, haalt precies de URL's op die je daar noemt.
Zie ons vaker in Google
Met één klik markeer je RedReplier als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.
Voordat je gaat...
RedReplier
Vang elke koper die vraagt om wat jij verkoopt
RedReplier houdt Reddit, X, Bluesky en Hacker News in realtime in de gaten, rangschikt elke thread op koopintentie en schrijft een concept voor je antwoord, zodat jij er als eerste bij bent.
Reddit, X, Bluesky en HN
Realtime meldingen op intentie
Onbeperkt AI-antwoorden
Gerangschikt op koopintentie
Gerelateerde artikelen


Alles wat robots.txt regelt, en het ene wat het niet doet
Robots.txt nuchter uitgelegd: wat RFC 9309 vereist, hoe de voorrang tussen allow en disallow werkt, waarom een geblokkeerde URL toch geïndexeerd wordt, en tokens van AI-crawlers.


Waarom merkvermeldingen zonder link linkverzoeken zijn die je nog niet hebt verstuurd
Merkvermeldingen zonder link noemen je merk zonder hyperlink. Zo vind je ze, dit hebben medewerkers van Google er officieel over gezegd, en deze e-mail stuur je.


Wat CCBot verzamelt voor het open webarchief van Common Crawl
CCBot, de crawler van Common Crawl, bouwt een gratis, open webarchief dat AI-labs van buitenaf filteren tot trainingssets, en één robots.txt-regel bepaalt dat allemaal.

