TL;DR
9 min leestijdEen site publiceert robots.txt in de root van een host om crawlers te vertellen welke URL-paden ze mogen ophalen, volgens de regels van RFC 9309, gepubliceerd in september 2022. Het bestand vraagt een crawler een pagina niet op te halen, en Google indexeert een geblokkeerde URL toch als andere sites ernaar linken, en toont dan de URL zonder snippet. Wil je een pagina echt uitsluiten, haal de disallow dan weg en lever een noindex-tag, of zet de pagina achter authenticatie.
Wat is robots.txt?
Een site publiceert robots.txt in de root van een host om crawlers te vertellen welke URL-paden ze mogen ophalen, en dat is de volledige reikwijdte van het bestand: robots.txt vraagt een crawler een pagina niet op te halen, maakt de pagina niet privé en houdt de URL niet betrouwbaar uit zoekresultaten. De regels komen uit RFC 9309, het Robots Exclusion Protocol, een document op het Standards Track dat in september 2022 werd gepubliceerd door Martijn Koster, Gary Illyes, Henner Zeller en Lizzi Sassman. RFC 9309 vereist dat de regels "toegankelijk zijn in een bestand met de naam '/robots.txt' (helemaal in kleine letters) in het bovenste pad van de dienst", en de robots.txt-specificatie van Google voegt toe dat de regels "alleen gelden voor de host, het protocol en het poortnummer waar het robots.txt-bestand wordt gehost." Lees het bestand als verkeersregeling voor crawlers die ervoor kiezen zich eraan te houden.
Laatst gecontroleerd: 8 september 2026
Waarom verschijnt een pagina die in robots.txt is geblokkeerd toch in Google?
Google toont de URL omdat er een link naar wees, en een URL tonen vereist geen ophaalactie. De introductie van Google over robots.txt, laatst bijgewerkt op 10 december 2025, zegt dat een robots.txt-bestand "geen mechanisme is om een webpagina uit Google te houden", en de specificatie van Google voegt toe dat Google "de inhoud van pagina's die niet gecrawld mogen worden niet kan indexeren, maar de URL wel kan indexeren en zonder snippet in zoekresultaten kan tonen." Een disallow-regel stopt het ophalen en verder niets, dus het resultaat toont ankertekst van de linkende pagina in plaats van een beschrijving.
De oplossing gaat tegen je gevoel in. Een robots-metatag noindex werkt alleen als de crawler de pagina ophaalt en leest, dus een disallow-regel is precies wat voorkomt dat noindex wordt gezien. Haal de disallow weg, lever noindex, en laat Google de pagina ophalen zodat hij leert dat hij eruit moet. Gebruik voor content die helemaal niet leesbaar mag zijn authenticatie: robots.txt is een openbaar bestand dat je gevoelige paden opsomt voor iedereen die het opent.
Wat doet elke instructie in robots.txt?
RFC 9309 definieert drie velden, user-agent, allow en disallow, plus drie speciale tekens, en de specificatie van Google voegt het veld sitemap toe.
| Regel | Wat hij doet | Bron |
|---|---|---|
User-agent: GPTBot | Opent een groep regels voor één producttoken, gematcht zonder op hoofdletters te letten | RFC 9309 |
User-agent: * | De terugvalgroep, gevolgd door elke crawler die bij geen andere groep past | RFC 9309 |
Disallow: /cart/ | Verbiedt het ophalen van passende paden | RFC 9309 |
Allow: /cart/gift-guide | Staat een pad toe dat anders onder een bredere disallow zou vallen | RFC 9309 |
* in een pad | Matcht nul of meer geldige tekens | RFC 9309, spec van Google |
$ aan het eind van een pad | Verankert het patroon aan het eind van de URL | RFC 9309, spec van Google |
# | Begint een commentaar dat tot het eind van de regel wordt genegeerd | RFC 9309 |
Sitemap: https://example.com/sitemap.xml | Wijst crawlers op een sitemap, en hoort bij geen enkele user-agent-groep | Spec van Google |
Crawl-delay: 1 | Ontbreekt in RFC 9309 en wordt niet door Google ondersteund | Spec van Google |
Codeer een letterlijke *, $ of # in een pad met procentcodering, zoals RFC 9309 aanraadt.
Crawl-delay valt buiten de standaard. De robots.txt-specificatie van Google, laatst bijgewerkt op 31 augustus 2026, noemt de vier velden die Google leest en zegt dat "andere velden zoals crawl-delay niet worden ondersteund." Ondersteuning verschilt per crawler: de documentatie van Anthropic publiceert Crawl-delay: 1 onder User-agent: ClaudeBot als alternatief voor een volledige blokkade. Schrijf de regel alleen voor crawlers waarvan de beheerder hem documenteert.
Welke regel wint als allow en disallow allebei matchen?
Het langste passende padpatroon wint, gemeten in octetten, en bij een exact gelijke stand wint allow.
winner = the allow or disallow rule whose path pattern contains the most octets; on an exact tie, allow
RFC 9309 zegt het zo: "De meest specifieke match MOET worden gebruikt. De meest specifieke match is de match met de meeste octetten", en beslecht gelijke standen met "Als een 'allow'-regel en een 'disallow'-regel gelijkwaardig zijn, ZOU de 'allow'-regel moeten worden gebruikt." De specificatie van Google komt op hetzelfde uit: "Bij tegenstrijdige regels, ook die met wildcards, gebruikt Google de minst beperkende regel."
Werk het uit voor https://example.com/blog/drafts/post-1:
| Regel | Octetten in het pad | Matcht de URL |
|---|---|---|
Allow: /blog/ | 6 | ja |
Disallow: /blog/drafts/ | 13 | ja |
Allow: /blog/drafts/post-1 | 19 | ja |
19 wint van 13 en dat wint van 6, dus de derde regel wint en de crawler haalt de pagina op. Haal die regel weg en 13 wint van 6, dus dan neemt de disallow het over. Bij een gelijke stand tellen Disallow: /p en Allow: /p allebei 2 octetten, dus allow wint en /page blijft crawlbaar. De volgorde van regels verandert niets, dus tel tekens in plaats van regels te verschuiven.

Hoe kiezen crawlers welke user-agent-groep geldt?
Een crawler matcht zijn producttoken met de user-agent-regels zonder op hoofdletters te letten, volgt die ene groep, en valt alleen terug op de groep * als geen enkele groep past. RFC 9309 vereist dat "crawlers hoofdletterongevoelig MOETEN matchen om de groep te vinden die bij het producttoken past" en dat "als er geen passende groep bestaat, crawlers de groep MOETEN volgen met een user-agent-regel met de waarde '*'". Twee groepen met hetzelfde token worden samengevoegd, wat RFC 9309 formuleert als regels die "tot één groep MOETEN worden gecombineerd" en wat de specificatie van Google beschrijft als crawlers die "de groepen intern samenvoegen".
Het gevolg zet mensen op het verkeerde been. Geef GPTBot een eigen groep en GPTBot leest de groep * niet meer, dus elke disallow die voor alle anderen is geschreven, bindt hem niet meer. Herhaal de gedeelde disallow-regels in elke benoemde groep. Elk token van een AI-crawler exact spellen doet er om dezelfde reden toe: een typfout laat een crawler terugvallen op de groep *.
RedReplier
Aan de slag
Reddit, X, Bluesky en HN
Realtime meldingen op intentie
Onbeperkt AI-antwoorden
Gerangschikt op koopintentie
Hoe blokkeer je AI-crawlers in robots.txt?
Geef het token van elke beheerder een eigen groep, en beslis apart over crawlers voor training en over de zoekcrawlers die citeren en terug linken.
# https://example.com/robots.txt
User-agent: *
Disallow: /cart/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
# Model training
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# Answer engines that cite and link
User-agent: OAI-SearchBot
Disallow: /cart/
Disallow: /account/
User-agent: PerplexityBot
Disallow: /cart/
Disallow: /account/
User-agent: Claude-SearchBot
Disallow: /cart/
Disallow: /account/De herhaalde regels /cart/ en /account/ zijn de groepsregel in actie, geen opvulling: elke benoemde crawler leest alleen zijn eigen groep. Drie kanttekeningen komen van de beheerders zelf. Google documenteert dat "Google-Extended geen aparte user-agent-string voor HTTP-verzoeken heeft" en werkt "als controlemiddel", en dat het blokkeren ervan "geen invloed heeft op de opname van een site in Google Search en niet als rankingsignaal in Google Search wordt gebruikt." OpenAI scheidt GPTBot, dat crawlt om de basismodellen te verbeteren, van OAI-SearchBot, dat sites in ChatGPT search toont, dus het token GPTBot blokkeren laat de toegang van ChatGPT search intact. Perplexity documenteert dat Perplexity-User regels in robots.txt in de meeste gevallen negeert omdat een gebruiker om de pagina vroeg, en OpenAI draait hetzelfde soort fetcher op verzoek onder een derde token, ChatGPT-User, los van GPTBot en OAI-SearchBot. Dezelfde splitsing per beheerder gaat verder dan deze lijst: Amazonbot crawlt om de producten van Amazon te verbeteren en kan de AI-modellen van Amazon trainen tenzij het token is geblokkeerd, en Applebot-Extended kan los worden geblokkeerd om training voor Apple Intelligence te stoppen, terwijl zoeken in Siri, Spotlight en Safari ongemoeid blijft.
Trainingscrawlers blokkeren en answer engines houden is een beslissing over zichtbaarheid, en die is meetbaar. RedReplier volgt de openbare threads waarin een merk wordt genoemd, en dat is wat social media monitoring in de praktijk betekent.

- GPTBot
- ClaudeBot
- Google-Extended
- OAI-SearchBot
- PerplexityBot
- Claude-SearchBot
Wat gebeurt er als robots.txt ontbreekt, enorm is of een fout geeft?
De HTTP-status beslist, en de twee foutklassen wijzen in tegengestelde richtingen. RFC 9309 zegt dat bij een 4xx "de crawler MAG elke bron op de server benaderen", en dat bij een 5xx "de crawler MOET uitgaan van een volledige disallow." Een 404 opent de hele host en een 503 sluit hem, dus een origin die tijdens een deploy fouten geeft, zet het crawlen van alles stil. RFC 9309 stelt ook een parseergrens van "minstens 500 kibibytes", die Google handhaaft door content na 500 KiB te negeren, beperkt hergebruik van een gecachte kopie tot 24 uur tenzij het bestand onbereikbaar is, gelijk aan de eigen cache van 24 uur van Google, en vraagt crawlers "minstens vijf opeenvolgende redirects" te volgen voordat ze het bestand als onbeschikbaar behandelen. Controleer dat je CDN voor /robots.txt een 200 teruggeeft op elke host en elk protocol dat je bedient.
Is robots.txt hetzelfde als llms.txt?
Nee. robots.txt is een standaard met een RFC erachter en gedocumenteerde ondersteuning van elke grote crawlerbeheerder, terwijl llms.txt een voorgestelde conventie is die in geen van de hier geciteerde crawlerdocumentaties voorkomt. De twee beantwoorden verschillende vragen: robots.txt zegt welke paden een crawler mag ophalen, en llms.txt stelt voor welke content een model als eerste moet lezen.
Geen van beide bestanden is een juridisch middel. Een crawler die robots.txt negeert, breekt een conventie, en of dat overgaat in onrechtmatig verzamelen hangt af van gebruiksvoorwaarden, toegangscontroles en jurisdictie. Voor gegarandeerde, toegestane toegang tot de data van een platform beslist de keuze tussen scrapen en een API.
Veelgestelde vragen
Houdt robots.txt een pagina uit zoekresultaten?
Nee. De introductie van Google over robots.txt zegt direct dat robots.txt "geen mechanisme is om een webpagina uit Google te houden." Een geblokkeerde URL waar andere sites naar linken, kan in resultaten verschijnen als kale URL zonder snippet. Gebruik een metatag noindex op een crawlbare pagina, of authenticatie, als uitsluiten het doel is.
Doet de volgorde van regels in robots.txt ertoe?
Nee. RFC 9309 lost conflicten op met het aantal octetten in het passende padpatroon, dus Disallow: /blog/drafts/ met 13 octetten wint van Allow: /blog/ met 6 octetten, waar de twee regels ook in het bestand staan. Volgorde doet alleen ertoe voor groepering, omdat elke allow en disallow hoort bij de user-agent-regel erboven.
Geldt één robots.txt-bestand voor subdomeinen en beide protocollen?
Nee. De specificatie van Google zegt dat de regels "alleen gelden voor de host, het protocol en het poortnummer waar het robots.txt-bestand wordt gehost." Een bestand op https://example.com/robots.txt zegt niets over https://shop.example.com/ of over de http-versie. Publiceer een apart bestand op elke host die je wilt regelen.
Kan ik noindex in robots.txt zetten?
De robots.txt-specificatie van Google noemt vier velden die Google leest, user-agent, allow, disallow en sitemap, en noindex hoort daar niet bij. Lever noindex als robots-metatag in de head van de pagina of als HTTP-header X-Robots-Tag. Beide vereisen dat de pagina crawlbaar blijft, dus haal elke disallow weg die hem dekt.
Houdt robots.txt scrapers tegen?
Nee. RFC 9309 beschrijft regels waar een crawler zich vrijwillig aan houdt, zonder handhavingsmechanisme, dus een scraper die het bestand negeert, haalt de pagina's gewoon op. Perplexity zegt het openlijk over zijn eigen fetcher Perplexity-User, die regels in robots.txt in de meeste gevallen negeert omdat een gebruiker om de pagina vroeg. Rate limiting, authenticatie en WAF-regels zijn de middelen die echt iets handhaven.
Schaadt het blokkeren van AI-crawlers je zichtbaarheid in zoekmachines?
Google-Extended blokkeren niet, volgens de eigen verklaring van Google dat het "geen invloed heeft op de opname van een site in Google Search en niet als rankingsignaal in Google Search wordt gebruikt." Crawlers van answer engines blokkeren is een andere afweging: Anthropic zegt dat het blokkeren van Claude-SearchBot de zichtbaarheid in de zoekresultaten van Claude kan verminderen, en OAI-SearchBot en PerplexityBot bestaan om sites te tonen en ernaar te linken. Blokkeer de trainingstokens en houd de zoektokens als citaties belangrijk voor je zijn.
Wie schreef RFC 9309?
Martijn Koster, Gary Illyes, Henner Zeller en Lizzi Sassman schreven RFC 9309, het Robots Exclusion Protocol. Het werd in september 2022 een document op het Standards Track. De eigen robots.txt-specificatie van Google bouwt op dezelfde regels voort en voegt velden toe die RFC 9309 weglaat, zoals sitemap.
Hoe groot mag een robots.txt-bestand zijn voordat Google het negeert?
RFC 9309 stelt een parseergrens van minstens 500 kibibytes voor een robots.txt-bestand. Google handhaaft dat plafond door alle content na de grens van 500 KiB te negeren, dus regels die daarna staan, gelden nooit. Houd het bestand kort en stop de logica in een handvol user-agent-groepen in plaats van één uitgestrekte lijst.
RedReplier
Aan de slag
Reddit, X, Bluesky en HN
Realtime meldingen op intentie
Onbeperkt AI-antwoorden
Gerangschikt op koopintentie
Blokkeert GPTBot blokkeren ook ChatGPT search?
GPTBot en OAI-SearchBot zijn aparte tokens volgens de documentatie van OpenAI. GPTBot crawlt om de basismodellen van OpenAI te verbeteren, terwijl OAI-SearchBot sites in ChatGPT search toont. Blokkeer alleen GPTBot en de toegang van ChatGPT search blijft intact, omdat elke crawler alleen zijn eigen user-agent-groep leest.
Hoe lang cachet Google robots.txt voordat het opnieuw kijkt?
Google cachet een opgehaald robots.txt-bestand tot 24 uur voordat het opnieuw kijkt, tenzij het bestand onbereikbaar wordt. RFC 9309 stelt hetzelfde plafond voor algemene crawlers. Een wijziging in een disallow-regel kan het grootste deel van een dag nodig hebben om effect te krijgen, dus plan deploys van nieuwe blokkeerregels met die vertraging in gedachten.
Zie ons vaker in Google
Met één klik markeer je RedReplier als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.
Voordat je gaat...
RedReplier
Vang elke koper die vraagt om wat jij verkoopt
RedReplier houdt Reddit, X, Bluesky en Hacker News in realtime in de gaten, rangschikt elke thread op koopintentie en schrijft een concept voor je antwoord, zodat jij er als eerste bij bent.
Reddit, X, Bluesky en HN
Realtime meldingen op intentie
Onbeperkt AI-antwoorden
Gerangschikt op koopintentie
Gerelateerde artikelen


Wat CCBot verzamelt voor het open webarchief van Common Crawl
CCBot, de crawler van Common Crawl, bouwt een gratis, open webarchief dat AI-labs van buitenaf filteren tot trainingssets, en één robots.txt-regel bepaalt dat allemaal.


Hoe ChatGPT-User verschilt van GPTBot en OAI-SearchBot
De agent ChatGPT-User van OpenAI haalt alleen een pagina op als iemand ChatGPT vraagt een link te openen, met een andere robots.txt-regel dan GPTBot of OAI-SearchBot.


Hoe Cloudflare Pay Per Crawl AI-bots per pagina laat betalen
Cloudflare Pay Per Crawl, geïntroduceerd door Cloudflare, stuurt een HTTP 402-antwoord terug totdat een AI-crawler de exacte prijs per verzoek betaalt die een site-eigenaar heeft ingesteld.

