TL;DR
8 min leestijdOpenAI documenteert drie webagents met drie taken: GPTBot crawlt voor het trainen van generatieve foundation-AI-modellen, OAI-SearchBot crawlt om sites te tonen in de zoekfunctie van ChatGPT, en ChatGPT-User haalt één pagina op die iemand ChatGPT vroeg te openen. GPTBot verbieden haalt je pagina's uit de trainingsinput terwijl ChatGPT search onaangeroerd blijft, en OAI-SearchBot verbieden haalt je weg van het oppervlak dat mensen lezen en waarop ze klikken. Site-eigenaren die buiten training willen blijven en toch het verkeer willen, noemen alleen GPTBot.
Wat is het verschil tussen OAI-SearchBot en GPTBot?
OpenAI draait OAI-SearchBot en GPTBot als twee crawlers met twee losse taken: OAI-SearchBot haalt pagina's op zodat de zoekfunctie van ChatGPT ze kan tonen, en GPTBot haalt pagina's op om de generatieve foundation-AI-modellen van OpenAI te trainen, volgens de eigen botdocumentatie van OpenAI op developers.openai.com, gecontroleerd op 9 september 2026. Elk leest zijn eigen benoemde blok in robots.txt, en een regel die voor de een geschreven is, heeft geen effect op de ander. Die scheiding is het hele punt van het ontwerp: OpenAI zegt dat het "uses OAI-SearchBot and GPTBot robots.txt tags to enable webmasters to manage how their sites and content work with AI."
Wat zijn de exacte user-agentstrings van de crawlers van OpenAI?
OpenAI publiceert de volledige user-agentstring van elke agent die het draait, en elk bevat een zelfbeschrijvende URL die je kunt controleren. Kopieer ze teken voor teken als je een logfilter schrijft, want een substringmatch op alleen GPT vangt drie verschillende agents tegelijk.
| Agent | Volledige user-agentstring | Gepubliceerde IP-ranges |
|---|---|---|
| GPTBot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot | openai.com/gptbot.json |
| OAI-SearchBot | Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot | openai.com/searchbot.json |
| ChatGPT-User | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot | openai.com/chatgpt-user.json |
| OAI-AdsBot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot | openai.com/adsbot.json |
OAI-SearchBot stuurt ook een tweede gedocumenteerde variant die het token robots.txt vóór de URL zet: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot. Schrijf je logfilter tegen het kale token OAI-SearchBot, zodat beide varianten in dezelfde bak belanden.

Welke bot van OpenAI moet je echt blokkeren?
Blokkeer de bot waarvan je de output niet wilt, en de kostenkolom hieronder is het deel dat site-eigenaren overslaan. OpenAI koppelt elke agent aan een ander productoppervlak, dus de drie regels leveren drie verschillende uitkomsten.
| Agent | Waarvoor OpenAI hem gebruikt | Wat blokkeren je kost | robots.txt-instructie |
|---|---|---|---|
| GPTBot | Crawlt content voor het trainen van generatieve foundation-AI-modellen | Je pagina's voeden via deze crawl geen toekomstige modeltraining meer. ChatGPT search blijft onaangeroerd. | User-agent: GPTBot en dan Disallow: / |
| OAI-SearchBot | Drijft de zoekfuncties van ChatGPT aan om websites in zoekresultaten te tonen | OpenAI zegt dat sites die zich afmelden "will not be shown in ChatGPT search answers, though can still appear as navigational links." | User-agent: OAI-SearchBot en dan Disallow: / |
| ChatGPT-User | Handelt acties af die gebruikers starten in ChatGPT en Custom GPTs | ChatGPT kan je pagina niet openen als iemand de link plakt en ernaar vraagt. OpenAI merkt op dat robots.txt-regels hier mogelijk niet gelden, omdat het verzoek volgt op een live actie van een gebruiker. | User-agent: ChatGPT-User en dan Disallow: / |
Het volledige gedrag van die derde agent, inclusief waarom een robots.txt-regel zich anders gedraagt bij een ophaalactie die een gebruiker start, staat op de aparte pagina over ChatGPT-User.
Waarom blokkeren de meeste site-eigenaren de verkeerde?
De fout is "blokkeer de AI-crawlers" behandelen als één beslissing, terwijl OpenAI het als twee heeft gebouwd. GPTBot is de naam die mensen kennen uit berichtgeving over AI-trainingsdata, dus die gaat in een algemene regel samen met OAI-SearchBot, en die algemene regel haalt de site weg van het oppervlak dat echte lezers stuurt. Verkeer uit de zoekfunctie van ChatGPT hangt ervan af dat OAI-SearchBot de pagina mag lezen die het citeert; trainingsinput stuurt helemaal niemand naar je site. Beslis de twee vragen apart, en schrijf dan twee blokken.
Welke robots.txt kopieer je voor elk doel?
Kies het doel dat bij je bedrijf past en plak het bijpassende blok in de root van je domein. Elke User-agent-groep staat op zichzelf, dus een instructie onder de ene naam bereikt nooit een andere.
Blijf buiten modeltraining, houd het verkeer uit ChatGPT search. Dit is de instelling die de meeste uitgevers en SaaS-sites willen:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Verlaat OpenAI helemaal, inclusief het zoekoppervlak en ophaalacties op verzoek van gebruikers:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /Sta alles toe behalve de paden die nooit een model of een antwoord mogen bereiken:
User-agent: GPTBot
Disallow: /members/
Disallow: /checkout/
Disallow: /account/
User-agent: OAI-SearchBot
Disallow: /members/
Disallow: /checkout/
Disallow: /account/De voorrangsregels die bepalen welke regel wint als Allow en Disallow allebei op een URL matchen, staan in het volledige naslagstuk over robots.txt.
Wordt robots.txt afgedwongen, of alleen gerespecteerd?
Robots.txt wordt uit gewoonte gerespecteerd en door niets afgedwongen. RFC 9309, de standaard voor het Robots Exclusion Protocol die in september 2022 verscheen, zegt in de Security Considerations ronduit dat "The Robots Exclusion Protocol is not a substitute for valid content security measures," en de openingssectie merkt op dat deze regels "are not a form of access authorization." Een Disallow-regel is een verzoek dat een fatsoenlijke crawler leest voordat hij iets ophaalt, en dat een onfatsoenlijke kan negeren zonder enig technisch gevolg. Mag een pagina door niemand buiten je loginmuur gelezen worden, zet haar dan achter authenticatie of een IP-regel op de server, en zie de robots.txt-regel als documentatie van je bedoeling voor de crawlers die zich er wel aan houden.

Hoe verifieer je dat een verzoek echt van OpenAI kwam?
Vergelijk het bron-IP-adres met de JSON-bestanden die OpenAI publiceert, want een user-agentstring is een header die elke client kan intypen. OpenAI zet de actuele ranges op openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json en openai.com/adsbot.json, elk bestand met een veld creationTime en een array met CIDR-prefixen. Bij een controle op 10 september 2026 bevatte openai.com/searchbot.json 39 IPv4-prefixen met een creationTime van 2026-01-02, en openai.com/gptbot.json 21 prefixen met een creationTime van 2025-10-30. Haal het bestand volgens een schema opnieuw op in plaats van de ranges hard te coderen, en behandel elk verzoek met een OpenAI-token vanaf een adres buiten de actuele lijst als vervalsing, niet als een crawler die je regels negeert.
RedReplier
Aan de slag
Reddit, X, Bluesky en HN
Realtime meldingen op intentie
Onbeperkt AI-antwoorden
Gerangschikt op koopintentie
Hoe lang duurt het voordat een wijziging in robots.txt OpenAI bereikt?
De documentatie van OpenAI zegt dat het voor zoekresultaten "it can take ~24 hours from a site's robots.txt update for our systems to adjust." Die vertraging geldt voor het zoekoppervlak, dus een site die OAI-SearchBot van verboden naar toegestaan zet, kan ongeveer een dag rekenen voordat het zoekgedrag van ChatGPT het weerspiegelt. Voer de wijziging door, noteer het tijdstip, en wacht met een tweede aanpassing tot er een volle dag voorbij is, want twee wijzigingen binnen het verwerkingsvenster maken het resultaat onleesbaar.
Wat houd je bij nadat je de regels hebt ingesteld?
Houd bij of ChatGPT je echt citeert, want een correcte robots.txt is een input en een citaat is de uitkomst. Socialemediamonitoring dekt de threads waaruit die antwoorden worden opgebouwd, en dat is het materiaal waarop je na het toestaan van OAI-SearchBot nog kunt handelen. Dezelfde splitsing tussen training en zoeken zie je bij andere leveranciers: Applebot-Extended is de opt-out voor training van Apple die Siri, Spotlight en zoeken in Safari met rust laat, en CCBot is het open archief van Common Crawl dat externe labs filteren tot trainingssets. Überhaupt geciteerd worden is een andere discipline dan gecrawld worden, en dat behandelt answer engine optimization.
Veelgestelde vragen
Haalt GPTBot blokkeren me uit ChatGPT search?
Nee. OpenAI documenteert GPTBot als de crawler voor het trainen van generatieve foundation-AI-modellen en OAI-SearchBot als de crawler die de zoekfuncties van ChatGPT aandrijft. Een Disallow onder User-agent: GPTBot laat OAI-SearchBot vrij om te crawlen, dus ChatGPT search kan je pagina's nog steeds tonen en citeren.
Wat gebeurt er als ik OAI-SearchBot blokkeer?
OpenAI zegt dat sites die zich voor OAI-SearchBot afmelden "will not be shown in ChatGPT search answers, though can still appear as navigational links." Je verliest het citaat en de doorklik die erbij hoort. OpenAI raadt aan OAI-SearchBot in robots.txt toe te staan om een site te helpen in zoekresultaten te verschijnen.
Is er één instructie die alle bots van OpenAI tegelijk blokkeert?
Geen enkel token dekt ze allemaal. OpenAI documenteert GPTBot, OAI-SearchBot, ChatGPT-User en OAI-AdsBot als aparte user-agenttokens voor robots.txt, en elk heeft een eigen benoemde groep nodig. Een wildcardgroep User-agent: * geldt voor nette crawlers die geen groep vinden die hen specifiek noemt, dus een agent met een eigen blok leest dat blok in plaats daarvan.
Welke agent van OpenAI is geen crawler?
ChatGPT-User. OpenAI documenteert hem als de agent die acties afhandelt die gebruikers starten in ChatGPT en Custom GPTs, wat betekent dat hij een pagina ophaalt omdat iemand ChatGPT vroeg die link te openen. OpenAI merkt op dat robots.txt-regels mogelijk niet op dezelfde manier voor hem gelden, omdat het verzoek afhangt van een live actie van een gebruiker.
Wat doet OAI-AdsBot?
OpenAI documenteert OAI-AdsBot als de agent die de veiligheid controleert van webpagina's die als advertentie in ChatGPT worden ingediend, en zegt dat "data collected by OAI-AdsBot is not used to train generative AI foundation models." Hij heeft een eigen robots.txt-token en een eigen gepubliceerde IP-lijst op openai.com/adsbot.json. Hij staat los van zowel de trainingscrawl als de zoekcrawl.
Kan een crawler mijn robots.txt-bestand negeren?
Ja. RFC 9309 beschrijft het Robots Exclusion Protocol als een set regels die crawlers lezen, en de sectie Security Considerations zegt dat het protocol "is not a substitute for valid content security measures." Niets in het protocol blokkeert een verzoek op netwerkniveau, dus alles wat privé moet blijven, heeft authenticatie of een blokkade op de server nodig.
Moet ik de gepubliceerde IP-ranges van OpenAI hard coderen in plaats van ze opnieuw op te halen?
De IP-lijsten van OpenAI hebben een veld creationTime dat verandert zodra de range wordt bijgewerkt, dus een hard gecodeerde kopie veroudert de volgende keer dat OpenAI zijn infrastructuur wisselt. Haal openai.com/gptbot.json, searchbot.json, chatgpt-user.json of adsbot.json in plaats daarvan volgens een schema opnieuw op, en behandel een verzoek met een user agent van OpenAI vanaf een adres buiten de actuele lijst als vervalsing, niet als een crawler die robots.txt negeert.
Waarom moet ik niet direct na de eerste een tweede wijziging in robots.txt doen?
De documentatie van OpenAI zet de verwerkingstijd voor search op ongeveer 24 uur na een update van robots.txt. Een tweede aanpassing binnen dat venster komt binnen voordat de eerste volledig is doorgevoerd, dus welk resultaat je daarna ook ziet, het is aan geen van beide wijzigingen toe te schrijven. Voer één aanpassing door, noteer het tijdstip, en wacht de volle dag af voordat je het bestand weer aanraakt.
Geeft robots.txt me enige juridische zeggenschap over crawlers?
RFC 9309 zegt in de openingssectie dat robots.txt-regels "are not a form of access authorization." Een Disallow-regel vraagt een nette crawler een pagina over te slaan; er zit geen mechanisme in om een crawler te stoppen die zich er niet aan houdt. Content die echt bescherming nodig heeft, hoort achter een loginmuur of een IP-regel op de server, met de robots.txt-regel alleen als vastlegging van je bedoeling.
Kunnen regels voor GPTBot en OAI-SearchBot in hetzelfde robots.txt-bestand staan?
Dat kan, en de combinatie van Disallow voor GPTBot en Allow voor OAI-SearchBot is precies de instelling die de eigen splitsing van OpenAI mogelijk maakt voor site-eigenaren die buiten training willen blijven en toch het verkeer uit ChatGPT search willen houden. Elke User-agent-groep wordt op zichzelf gelezen, dus het blok voor GPTBot en het blok voor OAI-SearchBot zitten elkaar in hetzelfde bestand nooit in de weg.
Zie ons vaker in Google
Met één klik markeer je RedReplier als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.
Voordat je gaat...
RedReplier
Vang elke koper die vraagt om wat jij verkoopt
RedReplier houdt Reddit, X, Bluesky en Hacker News in realtime in de gaten, rangschikt elke thread op koopintentie en schrijft een concept voor je antwoord, zodat jij er als eerste bij bent.
Reddit, X, Bluesky en HN
Realtime meldingen op intentie
Onbeperkt AI-antwoorden
Gerangschikt op koopintentie
Gerelateerde artikelen


Hoe ChatGPT-User verschilt van GPTBot en OAI-SearchBot
De agent ChatGPT-User van OpenAI haalt alleen een pagina op als iemand ChatGPT vraagt een link te openen, met een andere robots.txt-regel dan GPTBot of OAI-SearchBot.


Wat CCBot verzamelt voor het open webarchief van Common Crawl
CCBot, de crawler van Common Crawl, bouwt een gratis, open webarchief dat AI-labs van buitenaf filteren tot trainingssets, en één robots.txt-regel bepaalt dat allemaal.


Hoe Cloudflare Pay Per Crawl AI-bots per pagina laat betalen
Cloudflare Pay Per Crawl, geïntroduceerd door Cloudflare, stuurt een HTTP 402-antwoord terug totdat een AI-crawler de exacte prijs per verzoek betaalt die een site-eigenaar heeft ingesteld.

