glossary

OAI-SearchBot of GPTBot blokkeren kost je twee verschillende dingen

Taras Shynkarenko
Taras Shynkarenko
•Bijgewerkt: •8 min leestijd
OAI-SearchBot of GPTBot blokkeren kost je twee verschillende dingenOAI-SearchBot of GPTBot blokkeren kost je twee verschillende dingen

TL;DR

8 min leestijd

OpenAI documenteert drie webagents met drie taken: GPTBot crawlt voor het trainen van generatieve foundation-AI-modellen, OAI-SearchBot crawlt om sites te tonen in de zoekfunctie van ChatGPT, en ChatGPT-User haalt één pagina op die iemand ChatGPT vroeg te openen. GPTBot verbieden haalt je pagina's uit de trainingsinput terwijl ChatGPT search onaangeroerd blijft, en OAI-SearchBot verbieden haalt je weg van het oppervlak dat mensen lezen en waarop ze klikken. Site-eigenaren die buiten training willen blijven en toch het verkeer willen, noemen alleen GPTBot.

Wat is het verschil tussen OAI-SearchBot en GPTBot?

OpenAI draait OAI-SearchBot en GPTBot als twee crawlers met twee losse taken: OAI-SearchBot haalt pagina's op zodat de zoekfunctie van ChatGPT ze kan tonen, en GPTBot haalt pagina's op om de generatieve foundation-AI-modellen van OpenAI te trainen, volgens de eigen botdocumentatie van OpenAI op developers.openai.com, gecontroleerd op 9 september 2026. Elk leest zijn eigen benoemde blok in robots.txt, en een regel die voor de een geschreven is, heeft geen effect op de ander. Die scheiding is het hele punt van het ontwerp: OpenAI zegt dat het "uses OAI-SearchBot and GPTBot robots.txt tags to enable webmasters to manage how their sites and content work with AI."

Wat zijn de exacte user-agentstrings van de crawlers van OpenAI?

OpenAI publiceert de volledige user-agentstring van elke agent die het draait, en elk bevat een zelfbeschrijvende URL die je kunt controleren. Kopieer ze teken voor teken als je een logfilter schrijft, want een substringmatch op alleen GPT vangt drie verschillende agents tegelijk.

AgentVolledige user-agentstringGepubliceerde IP-ranges
GPTBotMozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotopenai.com/gptbot.json
OAI-SearchBotMozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotopenai.com/searchbot.json
ChatGPT-UserMozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/botopenai.com/chatgpt-user.json
OAI-AdsBotMozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbotopenai.com/adsbot.json

OAI-SearchBot stuurt ook een tweede gedocumenteerde variant die het token robots.txt vóór de URL zet: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot. Schrijf je logfilter tegen het kale token OAI-SearchBot, zodat beide varianten in dezelfde bak belanden.

Een ontwikkelaar die het robots.txt-bestand van een website bewerkt, als beeld voor de keuze welke crawler van OpenAI je blokkeert.

Welke bot van OpenAI moet je echt blokkeren?

Blokkeer de bot waarvan je de output niet wilt, en de kostenkolom hieronder is het deel dat site-eigenaren overslaan. OpenAI koppelt elke agent aan een ander productoppervlak, dus de drie regels leveren drie verschillende uitkomsten.

AgentWaarvoor OpenAI hem gebruiktWat blokkeren je kostrobots.txt-instructie
GPTBotCrawlt content voor het trainen van generatieve foundation-AI-modellenJe pagina's voeden via deze crawl geen toekomstige modeltraining meer. ChatGPT search blijft onaangeroerd.User-agent: GPTBot en dan Disallow: /
OAI-SearchBotDrijft de zoekfuncties van ChatGPT aan om websites in zoekresultaten te tonenOpenAI zegt dat sites die zich afmelden "will not be shown in ChatGPT search answers, though can still appear as navigational links."User-agent: OAI-SearchBot en dan Disallow: /
ChatGPT-UserHandelt acties af die gebruikers starten in ChatGPT en Custom GPTsChatGPT kan je pagina niet openen als iemand de link plakt en ernaar vraagt. OpenAI merkt op dat robots.txt-regels hier mogelijk niet gelden, omdat het verzoek volgt op een live actie van een gebruiker.User-agent: ChatGPT-User en dan Disallow: /

Het volledige gedrag van die derde agent, inclusief waarom een robots.txt-regel zich anders gedraagt bij een ophaalactie die een gebruiker start, staat op de aparte pagina over ChatGPT-User.

Waarom blokkeren de meeste site-eigenaren de verkeerde?

De fout is "blokkeer de AI-crawlers" behandelen als één beslissing, terwijl OpenAI het als twee heeft gebouwd. GPTBot is de naam die mensen kennen uit berichtgeving over AI-trainingsdata, dus die gaat in een algemene regel samen met OAI-SearchBot, en die algemene regel haalt de site weg van het oppervlak dat echte lezers stuurt. Verkeer uit de zoekfunctie van ChatGPT hangt ervan af dat OAI-SearchBot de pagina mag lezen die het citeert; trainingsinput stuurt helemaal niemand naar je site. Beslis de twee vragen apart, en schrijf dan twee blokken.

Welke robots.txt kopieer je voor elk doel?

Kies het doel dat bij je bedrijf past en plak het bijpassende blok in de root van je domein. Elke User-agent-groep staat op zichzelf, dus een instructie onder de ene naam bereikt nooit een andere.

Blijf buiten modeltraining, houd het verkeer uit ChatGPT search. Dit is de instelling die de meeste uitgevers en SaaS-sites willen:

User-agent: GPTBot
Disallow: /
 
User-agent: OAI-SearchBot
Allow: /

Verlaat OpenAI helemaal, inclusief het zoekoppervlak en ophaalacties op verzoek van gebruikers:

User-agent: GPTBot
Disallow: /
 
User-agent: OAI-SearchBot
Disallow: /
 
User-agent: ChatGPT-User
Disallow: /

Sta alles toe behalve de paden die nooit een model of een antwoord mogen bereiken:

User-agent: GPTBot
Disallow: /members/
Disallow: /checkout/
Disallow: /account/
 
User-agent: OAI-SearchBot
Disallow: /members/
Disallow: /checkout/
Disallow: /account/

De voorrangsregels die bepalen welke regel wint als Allow en Disallow allebei op een URL matchen, staan in het volledige naslagstuk over robots.txt.

Wordt robots.txt afgedwongen, of alleen gerespecteerd?

Robots.txt wordt uit gewoonte gerespecteerd en door niets afgedwongen. RFC 9309, de standaard voor het Robots Exclusion Protocol die in september 2022 verscheen, zegt in de Security Considerations ronduit dat "The Robots Exclusion Protocol is not a substitute for valid content security measures," en de openingssectie merkt op dat deze regels "are not a form of access authorization." Een Disallow-regel is een verzoek dat een fatsoenlijke crawler leest voordat hij iets ophaalt, en dat een onfatsoenlijke kan negeren zonder enig technisch gevolg. Mag een pagina door niemand buiten je loginmuur gelezen worden, zet haar dan achter authenticatie of een IP-regel op de server, en zie de robots.txt-regel als documentatie van je bedoeling voor de crawlers die zich er wel aan houden.

Rijen serverracks in een datacenter, als beeld voor de infrastructuur die IP-adressen van crawlers logt en verifieert.

Hoe verifieer je dat een verzoek echt van OpenAI kwam?

Vergelijk het bron-IP-adres met de JSON-bestanden die OpenAI publiceert, want een user-agentstring is een header die elke client kan intypen. OpenAI zet de actuele ranges op openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json en openai.com/adsbot.json, elk bestand met een veld creationTime en een array met CIDR-prefixen. Bij een controle op 10 september 2026 bevatte openai.com/searchbot.json 39 IPv4-prefixen met een creationTime van 2026-01-02, en openai.com/gptbot.json 21 prefixen met een creationTime van 2025-10-30. Haal het bestand volgens een schema opnieuw op in plaats van de ranges hard te coderen, en behandel elk verzoek met een OpenAI-token vanaf een adres buiten de actuele lijst als vervalsing, niet als een crawler die je regels negeert.

RedReplier
RedReplier

Aan de slag

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Hoe lang duurt het voordat een wijziging in robots.txt OpenAI bereikt?

De documentatie van OpenAI zegt dat het voor zoekresultaten "it can take ~24 hours from a site's robots.txt update for our systems to adjust." Die vertraging geldt voor het zoekoppervlak, dus een site die OAI-SearchBot van verboden naar toegestaan zet, kan ongeveer een dag rekenen voordat het zoekgedrag van ChatGPT het weerspiegelt. Voer de wijziging door, noteer het tijdstip, en wacht met een tweede aanpassing tot er een volle dag voorbij is, want twee wijzigingen binnen het verwerkingsvenster maken het resultaat onleesbaar.

Blokkeer de juiste agent, en bevestig dat het bleef staan
1
Bepaal het doel. GPTBot voedt modeltraining, OAI-SearchBot voedt ChatGPT search. Kies er één, beide of geen.
2
Schrijf voor elke agent een apart blok. Een regel onder de ene user-agentnaam bereikt nooit een andere.
3
Wacht ongeveer 24 uur. De documentatie van OpenAI zet de verwerking naar search op ongeveer een dag na een wijziging in robots.txt.
4
Controleer het bron-IP, niet alleen de user agent. Vergelijk verzoeken met de gepubliceerde CIDR-ranges van OpenAI voordat je een logregel vertrouwt.
Elke stap dicht het gat dat de vorige openlaat, van een agent kiezen tot bevestigen dat de blokkade echt standhield.

Wat houd je bij nadat je de regels hebt ingesteld?

Houd bij of ChatGPT je echt citeert, want een correcte robots.txt is een input en een citaat is de uitkomst. Socialemediamonitoring dekt de threads waaruit die antwoorden worden opgebouwd, en dat is het materiaal waarop je na het toestaan van OAI-SearchBot nog kunt handelen. Dezelfde splitsing tussen training en zoeken zie je bij andere leveranciers: Applebot-Extended is de opt-out voor training van Apple die Siri, Spotlight en zoeken in Safari met rust laat, en CCBot is het open archief van Common Crawl dat externe labs filteren tot trainingssets. Überhaupt geciteerd worden is een andere discipline dan gecrawld worden, en dat behandelt answer engine optimization.

Veelgestelde vragen

Nee. OpenAI documenteert GPTBot als de crawler voor het trainen van generatieve foundation-AI-modellen en OAI-SearchBot als de crawler die de zoekfuncties van ChatGPT aandrijft. Een Disallow onder User-agent: GPTBot laat OAI-SearchBot vrij om te crawlen, dus ChatGPT search kan je pagina's nog steeds tonen en citeren.

Wat gebeurt er als ik OAI-SearchBot blokkeer?

OpenAI zegt dat sites die zich voor OAI-SearchBot afmelden "will not be shown in ChatGPT search answers, though can still appear as navigational links." Je verliest het citaat en de doorklik die erbij hoort. OpenAI raadt aan OAI-SearchBot in robots.txt toe te staan om een site te helpen in zoekresultaten te verschijnen.

Is er één instructie die alle bots van OpenAI tegelijk blokkeert?

Geen enkel token dekt ze allemaal. OpenAI documenteert GPTBot, OAI-SearchBot, ChatGPT-User en OAI-AdsBot als aparte user-agenttokens voor robots.txt, en elk heeft een eigen benoemde groep nodig. Een wildcardgroep User-agent: * geldt voor nette crawlers die geen groep vinden die hen specifiek noemt, dus een agent met een eigen blok leest dat blok in plaats daarvan.

Welke agent van OpenAI is geen crawler?

ChatGPT-User. OpenAI documenteert hem als de agent die acties afhandelt die gebruikers starten in ChatGPT en Custom GPTs, wat betekent dat hij een pagina ophaalt omdat iemand ChatGPT vroeg die link te openen. OpenAI merkt op dat robots.txt-regels mogelijk niet op dezelfde manier voor hem gelden, omdat het verzoek afhangt van een live actie van een gebruiker.

Wat doet OAI-AdsBot?

OpenAI documenteert OAI-AdsBot als de agent die de veiligheid controleert van webpagina's die als advertentie in ChatGPT worden ingediend, en zegt dat "data collected by OAI-AdsBot is not used to train generative AI foundation models." Hij heeft een eigen robots.txt-token en een eigen gepubliceerde IP-lijst op openai.com/adsbot.json. Hij staat los van zowel de trainingscrawl als de zoekcrawl.

Kan een crawler mijn robots.txt-bestand negeren?

Ja. RFC 9309 beschrijft het Robots Exclusion Protocol als een set regels die crawlers lezen, en de sectie Security Considerations zegt dat het protocol "is not a substitute for valid content security measures." Niets in het protocol blokkeert een verzoek op netwerkniveau, dus alles wat privé moet blijven, heeft authenticatie of een blokkade op de server nodig.

Moet ik de gepubliceerde IP-ranges van OpenAI hard coderen in plaats van ze opnieuw op te halen?

De IP-lijsten van OpenAI hebben een veld creationTime dat verandert zodra de range wordt bijgewerkt, dus een hard gecodeerde kopie veroudert de volgende keer dat OpenAI zijn infrastructuur wisselt. Haal openai.com/gptbot.json, searchbot.json, chatgpt-user.json of adsbot.json in plaats daarvan volgens een schema opnieuw op, en behandel een verzoek met een user agent van OpenAI vanaf een adres buiten de actuele lijst als vervalsing, niet als een crawler die robots.txt negeert.

Waarom moet ik niet direct na de eerste een tweede wijziging in robots.txt doen?

De documentatie van OpenAI zet de verwerkingstijd voor search op ongeveer 24 uur na een update van robots.txt. Een tweede aanpassing binnen dat venster komt binnen voordat de eerste volledig is doorgevoerd, dus welk resultaat je daarna ook ziet, het is aan geen van beide wijzigingen toe te schrijven. Voer één aanpassing door, noteer het tijdstip, en wacht de volle dag af voordat je het bestand weer aanraakt.

Geeft robots.txt me enige juridische zeggenschap over crawlers?

RFC 9309 zegt in de openingssectie dat robots.txt-regels "are not a form of access authorization." Een Disallow-regel vraagt een nette crawler een pagina over te slaan; er zit geen mechanisme in om een crawler te stoppen die zich er niet aan houdt. Content die echt bescherming nodig heeft, hoort achter een loginmuur of een IP-regel op de server, met de robots.txt-regel alleen als vastlegging van je bedoeling.

Kunnen regels voor GPTBot en OAI-SearchBot in hetzelfde robots.txt-bestand staan?

Dat kan, en de combinatie van Disallow voor GPTBot en Allow voor OAI-SearchBot is precies de instelling die de eigen splitsing van OpenAI mogelijk maakt voor site-eigenaren die buiten training willen blijven en toch het verkeer uit ChatGPT search willen houden. Elke User-agent-groep wordt op zichzelf gelezen, dus het blok voor GPTBot en het blok voor OAI-SearchBot zitten elkaar in hetzelfde bestand nooit in de weg.

Zie ons vaker in Google

Met één klik markeer je RedReplier als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.

Voordat je gaat...

RedReplier

RedReplier

Vang elke koper die vraagt om wat jij verkoopt

RedReplier houdt Reddit, X, Bluesky en Hacker News in realtime in de gaten, rangschikt elke thread op koopintentie en schrijft een concept voor je antwoord, zodat jij er als eerste bij bent.

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Gerelateerde artikelen