glossary

Hoe ChatGPT-User verschilt van GPTBot en OAI-SearchBot

Taras Shynkarenko
Taras Shynkarenko
•Bijgewerkt: •7 min leestijd
Hoe ChatGPT-User verschilt van GPTBot en OAI-SearchBotHoe ChatGPT-User verschilt van GPTBot en OAI-SearchBot

TL;DR

7 min leestijd

OpenAI documenteert ChatGPT-User als een fetch-agent die door de gebruiker wordt gestart en een pagina alleen laadt als een persoon of een Custom GPT in ChatGPT vraagt die link te openen, los van de automatische crawl van GPTBot voor training en die van OAI-SearchBot voor de zoekfunctie van ChatGPT. De eigen botdocumentatie van OpenAI geeft elk van de drie een eigen user agent-string en eigen robots.txt-gedrag, en zegt duidelijk dat ChatGPT-User "not used for crawling the web in an automatic fashion" is.

Wat is ChatGPT-User?

OpenAI documenteert ChatGPT-User als de agent die een pagina alleen ophaalt als een persoon, of een Custom GPT die in ChatGPT draait, ChatGPT vraagt een specifieke link te openen, volgens de eigen botdocumentatie van OpenAI op developers.openai.com, gecontroleerd op 9 september 2026. Die documentatie zegt letterlijk dat ChatGPT-User "is not used for crawling the web in an automatic fashion", en dat onderscheidt hem van de twee andere agents van OpenAI die wel op hun eigen schema crawlen. Een verzoek van ChatGPT-User bestaat omdat iemand op dat moment om precies die pagina vroeg.

Wat is de exacte user agent-string van ChatGPT-User?

ChatGPT-User identificeert zich met de string Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot, volgens de eigen botdocumentatie van OpenAI. OpenAI publiceert de actuele IP-bereiken waarvandaan deze agent verzoeken stuurt als JSON op openai.com/chatgpt-user.json, zodat je een verzoek aan de serverkant kunt bevestigen in plaats van de headertekst op zijn woord te geloven. Controleer zowel het token in de user agent-string als het bron-IP-adres voordat je een verzoek als echt behandelt.

AgentUser agent-stringAanleiding
ChatGPT-UserMozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/botEen persoon of Custom GPT vraagt ChatGPT een link te openen
GPTBotMozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotAutomatische crawl voor het trainen van foundation models
OAI-SearchBotMozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotAutomatische crawl om sites te tonen in de zoekfunctie van ChatGPT

Hoe verschilt ChatGPT-User van GPTBot?

GPTBot crawlt een site op zijn eigen schema, en de documentatie van OpenAI koppelt GPTBot direct aan trainingsdata: de crawl wordt gebruikt "to make our generative AI foundation models more useful and safe." ChatGPT-User gaat daarentegen één keer af, als reactie op één specifiek verzoek uit één specifiek gesprek, en raakt alleen de pagina die in dat gesprek werd genoemd. Het praktische verschil zit in timing en aanleiding: een verzoek van GPTBot kan op elk moment binnenkomen als onderdeel van een geplande crawl, terwijl een verzoek van ChatGPT-User altijd volgt op een live vraag waarin een URL werd genoemd.

Hoe verschilt ChatGPT-User van OAI-SearchBot?

OAI-SearchBot crawlt ook automatisch, op zijn eigen schema, maar de documentatie van OpenAI koppelt zijn doel aan iets anders: sites tonen in de zoekfunctie van ChatGPT in plaats van een model trainen. ChatGPT-User deelt met OAI-SearchBot de band met het live product van ChatGPT, maar de twee werken op tegenovergestelde aanleidingen: de een draait een doorlopende crawl, de ander gaat op verzoek af voor één gesprek. Een site die wil verschijnen als ChatGPT het web doorzoekt, zonder trainingsdata bij te dragen, kiest er specifiek voor OAI-SearchBot toe te laten, en dat is een andere beslissing dan GPTBot of ChatGPT-User toelaten.

Een afgesloten serverrack staat voor het blokkeren van een geautomatiseerd verzoek bij de bron.

Kun je ChatGPT-User blokkeren in robots.txt?

Een standaard Disallow-regel onder een blok User-agent: ChatGPT-User is de gedocumenteerde syntaxis, maar de eigen botdocumentatie van OpenAI merkt op dat robots.txt-regels voor deze agent misschien niet zo gelden als voor een crawler, omdat het verzoek wordt gestart door een live actie van een gebruiker en niet door een geplande crawl. De regel vertelt een netjes werkend verzoek nog steeds dat het niet verder mag, dus het loont hem toch in te stellen. Wat hij niet doet, is iemand tegenhouden die ChatGPT op een manier naar je pagina vraagt waarbij ChatGPT-User die niet rechtstreeks hoeft op te halen.

User-agent: ChatGPT-User
Disallow: /

Hoe blokkeer je GPTBot en OAI-SearchBot?

Voeg voor elke agent die je wilt beheren een apart benoemd blok toe, want een regel die de ene noemt, heeft geen effect op de andere.

User-agent: GPTBot
Disallow: /
 
User-agent: OAI-SearchBot
Disallow: /

Volgens de documentatie van OpenAI duurt het ongeveer 24 uur voordat een robots.txt-wijziging bij de systemen van OpenAI aankomt, dus reken op ongeveer een dag vertraging in plaats van direct effect. Controleer elk verzoek tegen de gepubliceerde IP-bereiken op openai.com/gptbot.json en openai.com/searchbot.json voordat je aanneemt dat een geblokkeerde crawler de regel negeerde, want een vervalste user agent-string is een ander probleem dan een regel die nog niet is doorgevoerd.

Drie agents, drie aanleidingen
Geplande crawlers
  • GPTBot crawlt om de foundation models van OpenAI te trainen
  • OAI-SearchBot crawlt voor de zoekfunctie van ChatGPT
  • Beide accepteren een standaard Disallow-regel in robots.txt
Fetch op verzoek van de gebruiker
  • ChatGPT-User laadt één pagina waar een persoon of Custom GPT net om vroeg
  • OpenAI zegt dat hij niet voor automatisch crawlen wordt gebruikt
  • OpenAI merkt op dat robots.txt-regels misschien niet op dezelfde manier gelden
Gebaseerd op de eigen botdocumentatie van OpenAI op developers.openai.com, gecontroleerd op 9 september 2026.

Wat stopt er echt als je elk van de drie blokkeert?

GPTBot blokkeren stopt de geplande crawl die OpenAI koppelt aan het trainen van foundation models, dus pagina's achter die regel voeden via deze route geen toekomstige modelupdates meer. OAI-SearchBot blokkeren stopt de geplande crawl die OpenAI koppelt aan de zoekfunctie van ChatGPT, dus pagina's achter die regel verschijnen minder snel als iemand ChatGPT het web laat doorzoeken. ChatGPT-User blokkeren richt zich op een verzoek dat alleen gebeurt omdat iemand je URL al in een live gesprek noemde, dus de regel houdt vooral live pagina-inhoud weg bij die ene fetch, in plaats van de site uit een doorlopende crawl te halen. Kiezen welke van de drie je blokkeert, is eigenlijk kiezen welke relatie met ChatGPT je wilt houden: trainingsinput, zichtbaarheid in zoekresultaten, of de mogelijkheid om een directe vraag te beantwoorden over een pagina die iemand al had gevonden.

Welke combinatie een site ook kiest, de nuttigere vraag is wat ChatGPT zegt nadat het al heeft geantwoord met de content die het kon bereiken. Social media monitoring dekt de Reddit- en communitythreads die ChatGPT leest op weg naar dat antwoord, en dat is het deel dat je nog kunt beïnvloeden als een van deze drie verzoeken al is uitgevoerd. Dezelfde verdeling in drie crawlers zie je bij andere AI-stacks: CCBot documenteert de tegenhanger van Common Crawl, een open archief dat andere labs filteren tot trainingssets in plaats van een directe crawl, en Applebot-Extended documenteert Apples versie van dezelfde splitsing tussen zoeken en training. Schrijf elke regel in hetzelfde bestand, volgens de syntaxis uit de volledige gids over robots.txt.

Wat stopt er als je elke agent blokkeert
GPTBot blokkerenStopt het voeden van toekomstige modeltraining via deze crawl
OAI-SearchBot blokkerenStopt het verschijnen in de zoekfunctie van ChatGPT
ChatGPT-User blokkerenStopt één live fetch, geen doorlopende crawl
Elke regel beheert een aparte relatie met ChatGPT: trainingsinput, zichtbaarheid in zoekresultaten of één opgevraagde fetch.

Veelgestelde vragen

Blokkeert het blokkeren van GPTBot ook ChatGPT-User?

Nee. De documentatie van OpenAI geeft elke agent een eigen naam en een eigen robots.txt-blok, dus een regel die GPTBot noemt, heeft geen effect op ChatGPT-User of OAI-SearchBot. Schrijf een apart blok voor elke agent die je wilt beheren.

Iemand die een vraag typt op een laptop, als beeld van het live verzoek dat één pagina-fetch in gang zet.

Waarom werkt een robots.txt-regel voor ChatGPT-User misschien niet helemaal?

De eigen documentatie van OpenAI zegt dat robots.txt-regels voor ChatGPT-User misschien niet op dezelfde manier gelden als voor een geplande crawler, omdat het verzoek volgt op een live actie van een gebruiker en niet op een automatische crawl. De regel is nog steeds de gedocumenteerde manier om je bedoeling aan te geven, ook al noemt OpenAI deze beperking.

Wat is de exacte user agent-string van OAI-SearchBot?

OAI-SearchBot identificeert zich als Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot, volgens de eigen botdocumentatie van OpenAI.

Hoe lang duurt het voordat een robots.txt-wijziging bij OpenAI geldt?

Volgens de documentatie van OpenAI duurt het ongeveer 24 uur voordat een robots.txt-update bij de systemen van OpenAI aankomt. Reken op ongeveer een dag vertraging voordat een nieuwe regel voor GPTBot of OAI-SearchBot effect heeft.

RedReplier
RedReplier

Aan de slag

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Waar publiceert OpenAI de IP-bereiken van deze agents?

Op openai.com/gptbot.json, openai.com/searchbot.json en openai.com/chatgpt-user.json, één bestand per agent, volgens de eigen botdocumentatie van OpenAI. Vergelijk het bron-IP van een verzoek met het juiste bestand voordat je de user agent-string alleen vertrouwt.

Traint GPTBot de modellen van OpenAI op elke pagina die hij crawlt?

De documentatie van OpenAI koppelt de crawl van GPTBot aan het "more useful and safe" maken van de generatieve AI-foundation models, zonder uitzonderingen per pagina te noemen. Een site die geen enkele pagina in dat proces wil hebben, blokkeert GPTBot bij naam in robots.txt.

Hoe verhoudt de trainingsopzet van CCBot zich tot die van GPTBot?

CCBot documenteert de tegenhanger van Common Crawl: een open archief dat andere labs filteren tot trainingssets, in plaats van een directe crawl door het lab zelf. GPTBot crawlt een site juist rechtstreeks, op het eigen schema van OpenAI, voor diens eigen foundation models. Een site die beide afweegt, staat voor twee aparte beslissingen: of OpenAI direct mag crawlen, en of de pagina's in het open archief mogen staan waaruit andere labs putten.

Hoe verhoudt de splitsing van Applebot-Extended zich tot de drie agents van OpenAI?

Applebot-Extended documenteert Apples versie van dezelfde splitsing tussen zoeken en training die GPTBot van OAI-SearchBot scheidt. Een site die de drie agents van OpenAI regelt, staat voor bijna dezelfde beslissing bij het instellen van Apples crawler: trainingsinput of zichtbaarheid in zoekresultaten. De volledige vergelijking staat in de gids over Applebot-Extended.

Horen regels voor GPTBot, OAI-SearchBot en ChatGPT-User in hetzelfde robots.txt-bestand?

Ja, elke regel staat in een eigen benoemd User-agent-blok binnen één robots.txt-bestand, niet in drie aparte bestanden. Een regel die de ene agent noemt, heeft geen effect op de andere, dus elk blok heeft een eigen Disallow-regel nodig. De volledige gids over robots.txt behandelt de exacte syntaxis voor meerdere agent-blokken onder elkaar.

Kun je volgen wat ChatGPT na de fetch met je content doet?

De fetch zelf niet, en de antwoordtekst ook niet. Wat je wel kunt volgen, is het bronmateriaal: de Reddit- en communitythreads die assistenten lezen voordat ze antwoorden, en waar die threads in Google ranken. Serverlogs vertellen je dat er een verzoek was; die threads volgen vertelt je waaruit het antwoord waarschijnlijk wordt opgebouwd.

Zie ons vaker in Google

Met één klik markeer je RedReplier als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.

Voordat je gaat...

RedReplier

RedReplier

Vang elke koper die vraagt om wat jij verkoopt

RedReplier houdt Reddit, X, Bluesky en Hacker News in realtime in de gaten, rangschikt elke thread op koopintentie en schrijft een concept voor je antwoord, zodat jij er als eerste bij bent.

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Gerelateerde artikelen