TL;DR
6 min leestijdCommon Crawl laat CCBot draaien om een gratis, open archief van het web op te bouwen, onder exact de user agent-string CCBot/2.0, volgens de eigen documentatie van Common Crawl. Common Crawl zegt dat het corpus sinds 2007 meer dan 300 miljard pagina's bevat, en de GPT-3-paper van OpenAI documenteert dat een gefilterde versie van Common Crawl 410 miljard tokens leverde, 60 procent van de trainingsmix van dat model. Eén blok User-agent: CCBot in robots.txt haalt een site uit elke toekomstige crawl.
Wat is CCBot?
Common Crawl laat CCBot draaien als de crawler die zijn gratis, open archief van het web opbouwt, een project dat volgens Common Crawl sinds 2007 onafgebroken loopt. De bot vraagt pagina's op zoals elke crawler dat doet, en volgens de eigen site van Common Crawl bevat het corpus inmiddels meer dan 300 miljard pagina's, met elke maand 3 tot 5 miljard nieuwe pagina's erbij, gecontroleerd op 9 september 2026. Dat archief is openbaar, dus iedereen, ook een concurrerend AI-lab, een universitaire onderzoeker of RedReplier, kan dezelfde pagina's downloaden die CCBot heeft verzameld.
Wat is de user agent-string van CCBot?
CCBot identificeert zich met exact de string CCBot/2.0 (https://commoncrawl.org/faq/), volgens de eigen CCBot-documentatie van Common Crawl, gecontroleerd op 9 september 2026. Common Crawl waarschuwt op diezelfde pagina dat andere crawlers zich ten onrechte als CCBot voordoen, dus de string alleen is een bewering die een verzoek over zichzelf doet en geen bewijs van herkomst. Vergelijk het bron-IP-adres met het gepubliceerde bereik van Common Crawl voordat je de header vertrouwt.
| Detail | Waarde | Bron |
|---|---|---|
| User agent-string | CCBot/2.0 (https://commoncrawl.org/faq/) | commoncrawl.org/ccbot |
| IP-verificatie | Gepubliceerd als JSON op index.commoncrawl.org/ccbot.json | commoncrawl.org/ccbot |
| robots.txt-token | CCBot | commoncrawl.org/ccbot |
| Omvang van het corpus | Meer dan 300 miljard pagina's sinds 2007 | commoncrawl.org |

Wat publiceert Common Crawl?
Common Crawl publiceert ruwe opnames van webpagina's, samen met metadata-extracten en tekstextracten uit elke crawl, en volgens de eigen site is het archief sinds de start van het project in 2007 gegroeid tot meer dan 300 miljard pagina's. Het mechanisme is een maandelijkse crawlcyclus: CCBot vraagt een nieuwe reeks URL's op, Common Crawl verpakt de resultaten, en de verpakte crawl is voor iedereen te downloaden zonder login of kosten. Een site die zijn pagina's beschikbaar wil hebben voor dit soort open hergebruik, hoeft niets in te stellen, want open is de standaard.
Wat doet het blokkeren van CCBot met AI-trainingscorpora die op Common Crawl zijn gebouwd?
CCBot blokkeren haalt een site uit het archief dat Common Crawl publiceert, en dat archief is een gedocumenteerde bron voor AI-trainingswerk buiten Common Crawl zelf. De paper van OpenAI over GPT-3, Brown et al. 2020, noemt "Common Crawl (filtered)" in de tabel met trainingsdata met 410 miljard tokens, 60 procent van de trainingsmix van het model en de grootste afzonderlijke bron in die tabel. Het mechanisme werkt maar één kant op: een pagina die CCBot nooit vastlegt, kan niet in een Common Crawl-snapshot verschijnen, en een dataset die een ander lab uit die snapshot filtert, erft diezelfde afwezigheid. Een site bepaalt zijn blootstelling aan deze specifieke route naar AI-training dus door te kiezen of CCBot überhaupt binnen mag.
| Crawler | Beheerder | Hoe het AI-training voedt | robots.txt-token |
|---|---|---|---|
| CCBot | Common Crawl | Publiceert een open archief dat externe labs filteren tot trainingssets | CCBot |
| GPTBot | OpenAI | Crawlt rechtstreeks om de eigen foundation models van OpenAI te trainen | GPTBot |

Hoe blokkeer je CCBot in robots.txt?
Voeg een apart user agent-blok toe dat CCBot noemt en sluit de paden uit die je uit elke toekomstige crawl wilt houden.
User-agent: CCBot
Disallow: /Dat ene blok, precies zo gepubliceerd op de eigen CCBot-pagina van Common Crawl, zorgt dat CCBot vanaf nu geen enkele pagina van de site meer opvraagt, maar het verwijdert geen pagina's die een eerdere crawl al heeft vastgelegd. Pagina's die al in een eerdere Common Crawl-snapshot zijn gepubliceerd, blijven in die snapshot staan, dus een nieuwe robots.txt-regel geldt alleen voor crawls vanaf dat moment. Dezelfde syntaxis accepteert ook een smaller pad, zoals Disallow: /private/, als maar een deel van een site buiten het archief moet blijven.
Hoe controleer je een verzoek dat zegt CCBot te zijn?
Vergelijk het bron-IP-adres van het verzoek met de gepubliceerde CCBot-IP-lijst van Common Crawl op index.commoncrawl.org/ccbot.json voordat je de user agent-string op zichzelf vertrouwt, want de eigen documentatie van Common Crawl noemt vervalst CCBot-verkeer een bekend probleem. De IPv4-adressen van CCBot hebben werkende reverse DNS, wat een tweede manier geeft om de herkomst van een verzoek los van de header te bevestigen. Een bezoeker die de CCBot-user agent-string stuurt vanaf een adres buiten dat gepubliceerde bereik, is niet CCBot, wat de header ook zegt.
Moet een site CCBot toelaten of blokkeren?
CCBot toelaten betekent dat je geen disallow-regel voor zijn user agent toevoegt, waardoor een site in een veel hergebruikt, gratis onderzoeksarchief blijft dat Common Crawl sinds 2007 elke maand publiceert. Blokkeren betekent de regel van twee regels hierboven toevoegen, waardoor een site buiten dat archief blijft en buiten elke dataset die een ander lab eruit filtert, ten koste van het voordeel aan vermeldingen of vindbaarheid dat je krijgt door in open onderzoek te verschijnen. Het is dezelfde keuze als bij Amazonbot en Applebot-Extended: een benoemde crawler met een gedocumenteerd doel, te beheren met één regel die hem noemt in robots.txt.
Of een pagina überhaupt zo gecrawld en hergebruikt mag worden, is een aparte juridische vraag, die staat uitgelegd in is web scraping legaal en die voor CCBot net zo geldt als voor elke bot die content haalt van een site die hij niet bezit. Zodra content via zo'n route in een AI-antwoord terechtkomt, dekt social media monitoring de openbare threads waarop dat antwoord is gebouwd, en dat is het deel dat je nog kunt corrigeren als de crawl zelf al lang voorbij is.
- Blijft in het open archief dat Common Crawl sinds 2007 bijhoudt
- Geen wijziging in robots.txt nodig, want open toegang is de standaard
- Herbruikbaar door externe AI-labs, universiteiten en concurrenten
- Eén robots.txt-regel van twee regels stopt elke toekomstige crawl
- Uitgesloten van elke dataset die een ander lab uit het archief filtert, zoals de trainingsmix van GPT-3
- Pagina's die al in een eerdere snapshot zijn vastgelegd, blijven hoe dan ook gepubliceerd
Veelgestelde vragen
Haalt het blokkeren van CCBot mijn site uit eerdere Common Crawl-archieven?
Nee. Een robots.txt-regel stopt alleen toekomstige crawls; hij heeft geen effect op een Common Crawl-snapshot die al was gepubliceerd voordat de regel bestond. Pagina's die in een eerdere crawl zijn vastgelegd, blijven in het archief van die crawl.
Hoe weet ik dat een verzoek echt van CCBot komt en niet van een vervalste crawler?
Vergelijk het bron-IP-adres van het verzoek met de gepubliceerde CCBot-IP-lijst van Common Crawl op index.commoncrawl.org/ccbot.json. De eigen documentatie van Common Crawl zegt dat andere crawlers zich ten onrechte als CCBot voordoen, dus de user agent-header alleen is geen bewijs.
Rekent Common Crawl kosten voor toegang tot zijn archief?
De eigen site van Common Crawl beschrijft het corpus als gratis en open, zonder login of kosten om een crawl te downloaden. Die open toegang is wat externe labs in staat stelt er hun eigen datasets van te bouwen.
Kan ik CCBot van maar een deel van mijn site weren?
Ja. Een Disallow-regel onder het CCBot-user agent-blok accepteert een specifiek pad, zoals Disallow: /private/, zodat de rest van de site open blijft voor dezelfde crawler.
RedReplier
Aan de slag
Reddit, X, Bluesky en HN
Realtime meldingen op intentie
Onbeperkt AI-antwoorden
Gerangschikt op koopintentie
Is Common Crawl hetzelfde als de eigen crawler van een AI-bedrijf?
Nee. Common Crawl publiceert een open archief dat elke externe organisatie kan downloaden en filteren, terwijl een crawler als GPTBot rechtstreeks crawlt voor zijn eigen beheerder, OpenAI, om diens eigen modellen te trainen.
Hoe vaak publiceert Common Crawl een nieuwe crawl?
Volgens de eigen site voegt Common Crawl elke maand 3 tot 5 miljard nieuwe pagina's toe aan een archief dat sinds 2007 loopt en inmiddels meer dan 300 miljard pagina's bevat. Een robots.txt-regel die je op enig moment toevoegt, geldt vanaf die crawlcyclus.
In welke formaten publiceert Common Crawl elke crawl?
Common Crawl publiceert ruwe opnames van webpagina's, samen met metadata-extracten en tekstextracten uit elke maandelijkse crawl. Al deze bestanden zijn gratis en zonder login te downloaden zodra Common Crawl de resultaten heeft verpakt. Het archief dat uit deze releases is opgebouwd, bevat al meer dan 300 miljard pagina's die sinds 2007 zijn verzameld.
Moet je iets instellen voordat CCBot een nieuwe site gaat crawlen?
CCBot crawlt een site standaard, want Common Crawl gaat uit van open toegang zonder configuratie. Een site-eigenaar hoeft alleen in actie te komen om CCBot te blokkeren, met de robots.txt-regel van twee regels die de CCBot-user agent noemt.
Waarom doet de GPT-3-paper van OpenAI ertoe bij de keuze om CCBot te blokkeren?
De paper van OpenAI over GPT-3, Brown et al. 2020, noemt "Common Crawl (filtered)" als grootste afzonderlijke bron in de tabel met trainingsdata, met 410 miljard tokens en 60 procent van de trainingsmix van het model. Die gefilterde dataset gaat terug op pagina's die CCBot heeft vastgelegd, dus een pagina die CCBot nooit crawlt, kan nooit in zo'n tabel meetellen.
Wat is de reverse DNS-controle van CCBot?
De gepubliceerde IPv4-adressen van CCBot hebben werkende reverse DNS-records, volgens de eigen documentatie van Common Crawl. Dat geeft een site een tweede manier om de herkomst van een verzoek te bevestigen, los van het vergelijken van het IP met de gepubliceerde lijst van Common Crawl.
Zie ons vaker in Google
Met één klik markeer je RedReplier als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.
Voordat je gaat...
RedReplier
Vang elke koper die vraagt om wat jij verkoopt
RedReplier houdt Reddit, X, Bluesky en Hacker News in realtime in de gaten, rangschikt elke thread op koopintentie en schrijft een concept voor je antwoord, zodat jij er als eerste bij bent.
Reddit, X, Bluesky en HN
Realtime meldingen op intentie
Onbeperkt AI-antwoorden
Gerangschikt op koopintentie
Gerelateerde artikelen


meta-externalagent, de AI-trainingscrawler van Meta, en hoe je hem blokkeert
Meta zet meta-externalagent in om openbare pagina's te verzamelen voor het trainen van zijn foundation-AI-modellen. Hier vind je de exacte user-agentstring en de robots.txt-blokkade.


Hoe ChatGPT-User verschilt van GPTBot en OAI-SearchBot
De agent ChatGPT-User van OpenAI haalt alleen een pagina op als iemand ChatGPT vraagt een link te openen, met een andere robots.txt-regel dan GPTBot of OAI-SearchBot.


Hoe Cloudflare Pay Per Crawl AI-bots per pagina laat betalen
Cloudflare Pay Per Crawl, geïntroduceerd door Cloudflare, stuurt een HTTP 402-antwoord terug totdat een AI-crawler de exacte prijs per verzoek betaalt die een site-eigenaar heeft ingesteld.

