glossary

Wat CCBot verzamelt voor het open webarchief van Common Crawl

Taras Shynkarenko
Taras Shynkarenko
•Bijgewerkt: •6 min leestijd
Wat CCBot verzamelt voor het open webarchief van Common CrawlWat CCBot verzamelt voor het open webarchief van Common Crawl

TL;DR

6 min leestijd

Common Crawl laat CCBot draaien om een gratis, open archief van het web op te bouwen, onder exact de user agent-string CCBot/2.0, volgens de eigen documentatie van Common Crawl. Common Crawl zegt dat het corpus sinds 2007 meer dan 300 miljard pagina's bevat, en de GPT-3-paper van OpenAI documenteert dat een gefilterde versie van Common Crawl 410 miljard tokens leverde, 60 procent van de trainingsmix van dat model. Eén blok User-agent: CCBot in robots.txt haalt een site uit elke toekomstige crawl.

Wat is CCBot?

Common Crawl laat CCBot draaien als de crawler die zijn gratis, open archief van het web opbouwt, een project dat volgens Common Crawl sinds 2007 onafgebroken loopt. De bot vraagt pagina's op zoals elke crawler dat doet, en volgens de eigen site van Common Crawl bevat het corpus inmiddels meer dan 300 miljard pagina's, met elke maand 3 tot 5 miljard nieuwe pagina's erbij, gecontroleerd op 9 september 2026. Dat archief is openbaar, dus iedereen, ook een concurrerend AI-lab, een universitaire onderzoeker of RedReplier, kan dezelfde pagina's downloaden die CCBot heeft verzameld.

Wat is de user agent-string van CCBot?

CCBot identificeert zich met exact de string CCBot/2.0 (https://commoncrawl.org/faq/), volgens de eigen CCBot-documentatie van Common Crawl, gecontroleerd op 9 september 2026. Common Crawl waarschuwt op diezelfde pagina dat andere crawlers zich ten onrechte als CCBot voordoen, dus de string alleen is een bewering die een verzoek over zichzelf doet en geen bewijs van herkomst. Vergelijk het bron-IP-adres met het gepubliceerde bereik van Common Crawl voordat je de header vertrouwt.

DetailWaardeBron
User agent-stringCCBot/2.0 (https://commoncrawl.org/faq/)commoncrawl.org/ccbot
IP-verificatieGepubliceerd als JSON op index.commoncrawl.org/ccbot.jsoncommoncrawl.org/ccbot
robots.txt-tokenCCBotcommoncrawl.org/ccbot
Omvang van het corpusMeer dan 300 miljard pagina's sinds 2007commoncrawl.org

Rijen serverracks staan voor het archief dat Common Crawl van elke maandelijkse crawl verpakt en opslaat.

Wat publiceert Common Crawl?

Common Crawl publiceert ruwe opnames van webpagina's, samen met metadata-extracten en tekstextracten uit elke crawl, en volgens de eigen site is het archief sinds de start van het project in 2007 gegroeid tot meer dan 300 miljard pagina's. Het mechanisme is een maandelijkse crawlcyclus: CCBot vraagt een nieuwe reeks URL's op, Common Crawl verpakt de resultaten, en de verpakte crawl is voor iedereen te downloaden zonder login of kosten. Een site die zijn pagina's beschikbaar wil hebben voor dit soort open hergebruik, hoeft niets in te stellen, want open is de standaard.

Wat doet het blokkeren van CCBot met AI-trainingscorpora die op Common Crawl zijn gebouwd?

CCBot blokkeren haalt een site uit het archief dat Common Crawl publiceert, en dat archief is een gedocumenteerde bron voor AI-trainingswerk buiten Common Crawl zelf. De paper van OpenAI over GPT-3, Brown et al. 2020, noemt "Common Crawl (filtered)" in de tabel met trainingsdata met 410 miljard tokens, 60 procent van de trainingsmix van het model en de grootste afzonderlijke bron in die tabel. Het mechanisme werkt maar één kant op: een pagina die CCBot nooit vastlegt, kan niet in een Common Crawl-snapshot verschijnen, en een dataset die een ander lab uit die snapshot filtert, erft diezelfde afwezigheid. Een site bepaalt zijn blootstelling aan deze specifieke route naar AI-training dus door te kiezen of CCBot überhaupt binnen mag.

CrawlerBeheerderHoe het AI-training voedtrobots.txt-token
CCBotCommon CrawlPubliceert een open archief dat externe labs filteren tot trainingssetsCCBot
GPTBotOpenAICrawlt rechtstreeks om de eigen foundation models van OpenAI te trainenGPTBot

Een developer bewerkt een tekstbestand, het soort wijziging dat nodig is om een CCBot-regel aan robots.txt toe te voegen.

Hoe blokkeer je CCBot in robots.txt?

Voeg een apart user agent-blok toe dat CCBot noemt en sluit de paden uit die je uit elke toekomstige crawl wilt houden.

User-agent: CCBot
Disallow: /

Dat ene blok, precies zo gepubliceerd op de eigen CCBot-pagina van Common Crawl, zorgt dat CCBot vanaf nu geen enkele pagina van de site meer opvraagt, maar het verwijdert geen pagina's die een eerdere crawl al heeft vastgelegd. Pagina's die al in een eerdere Common Crawl-snapshot zijn gepubliceerd, blijven in die snapshot staan, dus een nieuwe robots.txt-regel geldt alleen voor crawls vanaf dat moment. Dezelfde syntaxis accepteert ook een smaller pad, zoals Disallow: /private/, als maar een deel van een site buiten het archief moet blijven.

Hoe controleer je een verzoek dat zegt CCBot te zijn?

Vergelijk het bron-IP-adres van het verzoek met de gepubliceerde CCBot-IP-lijst van Common Crawl op index.commoncrawl.org/ccbot.json voordat je de user agent-string op zichzelf vertrouwt, want de eigen documentatie van Common Crawl noemt vervalst CCBot-verkeer een bekend probleem. De IPv4-adressen van CCBot hebben werkende reverse DNS, wat een tweede manier geeft om de herkomst van een verzoek los van de header te bevestigen. Een bezoeker die de CCBot-user agent-string stuurt vanaf een adres buiten dat gepubliceerde bereik, is niet CCBot, wat de header ook zegt.

Hoe een robots.txt-regel een AI-trainingsset bereikt
CCBot crawlt het open web voor Common Crawl
Common Crawl publiceert het resultaat als gratis, open archief
Externe labs, zoals OpenAI voor GPT-3, filteren dat archief tot trainingsdata
Een blok User-agent: CCBot haalt een site eruit voordat dat allemaal gebeurt
Mechanisme volgens de eigen CCBot-pagina van Common Crawl en de GPT-3-paper van OpenAI (Brown et al., 2020), beide gecontroleerd op 9 september 2026.

Moet een site CCBot toelaten of blokkeren?

CCBot toelaten betekent dat je geen disallow-regel voor zijn user agent toevoegt, waardoor een site in een veel hergebruikt, gratis onderzoeksarchief blijft dat Common Crawl sinds 2007 elke maand publiceert. Blokkeren betekent de regel van twee regels hierboven toevoegen, waardoor een site buiten dat archief blijft en buiten elke dataset die een ander lab eruit filtert, ten koste van het voordeel aan vermeldingen of vindbaarheid dat je krijgt door in open onderzoek te verschijnen. Het is dezelfde keuze als bij Amazonbot en Applebot-Extended: een benoemde crawler met een gedocumenteerd doel, te beheren met één regel die hem noemt in robots.txt.

Of een pagina überhaupt zo gecrawld en hergebruikt mag worden, is een aparte juridische vraag, die staat uitgelegd in is web scraping legaal en die voor CCBot net zo geldt als voor elke bot die content haalt van een site die hij niet bezit. Zodra content via zo'n route in een AI-antwoord terechtkomt, dekt social media monitoring de openbare threads waarop dat antwoord is gebouwd, en dat is het deel dat je nog kunt corrigeren als de crawl zelf al lang voorbij is.

CCBot toelaten of blokkeren
CCBot toelaten
  • Blijft in het open archief dat Common Crawl sinds 2007 bijhoudt
  • Geen wijziging in robots.txt nodig, want open toegang is de standaard
  • Herbruikbaar door externe AI-labs, universiteiten en concurrenten
CCBot blokkeren
  • Eén robots.txt-regel van twee regels stopt elke toekomstige crawl
  • Uitgesloten van elke dataset die een ander lab uit het archief filtert, zoals de trainingsmix van GPT-3
  • Pagina's die al in een eerdere snapshot zijn vastgelegd, blijven hoe dan ook gepubliceerd
Beide routes zijn gedocumenteerd op de eigen CCBot-pagina van Common Crawl en in de GPT-3-paper van OpenAI (Brown et al., 2020).

Veelgestelde vragen

Haalt het blokkeren van CCBot mijn site uit eerdere Common Crawl-archieven?

Nee. Een robots.txt-regel stopt alleen toekomstige crawls; hij heeft geen effect op een Common Crawl-snapshot die al was gepubliceerd voordat de regel bestond. Pagina's die in een eerdere crawl zijn vastgelegd, blijven in het archief van die crawl.

Hoe weet ik dat een verzoek echt van CCBot komt en niet van een vervalste crawler?

Vergelijk het bron-IP-adres van het verzoek met de gepubliceerde CCBot-IP-lijst van Common Crawl op index.commoncrawl.org/ccbot.json. De eigen documentatie van Common Crawl zegt dat andere crawlers zich ten onrechte als CCBot voordoen, dus de user agent-header alleen is geen bewijs.

Rekent Common Crawl kosten voor toegang tot zijn archief?

De eigen site van Common Crawl beschrijft het corpus als gratis en open, zonder login of kosten om een crawl te downloaden. Die open toegang is wat externe labs in staat stelt er hun eigen datasets van te bouwen.

Kan ik CCBot van maar een deel van mijn site weren?

Ja. Een Disallow-regel onder het CCBot-user agent-blok accepteert een specifiek pad, zoals Disallow: /private/, zodat de rest van de site open blijft voor dezelfde crawler.

RedReplier
RedReplier

Aan de slag

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Is Common Crawl hetzelfde als de eigen crawler van een AI-bedrijf?

Nee. Common Crawl publiceert een open archief dat elke externe organisatie kan downloaden en filteren, terwijl een crawler als GPTBot rechtstreeks crawlt voor zijn eigen beheerder, OpenAI, om diens eigen modellen te trainen.

Hoe vaak publiceert Common Crawl een nieuwe crawl?

Volgens de eigen site voegt Common Crawl elke maand 3 tot 5 miljard nieuwe pagina's toe aan een archief dat sinds 2007 loopt en inmiddels meer dan 300 miljard pagina's bevat. Een robots.txt-regel die je op enig moment toevoegt, geldt vanaf die crawlcyclus.

In welke formaten publiceert Common Crawl elke crawl?

Common Crawl publiceert ruwe opnames van webpagina's, samen met metadata-extracten en tekstextracten uit elke maandelijkse crawl. Al deze bestanden zijn gratis en zonder login te downloaden zodra Common Crawl de resultaten heeft verpakt. Het archief dat uit deze releases is opgebouwd, bevat al meer dan 300 miljard pagina's die sinds 2007 zijn verzameld.

Moet je iets instellen voordat CCBot een nieuwe site gaat crawlen?

CCBot crawlt een site standaard, want Common Crawl gaat uit van open toegang zonder configuratie. Een site-eigenaar hoeft alleen in actie te komen om CCBot te blokkeren, met de robots.txt-regel van twee regels die de CCBot-user agent noemt.

Waarom doet de GPT-3-paper van OpenAI ertoe bij de keuze om CCBot te blokkeren?

De paper van OpenAI over GPT-3, Brown et al. 2020, noemt "Common Crawl (filtered)" als grootste afzonderlijke bron in de tabel met trainingsdata, met 410 miljard tokens en 60 procent van de trainingsmix van het model. Die gefilterde dataset gaat terug op pagina's die CCBot heeft vastgelegd, dus een pagina die CCBot nooit crawlt, kan nooit in zo'n tabel meetellen.

Wat is de reverse DNS-controle van CCBot?

De gepubliceerde IPv4-adressen van CCBot hebben werkende reverse DNS-records, volgens de eigen documentatie van Common Crawl. Dat geeft een site een tweede manier om de herkomst van een verzoek te bevestigen, los van het vergelijken van het IP met de gepubliceerde lijst van Common Crawl.

Zie ons vaker in Google

Met één klik markeer je RedReplier als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.

Voordat je gaat...

RedReplier

RedReplier

Vang elke koper die vraagt om wat jij verkoopt

RedReplier houdt Reddit, X, Bluesky en Hacker News in realtime in de gaten, rangschikt elke thread op koopintentie en schrijft een concept voor je antwoord, zodat jij er als eerste bij bent.

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Gerelateerde artikelen