glossary

Co CCBot zbiera do otwartego archiwum internetu Common Crawl

Taras Shynkarenko
Taras Shynkarenko
•Zaktualizowano: •6 min czytania
Co CCBot zbiera do otwartego archiwum internetu Common CrawlCo CCBot zbiera do otwartego archiwum internetu Common Crawl

TL;DR

6 min czytania

Common Crawl używa CCBota do budowania bezpłatnego, otwartego archiwum internetu, a bot przedstawia się dokładnym ciągiem user agent CCBot/2.0, jak podaje dokumentacja Common Crawl. Według Common Crawl korpus obejmuje ponad 300 miliardów stron zebranych od 2007 roku, a publikacja OpenAI o GPT-3 dokumentuje, że przefiltrowana wersja Common Crawl dostarczyła 410 miliardów tokenów, czyli 60 procent danych treningowych tego modelu. Jeden blok User-agent: CCBot w robots.txt wyklucza witrynę ze wszystkich przyszłych indeksowań.

Czym jest CCBot?

CCBot to crawler, którym Common Crawl buduje swoje bezpłatne, otwarte archiwum internetu. Według Common Crawl projekt działa nieprzerwanie od 2007 roku. Bot pobiera strony tak jak każdy inny crawler, a witryna Common Crawl podaje, że korpus liczy już ponad 300 miliardów stron i co miesiąc przybywa w nim od 3 do 5 miliardów nowych (stan na 9 września 2026). Archiwum jest publiczne, więc te same strony, które zebrał CCBot, może pobrać każdy, w tym konkurencyjne laboratorium AI, badacz z uczelni czy RedReplier.

Jaki jest ciąg user agent CCBota?

CCBot przedstawia się dokładnym ciągiem CCBot/2.0 (https://commoncrawl.org/faq/), jak podaje dokumentacja CCBota przygotowana przez Common Crawl (stan na 9 września 2026). Na tej samej stronie Common Crawl ostrzega, że inne crawlery fałszywie podają się za CCBota, więc sam ciąg jest tylko deklaracją żądania, a nie dowodem pochodzenia. Zanim zaufasz nagłówkowi, porównaj źródłowy adres IP z zakresem opublikowanym przez Common Crawl.

ElementWartośćŹródło
Ciąg user agentCCBot/2.0 (https://commoncrawl.org/faq/)commoncrawl.org/ccbot
Weryfikacja IPLista w formacie JSON na index.commoncrawl.org/ccbot.jsoncommoncrawl.org/ccbot
Token w robots.txtCCBotcommoncrawl.org/ccbot
Wielkość korpusuPonad 300 miliardów stron od 2007 rokucommoncrawl.org

Rzędy szaf serwerowych symbolizują archiwum, które Common Crawl przygotowuje i przechowuje po każdym comiesięcznym indeksowaniu.

Co publikuje Common Crawl?

Common Crawl publikuje surowe zapisy stron internetowych oraz wyciągi metadanych i tekstu z każdego indeksowania, a jego witryna podaje, że od startu projektu w 2007 roku archiwum urosło do ponad 300 miliardów stron. Działa to w cyklu miesięcznym: CCBot pobiera nowy zestaw adresów URL, Common Crawl pakuje wyniki, a gotową paczkę może pobrać każdy, bez logowania i opłat. Witryna, która chce udostępniać swoje strony do takiego otwartego wykorzystania, nie musi niczego konfigurować, bo domyślnie dostęp jest otwarty.

Jak zablokowanie CCBota wpływa na korpusy treningowe AI oparte na Common Crawl?

Zablokowanie CCBota usuwa witrynę z archiwum publikowanego przez Common Crawl, a to archiwum jest udokumentowanym źródłem danych do trenowania AI poza samym Common Crawl. Publikacja OpenAI o GPT-3 (Brown i in., 2020) wymienia w tabeli danych treningowych pozycję „Common Crawl (filtered)” z 410 miliardami tokenów, czyli 60 procentami danych treningowych modelu. To największe pojedyncze źródło w tej tabeli. Mechanizm działa tylko w jedną stronę: strona, której CCBot nigdy nie pobrał, nie pojawi się w migawce Common Crawl, a zbiór danych odfiltrowany z tej migawki przez inne laboratorium też jej nie zawiera. Witryna decyduje więc o swojej obecności na tej konkretnej drodze do trenowania AI, wpuszczając CCBota lub nie.

CrawlerOperatorJak zasila trenowanie AIToken w robots.txt
CCBotCommon CrawlPublikuje otwarte archiwum, które zewnętrzne laboratoria filtrują na zbiory treningoweCCBot
GPTBotOpenAIIndeksuje bezpośrednio, by trenować własne modele bazowe OpenAIGPTBot

Programista edytuje plik tekstowy, bo właśnie taka zmiana jest potrzebna, by dodać regułę dla CCBota do robots.txt.

Jak zablokować CCBota w robots.txt?

Dodaj osobny blok user agent z nazwą CCBot i zablokuj ścieżki, które chcesz wykluczyć ze wszystkich przyszłych indeksowań.

User-agent: CCBot
Disallow: /

Ten jeden blok, opublikowany w dokładnie takiej formie na stronie CCBota w serwisie Common Crawl, sprawia, że CCBot przestaje pobierać jakiekolwiek strony witryny, ale nie usuwa tych, które zapisano podczas wcześniejszych indeksowań. Strony opublikowane we wcześniejszej migawce Common Crawl w niej pozostają, więc nowa reguła w robots.txt działa tylko na indeksowania od tego momentu. Ta sama składnia przyjmuje też węższą ścieżkę, na przykład Disallow: /private/, gdy poza archiwum ma pozostać tylko część witryny.

Jak zweryfikować żądanie podające się za CCBota?

Porównaj źródłowy adres IP żądania z opublikowaną przez Common Crawl listą adresów IP CCBota pod adresem index.commoncrawl.org/ccbot.json i nie polegaj na samym ciągu user agent, bo dokumentacja Common Crawl wymienia podszywanie się pod CCBota jako znany problem. Adresy IPv4 CCBota mają działający odwrotny DNS, co daje drugi, niezależny od nagłówka sposób potwierdzenia pochodzenia żądania. Klient wysyłający ciąg user agent CCBota z adresu spoza opublikowanego zakresu nie jest CCBotem, niezależnie od tego, co podaje nagłówek.

Jak reguła w robots.txt dociera do zbioru treningowego AI
CCBot indeksuje otwarty internet dla Common Crawl
Common Crawl publikuje wynik jako bezpłatne, otwarte archiwum
Zewnętrzne laboratoria, jak OpenAI przy GPT-3, filtrują je na dane treningowe
Blok User-agent: CCBot usuwa witrynę, zanim to wszystko nastąpi
Mechanizm opisany na podstawie strony CCBota w serwisie Common Crawl oraz publikacji OpenAI o GPT-3 (Brown i in., 2020), stan na 9 września 2026.

Czy witryna powinna dopuścić, czy zablokować CCBota?

Dopuszczenie CCBota oznacza brak reguły Disallow dla jego user agenta, dzięki czemu witryna pozostaje w szeroko wykorzystywanym, bezpłatnym archiwum badawczym, które Common Crawl publikuje co miesiąc od 2007 roku. Zablokowanie go oznacza dodanie powyższej dwuwierszowej reguły, która trzyma witrynę poza tym archiwum i poza każdym pochodnym zbiorem danych, jaki odfiltruje z niego inne laboratorium, kosztem utraty ewentualnych cytowań lub widoczności wynikających z obecności w otwartych badaniach. To ten sam wybór, który opisujemy przy Amazonbocie i Applebot-Extended: nazwany crawler o udokumentowanym celu, kontrolowany jednym wierszem z jego nazwą w robots.txt.

To, czy stronę w ogóle wolno w ten sposób indeksować i ponownie wykorzystywać, jest osobną kwestią prawną, którą omawiamy w artykule czy web scraping jest legalny. Dotyczy ona CCBota tak samo jak każdego bota pobierającego treści z cudzej witryny. Gdy treść trafi już tą drogą do odpowiedzi AI, monitorowanie mediów społecznościowych obejmuje publiczne wątki, na których ta odpowiedź się opiera, a to właśnie tę część możesz jeszcze skorygować długo po zakończeniu indeksowania.

Dopuścić czy zablokować CCBota
Dopuść CCBota
  • Witryna pozostaje w otwartym archiwum prowadzonym przez Common Crawl od 2007 roku
  • Nie trzeba zmieniać robots.txt, bo otwarty dostęp jest domyślny
  • Treści mogą wykorzystać zewnętrzne laboratoria AI, uczelnie i konkurenci
Zablokuj CCBota
  • Jedna dwuwierszowa reguła w robots.txt zatrzymuje wszystkie przyszłe indeksowania
  • Wykluczenie z każdego zbioru, który inne laboratorium odfiltruje z archiwum, jak dane treningowe GPT-3
  • Strony zapisane we wcześniejszej migawce i tak pozostają opublikowane
Obie ścieżki opisano na stronie CCBota w serwisie Common Crawl oraz w publikacji OpenAI o GPT-3 (Brown i in., 2020).

Najczęściej zadawane pytania

Czy zablokowanie CCBota usuwa moją witrynę z dawnych archiwów Common Crawl?

Nie. Reguła w robots.txt zatrzymuje tylko przyszłe indeksowania i nie obejmuje migawek Common Crawl opublikowanych przed jej dodaniem. Strony zapisane podczas wcześniejszego indeksowania pozostają w jego archiwum.

Skąd mam wiedzieć, że żądanie naprawdę pochodzi od CCBota, a nie od podszywającego się crawlera?

Porównaj źródłowy adres IP żądania z opublikowaną przez Common Crawl listą adresów IP CCBota pod adresem index.commoncrawl.org/ccbot.json. Dokumentacja Common Crawl podaje, że inne crawlery fałszywie przedstawiają się jako CCBot, więc sam nagłówek user agent niczego nie dowodzi.

Czy Common Crawl pobiera opłaty za dostęp do archiwum?

Witryna Common Crawl opisuje korpus jako bezpłatny i otwarty, a pobranie danych z indeksowania nie wymaga logowania ani opłat. Właśnie ten otwarty dostęp pozwala zewnętrznym laboratoriom budować na jego podstawie własne zbiory danych.

Czy mogę zablokować CCBota tylko na części witryny?

Tak. Reguła Disallow w bloku user agent CCBota przyjmuje konkretną ścieżkę, na przykład Disallow: /private/, więc reszta witryny pozostaje dostępna dla tego crawlera.

RedReplier
RedReplier

Rozpocznij

Reddit, X, Bluesky i HN

Alerty o intencjach w czasie rzeczywistym

Nielimitowane odpowiedzi AI

Ocena według intencji zakupowej

Czy Common Crawl to to samo co crawler firmy zajmującej się AI?

Nie. Common Crawl publikuje otwarte archiwum, które każda zewnętrzna organizacja może pobrać i przefiltrować, a crawler taki jak GPTBot indeksuje bezpośrednio dla swojego operatora, czyli OpenAI, aby trenować jego własne modele.

Jak często Common Crawl publikuje nowe indeksowanie?

Witryna Common Crawl podaje, że co miesiąc dodaje od 3 do 5 miliardów nowych stron do archiwum prowadzonego od 2007 roku, które liczy już ponad 300 miliardów stron. Reguła dodana do robots.txt w dowolnym momencie obowiązuje od tego cyklu indeksowania.

W jakich formatach Common Crawl publikuje dane z każdego indeksowania?

Common Crawl publikuje surowe zapisy stron internetowych oraz wyciągi metadanych i tekstu z każdego comiesięcznego indeksowania. Po spakowaniu wyników wszystkie można pobrać bezpłatnie i bez logowania. Archiwum zbudowane z tych wydań obejmuje już ponad 300 miliardów stron zebranych od 2007 roku.

Czy CCBot wymaga jakiejś konfiguracji, żeby zacząć indeksować nową witrynę?

CCBot domyślnie indeksuje witryny, bo Common Crawl przyjmuje otwarty dostęp jako stan domyślny, bez żadnej konfiguracji. Właściciel witryny musi działać tylko wtedy, gdy chce zablokować CCBota, a służy do tego dwuwierszowa reguła w robots.txt z nazwą jego user agenta.

Dlaczego publikacja OpenAI o GPT-3 ma znaczenie przy decyzji o blokowaniu CCBota?

Publikacja OpenAI o GPT-3 (Brown i in., 2020) wymienia „Common Crawl (filtered)” jako największe pojedyncze źródło w tabeli danych treningowych: 410 miliardów tokenów i 60 procent danych treningowych modelu. Ten przefiltrowany zbiór wywodzi się ze stron zapisanych przez CCBota, więc strona, której CCBot nigdy nie zaindeksuje, nie zostanie uwzględniona w takiej tabeli.

Na czym polega sprawdzenie odwrotnego DNS dla CCBota?

Według dokumentacji Common Crawl opublikowane adresy IPv4 CCBota mają działające wpisy odwrotnego DNS. Dzięki temu witryna ma drugi sposób potwierdzenia pochodzenia żądania, niezależny od porównywania adresu IP z listą opublikowaną przez Common Crawl.

Więcej naszych treści w Google

Jedno kliknięcie oznacza RedReplier jako preferowane źródło, dzięki czemu nasze artykuły pojawiają się wyżej w Najważniejszych wiadomościach, trybie AI i Podsumowaniach AI.

Jeszcze chwila...

RedReplier

RedReplier

Żaden kupujący pytający o ofertę nie umknie

RedReplier śledzi Reddita, X, Bluesky i Hacker News w czasie rzeczywistym, ocenia każdy wątek pod kątem intencji zakupowej i przygotowuje odpowiedź, by dotrzeć tam jako pierwszy.

Reddit, X, Bluesky i HN

Alerty o intencjach w czasie rzeczywistym

Nielimitowane odpowiedzi AI

Ocena według intencji zakupowej

Powiązane artykuły