glossary

Jak Cloudflare Pay Per Crawl pobiera od botów AI opłatę za stronę

Taras Shynkarenko
Taras Shynkarenko
•Zaktualizowano: •6 min czytania
Jak Cloudflare Pay Per Crawl pobiera od botów AI opłatę za stronęJak Cloudflare Pay Per Crawl pobiera od botów AI opłatę za stronę

TL;DR

6 min czytania

Cloudflare ogłosił Cloudflare Pay Per Crawl 1 lipca 2025 roku, w prywatnej becie, jako sposób na pobieranie od crawlera AI opłaty za każdą pobraną stronę. Zablokowany crawler otrzymuje odpowiedź HTTP 402 Payment Required z nagłówkiem crawler-price podającym koszt i może ponowić próbę po podpisaniu żądania w schemacie Web Bot Auth od Cloudflare. Właściciel witryny ustala jedną stałą cenę za żądanie dla całej witryny, a potem dla każdego nazwanego crawlera wybiera Allow, Charge lub Block.

Czym jest Cloudflare Pay Per Crawl?

Cloudflare Pay Per Crawl, wprowadzony przez Cloudflare 1 lipca 2025 roku, pozwala właścicielowi witryny pobierać od crawlera AI ustaloną cenę za każdą pobraną stronę, zamiast wybierać tylko między całkowitą blokadą a darmowym dostępem. Ogłoszenie Cloudflare (stan na 9 września 2026) przedstawia tę funkcję jako rozwiązanie pośrednie między tymi skrajnościami, skierowane do właścicieli treści, którzy chcą otrzymywać wynagrodzenie za ruch crawlerów AI na swoich stronach. W chwili ogłoszenia Cloudflare podał, że funkcja jest w prywatnej becie.

Wcześniej dwie opcje, teraz trzy
Przed Pay Per Crawl
  • Całkowite zablokowanie crawlera
  • Darmowy dostęp
Z Pay Per Crawl
  • Allow: darmowy dostęp, bez zmian
  • Charge: 402 do czasu zapłaty
  • Block: odmowa niezależnie od zapłaty
Według ogłoszenia Cloudflare Pay Per Crawl dodaje opcję pośrednią do dwóch, które właściciel witryny miał wcześniej.

Jak działa odpowiedź 402?

Crawler, który żąda strony objętej regułą Charge, otrzymuje odpowiedź HTTP 402 Payment Required z nagłówkiem crawler-price podającym koszt, jak wynika z ogłoszenia Cloudflare. Mechanizm wykorzystuje kod statusu, który od dziesięcioleci istnieje w specyfikacji HTTP, ale prawie nie był stosowany w praktyce, i daje crawlerom czytelny maszynowo sposób poznania ceny, bez udziału człowieka czytającego stronę. Crawler, który chce otrzymać treść, ponawia to samo żądanie z dołączoną autoryzacją płatności, a brzeg sieci Cloudflare decyduje, czy je przepuścić.

Status HTTPCo oznaczaCo dzieje się dalej
402 Payment RequiredStrona ma cenę i nie została opłaconaCrawler może ponowić żądanie podpisane i opłacone
200 OKPłatność przyjęta lub crawler objęty regułą AllowCrawler otrzymuje stronę
Brak dostępuCrawler objęty regułą BlockŻądanie jest odrzucane niezależnie od płatności

Jak działa cennik za indeksowanie?

Według ogłoszenia Cloudflare właściciel witryny ustala jedną stałą cenę za żądanie dla całej witryny, a nie osobne ceny dla poszczególnych stron. Ta kwota trafia do nagłówka crawler-price w każdej odpowiedzi 402 wysyłanej crawlerowi objętemu regułą Charge. Właściciel może też całkowicie zwolnić z opłaty wybranego crawlera, co ogłoszenie Cloudflare opisuje jako drogę do uzgodnienia przez wydawcę i firmę AI osobnych warunków poza platformą.

Maszyna drukarska do gazet, symbolizująca wydawców prasowych, do których jako właścicieli witryn kierowany jest Cloudflare Pay Per Crawl.

Kogo dotyczy Cloudflare Pay Per Crawl?

Ogłoszenie Cloudflare wymienia organizacje informacyjne, wydawców i duże platformy z treściami jako właścicieli witryn, do których skierowana jest funkcja, a po drugiej stronie wymiany stawia każdego operatora crawlera AI gotowego zapłacić za dostęp. Mechanizm zmienia działanie tylko dla żądań crawlera, które przechodzą przez sieć Cloudflare i zostały objęte regułą Charge. Każde inne żądanie otrzymuje taką odpowiedź, jaką witryna i tak by zwróciła. Witryna bez ruchu crawlerów AI wartego wyceny nie zyska nic na włączeniu tej funkcji.

Co musi skonfigurować właściciel witryny?

Według ogłoszenia Cloudflare właściciel witryny podaje dane płatności i cenę za żądanie na swoim koncie Cloudflare, a następnie dla każdego nazwanego crawlera wybiera jedno z trzech ustawień: Allow, Charge lub Block. Allow utrzymuje darmowy dostęp, Charge dołącza do żądań crawlera mechanizm 402 i crawler-price, a Block odmawia dostępu bez względu na cenę. Wybieraj ustawienie dla każdego crawlera świadomie, bo crawler pozostawiony domyślnie na Allow otrzymuje każdą stronę za darmo, tak samo jak przed pojawieniem się tej funkcji.

Jedno żądanie objęte regułą Charge
Crawler AI żąda strony objętej ceną w ramach Charge
Cloudflare zwraca 402 Payment Required z nagłówkiem crawler-price
Crawler ponawia żądanie podpisane przez Web Bot Auth, z płatnością
Brzeg sieci Cloudflare przepuszcza opłacone i podpisane żądanie
Mechanizm według ogłoszenia Cloudflare o pay per crawl z 1 lipca 2025 roku, stan na 9 września 2026.

Kłódka leżąca na klawiaturze, symbolizująca klucz kryptograficzny, który crawler rejestruje, by potwierdzić płatność.

Jak crawler udowadnia, że zapłacił?

Według ogłoszenia Cloudflare crawler potwierdza swoje żądanie w Cloudflare Pay Per Crawl za pomocą Web Bot Auth, czyli schematu opartego na parze kluczy Ed25519, którą wcześniej rejestruje w Cloudflare. Każde żądanie zawiera następnie podpis HTTP Message Signature wygenerowany tym kluczem, dzięki czemu brzeg sieci Cloudflare może sprawdzić tożsamość crawlera oraz to, że żądanie nie zostało zmienione po drodze, zanim je przepuści. Operator crawlera wykonuje tę rejestrację raz, a potem w ten sam sposób podpisuje każde kolejne żądanie, zamiast negocjować warunki płatności przy każdym pobraniu.

O zwykłej, opartej na robots.txt stronie tego samego problemu przeczytasz w przewodniku po robots.txt, bo decyzja Block w Cloudflare Pay Per Crawl funkcjonuje obok standardowej reguły Disallow z nazwą tego samego crawlera, a nie zamiast niej. CCBot i ChatGPT-User to dwa z nazwanych crawlerów, którym właściciel witryny może w tym systemie zezwolić na dostęp, naliczyć opłatę albo je zablokować, a każdy z nich ma osobną tożsamość do skonfigurowania.

Czy Cloudflare Pay Per Crawl jest dostępny dla każdej witryny?

Ogłoszenie Cloudflare opisuje funkcję jako prywatną betę w dniu startu, 1 lipca 2025 roku, co oznacza, że dostęp przyznawał Cloudflare, a na tamtym etapie nie był on domyślnie otwarty dla każdego klienta. Właściciel witryny spoza bety nadal może kontrolować te same crawlery standardową regułą Disallow w robots.txt, opisaną przy Amazonbocie, tyle że bez płatnej, czytelnej maszynowo wymiany 402, którą Cloudflare na niej zbudował. Niezależnie od wybranej drogi to, co system AI zrobi z treścią, którą zdołał pobrać, jest kwestią odrębną od samego dostępu, a czytane przez niego publiczne wątki obejmuje monitorowanie mediów społecznościowych.

Najczęściej zadawane pytania

Kiedy Cloudflare ogłosił Pay Per Crawl?

Cloudflare ogłosił Cloudflare Pay Per Crawl 1 lipca 2025 roku, opisując go w dniu startu jako prywatną betę. Ogłoszenie jest podstawowym źródłem informacji Cloudflare o mechanizmie funkcji i jej ówczesnej dostępności.

Co zawiera nagłówek crawler-price?

Zawiera cenę, jaką brzeg sieci Cloudflare nalicza za żądaną stronę, i jest wysyłany razem z odpowiedzią HTTP 402 Payment Required w ramach reguły Charge. Crawler odczytuje go, żeby poznać koszt, zanim zdecyduje, czy ponowić żądanie z płatnością.

Czy właściciel witryny może ustawić różne ceny dla różnych stron?

Nie. Ogłoszenie Cloudflare opisuje jedną stałą cenę za żądanie dla całej witryny, a nie cenę zależną od strony. Właściciel może natomiast całkowicie zwolnić z opłaty wybranego crawlera.

Co się stanie, jeśli crawler zignoruje odpowiedź 402?

Dla tego żądania nie zostanie wysłane nic więcej: crawler otrzymuje status 402 i nagłówek crawler-price zamiast treści strony. Stronę dostanie tylko wtedy, gdy ponowi żądanie podpisane i opłacone w schemacie Web Bot Auth od Cloudflare.

Czy Cloudflare Pay Per Crawl zastępuje robots.txt?

Nie. Ogłoszenie Cloudflare umieszcza Allow, Charge i Block obok dotychczasowego zachowania crawlera, a nie w miejsce robots.txt, a właściciel witryny nadal może napisać standardową regułę Disallow dla każdego crawlera, którego chce całkowicie zablokować.

RedReplier
RedReplier

Rozpocznij

Reddit, X, Bluesky i HN

Alerty o intencjach w czasie rzeczywistym

Nielimitowane odpowiedzi AI

Ocena według intencji zakupowej

Czego crawler potrzebuje, żeby płacić w tym systemie?

Według ogłoszenia Cloudflare potrzebuje pary kluczy Ed25519 zarejestrowanej wcześniej w Cloudflare oraz podpisu HTTP Message Signature dołączanego do każdego żądania z użyciem tego klucza. Dzięki tej rejestracji brzeg sieci Cloudflare może sprawdzić tożsamość crawlera przed przepuszczeniem opłaconego żądania.

Dla kogo przeznaczony jest Cloudflare Pay Per Crawl?

Ogłoszenie Cloudflare wymienia organizacje informacyjne, wydawców i duże platformy z treściami jako właścicieli witryn, do których skierowana jest funkcja, a po drugiej stronie każdego operatora crawlera AI gotowego płacić za dostęp. Mechanizm daje coś tylko właścicielowi witryny, który faktycznie ma ruch crawlerów AI wart wyceny. Witryna bez takiego ruchu nie ma czego włączać.

Czy wydawca i firma AI mogą zawrzeć osobną umowę poza Pay Per Crawl?

Według ogłoszenia Cloudflare właściciel witryny może całkowicie zwolnić wybranego crawlera ze stałej ceny za żądanie. Cloudflare przedstawia to zwolnienie jako drogę do uzgodnienia przez wydawcę i firmę AI własnych warunków poza platformą. Każdy inny crawler objęty regułą Charge nadal płaci jedną cenę ustaloną dla całej witryny.

Czy Cloudflare Pay Per Crawl zmienia każde żądanie, które trafia do witryny?

Funkcja zmienia działanie tylko dla żądań crawlera, które przechodzą przez sieć Cloudflare i są objęte regułą Charge ustawioną przez właściciela witryny. Każde inne żądanie otrzymuje taką odpowiedź, jaką witryna wysłałaby przed pojawieniem się tej funkcji. Właściciel witryny bez ruchu crawlerów AI wartego wyceny nie zyska nic na jej włączeniu.

Czy na starcie Pay Per Crawl był dostępny dla każdego klienta Cloudflare?

Cloudflare opisał Pay Per Crawl jako prywatną betę w dniu startu, 1 lipca 2025 roku, więc dostęp przyznawał Cloudflare i nie był on domyślnie otwarty dla każdego klienta. Właściciel witryny spoza bety mógł nadal zarządzać tymi samymi crawlerami standardową regułą Disallow w robots.txt. Ta droga pomija jedynie płatną, czytelną maszynowo wymianę 402, którą Cloudflare zbudował obok niej.

Więcej naszych treści w Google

Jedno kliknięcie oznacza RedReplier jako preferowane źródło, dzięki czemu nasze artykuły pojawiają się wyżej w Najważniejszych wiadomościach, trybie AI i Podsumowaniach AI.

Jeszcze chwila...

RedReplier

RedReplier

Żaden kupujący pytający o ofertę nie umknie

RedReplier śledzi Reddita, X, Bluesky i Hacker News w czasie rzeczywistym, ocenia każdy wątek pod kątem intencji zakupowej i przygotowuje odpowiedź, by dotrzeć tam jako pierwszy.

Reddit, X, Bluesky i HN

Alerty o intencjach w czasie rzeczywistym

Nielimitowane odpowiedzi AI

Ocena według intencji zakupowej

Powiązane artykuły