TL;DR
6 min leestijdCloudflare kondigde Cloudflare Pay Per Crawl aan op 1 juli 2025, in private bèta, als manier waarop een site-eigenaar een AI-crawler kan laten betalen voor elke pagina die hij ophaalt. Een geblokkeerde crawler krijgt een HTTP 402 Payment Required-antwoord met een crawler-price-header die de kosten noemt, en kan het opnieuw proberen zodra hij het verzoek ondertekent volgens het Web Bot Auth-schema van Cloudflare. Een site-eigenaar stelt één vaste prijs per verzoek in voor de hele site en kiest daarna Allow, Charge of Block voor elke benoemde crawler.
Wat is Cloudflare Pay Per Crawl?
Cloudflare Pay Per Crawl, op 1 juli 2025 geïntroduceerd door Cloudflare, laat een site-eigenaar een AI-crawler een vaste prijs rekenen voor elke pagina die hij ophaalt, in plaats van alleen te kiezen tussen de crawler volledig blokkeren of gratis binnenlaten. De eigen aankondiging van Cloudflare, gecontroleerd op 9 september 2026, presenteert de functie als een middenweg tussen die twee uitersten, bedoeld voor contenteigenaren die een vergoeding willen voor het AI-crawlverkeer op hun sites. Bij de aankondiging zei Cloudflare dat de functie in private bèta was.
- De crawler volledig blokkeren
- Hem gratis binnenlaten
- Allow: gratis toegang, ongewijzigd
- Charge: 402 tot hij betaalt
- Block: geweigerd, ook als hij betaalt
Hoe werkt het 402-antwoord?
Een crawler die een pagina opvraagt onder een Charge-regel, krijgt een HTTP 402 Payment Required-antwoord met een crawler-price-header die de kosten noemt, volgens de eigen aankondiging van Cloudflare. Het mechanisme hergebruikt een statuscode die al decennia in de HTTP-specificatie staat maar bijna nooit echt werd ingezet, en geeft crawlers zo een machineleesbare manier om een prijs te weten te komen zonder dat een mens eerst een pagina leest. Een crawler die de content wil, probeert hetzelfde verzoek opnieuw met een betaalautorisatie erbij, en de edge van Cloudflare beslist of het nieuwe verzoek wordt doorgelaten.
| HTTP-status | Wat het aangeeft | Wat er daarna gebeurt |
|---|---|---|
| 402 Payment Required | De pagina heeft een prijs en is niet betaald | De crawler kan het opnieuw proberen met een ondertekend, betaald verzoek |
| 200 OK | Betaling geaccepteerd, of de crawler valt onder een Allow-regel | De crawler krijgt de pagina |
| Geen antwoord toegekend | De crawler valt onder een Block-regel | Het verzoek wordt geweigerd, ook als er betaald wordt |
Hoe werkt de prijs per crawl?
Een site-eigenaar stelt één vaste prijs per verzoek in voor de hele site in plaats van losse pagina's te prijzen, volgens de eigen aankondiging van Cloudflare. Dat ene bedrag staat in de crawler-price-header van elk 402-antwoord dat de site naar een crawler onder een Charge-regel stuurt. De site-eigenaar kan een specifieke crawler nog steeds volledig van die prijs vrijstellen, wat de aankondiging van Cloudflare omschrijft als een route waarlangs een uitgever en een AI-bedrijf buiten het platform eigen afspraken kunnen maken.

Voor wie geldt Cloudflare Pay Per Crawl?
De eigen aankondiging van Cloudflare noemt nieuwsorganisaties, uitgevers en grote contentplatforms als de site-eigenaren voor wie de functie bedoeld is, en elke AI-crawlerbeheerder die wil betalen voor toegang als de andere kant van de uitwisseling. Het mechanisme verandert alleen iets voor een crawlerverzoek dat via het netwerk van Cloudflare binnenkomt en dat de site-eigenaar onder een Charge-regel heeft gezet; elk ander verzoek krijgt gewoon het antwoord dat de site anders ook zou geven. Een site zonder AI-crawlverkeer dat het prijzen waard is, heeft niets aan het aanzetten van de functie.
Wat moet een site-eigenaar instellen?
Een site-eigenaar vult betaalgegevens en een prijs per verzoek in binnen zijn Cloudflare-account en kiest daarna voor elke benoemde crawler een van drie instellingen: Allow, Charge of Block, volgens de eigen aankondiging van Cloudflare. Allow houdt de toegang van die crawler gratis, Charge koppelt het 402- en crawler-price-mechanisme aan zijn verzoeken, en Block weigert hem direct, ongeacht een prijs. Kies per crawler bewust, want een crawler die standaard op Allow staat, krijgt elke pagina gratis, net als voordat de functie bestond.

Hoe bewijst een crawler dat hij heeft betaald?
Een crawler bewijst zijn verzoek onder Cloudflare Pay Per Crawl met Web Bot Auth, een schema op basis van een Ed25519-sleutelpaar dat de crawler vooraf bij Cloudflare registreert, volgens de eigen aankondiging van Cloudflare. Elk verzoek bevat daarna een HTTP Message Signature die met die sleutel is gemaakt, zodat de edge van Cloudflare zowel de identiteit van de crawler kan controleren als dat het verzoek onderweg niet is gewijzigd, voordat het wordt toegelaten. Een crawlerbeheerder hoeft die registratie maar één keer te doen en ondertekent daarna elk verzoek op dezelfde manier, in plaats van per fetch over betaalvoorwaarden te onderhandelen.
Lees de gewone robots.txt-kant van hetzelfde probleem in de gids over robots.txt, want een Block-beslissing onder Cloudflare Pay Per Crawl staat naast een standaard Disallow-regel voor dezelfde crawler, niet in plaats daarvan. CCBot en ChatGPT-User zijn twee van de benoemde crawlers die een site-eigenaar in dit systeem toelaat, laat betalen of blokkeert, elk met een eigen identiteit om in te stellen.
Is Cloudflare Pay Per Crawl beschikbaar voor elke site?
De eigen aankondiging van Cloudflare beschrijft de functie bij de lancering op 1 juli 2025 als private bèta, wat betekent dat toegang via Cloudflare liep en op dat moment niet standaard open stond voor elke klant. Een site-eigenaar buiten de bèta beheert dezelfde crawlers nog steeds met een standaard Disallow-regel in robots.txt, de optie die ook voor Amazonbot wordt besproken, alleen zonder de geprijsde, machineleesbare 402-uitwisseling die Cloudflare daarbovenop heeft gebouwd. Welke route een site ook kiest, wat een AI-systeem doet met de content die het wel mocht ophalen, is een andere vraag dan toegang zelf, en de openbare threads die het leest, vallen onder social media monitoring.
Veelgestelde vragen
Wanneer kondigde Cloudflare Pay Per Crawl aan?
Cloudflare kondigde Cloudflare Pay Per Crawl aan op 1 juli 2025 en beschreef het bij de lancering als private bèta. De aankondiging is de eigen primaire bron van Cloudflare voor het mechanisme van de functie en de beschikbaarheid op dat moment.
Wat staat er in de crawler-price-header?
De prijs die de edge van Cloudflare rekent voor de opgevraagde pagina, meegestuurd met een HTTP 402 Payment Required-antwoord onder een Charge-regel. Een crawler leest die header om de kosten te kennen voordat hij beslist of hij het opnieuw probeert met een betaling.
Kan een site-eigenaar verschillende pagina's een andere prijs geven?
Nee. De eigen aankondiging van Cloudflare beschrijft één vaste prijs per verzoek voor de hele site, niet een prijs die per pagina verschilt. Een site-eigenaar kan wel één specifieke crawler volledig van de prijs vrijstellen.
Wat gebeurt er als een crawler het 402-antwoord negeert?
Dan wordt er voor dat verzoek niets meer geleverd; de crawler krijgt de 402-status en de crawler-price-header in plaats van de pagina-inhoud. De crawler krijgt de pagina pas als hij het opnieuw probeert met een ondertekend, betaald verzoek volgens het Web Bot Auth-schema van Cloudflare.
Vervangt Cloudflare Pay Per Crawl robots.txt?
Nee. De eigen aankondiging van Cloudflare zet Allow, Charge en Block naast het bestaande gedrag van de crawler in plaats van robots.txt te vervangen, en een site-eigenaar kan nog steeds een standaard Disallow-regel schrijven voor elke crawler die hij volledig wil blokkeren.
RedReplier
Aan de slag
Reddit, X, Bluesky en HN
Realtime meldingen op intentie
Onbeperkt AI-antwoorden
Gerangschikt op koopintentie
Wat heeft een crawler nodig voordat hij in dit systeem kan betalen?
Een Ed25519-sleutelpaar dat vooraf bij Cloudflare is geregistreerd, en daarna een HTTP Message Signature bij elk verzoek die met die sleutel is gemaakt, volgens de eigen aankondiging van Cloudflare. Met die registratie kan de edge van Cloudflare de identiteit van de crawler controleren voordat een betaald nieuw verzoek wordt toegelaten.
Voor wie is Cloudflare Pay Per Crawl ontworpen?
De eigen aankondiging van Cloudflare noemt nieuwsorganisaties, uitgevers en grote contentplatforms als de site-eigenaren voor wie de functie bedoeld is, met aan de andere kant elke AI-crawlerbeheerder die wil betalen voor toegang. Het mechanisme doet alleen iets voor een site-eigenaar die echt AI-crawlverkeer krijgt dat het prijzen waard is. Een site zonder dat verkeer heeft niets om aan te zetten.
Kunnen een uitgever en een AI-bedrijf buiten Pay Per Crawl een eigen deal sluiten?
Een site-eigenaar kan één specifieke crawler volledig vrijstellen van de vaste prijs per verzoek, volgens de eigen aankondiging van Cloudflare. Cloudflare presenteert die vrijstelling als de route waarlangs een uitgever en een AI-bedrijf buiten het platform eigen voorwaarden afspreken. Elke andere crawler onder een Charge-regel betaalt nog steeds de ene prijs die voor de hele site geldt.
Verandert Cloudflare Pay Per Crawl elk verzoek dat een site krijgt?
De functie verandert alleen iets voor een crawlerverzoek dat via het netwerk van Cloudflare binnenkomt en onder een Charge-regel valt die de site-eigenaar heeft ingesteld. Elk ander verzoek krijgt het antwoord dat de site ook zonder de functie zou hebben gestuurd. Een site-eigenaar zonder AI-crawlverkeer dat het prijzen waard is, heeft niets aan het aanzetten ervan.
Stond Pay Per Crawl bij de lancering open voor elke klant van Cloudflare?
Cloudflare beschreef Pay Per Crawl bij de lancering op 1 juli 2025 als private bèta, dus toegang liep via Cloudflare en stond niet standaard open voor elke klant. Een site-eigenaar buiten de bèta kon dezelfde crawlers nog steeds beheren met een standaard Disallow-regel in robots.txt. Die route slaat alleen de geprijsde, machineleesbare 402-uitwisseling over die Cloudflare ernaast heeft gebouwd.
Zie ons vaker in Google
Met één klik markeer je RedReplier als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.
Voordat je gaat...
RedReplier
Vang elke koper die vraagt om wat jij verkoopt
RedReplier houdt Reddit, X, Bluesky en Hacker News in realtime in de gaten, rangschikt elke thread op koopintentie en schrijft een concept voor je antwoord, zodat jij er als eerste bij bent.
Reddit, X, Bluesky en HN
Realtime meldingen op intentie
Onbeperkt AI-antwoorden
Gerangschikt op koopintentie
Gerelateerde artikelen


Wat CCBot verzamelt voor het open webarchief van Common Crawl
CCBot, de crawler van Common Crawl, bouwt een gratis, open webarchief dat AI-labs van buitenaf filteren tot trainingssets, en één robots.txt-regel bepaalt dat allemaal.


Hoe ChatGPT-User verschilt van GPTBot en OAI-SearchBot
De agent ChatGPT-User van OpenAI haalt alleen een pagina op als iemand ChatGPT vraagt een link te openen, met een andere robots.txt-regel dan GPTBot of OAI-SearchBot.


meta-externalagent, de AI-trainingscrawler van Meta, en hoe je hem blokkeert
Meta zet meta-externalagent in om openbare pagina's te verzamelen voor het trainen van zijn foundation-AI-modellen. Hier vind je de exacte user-agentstring en de robots.txt-blokkade.

