Comment Cloudflare Pay Per Crawl facture les bots IA par page

Qu'est-ce que Cloudflare Pay Per Crawl ?

Lancé par Cloudflare le 1er juillet 2025, Cloudflare Pay Per Crawl permet à un propriétaire de site de facturer à un robot d'IA un prix fixe pour chaque page qu'il récupère, au lieu de seulement choisir entre bloquer le robot entièrement ou le laisser entrer gratuitement. L'annonce de Cloudflare elle-même, vérifiée le 9 septembre 2026, présente cette fonctionnalité comme une option intermédiaire entre ces deux extrêmes, destinée aux propriétaires de contenu qui veulent une compensation pour le trafic de crawl IA qui arrive sur leurs sites. Lors de l'annonce, Cloudflare a déclaré que la fonctionnalité était en bêta privée.

Comment fonctionne la réponse 402 ?

Un robot qui demande une page sous une règle Charge reçoit une réponse HTTP 402 Payment Required portant un en-tête crawler-price qui indique le coût, selon l'annonce de Cloudflare elle-même. Le mécanisme réutilise un code de statut qui existe dans la spécification HTTP depuis des décennies mais qui n'a presque jamais été déployé en pratique, donnant aux robots un moyen lisible par machine de connaître un prix sans qu'un humain lise d'abord une page. Un robot qui veut le contenu retente la même requête avec une autorisation de paiement jointe, et l'edge de Cloudflare décide de laisser passer ou non la requête retentée.

Comment fonctionne la tarification par crawl ?

Un propriétaire de site fixe un prix forfaitaire par requête pour tout le site plutôt que de tarifer des pages individuelles, selon l'annonce de Cloudflare elle-même. Ce chiffre unique devient le montant indiqué dans l'en-tête crawler-price de chaque réponse 402 que le site envoie à un robot sous une règle Charge. Le propriétaire du site peut toujours exempter entièrement un robot précis de ce prix, ce que l'annonce de Cloudflare décrit comme un moyen pour un éditeur et une entreprise d'IA de s'accorder sur des conditions distinctes en dehors de la plateforme.

À qui s'adresse Cloudflare Pay Per Crawl ?

L'annonce de Cloudflare elle-même cite les organisations de presse, les éditeurs et les grandes plateformes de contenu comme les propriétaires de sites visés par la fonctionnalité, et tout opérateur de robot d'IA prêt à payer pour l'accès comme l'autre partie de l'échange. Le mécanisme ne change le comportement que pour une requête de robot qui arrive via le réseau de Cloudflare et que le propriétaire du site a placée sous une règle Charge ; toute autre requête continue de recevoir la réponse que le site donnerait de toute façon. Un site sans trafic de crawl IA qui vaille la peine d'être tarifé ne tire aucun bénéfice de l'activation de la fonctionnalité.

Que doit configurer un propriétaire de site ?

Un propriétaire de site fixe les informations de paiement et un prix par requête dans son compte Cloudflare, puis choisit, selon l'annonce de Cloudflare elle-même, l'un des trois réglages pour chaque robot nommé : Allow, Charge ou Block. Allow laisse l'accès de ce robot gratuit, Charge attache le mécanisme de 402 et de crawler-price à ses requêtes, et Block le refuse purement et simplement, quel que soit le prix. Choisissez ce réglage par robot de façon délibérée, car un robot laissé par défaut sur Allow reçoit chaque page gratuitement, comme avant l'existence de la fonctionnalité.

Comment un robot prouve-t-il qu'il a payé ?

Un robot prouve sa requête sous Cloudflare Pay Per Crawl grâce à Web Bot Auth, un schéma construit sur une paire de clés Ed25519 que le robot enregistre à l'avance auprès de Cloudflare, selon l'annonce de Cloudflare elle-même. Chaque requête porte alors une HTTP Message Signature générée avec cette clé, qui permet à l'edge de Cloudflare de vérifier à la fois l'identité du robot et que la requête n'a pas été modifiée en transit avant de décider de l'admettre. Un opérateur de robot doit effectuer cet enregistrement une seule fois, puis signer chaque requête suivante de la même manière, plutôt que de négocier les conditions de paiement à chaque récupération individuelle.

Retrouvez le volet robots.txt classique du même problème dans le guide robots.txt, car une décision Block sous Cloudflare Pay Per Crawl s'ajoute à une règle Disallow standard nommant le même robot, elle ne la remplace pas. CCBot et ChatGPT-User font partie des robots nommés qu'un propriétaire de site choisit d'autoriser, de facturer ou de bloquer dans ce système, chacun avec sa propre identité à configurer séparément.

Cloudflare Pay Per Crawl est-il disponible pour tous les sites ?

L'annonce de Cloudflare elle-même décrit la fonctionnalité comme une bêta privée lors de son lancement le 1er juillet 2025, ce qui signifie qu'à ce moment-là l'accès passait par Cloudflare plutôt que d'être ouvert par défaut à tous les clients. Un propriétaire de site en dehors de la bêta contrôle toujours les mêmes robots via une règle Disallow standard de robots.txt, l'option couverte pour Amazonbot, simplement sans l'échange 402 tarifé et lisible par machine que Cloudflare a construit par-dessus. Quel que soit le chemin pris par un site, ce qu'un système d'IA fait du contenu qu'il a bien réussi à récupérer est une question distincte de l'accès lui-même, et les fils publics qu'il lit relèvent de la surveillance des réseaux sociaux.

Questions fréquentes

Quand Cloudflare a-t-il annoncé Pay Per Crawl ?

Cloudflare a annoncé Cloudflare Pay Per Crawl le 1er juillet 2025, la décrivant au lancement comme une bêta privée. L'annonce est la propre source primaire de Cloudflare sur le mécanisme de la fonctionnalité et sur la disponibilité déclarée à ce moment-là.

Que contient l'en-tête crawler-price ?

Il porte le prix que l'edge de Cloudflare facture pour la page demandée, envoyé avec une réponse HTTP 402 Payment Required sous une règle Charge. Un robot lit cet en-tête pour connaître le coût avant de décider s'il retente avec paiement.

Un propriétaire de site peut-il tarifer différemment des pages différentes ?

Non. L'annonce de Cloudflare elle-même décrit un prix forfaitaire par requête fixé pour tout le site, pas un prix qui varie page par page. Un propriétaire de site peut toujours exempter entièrement un robot précis du prix.

Que se passe-t-il si un robot ignore la réponse 402 ?

Rien de plus n'est servi pour cette requête ; le robot reçoit le statut 402 et l'en-tête crawler-price à la place du contenu de la page. Le robot ne reçoit la page que s'il retente avec une requête signée et payée sous le schéma Web Bot Auth de Cloudflare.

Cloudflare Pay Per Crawl remplace-t-il robots.txt ?

Non. L'annonce de Cloudflare elle-même place Allow, Charge et Block à côté du comportement existant du robot plutôt que de remplacer robots.txt, et un propriétaire de site peut toujours écrire une règle Disallow standard pour tout robot qu'il veut bloquer purement et simplement.

De quoi un robot a-t-il besoin avant de pouvoir payer dans ce système ?

D'une paire de clés Ed25519 enregistrée à l'avance auprès de Cloudflare, puis d'une HTTP Message Signature attachée à chaque requête avec cette clé, selon l'annonce de Cloudflare elle-même. Cet enregistrement est ce qui permet à l'edge de Cloudflare de vérifier l'identité du robot avant d'admettre une relance payée.

À qui s'adresse Cloudflare Pay Per Crawl ?

L'annonce de Cloudflare elle-même cite les organisations de presse, les éditeurs et les grandes plateformes de contenu comme les propriétaires de sites visés par la fonctionnalité, avec en face tout opérateur de robot d'IA prêt à payer pour l'accès. Le mécanisme n'apporte quelque chose qu'à un propriétaire de site qui reçoit vraiment un trafic de robots d'IA qui vaut la peine d'être facturé. Un site sans ce trafic n'a rien à activer.

Un éditeur et une entreprise d'IA peuvent-ils négocier un accord séparé en dehors de Pay Per Crawl ?

Un propriétaire de site peut exempter un robot précis du prix forfaitaire par requête, selon l'annonce de Cloudflare elle-même. Cloudflare décrit cette exemption comme la voie permettant à un éditeur et une entreprise d'IA de fixer leurs propres conditions en dehors de la plateforme. Tout autre robot soumis à une règle Charge continue de payer le prix unique fixé pour l'ensemble du site.

Cloudflare Pay Per Crawl modifie-t-il toutes les requêtes reçues par un site ?

La fonctionnalité ne change le comportement que pour une requête de robot qui passe par le réseau de Cloudflare et qui relève d'une règle Charge fixée par le propriétaire du site. Toute autre requête reçoit la même réponse que le site aurait envoyée sans cette fonctionnalité. Un propriétaire de site sans trafic de robots d'IA qui vaille la peine d'être facturé ne tire aucun bénéfice à l'activer.

Pay Per Crawl était-il ouvert à tous les clients de Cloudflare au lancement ?

Cloudflare a décrit Pay Per Crawl comme une bêta privée lors de son lancement le 1er juillet 2025, l'accès passait donc par Cloudflare plutôt que d'être ouvert par défaut à tous les clients. Un propriétaire de site resté en dehors de la bêta pouvait toujours contrôler les mêmes robots avec une règle Disallow classique de robots.txt. Cette voie se prive simplement de l'échange 402 tarifé et lisible par une machine que Cloudflare a construit en plus.