Cómo Cloudflare Pay Per Crawl cobra a los bots de IA por página

¿Qué es Cloudflare Pay Per Crawl?

Introducido el 1 de julio de 2025, Cloudflare Pay Per Crawl permite que el propietario de un sitio cobre a un rastreador de IA un precio fijo por cada página que obtiene, en lugar de solo elegir entre bloquear al rastreador por completo o dejarlo entrar gratis. El propio anuncio de Cloudflare, revisado el 9 de septiembre de 2026, presenta la función como una opción intermedia entre esos dos extremos, dirigida a propietarios de contenido que quieren una compensación por el tráfico de rastreo de IA que llega a sus sitios. Al anunciarlo, Cloudflare declaró que la función estaba en beta privada.

¿Cómo funciona la respuesta 402?

Un rastreador que solicita una página bajo una regla Charge recibe una respuesta HTTP 402 Payment Required con un encabezado crawler-price que indica el costo, según el propio anuncio de Cloudflare. El mecanismo reutiliza un código de estado que existe en la especificación HTTP desde hace décadas pero que casi no se había usado en la práctica, y da a los rastreadores una forma legible por máquina de conocer un precio sin que antes lo lea una persona. Un rastreador que quiere el contenido reintenta la misma solicitud con la autorización de pago adjunta, y el edge de Cloudflare decide si deja pasar la solicitud reintentada.

¿Cómo funciona el precio por rastreo?

El propietario de un sitio fija un precio plano por solicitud para todo el sitio en lugar de poner precio a páginas individuales, según el propio anuncio de Cloudflare. Ese único número se convierte en el monto que aparece en el encabezado crawler-price de cada respuesta 402 que el sitio envía a un rastreador bajo una regla Charge. El propietario del sitio todavía puede eximir por completo a un rastreador concreto de ese precio, algo que el anuncio de Cloudflare describe como una vía para que un editor y una empresa de IA acuerden condiciones propias fuera de la plataforma.

¿A quién se aplica Cloudflare Pay Per Crawl?

El propio anuncio de Cloudflare nombra a organizaciones de noticias, editores y grandes plataformas de contenido como los propietarios de sitio a los que apunta la función, y a cualquier operador de rastreador de IA dispuesto a pagar por el acceso como la otra parte del intercambio. El mecanismo solo cambia el comportamiento de una solicitud de rastreador que llega por la red de Cloudflare y que el propietario del sitio puso bajo una regla Charge; el resto de solicitudes sigue recibiendo la respuesta que el sitio daría de todos modos. Un sitio sin tráfico de rastreo de IA que valga la pena cobrar no obtiene ningún beneficio de activar la función.

¿Qué tiene que configurar el propietario de un sitio?

El propietario de un sitio fija los datos de pago y un precio por solicitud dentro de su cuenta de Cloudflare, y luego elige, según el propio anuncio de Cloudflare, uno de tres ajustes para cada rastreador nombrado: Allow, Charge o Block. Allow deja el acceso de ese rastreador gratis, Charge añade el mecanismo de 402 y crawler-price a sus solicitudes, y Block lo rechaza sin más, sin importar el precio. Elige la opción por rastreador con cuidado, porque un rastreador que queda en Allow por defecto recibe todas las páginas gratis igual que antes de que existiera la función.

¿Cómo demuestra un rastreador que pagó?

Un rastreador demuestra su solicitud bajo Cloudflare Pay Per Crawl usando Web Bot Auth, un esquema construido sobre un par de claves Ed25519 que el rastreador registra ante Cloudflare de antemano, según el propio anuncio de Cloudflare. Cada solicitud lleva entonces una HTTP Message Signature generada con esa clave, que permite al edge de Cloudflare verificar tanto la identidad del rastreador como que la solicitud no se alteró en tránsito antes de decidir admitirla. El operador de un rastreador tiene que completar ese registro una vez y luego firmar cada solicitud siguiente de la misma forma, en lugar de negociar condiciones de pago en cada obtención individual.

Lee el lado simple de robots.txt del mismo problema en la guía robots.txt, ya que una decisión Block bajo Cloudflare Pay Per Crawl va al lado de una regla Disallow estándar que nombre al mismo rastreador, no en su lugar. CCBot y ChatGPT-User son dos de los rastreadores nombrados que el propietario de un sitio decide permitir, cobrar o bloquear bajo este sistema, cada uno con su propia identidad que configurar por separado.

¿Cloudflare Pay Per Crawl está disponible para todos los sitios?

El propio anuncio de Cloudflare describe la función como una beta privada en su lanzamiento el 1 de julio de 2025, lo que significa que el acceso pasaba por Cloudflare en lugar de estar abierto por defecto a todos los clientes en ese momento. El propietario de un sitio fuera de la beta sigue controlando a los mismos rastreadores mediante una regla Disallow estándar de robots.txt, la opción descrita para Amazonbot, solo que sin el intercambio 402 con precio y legible por máquina que Cloudflare construyó encima. Sea cual sea la vía que tome un sitio, lo que un sistema de IA hace con el contenido que sí llegó a obtener es una pregunta aparte del acceso en sí, y los hilos públicos que lee quedan cubiertos por la monitorización de redes sociales.

Preguntas frecuentes

¿Cuándo anunció Cloudflare Pay Per Crawl?

Cloudflare anunció Cloudflare Pay Per Crawl el 1 de julio de 2025 y lo describió en el lanzamiento como una beta privada. El anuncio es la propia fuente primaria de Cloudflare sobre el mecanismo de la función y la disponibilidad declarada en ese momento.

¿Qué contiene el encabezado crawler-price?

Lleva el precio que el edge de Cloudflare cobra por la página solicitada, enviado junto a una respuesta HTTP 402 Payment Required bajo una regla Charge. Un rastreador lee ese encabezado para conocer el costo antes de decidir si reintenta con pago.

¿Puede el propietario de un sitio poner precios distintos a páginas distintas?

No. El propio anuncio de Cloudflare describe un precio plano por solicitud fijado para todo el sitio, no un precio que varía página por página. El propietario de un sitio todavía puede eximir por completo a un rastreador concreto del precio.

¿Qué pasa si un rastreador ignora la respuesta 402?

No se sirve nada más para esa solicitud; el rastreador recibe el estado 402 y el encabezado crawler-price en lugar del contenido de la página. El rastreador solo recibe la página si reintenta con una solicitud firmada y pagada bajo el esquema Web Bot Auth de Cloudflare.

¿Cloudflare Pay Per Crawl sustituye a robots.txt?

No. El propio anuncio de Cloudflare coloca Allow, Charge y Block junto al comportamiento existente del rastreador en lugar de sustituir robots.txt, y el propietario de un sitio todavía puede escribir una regla Disallow estándar para cualquier rastreador que quiera bloquear del todo.

¿Qué necesita un rastreador antes de poder pagar en este sistema?

Un par de claves Ed25519 registrado ante Cloudflare de antemano, y luego una HTTP Message Signature adjunta a cada solicitud usando esa clave, según el propio anuncio de Cloudflare. Ese registro es lo que permite al edge de Cloudflare verificar la identidad del rastreador antes de admitir un reintento pagado.

¿Para quién está pensado Cloudflare Pay Per Crawl?

El propio anuncio de Cloudflare nombra a organizaciones de noticias, editores y grandes plataformas de contenido como los propietarios de sitios a los que apunta la función, con cualquier operador de rastreador de IA dispuesto a pagar por el acceso al otro lado. El mecanismo solo hace algo por un propietario de sitio que de verdad recibe tráfico de rastreadores de IA que vale la pena cobrar. Un sitio sin ese tráfico no tiene nada que activar.

¿Pueden un editor y una empresa de IA negociar un acuerdo aparte fuera de Pay Per Crawl?

Un propietario de sitio puede eximir a un rastreador concreto del precio plano por solicitud, según el propio anuncio de Cloudflare. Cloudflare describe esa exención como la vía para que un editor y una empresa de IA acuerden sus propios términos fuera de la plataforma. Cualquier otro rastreador bajo una regla Charge sigue pagando el precio único fijado para todo el sitio.

¿Cloudflare Pay Per Crawl cambia todas las solicitudes que recibe un sitio?

La función solo cambia el comportamiento de una solicitud de rastreador que llega a través de la red de Cloudflare y cae bajo una regla Charge que fijó el propietario del sitio. El resto de solicitudes reciben la misma respuesta que el sitio habría enviado antes de que existiera la función. Un propietario de sitio sin tráfico de rastreadores de IA que valga la pena cobrar no obtiene ningún beneficio al activarla.

¿Pay Per Crawl estaba disponible para todos los clientes de Cloudflare en su lanzamiento?

Cloudflare describió Pay Per Crawl como una beta privada en su lanzamiento del 1 de julio de 2025, así que el acceso pasaba por Cloudflare en vez de estar abierto por defecto a todos los clientes. Un propietario de sitio fuera de la beta podía seguir controlando los mismos rastreadores con una regla Disallow estándar de robots.txt. Esa vía simplemente se queda sin el intercambio 402 tarifado y legible por máquinas que Cloudflare construyó encima.