Como o Cloudflare Pay Per Crawl cobra bots de IA por página

O que é o Cloudflare Pay Per Crawl?

Apresentado pela Cloudflare em 1 de julho de 2025, o Cloudflare Pay Per Crawl deixa o dono de um site cobrar de um rastreador de IA um preço fixo por cada página que ele busca, em vez de só escolher entre bloquear o rastreador por completo ou deixá-lo entrar de graça. O próprio anúncio da Cloudflare, verificado em 9 de setembro de 2026, apresenta o recurso como uma opção intermediária entre esses dois extremos, voltada a donos de conteúdo que querem compensação pelo tráfego de rastreamento de IA que chega aos seus sites. No anúncio, a Cloudflare afirmou que o recurso estava em beta privado.

Como funciona a resposta 402?

Um rastreador que pede uma página sob uma regra Charge recebe uma resposta HTTP 402 Payment Required com um cabeçalho crawler-price que informa o custo, segundo o próprio anúncio da Cloudflare. O mecanismo reaproveita um status code que existe na especificação HTTP há décadas mas quase não teve uso real, dando aos rastreadores uma forma legível por máquina de saber um preço sem que uma pessoa leia a página antes. Um rastreador que quer o conteúdo repete a mesma requisição com autorização de pagamento anexada, e a edge da Cloudflare decide se deixa passar a requisição repetida.

Como funciona o preço por rastreamento?

O dono de um site define um preço fixo por requisição para todo o site, em vez de precificar páginas individuais, segundo o próprio anúncio da Cloudflare. Esse número único vira o valor citado no cabeçalho crawler-price de cada resposta 402 que o site envia a um rastreador sob uma regra Charge. O dono do site ainda pode isentar um rastreador específico desse preço por completo, algo que o anúncio da Cloudflare descreve como um caminho para um publisher e uma empresa de IA combinarem termos próprios fora da plataforma.

A quem o Cloudflare Pay Per Crawl se aplica?

O próprio anúncio da Cloudflare cita organizações de notícias, publishers e grandes plataformas de conteúdo como os donos de site que o recurso mira, e qualquer operador de rastreador de IA disposto a pagar pelo acesso como o outro lado da troca. O mecanismo só muda o comportamento de uma requisição de rastreador que chega pela rede da Cloudflare e que o dono do site colocou sob uma regra Charge; qualquer outra requisição continua recebendo a resposta que o site daria de qualquer forma. Um site sem tráfego de rastreador de IA que valha a pena precificar não ganha nada ao ativar o recurso.

O que o dono de um site precisa configurar?

O dono de um site define os dados de pagamento e um preço por requisição dentro da própria conta na Cloudflare, e depois escolhe, segundo o próprio anúncio da Cloudflare, uma de três opções para cada rastreador nomeado: Allow, Charge ou Block. Allow mantém o acesso desse rastreador gratuito, Charge anexa o mecanismo de 402 e crawler-price às suas requisições, e Block o recusa direto, independente do preço. Defina a escolha por rastreador com cuidado, já que um rastreador deixado em Allow por padrão recebe cada página de graça, do mesmo jeito que antes de o recurso existir.

Como um rastreador prova que pagou?

Um rastreador prova sua requisição sob o Cloudflare Pay Per Crawl usando o Web Bot Auth, um esquema construído sobre um par de chaves Ed25519 que o rastreador registra com a Cloudflare com antecedência, segundo o próprio anúncio da Cloudflare. Cada requisição carrega então uma HTTP Message Signature gerada com essa chave, que permite à edge da Cloudflare verificar tanto a identidade do rastreador quanto que a requisição não foi alterada em trânsito antes de decidir aceitá-la. Um operador de rastreador precisa completar esse registro uma vez, e depois assina cada requisição seguinte da mesma forma, em vez de negociar termos de pagamento a cada busca individual.

Leia o lado simples do robots.txt para o mesmo problema no guia robots.txt, já que uma decisão Block sob o Cloudflare Pay Per Crawl fica ao lado de uma regra Disallow padrão que nomeia o mesmo rastreador, não no lugar dela. CCBot e ChatGPT-User são dois dos rastreadores nomeados que o dono de um site decide permitir, cobrar ou bloquear nesse sistema, cada um com sua própria identidade para configurar separadamente.

O Cloudflare Pay Per Crawl está disponível para todo site?

O próprio anúncio da Cloudflare descreve o recurso como beta privado no lançamento em 1 de julho de 2025, o que significa que o acesso passava pela Cloudflare em vez de estar aberto a todo cliente por padrão naquele momento. Um dono de site fora do beta ainda controla os mesmos rastreadores por meio de uma regra Disallow padrão do robots.txt, a opção coberta para Amazonbot, só que sem a troca 402 precificada e legível por máquina que a Cloudflare construiu em cima disso. Qualquer que seja o caminho que um site siga, o que um sistema de IA faz com o conteúdo que conseguiu buscar é uma questão separada do acesso em si, e as threads públicas que ele lê são cobertas pelo monitoramento de redes sociais.

Perguntas frequentes

Quando a Cloudflare anunciou o Pay Per Crawl?

A Cloudflare anunciou o Cloudflare Pay Per Crawl em 1 de julho de 2025, descrevendo-o no lançamento como beta privado. O anúncio é a própria fonte primária da Cloudflare para o mecanismo do recurso e a disponibilidade declarada naquele momento.

O que o cabeçalho crawler-price contém?

Ele carrega o preço que a edge da Cloudflare está cobrando pela página pedida, enviado junto de uma resposta HTTP 402 Payment Required sob uma regra Charge. Um rastreador lê esse cabeçalho para saber o custo antes de decidir se tenta de novo com pagamento.

O dono de um site pode precificar páginas diferentes de forma diferente?

Não. O próprio anúncio da Cloudflare descreve um preço fixo por requisição definido para todo o site, não um preço que varia página por página. O dono de um site ainda pode isentar um rastreador específico do preço por completo.

O que acontece se um rastreador ignora a resposta 402?

Nada mais é entregue para essa requisição; o rastreador recebe o status 402 e o cabeçalho crawler-price no lugar do conteúdo da página. O rastreador só recebe a página se tentar de novo com uma requisição assinada e paga sob o esquema Web Bot Auth da Cloudflare.

O Cloudflare Pay Per Crawl substitui o robots.txt?

Não. O próprio anúncio da Cloudflare coloca Allow, Charge e Block ao lado do comportamento já existente do rastreador em vez de substituir o robots.txt, e o dono de um site ainda pode escrever uma regra Disallow padrão para qualquer rastreador que queira bloquear direto.

O que um rastreador precisa antes de poder pagar nesse sistema?

Um par de chaves Ed25519 registrado com a Cloudflare com antecedência, e depois uma HTTP Message Signature anexada a cada requisição usando essa chave, segundo o próprio anúncio da Cloudflare. Esse registro é o que permite à edge da Cloudflare verificar a identidade do rastreador antes de aceitar uma nova tentativa paga.

Para quem o Cloudflare Pay Per Crawl foi criado?

O próprio anúncio da Cloudflare cita organizações de notícias, editoras e grandes plataformas de conteúdo como os donos de sites visados pelo recurso, com qualquer operador de rastreador de IA disposto a pagar pelo acesso do outro lado. O mecanismo só faz diferença para um dono de site que recebe de fato tráfego de rastreadores de IA que vale a pena cobrar. Um site sem esse tráfego não tem nada para ativar.

Uma editora e uma empresa de IA podem negociar um acordo à parte fora do Pay Per Crawl?

Um dono de site pode isentar um rastreador específico do preço fixo por solicitação, segundo o próprio anúncio da Cloudflare. A Cloudflare descreve essa isenção como o caminho para uma editora e uma empresa de IA combinarem termos próprios fora da plataforma. Qualquer outro rastreador sob uma regra Charge continua pagando o preço único definido para o site inteiro.

O Cloudflare Pay Per Crawl muda toda solicitação que um site recebe?

O recurso só muda o comportamento de uma solicitação de rastreador que passa pela rede da Cloudflare e cai sob uma regra Charge definida pelo dono do site. Toda outra solicitação recebe a mesma resposta que o site enviaria sem o recurso. Um dono de site sem tráfego de rastreadores de IA que valha a pena cobrar não ganha nada ao ativá-lo.

O Pay Per Crawl estava disponível para todo cliente da Cloudflare no lançamento?

A Cloudflare descreveu o Pay Per Crawl como uma beta privada em seu lançamento em 1 de julho de 2025, então o acesso passava pela Cloudflare em vez de ficar aberto por padrão a todo cliente. Um dono de site fora da beta ainda conseguia controlar os mesmos rastreadores com uma regra Disallow padrão do robots.txt. Esse caminho só fica sem a troca 402 tarifada e legível por máquina que a Cloudflare construiu junto.