Wie Cloudflare Pay Per Crawl KI-Bots pro Seite abrechnet

Was ist Cloudflare Pay Per Crawl?

Am 1. Juli 2025 führte Cloudflare Pay Per Crawl ein und erlaubt damit einem Seitenbetreiber, einem KI-Crawler einen festen Preis für jede abgerufene Seite zu berechnen, statt nur zwischen vollständigem Blockieren des Crawlers und kostenlosem Zugang zu wählen. Cloudflares eigene Ankündigung, geprüft am 9. September 2026, beschreibt das Feature als Mittelweg zwischen diesen beiden Extremen, gedacht für Content-Betreiber, die eine Entschädigung für den KI-Crawl-Traffic auf ihren Seiten wollen. Bei der Ankündigung erklärte Cloudflare, dass sich das Feature in einer privaten Beta befand.

Wie funktioniert die 402-Antwort?

Ein Crawler, der eine Seite unter einer Charge-Regel anfragt, erhält laut Cloudflares eigener Ankündigung eine HTTP 402 Payment Required Antwort mit einem crawler-price Header, der die Kosten nennt. Der Mechanismus nutzt einen Statuscode, der seit Jahrzehnten in der HTTP-Spezifikation existiert, aber fast nie wirklich eingesetzt wurde, und gibt Crawlern damit einen maschinenlesbaren Weg, einen Preis zu erfahren, ohne dass zuerst ein Mensch die Seite liest. Ein Crawler, der den Inhalt haben will, wiederholt dieselbe Anfrage mit angehängter Zahlungsautorisierung, und Cloudflares Edge entscheidet, ob die wiederholte Anfrage durchgelassen wird.

Wie funktioniert die Preisgestaltung pro Crawl?

Ein Seitenbetreiber legt laut Cloudflares eigener Ankündigung einen pauschalen Preis pro Anfrage für die gesamte Seite fest, statt einzelne Seiten unterschiedlich zu bepreisen. Diese einzige Zahl wird zum Betrag, der im crawler-price Header jeder 402-Antwort genannt wird, die die Seite an einen Crawler unter einer Charge-Regel sendet. Der Seitenbetreiber kann einen bestimmten Crawler weiterhin vollständig von diesem Preis ausnehmen, was Cloudflares Ankündigung als Weg beschreibt, auf dem ein Publisher und ein KI-Unternehmen sich außerhalb der Plattform auf eigene Konditionen einigen können.

Für wen gilt Cloudflare Pay Per Crawl?

Cloudflares eigene Ankündigung nennt Nachrichtenorganisationen, Publisher und große Content-Plattformen als die Seitenbetreiber, an die sich das Feature richtet, und jeden Betreiber eines KI-Crawlers, der bereit ist, für den Zugang zu zahlen, als die andere Seite des Austauschs. Der Mechanismus verändert das Verhalten nur für eine Crawler-Anfrage, die über Cloudflares Netzwerk eintrifft und die der Seitenbetreiber unter eine Charge-Regel gestellt hat; jede andere Anfrage erhält weiterhin die Antwort, die die Seite ohnehin liefern würde. Eine Seite ohne nennenswerten KI-Crawler-Traffic hat keinen Vorteil davon, das Feature zu aktivieren.

Was muss ein Seitenbetreiber konfigurieren?

Ein Seitenbetreiber legt Zahlungsdetails und einen Preis pro Anfrage in seinem Cloudflare-Konto fest und wählt dann laut Cloudflares eigener Ankündigung für jeden benannten Crawler eine von drei Einstellungen: Allow, Charge oder Block. Allow hält den Zugang dieses Crawlers kostenlos, Charge hängt den 402- und crawler-price-Mechanismus an seine Anfragen, und Block verweigert ihn unabhängig vom Preis komplett. Treffen Sie die Wahl pro Crawler bewusst, denn ein Crawler, der standardmäßig auf Allow steht, erhält jede Seite kostenlos, genau wie vor Einführung des Features.

Wie beweist ein Crawler, dass er bezahlt hat?

Ein Crawler weist seine Anfrage unter Cloudflare Pay Per Crawl laut Cloudflares eigener Ankündigung mit Web Bot Auth nach, einem Schema, das auf einem Ed25519-Schlüsselpaar aufbaut, das der Crawler vorab bei Cloudflare registriert. Jede Anfrage trägt dann eine mit diesem Schlüssel erzeugte HTTP Message Signature, mit der Cloudflares Edge sowohl die Identität des Crawlers als auch prüfen kann, dass die Anfrage unterwegs nicht verändert wurde, bevor sie zugelassen wird. Ein Crawler-Betreiber muss diese Registrierung einmal abschließen und signiert dann jede weitere Anfrage auf dieselbe Weise, statt die Zahlungsbedingungen bei jedem einzelnen Abruf neu auszuhandeln.

Die einfache robots.txt-Seite desselben Problems steht im Leitfaden robots.txt, denn eine Block-Entscheidung unter Cloudflare Pay Per Crawl steht neben einer klassischen Disallow-Regel für denselben Crawler, nicht an ihrer Stelle. CCBot und ChatGPT-User sind zwei der benannten Crawler, die ein Seitenbetreiber in diesem System erlauben, bepreisen oder blockieren kann, jeder mit einer eigenen, separat zu konfigurierenden Identität.

Ist Cloudflare Pay Per Crawl für jede Seite verfügbar?

Cloudflares eigene Ankündigung beschreibt das Feature beim Start am 1. Juli 2025 als private Beta, was bedeutet, dass der Zugang zu diesem Zeitpunkt über Cloudflare lief, statt standardmäßig für jeden Kunden offen zu sein. Ein Seitenbetreiber außerhalb der Beta kontrolliert dieselben Crawler weiterhin über eine klassische robots.txt-Disallow-Regel, die Option, die für Amazonbot beschrieben wird, nur ohne den bepreisten, maschinenlesbaren 402-Austausch, den Cloudflare zusätzlich eingebaut hat. Welchen Weg eine Seite auch wählt, was ein KI-System mit dem Inhalt macht, den es abrufen konnte, ist eine andere Frage als der Zugang selbst, und die öffentlichen Threads, die es liest, deckt das Social-Media-Monitoring ab.

Häufig gestellte Fragen

Wann hat Cloudflare Pay Per Crawl angekündigt?

Cloudflare kündigte Cloudflare Pay Per Crawl am 1. Juli 2025 an und beschrieb es beim Start als private Beta. Die Ankündigung ist Cloudflares eigene Primärquelle für den Mechanismus des Features und die zu diesem Zeitpunkt angegebene Verfügbarkeit.

Was enthält der crawler-price Header?

Er enthält den Preis, den Cloudflares Edge für die angefragte Seite verlangt, gesendet zusammen mit einer HTTP 402 Payment Required Antwort unter einer Charge-Regel. Ein Crawler liest diesen Header, um die Kosten zu erfahren, bevor er entscheidet, ob er es mit Zahlung erneut versucht.

Kann ein Seitenbetreiber verschiedene Seiten unterschiedlich bepreisen?

Nein. Cloudflares eigene Ankündigung beschreibt einen pauschalen Preis pro Anfrage für die gesamte Seite, nicht einen Preis, der von Seite zu Seite variiert. Ein Seitenbetreiber kann einen bestimmten Crawler weiterhin vollständig von diesem Preis ausnehmen.

Was passiert, wenn ein Crawler die 402-Antwort ignoriert?

Für diese Anfrage wird nichts weiter ausgeliefert; der Crawler erhält den 402-Status und den crawler-price Header anstelle des Seiteninhalts. Der Crawler erhält die Seite nur, wenn er es mit einer signierten, bezahlten Anfrage unter Cloudflares Web Bot Auth Schema erneut versucht.

Ersetzt Cloudflare Pay Per Crawl robots.txt?

Nein. Cloudflares eigene Ankündigung stellt Allow, Charge und Block neben das bestehende Verhalten des Crawlers, statt robots.txt zu ersetzen, und ein Seitenbetreiber kann weiterhin eine klassische Disallow-Regel für jeden Crawler schreiben, den er komplett blockieren will.

Was braucht ein Crawler, bevor er in diesem System bezahlen kann?

Laut Cloudflares eigener Ankündigung ein vorab bei Cloudflare registriertes Ed25519-Schlüsselpaar, danach eine mit diesem Schlüssel erzeugte HTTP Message Signature, die jeder Anfrage angehängt wird. Diese Registrierung ist es, die es Cloudflares Edge erlaubt, die Identität des Crawlers zu prüfen, bevor ein bezahlter erneuter Versuch zugelassen wird.

Für wen ist Cloudflare Pay Per Crawl gedacht?

Cloudflares eigene Ankündigung nennt Nachrichtenorganisationen, Verlage und große Content-Plattformen als die Seitenbetreiber, die das Feature anspricht, mit jedem AI-Crawler-Betreiber, der für Zugriff zahlen will, auf der anderen Seite. Der Mechanismus bewirkt nur etwas für einen Seitenbetreiber, der tatsächlich AI-Crawler-Traffic hat, der sich zu bepreisen lohnt. Eine Seite ohne solchen Traffic hat nichts zum Einschalten.

Können ein Verlag und ein KI-Unternehmen einen separaten Deal außerhalb von Pay Per Crawl aushandeln?

Ein Seitenbetreiber kann einen bestimmten Crawler vollständig vom pauschalen Preis pro Anfrage ausnehmen, laut Cloudflares eigener Ankündigung. Cloudflare beschreibt diese Ausnahme als den Weg für einen Verlag und ein KI-Unternehmen, eigene Bedingungen außerhalb der Plattform zu vereinbaren. Jeder andere Crawler unter einer Charge-Regel zahlt weiterhin den einen für die ganze Seite festgelegten Preis.

Verändert Cloudflare Pay Per Crawl jede Anfrage an eine Seite?

Das Feature verändert nur das Verhalten bei einer Crawler-Anfrage, die über Cloudflares Netzwerk läuft und unter eine vom Seitenbetreiber gesetzte Charge-Regel fällt. Jede andere Anfrage erhält dieselbe Antwort, die die Seite auch ohne das Feature senden würde. Ein Seitenbetreiber ohne bepreisungswürdigen AI-Crawler-Traffic hat keinen Nutzen davon, es einzuschalten.

War Pay Per Crawl bei seinem Start für jeden Cloudflare-Kunden verfügbar?

Cloudflare beschrieb Pay Per Crawl beim Start am 1. Juli 2025 als privaten Beta-Test, sodass der Zugang über Cloudflare lief statt standardmäßig für jeden Kunden offen zu sein. Ein Seitenbetreiber außerhalb der Beta konnte dieselben Crawler weiterhin über eine reguläre robots.txt-Disallow-Regel steuern. Dieser Weg überspringt lediglich den bepreisten, maschinenlesbaren 402-Austausch, den Cloudflare zusätzlich dazu gebaut hat.