Was Amazonbot sammelt, bevor es Amazons KI-Modelle speist

Was ist Amazonbot?

Amazon betreibt Amazonbot als Webcrawler, der Website-Inhalte sammelt, um die Genauigkeit von Amazons Produkten und Diensten zu verbessern, und kann das Gesammelte nutzen, um Amazon-KI-Modelle zu trainieren, laut Amazons eigener Amazonbot-Dokumentation auf developer.amazon.com, geprüft am 8 September 2026. Der Bot crawlt Seiten so, wie es jeder Such- oder KI-Crawler tut: Er ruft URLs auf und liest die Antwort, und Amazon stellt klar, dass dies einem anderen Zweck dient als das Indexieren einer Seite für ein Suchergebnis.

Wie lautet die User-Agent-Zeichenfolge von Amazonbot?

Amazonbot identifiziert sich mit der Zeichenfolge "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36", laut Amazons veröffentlichter Dokumentation. Das Token compatible; Amazonbot/0.1 innerhalb dieser Zeichenfolge ist der Teil, den eine serverseitige Prüfung abgleichen sollte, da die umgebenden Mozilla- und Chrome-Abschnitte aus Kompatibilitätsgründen mit älterem User-Agent-Parsing existieren und in vielen unabhängigen Crawlern auftauchen. Amazon veröffentlicht außerdem die aktuelle Liste der IP-Adressen, von denen der Bot crawlt, unter developer.amazon.com/amazonbot/ip-addresses, sodass eine Website bestätigen kann, dass eine Anfrage, die vorgibt, Amazonbot zu sein, tatsächlich von Amazon stammt, bevor sie sich allein auf die User-Agent-Zeichenfolge verlässt.

Was sammelt Amazonbot, und warum?

Amazonbot sammelt den Inhalt der Seiten, die er crawlt, um die Genauigkeit von Amazons Produkten und Diensten zu verbessern, und Amazons Dokumentation gibt an, dass die gesammelten Daten auch Amazon-KI-Modelle trainieren können. Amazon zieht eine Grenze zwischen Amazonbot und einem zweiten, separaten Crawler namens Amzn-SearchBot: Amazons Dokumentation ordnet Amzn-SearchBot Sucherlebnissen zu, während Amazonbot der Crawler ist, den Amazon im Zusammenhang mit KI-Modelltraining nennt. Ob das Crawlen einer Seite überhaupt nach Urheberrecht und Website-Bedingungen erlaubt ist, ist eine separate Frage, die in ist Web Scraping legal behandelt wird, und die für jeden Bot gilt, der Inhalte von einer Website zieht, die er nicht besitzt.

Wie blockieren Sie Amazonbot in robots.txt?

Fügen Sie einen eigenen User-Agent-Block hinzu, der Amazonbot benennt, und blockieren Sie die Pfade, die Sie ausschließen wollen.

User-agent: Amazonbot
Disallow: /

Amazons Dokumentation gibt an, dass Amazonbot das Robots Exclusion Protocol respektiert, die robots.txt-Datei auf Hostebene prüft und sie bis zu 30 Tage lang zwischenspeichert, sodass eine Regeländerung etwa 24 Stunden braucht, um zu greifen, und länger dauern kann, bis der Cache vollständig geleert ist. Amazonbot beachtet außerdem ein noindex-, noarchive- oder none-Meta-Tag sowie rel=nofollow-Links auf Seiten, die er crawlt, was einer Website zusätzlich zum robots.txt-Block eine Kontrolle auf Seitenebene gibt. Lesen Sie die vollständigen Syntaxoptionen im robots.txt-Leitfaden, bevor Sie eine Regel für einen Bot namentlich schreiben.

Wie erlauben Sie Amazonbot, und hilft das Ihrer Website?

Amazonbot zu erlauben bedeutet, keine Disallow-Regel für seinen User-Agent hinzuzufügen, oder eine explizite Allow-Regel, falls Ihre robots.txt Crawler sonst standardmäßig blockiert. Amazons Dokumentation gibt an, dass Websitebetreiber, die Amazonbot erlauben, sich für das Amazon Content Partners-Programm qualifizieren können, das Amazon als Angebot mit erhöhter Affiliate-Provision auf berechtigte Verkäufe, Hosting-Guthaben und KI-Traffic-Management-Tools beschreibt; prüfen Sie die aktuellen Programmbedingungen auf Amazons eigener Website, bevor Sie von einer Berechtigung ausgehen, da sich die Programmbedingungen unabhängig von der Dokumentation des Crawlers ändern.

Wie ist Amazonbots Verhältnis zu Alexa und Rufus?

Amazons Amazonbot-Dokumentation nennt Rufus, Amazons Einkaufsassistenten, nicht, sodass in Amazons eigenem Material keine bestätigte Verbindung zwischen den beiden besteht. Die dokumentierte Verbindung zu einem Einkaufs- oder Suchassistenten läuft stattdessen über Amzn-SearchBot: Amazons Dokumentation gibt an, dass von Amzn-SearchBot gecrawlte Inhalte infrage kommen, um in Sucherlebnissen wie Alexa zu erscheinen. Behandeln Sie Amazonbot und Amzn-SearchBot als zwei separate Crawler mit zwei separaten robots.txt-Regeln, da das Blockieren des einen den anderen nicht blockiert. Applebot-Extended dokumentiert die entsprechende Aufteilung auf Apples Seite, wo der Crawler, der die Suche antreibt, und das Token, das die KI-Trainingsnutzung regelt, ebenfalls zwei separate Kontrollen sind.

Wie überprüfen Sie einen Crawler, der behauptet, Amazonbot zu sein?

Gleichen Sie die Quell-IP-Adresse der Anfrage mit Amazons veröffentlichter Amazonbot-IP-Adressliste unter developer.amazon.com/amazonbot/ip-addresses ab, bevor Sie sich allein auf eine User-Agent-Zeichenfolge verlassen, da ein User-Agent-Header eine Behauptung ist, die eine Anfrage über sich selbst macht, kein Herkunftsnachweis. Ein Besucher, der die Amazonbot-User-Agent-Zeichenfolge von einer IP-Adresse außerhalb von Amazons veröffentlichtem Bereich sendet, ist nicht Amazonbot, unabhängig davon, was der Header sagt. Kombinieren Sie diese Prüfung mit demselben Markenmonitoring, das Sie für jedes KI-System einsetzen würden: KI-Suche-Markenmonitoring verfolgt, wie eine Marke dargestellt wird, sobald die Daten eines Crawlers ein KI-Ergebnis erreichen, was das Ergebnis ist, auf das es ankommt, sobald der Crawl selbst abgeschlossen ist.

Häufig gestellte Fragen

Blockiert das Blockieren von Amazonbot auch Amazons Shopping-Suchergebnisse?

Amazons Dokumentation ordnet Shopping- und Sucherlebnisse wie Alexa Amzn-SearchBot zu, einem von Amazonbot separaten Crawler, sodass das namentliche Blockieren von Amazonbot eine Regel, die Sie für Amzn-SearchBot festgelegt haben, nicht berührt. Schreiben Sie für jeden Crawler, den Sie kontrollieren wollen, einen eigenen User-Agent-Block.

Wie lange dauert es, bis eine Amazonbot-robots.txt-Änderung wirksam wird?

Amazons Dokumentation gibt an, dass Amazonbot die robots.txt-Datei auf Hostebene prüft und sie bis zu 30 Tage lang zwischenspeichert, und dass Änderungen etwa 24 Stunden brauchen, um wirksam zu werden. Rechnen Sie damit, dass eine Änderung innerhalb eines Tages greift, auch wenn der Cache in manchen Fällen eine ältere Version länger vorhalten kann.

Beachtet Amazonbot noindex und nofollow?

Ja. Amazons Dokumentation gibt an, dass Amazonbot noindex-, noarchive- und none-Meta-Tags sowie rel=nofollow-Links auf Seiten beachtet, die er crawlt, zusätzlich zu den üblichen robots.txt-Disallow-Regeln.

Ist Amazonbot derselbe Crawler, der Rufus antreibt?

Amazons eigene Amazonbot-Dokumentation nennt Rufus nicht, sodass es keine bestätigte, veröffentlichte Verbindung zwischen den beiden gibt. Behandeln Sie jede Behauptung, die Amazonbot direkt mit Rufus verknüpft, als unbestätigt, bis Amazon sie dokumentiert.

Kann ich Amazonbot nur für einen Teil meiner Website erlauben?

Ja. Eine robots.txt-Disallow-Regel innerhalb des Amazonbot-User-Agent-Blocks akzeptiert bestimmte Pfade, sodass Sie ein Verzeichnis wie /private/ blockieren können, während der Rest der Website für denselben Crawler offen bleibt.

Wo veröffentlicht Amazon die aktuellen IP-Adressen von Amazonbot?

Unter developer.amazon.com/amazonbot/ip-addresses, was Amazons Dokumentation als Quelle nennt, um zu überprüfen, dass eine Anfrage, die vorgibt, Amazonbot zu sein, tatsächlich aus Amazons veröffentlichten Bereichen stammt.

Was ist das Amazon Content Partners-Programm?

Amazons Dokumentation besagt, dass Website-Betreiber, die Amazonbot zulassen, sich für das Amazon Content Partners-Programm qualifizieren können. Amazon beschreibt das Programm als eine höhere Affiliate-Provision bei berechtigten Verkäufen, Hosting-Guthaben und Tools zum KI-Traffic-Management. Programmbedingungen ändern sich unabhängig von der Dokumentation des Crawlers, prüfen Sie also die aktuelle Berechtigung auf Amazons eigener Seite, bevor Sie davon ausgehen, dass Sie qualifiziert sind.

Was passiert, wenn ich keine robots.txt-Regel für Amazonbot festlege?

Keine Regel bedeutet kein Disallow, was gleichbedeutend damit ist, Amazonbot das Crawlen Ihrer Website zu erlauben. Amazons Dokumentation verknüpft diesen Zustand mit der Berechtigung für das Amazon Content Partners-Programm. Der Bot sammelt dann Seiteninhalte gemäß seinem erklärten Zweck, die Genauigkeit von Amazons Produkten zu verbessern und möglicherweise Amazon-KI-Modelle zu trainieren.

Wie unterscheidet sich Amazonbot von einem gewöhnlichen Such-Crawler?

Amazon erklärt ausdrücklich, dass der Zweck von Amazonbot, die Genauigkeit von Amazons Produkten zu verbessern und Amazon-KI-Modelle zu trainieren, sich von der Indexierung einer Seite für ein Suchergebnis unterscheidet. Amazon betreibt für Sucherlebnisse wie Alexa einen separaten Crawler, Amzn-SearchBot. Das Blockieren oder Zulassen eines Crawlers namentlich hat keine Auswirkung auf den anderen.

Welchen Amazon-Crawler sollte ich blockieren, um mein KI-Training auszuschließen?

Blockieren Sie Amazonbot namentlich, da Amazons Dokumentation das Training von KI-Modellen speziell mit Amazonbot verknüpft und nicht mit Amzn-SearchBot. Ein eigener User-agent: Amazonbot-Block mit Disallow: / in robots.txt stoppt das Crawling. Lassen Sie die Regel für Amzn-SearchBot separat bestehen, wenn Ihre Inhalte weiterhin in Sucherlebnissen wie Alexa erscheinen sollen.