glossary

Wat Amazonbot verzamelt voordat het de AI-modellen van Amazon voedt

Taras Shynkarenko
Taras Shynkarenko
•Bijgewerkt: •6 min leestijd
Wat Amazonbot verzamelt voordat het de AI-modellen van Amazon voedtWat Amazonbot verzamelt voordat het de AI-modellen van Amazon voedt

TL;DR

6 min leestijd

Amazonbot is de webcrawler van Amazon, en de eigen developerdocumentatie van Amazon zegt dat hij content van sites verzamelt om de nauwkeurigheid van de producten van Amazon te verbeteren, en dat wat hij verzamelt gebruikt kan worden om AI-modellen van Amazon te trainen. Een site-eigenaar beheert hem met een gewoon user-agent-blok in robots.txt, en Amazon publiceert de exacte user-agent-string en de actuele IP-bereiken, zodat je een echt bezoek kunt verifiëren. De documentatie van Amazon koppelt Amazonbot niet aan Rufus, en koppelt zoekervaringen van Alexa aan een aparte crawler, Amzn-SearchBot.

Wat is Amazonbot?

Amazon gebruikt Amazonbot als webcrawler die content van sites verzamelt om de nauwkeurigheid van de producten en diensten van Amazon te verbeteren, en kan wat hij verzamelt gebruiken om AI-modellen van Amazon te trainen. Dat staat in de eigen documentatie van Amazon over Amazonbot op developer.amazon.com, gecontroleerd op 8 september 2026. De bot crawlt pagina's zoals elke zoek- of AI-crawler dat doet, door URL's op te vragen en het antwoord te lezen, en Amazon zegt duidelijk dat dit een ander doel is dan een pagina indexeren voor een zoekresultaat.

Wat is de user-agent-string van Amazonbot?

Amazonbot identificeert zich met de string "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1) Chrome/W.X.Y.Z Safari/537.36", volgens de gepubliceerde documentatie van Amazon. Het token compatible; Amazonbot/0.1 in die string is het deel waarop een controle aan de serverkant moet matchen, want de Mozilla- en Chrome-delen eromheen bestaan voor compatibiliteit met oudere user-agent-parsing en komen in veel andere crawlers voor. Amazon publiceert ook de actuele lijst met IP-adressen van waaruit de bot crawlt op developer.amazon.com/amazonbot/ip-addresses, zodat een site kan bevestigen dat een verzoek dat zich als Amazonbot voordoet echt van Amazon kwam, in plaats van alleen op de user-agent-string te vertrouwen.

Wat verzamelt Amazonbot, en waarom?

Amazonbot verzamelt de content van de pagina's die hij crawlt om de nauwkeurigheid van de producten en diensten van Amazon te verbeteren, en de documentatie van Amazon zegt dat de verzamelde data ook AI-modellen van Amazon kan trainen. Amazon trekt een grens tussen Amazonbot en een tweede, aparte crawler genaamd Amzn-SearchBot: de documentatie van Amazon koppelt Amzn-SearchBot aan zoekervaringen, terwijl Amazonbot de crawler is die Amazon noemt in verband met het trainen van AI-modellen. Of het crawlen van een pagina überhaupt mag onder auteursrecht en de voorwaarden van een site, is een aparte vraag die behandeld wordt in is web scraping legaal, en die geldt voor elke bot die content haalt van een site die niet van hem is.

CrawlerGenoemd doelTraint AI-modellen van AmazonVoedt zoekervaringen zoals Alexa
AmazonbotNauwkeurigheid van producten en diensten van Amazon verbeterenJa, volgens de documentatie van AmazonNiet gedocumenteerd
Amzn-SearchBotCrawlen voor zoekindexeringNiet gedocumenteerdJa, volgens de documentatie van Amazon

Bekabeling in een serverruimte, als beeld van de robots.txt-regel die Amazonbot op hostniveau blokkeert.

Hoe blokkeer je Amazonbot in robots.txt?

Voeg een apart user-agent-blok toe dat Amazonbot bij naam noemt, en sluit de paden uit die je wilt uitsluiten.

User-agent: Amazonbot
Disallow: /

De documentatie van Amazon zegt dat Amazonbot het Robots Exclusion Protocol respecteert, het robots.txt-bestand op hostniveau controleert en tot 30 dagen in de cache bewaart. Een gewijzigde regel heeft dus ongeveer 24 uur nodig om effect te hebben, en het kan langer duren voordat de cache helemaal leeg is. Amazonbot respecteert ook een metatag noindex, noarchive of none en links met rel=nofollow op pagina's die hij wel crawlt, zodat een site-eigenaar naast het robots.txt-blok ook per pagina controle heeft. Lees alle syntaxopties in de gids over robots.txt voordat je een regel voor een bot bij naam schrijft.

Hoe sta je Amazonbot toe, en helpt het je site?

Amazonbot toestaan betekent geen disallow-regel voor zijn user agent toevoegen, of een expliciete allow-regel als je robots.txt crawlers standaard blokkeert. De documentatie van Amazon zegt dat site-eigenaren die Amazonbot toestaan in aanmerking kunnen komen voor het Amazon Content Partners-programma, dat volgens Amazon een hogere affiliatecommissie op geschikte verkopen, hostingtegoed en tools voor het beheer van AI-verkeer biedt. Controleer de actuele programmavoorwaarden op de eigen site van Amazon voordat je aanneemt dat je in aanmerking komt, want die voorwaarden veranderen los van de documentatie van de crawler.

Iemand gebruikt thuis een slimme speaker, passend bij het onderscheid tussen Amazonbot en de zoekcrawler achter Alexa.

Wat is de relatie tussen Amazonbot en Alexa en Rufus?

De documentatie van Amazon over Amazonbot noemt Rufus, de winkelassistent van Amazon, niet, dus in het eigen materiaal van Amazon bestaat er geen bevestigde koppeling tussen de twee. De gedocumenteerde koppeling met een winkel- of zoekassistent loopt via Amzn-SearchBot: de documentatie van Amazon zegt dat content die Amzn-SearchBot crawlt in aanmerking komt om te verschijnen in zoekervaringen zoals Alexa. Behandel Amazonbot en Amzn-SearchBot als twee aparte crawlers met twee aparte robots.txt-regels, want de ene blokkeren blokkeert de andere niet. Applebot-Extended documenteert dezelfde splitsing aan de kant van Apple, waar de crawler achter zoeken en het token dat het gebruik voor AI-training regelt ook twee aparte instellingen zijn.

Twee crawlers van Amazon, twee doelen
Amazonbot crawlt voor productnauwkeurigheid en AI-training
Amzn-SearchBot crawlt apart voor zoekervaringen zoals Alexa
Elk wordt beheerd met een eigen regel bij naam in robots.txt
Verdeling van doelen volgens de eigen documentatie van Amazon over Amazonbot, gecontroleerd op 8 september 2026.

Hoe verifieer je een crawler die zegt Amazonbot te zijn?

Vergelijk het bron-IP-adres van het verzoek met de gepubliceerde lijst van IP-adressen van Amazonbot op developer.amazon.com/amazonbot/ip-addresses voordat je alleen op een user-agent-string vertrouwt, want een user-agent-header is een bewering die een verzoek over zichzelf doet, geen bewijs van herkomst. Een bezoeker die de user-agent-string van Amazonbot stuurt vanaf een IP-adres buiten het gepubliceerde bereik van Amazon, is niet Amazonbot, wat de header ook zegt. Combineer die controle met dezelfde merkmonitoring die je voor elk AI-systeem zou draaien: social media monitoring volgt de openbare threads die een assistent leest voordat hij antwoordt, het materiaal dat je nog kunt beïnvloeden als het crawlen zelf al klaar is.

Een verzoek verifiëren dat zegt van Amazonbot te komen
1
Controleer de user-agent-string. Zoek naar het token "compatible; Amazonbot/0.1" in de gemelde user agent.
2
Vergelijk het bron-IP-adres. Vergelijk het IP-adres van het verzoek met de gepubliceerde IP-lijst van Amazonbot op developer.amazon.com/amazonbot/ip-addresses.
3
Bevestig of wijs af. Een IP buiten het gepubliceerde bereik van Amazon betekent dat de bezoeker niet Amazonbot is, wat de user-agent-header ook zegt.
Gebaseerd op de gepubliceerde documentatie van Amazon over Amazonbot, gecontroleerd op 8 september 2026.

Veelgestelde vragen

Blokkeert het blokkeren van Amazonbot ook de winkelzoekresultaten van Amazon?

De documentatie van Amazon koppelt winkel- en zoekervaringen zoals Alexa aan Amzn-SearchBot, een andere crawler dan Amazonbot. Amazonbot bij naam blokkeren raakt dus geen regel die je voor Amzn-SearchBot hebt ingesteld. Schrijf een apart user-agent-blok voor elke crawler die je wilt beheren.

Hoe lang duurt het voordat een wijziging in robots.txt voor Amazonbot werkt?

De documentatie van Amazon zegt dat Amazonbot het robots.txt-bestand op hostniveau controleert en tot 30 dagen in de cache bewaart, en dat wijzigingen ongeveer 24 uur nodig hebben. Reken erop dat een wijziging binnen een dag werkt, al kan de cache in sommige gevallen langer een oudere versie bewaren.

Respecteert Amazonbot noindex en nofollow?

Ja. De documentatie van Amazon zegt dat Amazonbot de metatags noindex, noarchive en none en links met rel=nofollow respecteert op pagina's die hij crawlt, naast de gewone disallow-regels in robots.txt.

Is Amazonbot dezelfde crawler die Rufus aandrijft?

De eigen documentatie van Amazon over Amazonbot noemt Rufus niet, dus er is geen bevestigde, gepubliceerde koppeling tussen de twee. Behandel elke bewering die Amazonbot direct aan Rufus koppelt als onbevestigd tot Amazon het documenteert.

Kan ik Amazonbot op een deel van mijn site toestaan?

Ja. Een Disallow-regel in robots.txt onder het user-agent-blok van Amazonbot accepteert specifieke paden, dus je kunt een map als /private/ blokkeren en de rest van de site open laten voor dezelfde crawler.

RedReplier
RedReplier

Aan de slag

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Waar publiceert Amazon de actuele IP-adressen van Amazonbot?

Op developer.amazon.com/amazonbot/ip-addresses, die de documentatie van Amazon noemt als bron om te verifiëren dat een verzoek dat zegt van Amazonbot te komen echt uit de gepubliceerde bereiken van Amazon kwam.

Wat is het Amazon Content Partners-programma?

De documentatie van Amazon zegt dat site-eigenaren die Amazonbot toestaan in aanmerking kunnen komen voor het Amazon Content Partners-programma. Amazon beschrijft het programma als een hogere affiliatecommissie op geschikte verkopen, hostingtegoed en tools voor het beheer van AI-verkeer. De programmavoorwaarden veranderen los van de documentatie van de crawler, dus controleer de actuele voorwaarden op de eigen site van Amazon voordat je aanneemt dat je in aanmerking komt.

Wat gebeurt er als ik geen enkele robots.txt-regel voor Amazonbot toevoeg?

Geen regel betekent geen disallow, en dat komt neer op Amazonbot toestaan je site te crawlen. De documentatie van Amazon koppelt die situatie aan het in aanmerking komen voor het Amazon Content Partners-programma. De bot verzamelt dan pagina-content voor zijn genoemde doel: de nauwkeurigheid van de producten van Amazon verbeteren en mogelijk AI-modellen van Amazon trainen.

Hoe verschilt Amazonbot van een gewone zoekcrawler?

Amazon zegt duidelijk dat het doel van Amazonbot, de nauwkeurigheid van de producten van Amazon verbeteren en AI-modellen van Amazon trainen, anders is dan een pagina indexeren voor een zoekresultaat. Amazon heeft een aparte crawler, Amzn-SearchBot, voor zoekervaringen zoals Alexa. De ene crawler bij naam blokkeren of toestaan heeft geen effect op de andere.

Welke crawler van Amazon moet ik blokkeren om mijn content uit de AI-training van Amazon te houden?

Blokkeer Amazonbot bij naam, want de documentatie van Amazon koppelt het trainen van AI-modellen specifiek aan Amazonbot en niet aan Amzn-SearchBot. Een apart blok User-agent: Amazonbot met Disallow: / in robots.txt stopt het crawlen. Houd de regel voor Amzn-SearchBot apart als je content nog wel in zoekervaringen zoals Alexa wilt.

Zie ons vaker in Google

Met één klik markeer je RedReplier als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.

Voordat je gaat...

RedReplier

RedReplier

Vang elke koper die vraagt om wat jij verkoopt

RedReplier houdt Reddit, X, Bluesky en Hacker News in realtime in de gaten, rangschikt elke thread op koopintentie en schrijft een concept voor je antwoord, zodat jij er als eerste bij bent.

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Gerelateerde artikelen