glossary

meta-externalagent, de AI-trainingscrawler van Meta, en hoe je hem blokkeert

Taras Shynkarenko
Taras Shynkarenko
•Bijgewerkt: •7 min leestijd
meta-externalagent, de AI-trainingscrawler van Meta, en hoe je hem blokkeertmeta-externalagent, de AI-trainingscrawler van Meta, en hoe je hem blokkeert

TL;DR

7 min leestijd

Meta-ExternalAgent is de crawler die Meta gebruikt om webpagina's te verzamelen voor het trainen van foundation-AI-modellen en om content rechtstreeks te indexeren, en hij maakt zich in serverlogs bekend met het token meta-externalagent, volgens de eigen documentatie van Meta over webcrawlers. Een User-agent-groep van twee regels in robots.txt blokkeert hem op een hele site, en Meta cachet robots.txt tot 24 uur voordat de wijziging ingaat. Meta publiceert geen IP-lijst en geen verificatiemethode voor deze crawler, dus robots.txt houdt de crawlers tegen die ervoor kiezen het te respecteren, en verder niets.

Wat is meta-externalagent?

Meta zet meta-externalagent in als de crawler die openbare webpagina's verzamelt voor het trainen van foundation-AI-modellen, volgens de documentatie Meta Web Crawlers van Meta, bijgewerkt op 21 mei 2026 en gecontroleerd op 9 september 2026. Letterlijk schrijft Meta dat de crawler "crawls the web for use cases such as training foundation AI models or improving products by indexing content directly." Eén robots.txt-groep regelt hem voor een hele site, en Meta zegt dat wijzigingen in robots.txt tot 24 uur nodig hebben om in te gaan, omdat zijn crawlers het bestand zo lang cachen.

Wat is de exacte user-agentstring van meta-externalagent?

Meta documenteert twee vormen van de string, en beide beginnen met hetzelfde token in kleine letters:

meta-externalagent/1.1 (+/documentation/sharing/webmasters/web-crawlers)
meta-externalagent/1.1

Meta introduceert beide met de zin "The specific UA string that you will see in your log files will be similar to one of the following", dus het versieachtervoegsel en het pad tussen haakjes zijn geen vast contract. Laat je logfilters en firewallregels matchen op de substring meta-externalagent, zonder onderscheid tussen hoofd- en kleine letters, en ze blijven werken als Meta 1.1 ophoogt naar 1.2.

Hoe verschilt meta-externalagent van de andere crawlers van Meta?

Meta draait vijf gedocumenteerde crawlers, en elk heeft een eigen robots.txt-token, dus als je er één blokkeert, blijven de andere vier onaangeroerd. Twee ervan zeggen je ronduit dat ze je bestand kunnen negeren.

Crawlerrobots.txt-tokenWat het volgens Meta doetRespecteert robots.txt
Meta-ExternalAgentmeta-externalagentTraint foundation-AI-modellen, indexeert content rechtstreeksJa
Meta-WebIndexermeta-webindexerVerbetert de kwaliteit van zoekresultaten in Meta AI, en toestaan "helps us cite and link to your content in Meta AI's responses"Ja
Meta-ExternalAdsmeta-externaladsVerbetert advertenties en andere zakelijke productenJa
Meta-ExternalFetchermeta-externalfetcherHaalt losse links op op verzoek van een gebruiker, ondersteunt agentische AIMeta zegt dat hij "may bypass robots.txt rules"
FacebookExternalHitfacebookexternalhitCrawlt gedeelde links om de titel, beschrijving en thumbnail van de preview op te bouwenMeta zegt dat hij "might bypass robots.txt when performing security or integrity checks"

Het paar dat je moet begrijpen is meta-externalagent tegenover meta-externalfetcher. De eerste is een bulkcrawler die volgens het schema van Meta over het web loopt om trainingsdata op te bouwen. De tweede komt in actie als iemand Meta AI vraagt naar een specifieke link te kijken, en valt daarmee in dezelfde categorie als OpenAI's door gebruikers getriggerde fetcher, ChatGPT-User, en Meta zegt dat die je regels kan omzeilen. FacebookExternalHit staat los van beide: blokkeer hem en links naar je site verliezen hun previewkaart op Facebook, Instagram en Messenger.

Een serverrack in een datacenter, als beeld voor de site-infrastructuur waar een robots.txt-bestand in de root van het domein staat.

Hoe blokkeer je meta-externalagent in robots.txt?

Voeg een User-agent-groep toe die het token noemt en verbied de hele site. Zet dit in de root van je domein, in het bestand dat op /robots.txt wordt geserveerd:

User-agent: meta-externalagent
Disallow: /

De eigen documentatie van Meta laat dezelfde groep andersom zien: alles toestaan en één map uitzonderen:

User-agent: meta-externalagent
Allow: /                    # Allow everything
Disallow: /private/         # Disallow a specific directory

Als je doel is je pagina's bij alle aanbieders buiten AI-training te houden, is deze groep één regel in een langer bestand dat ook Apple's opt-outtoken voor training, Applebot-Extended, en CCBot van Common Crawl noemt. Padmatching, wildcards en de voorrang tussen groepen staan in de volledige gids over de syntaxis van robots.txt, dus houd de crawlergroepen hier en de werking van de regels daar.

Houdt het blokkeren van meta-externalagent Meta echt tegen?

Blokkeren werkt alleen omdat de crawler ervoor kiest je bestand te lezen en te respecteren. Robots.txt is een afspraak, geen toegangscontrole: je server geeft nog steeds 200 terug aan iedereen die erom vraagt, en de standaard kent geen handhaving, geen authenticatie en geen sanctie. Meta laat die grens in zijn eigen documentatie zien door twee crawlers te noemen, meta-externalfetcher en facebookexternalhit, die pagina's kunnen ophalen die je bestand verbiedt.

Handhaving zit op de server. Een weigerregel op de user-agentstring, een IP-blokkade, een WAF-regel of een betaalde toegangspoort zoals pay per crawl van Cloudflare geeft 403 terug in plaats van content, en dat besluit is aan jou, niet aan de crawler.

Een vergrootglas boven een laptopscherm, als beeld voor de moeite om na te gaan wie er echt achter een crawlerverzoek zit.

Van verzoek naar handhaving
1
Blokkade in robots.txt. Werkt alleen als de crawler ervoor kiest het bestand te lezen en te respecteren.
2
Weigerregel op de user-agentstring. De server weigert elk verzoek dat meta-externalagent noemt.
3
IP-blokkade. De server weigert verzoeken uit ranges die je zelf hebt vastgesteld.
4
WAF-regel. Een webapplicatiefirewall filtert op het patroon van verzoeken in plaats van op wat de crawler over zichzelf zegt.
5
Betaalde toegangspoort. Een systeem zoals pay per crawl van Cloudflare geeft 403 terug tot de betaling rond is.
Robots.txt werkt alleen als de crawler ermee instemt; alles daaronder is de server die zelf beslist.

Kun je verifiëren dat een verzoek van meta-externalagent echt van Meta komt?

De crawlerdocumentatie van Meta biedt geen manier om dat te verifiëren. De pagina publiceert geen IP-ranges, geen autonomous system number en geen forward-confirmed reverse DNS-regel voor meta-externalagent, waardoor de user-agentstring de enige identificatie is, en elke client op internet kan die header met één curl-vlag meesturen. Het enige contact dat Meta op die pagina geeft, is webmasters@meta.com.

Zie de string als een label, niet als bewijs. Als je een blokkade afdwingt in plaats van erom te vragen, schrijf de regel dan tegen gedrag dat je kunt waarnemen, zoals tempo en padpatroon vanaf één IP, en bewaar matching op user agent voor de crawlers die zich eerlijk bekendmaken.

Maken hoofdletters uit als je meta-externalagent blokkeert?

Hoofdletters in de crawlernaam maken niet uit. RFC 9309 verplicht crawlers het producttoken in een User-agent-regel hoofdletterongevoelig te matchen, dus meta-externalagent, Meta-ExternalAgent en META-EXTERNALAGENT selecteren allemaal dezelfde groep. Spelling maakt wel uit: een ontbrekend koppelteken of een verdwaald teken levert een token op dat geen enkele crawler matcht, en de blokkade faalt zonder dat een foutmelding het je vertelt. Bij paden is het omgekeerd. Volgens RFC 9309 horen paden in Disallow en Allow hoofdlettergevoelig gematcht te worden, dus /Private/ en /private/ zijn twee verschillende regels.

RedReplier
RedReplier

Aan de slag

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Moet je meta-externalagent blokkeren als je zichtbaar wilt zijn in AI?

Meta-externalagent blokkeren haalt je pagina's uit de AI-trainingsverzameling van Meta, maar haalt je niet uit de antwoorden van Meta AI, omdat Meta citeren en linken aan een andere crawler toewijst. Meta schrijft dat Meta-WebIndexer toestaan "helps us cite and link to your content in Meta AI's responses", dus een site die geciteerd wil worden zonder trainingsdata bij te dragen, verbiedt meta-externalagent en staat meta-webindexer toe.

Die splitsing is een keuze, en je controleert haar door te meten, niet door aan te nemen. Socialemediamonitoring van RedReplier volgt de openbare threads die je merk noemen, zodat je kunt zien wat een wijziging in robots.txt doet met de gesprekken waaruit assistenten putten, in plaats van te gokken.

Veelgestelde vragen

Is meta-externalagent hetzelfde als facebookexternalhit?

Nee. Meta documenteert ze als aparte crawlers met aparte robots.txt-tokens en aparte taken. Meta-ExternalAgent crawlt het web om foundation-AI-modellen te trainen en content te indexeren, terwijl FacebookExternalHit een link ophaalt die iemand op Facebook, Instagram of Messenger deelde, om de titel, beschrijving en thumbnail op te bouwen. De ene verbieden heeft geen effect op de andere.

Breekt het blokkeren van meta-externalagent de linkpreviews op Facebook?

Nee. Linkpreviews worden gemaakt door FacebookExternalHit, die het token facebookexternalhit in robots.txt leest. Een groep die alleen meta-externalagent verbiedt, laat het crawlen voor previews ongemoeid. Wil je de previews houden, zet facebookexternalhit dan niet op je verbodslijst.

Hoe lang duurt het voordat een wijziging in robots.txt de crawlers van Meta bereikt?

De documentatie van Meta vraagt je tot 24 uur te rekenen, omdat de crawlers de inhoud van robots.txt zo lang cachen. Een blokkade die je vanochtend toevoegt, kan vanmiddag nog crawlerbezoeken zien zonder dat er iets kapot is. Gaan de verzoeken na 24 uur door, controleer dan of het bestand in de root van het domein staat en 200 teruggeeft.

Kan ik meta-externalagent ook blokkeren met een meta-robotstag?

Meta zegt dat het de voorkeur geeft aan standaardpraktijken in de sector zoals robots.txt boven niet-standaard formaten zoals NoAI-tags, en de enige crawlercontrole die de documentatie beschrijft is robots.txt. Een metatag op paginaniveau vereist bovendien dat de crawler de pagina eerst ophaalt en verwerkt, en dat schiet het doel voorbij als je het ophalen juist wilt voorkomen. Gebruik de robots.txt-groep.

Wat is het verschil tussen meta-externalagent en meta-externalfetcher?

Meta-ExternalAgent crawlt breed volgens het eigen schema van Meta om trainings- en indexeringsdata op te bouwen. Meta-ExternalFetcher haalt losse links op op verzoek van een gebruiker om agentische AI-functies te ondersteunen, en Meta zegt dat deze crawler daarom robots.txt-regels kan omzeilen. Een verbod in robots.txt is dus een betrouwbare instructie voor de eerste en een onbetrouwbare voor de tweede.

Waar publiceert Meta de officiële documentatie over meta-externalagent?

Meta publiceert die op developers.facebook.com onder Sharing, Webmasters, Meta Web Crawlers, op https://developers.facebook.com/documentation/sharing/webmasters/web-crawlers. Die pagina somt elke gedocumenteerde Meta-crawler op, met de user-agentstrings, het robots.txt-voorbeeld en het contactadres webmasters@meta.com. Kijk daar voordat je firewallregels schrijft, want Meta past de lijst met crawlers en de versieachtervoegsels aan.

Hoe actueel is de documentatie van Meta over meta-externalagent?

Meta werkte zijn pagina Meta Web Crawlers bij op 21 mei 2026, en de feiten in dit artikel zijn op 9 september 2026 tegen die pagina gecontroleerd. Crawlernamen en versieachtervoegsels veranderen in de loop van de tijd, dus een regel die op een oude kopie van de pagina is gebouwd, kan een nieuw token missen. Controleer de live pagina op developers.facebook.com voordat je een firewallregel schrijft.

Wie neem je in de arm als meta-externalagent zich op je site misdraagt?

Meta noemt één contactadres in zijn crawlerdocumentatie, webmasters@meta.com. Dezelfde pagina publiceert geen IP-lijst, geen ASN en geen verificatiemethode, dus een melding aan dat adres is naast de robots.txt-blokkade zelf je enige kanaal. Gebruik het voor gedrag dat je eigen serverregels niet kunnen beheersen.

Is meta-externalfetcher dezelfde soort crawler als ChatGPT-User?

Meta-ExternalFetcher komt in actie als iemand Meta AI vraagt naar één specifieke link te kijken, hetzelfde werk dat OpenAI's ChatGPT-User voor ChatGPT doet. Beide handelen op één verzoek van een gebruiker in plaats van breed volgens een schema te crawlen, en dat onderscheidt ze van bulkcrawlers zoals meta-externalagent. Meta zegt dat meta-externalfetcher robots.txt kan omzeilen, dus meta-externalagent blokkeren heeft er geen effect op.

Kan ik meta-externalagent op een deel van mijn site toestaan in plaats van hem overal te blokkeren?

De eigen documentatie van Meta toont een groep die de hele site toestaat en één map uitsluit, met Allow: / gevolgd door Disallow: /private/. Je kunt hetzelfde patroon richten op elke map die je buiten training wilt houden, terwijl de rest open blijft. Het is dezelfde robots.txt-groep, alleen met andere Allow- en Disallow-regels in plaats van een algemene Disallow: /.

Zie ons vaker in Google

Met één klik markeer je RedReplier als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.

Voordat je gaat...

RedReplier

RedReplier

Vang elke koper die vraagt om wat jij verkoopt

RedReplier houdt Reddit, X, Bluesky en Hacker News in realtime in de gaten, rangschikt elke thread op koopintentie en schrijft een concept voor je antwoord, zodat jij er als eerste bij bent.

Reddit, X, Bluesky en HN

Realtime meldingen op intentie

Onbeperkt AI-antwoorden

Gerangschikt op koopintentie

Gerelateerde artikelen