TL;DR
7 min czytaniaMeta-ExternalAgent to crawler, którym Meta zbiera strony internetowe do trenowania podstawowych modeli AI i bezpośredniego indeksowania treści, a w logach serwera przedstawia się tokenem meta-externalagent, jak podaje dokumentacja crawlerów Mety. Dwuwierszowa grupa User-agent w robots.txt blokuje go na całej witrynie, a Meta przechowuje robots.txt w pamięci podręcznej do 24 godzin, zanim zmiana zacznie działać. Meta nie publikuje listy adresów IP ani metody weryfikacji tego crawlera, więc robots.txt zatrzymuje tylko te crawlery, które zdecydują się go przestrzegać.
Czym jest meta-externalagent?
meta-externalagent to crawler, którym Meta zbiera publiczne strony internetowe do trenowania podstawowych modeli AI, zgodnie z dokumentacją Meta Web Crawlers, zaktualizowaną 21 maja 2026 roku i sprawdzoną 9 września 2026 roku. Meta pisze dosłownie, że crawler „przeszukuje internet na potrzeby takich zastosowań jak trenowanie podstawowych modeli AI lub ulepszanie produktów przez bezpośrednie indeksowanie treści”. Jedna grupa w robots.txt steruje nim na całej witrynie, a Meta podaje, że zmiany w robots.txt zaczynają działać w ciągu 24 godzin, bo przez tyle czasu jej crawlery przechowują plik w pamięci podręcznej.
Jaki jest dokładny ciąg user agent meta-externalagent?
Meta dokumentuje dwie postacie tego ciągu i obie zaczynają się od tego samego tokena pisanego małymi literami:
meta-externalagent/1.1 (+/documentation/sharing/webmasters/web-crawlers)
meta-externalagent/1.1Meta poprzedza je zdaniem „Konkretny ciąg UA widoczny w plikach logów będzie podobny do jednego z poniższych”, więc numer wersji i ścieżka w nawiasie nie są stałym kontraktem. Filtry logów i reguły zapory dopasowuj do fragmentu meta-externalagent, bez rozróżniania wielkości liter, a będą działać także wtedy, gdy Meta zmieni 1.1 na 1.2.
Czym meta-externalagent różni się od innych crawlerów Mety?
Meta ma pięć udokumentowanych crawlerów, a każdy ma osobny token w robots.txt, więc zablokowanie jednego nie wpływa na pozostałe cztery. Dwa z nich otwarcie zapowiadają, że mogą zignorować twój plik.
| Crawler | Token w robots.txt | Co robi według Mety | Czy przestrzega robots.txt |
|---|---|---|---|
| Meta-ExternalAgent | meta-externalagent | Trenuje podstawowe modele AI, bezpośrednio indeksuje treści | Tak |
| Meta-WebIndexer | meta-webindexer | Poprawia jakość wyników wyszukiwania Meta AI, a dopuszczenie go „pomaga nam cytować twoje treści i linkować do nich w odpowiedziach Meta AI” | Tak |
| Meta-ExternalAds | meta-externalads | Ulepsza produkty reklamowe i inne produkty biznesowe | Tak |
| Meta-ExternalFetcher | meta-externalfetcher | Pobiera pojedyncze linki na prośbę użytkownika, wspiera agentową AI | Meta podaje, że „może pomijać reguły robots.txt” |
| FacebookExternalHit | facebookexternalhit | Odwiedza udostępniane linki, aby zbudować podgląd z tytułem, opisem i miniaturą | Meta podaje, że „może pomijać robots.txt podczas kontroli bezpieczeństwa lub integralności” |
Najważniejsze jest zestawienie meta-externalagent z meta-externalfetcher. Pierwszy to crawler masowy, który przemierza internet według harmonogramu Mety, by budować dane treningowe. Drugi uruchamia się, gdy ktoś prosi Meta AI o sprawdzenie konkretnego linku, co stawia go w tej samej kategorii co ChatGPT-User, narzędzie OpenAI pobierające strony na żądanie użytkownika, a Meta przyznaje, że może on omijać twoje reguły. FacebookExternalHit stoi obok nich: po jego zablokowaniu linki do twojej witryny tracą kartę podglądu na Facebooku, Instagramie i w Messengerze.

Jak zablokować meta-externalagent w robots.txt?
Dodaj grupę User-agent z tym tokenem i zablokuj całą witrynę. Umieść ją w katalogu głównym domeny, w pliku dostępnym pod /robots.txt:
User-agent: meta-externalagent
Disallow: /Dokumentacja Mety pokazuje tę samą grupę użytą odwrotnie: zezwala na wszystko i wyłącza jeden katalog:
User-agent: meta-externalagent
Allow: / # Allow everything
Disallow: /private/ # Disallow a specific directoryJeśli chcesz trzymać swoje strony z dala od trenowania AI u różnych dostawców, ta grupa jest jednym wpisem w dłuższym pliku, który wymienia też token rezygnacji Apple z trenowania, Applebot-Extended, oraz CCBot od Common Crawl. Dopasowywanie ścieżek, symbole wieloznaczne i pierwszeństwo grup omawia pełny przewodnik po składni robots.txt, więc tutaj trzymamy się grup crawlerów, a mechanikę reguł zostawiamy tamtemu tekstowi.
Czy zablokowanie meta-externalagent naprawdę zatrzymuje Metę?
Blokada działa tylko dlatego, że crawler sam decyduje się przeczytać plik i go przestrzegać. Robots.txt to konwencja, a nie kontrola dostępu: serwer nadal zwraca 200 każdemu, kto zapyta, a standard nie przewiduje egzekwowania, uwierzytelniania ani kar. Meta pokazuje to ograniczenie we własnej dokumentacji, wymieniając dwa crawlery, meta-externalfetcher i facebookexternalhit, które mogą pobierać strony zablokowane w twoim pliku.
Egzekwowanie odbywa się na serwerze. Reguła odrzucająca dany user agent, blokada IP, reguła WAF lub płatna bramka dostępu, taka jak pay per crawl od Cloudflare, zwraca 403 zamiast treści, a ta decyzja należy do ciebie, nie do crawlera.

Czy da się sprawdzić, że żądanie meta-externalagent naprawdę pochodzi od Mety?
Dokumentacja crawlerów Mety nie podaje żadnego sposobu weryfikacji. Strona nie publikuje zakresów IP, numeru systemu autonomicznego ani reguły potwierdzonego odwrotnego DNS dla meta-externalagent, więc jedynym identyfikatorem pozostaje ciąg user agent, a taki nagłówek może wysłać każdy klient w internecie jedną flagą curl. Jedyny kontakt, jaki Meta podaje na tej stronie, to webmasters@meta.com.
Traktuj ten ciąg jak etykietę, a nie dowód. Jeśli egzekwujesz blokadę, a nie tylko o nią prosisz, oprzyj regułę na obserwowalnym zachowaniu żądań, na przykład częstotliwości i wzorcu ścieżek z jednego adresu IP, a dopasowywanie user agenta zostaw dla crawlerów, które uczciwie się przedstawiają.
Czy wielkość liter ma znaczenie przy blokowaniu meta-externalagent?
Wielkość liter w nazwie crawlera nie ma znaczenia. RFC 9309 wymaga, by crawlery dopasowywały token produktu w wierszu User-agent bez rozróżniania wielkości liter, więc meta-externalagent, Meta-ExternalAgent i META-EXTERNALAGENT wybierają tę samą grupę. Liczy się natomiast pisownia: brakujący łącznik lub przypadkowy znak daje token, który nie pasuje do żadnego crawlera, i blokada nie działa, a żaden błąd o tym nie poinformuje. Ze ścieżkami jest odwrotnie. RFC 9309 mówi, że ścieżki w Disallow i Allow powinny być dopasowywane z rozróżnianiem wielkości liter, więc /Private/ i /private/ to dwie różne reguły.
RedReplier
Rozpocznij
Reddit, X, Bluesky i HN
Alerty o intencjach w czasie rzeczywistym
Nielimitowane odpowiedzi AI
Ocena według intencji zakupowej
Czy blokować meta-externalagent, jeśli zależy ci na widoczności w AI?
Zablokowanie meta-externalagent wyłącza twoje strony ze zbierania danych treningowych Mety, ale nie usuwa cię z odpowiedzi Meta AI, bo za cytowanie i linkowanie odpowiada inny crawler. Meta pisze, że dopuszczenie Meta-WebIndexer „pomaga nam cytować twoje treści i linkować do nich w odpowiedziach Meta AI”, więc witryna, która chce cytowań bez dostarczania danych treningowych, blokuje meta-externalagent i dopuszcza meta-webindexer.
Taki podział to decyzja, a sprawdza się ją pomiarem, nie założeniem. Monitoring mediów społecznościowych w RedReplier śledzi publiczne wątki wymieniające twoją markę, więc zamiast zgadywać, możesz obserwować, jak zmiana w robots.txt wpływa na rozmowy, z których korzystają asystenci.
Najczęściej zadawane pytania
Czy meta-externalagent to to samo co facebookexternalhit?
Nie. Meta opisuje je jako odrębne crawlery z osobnymi tokenami w robots.txt i osobnymi zadaniami. Meta-ExternalAgent przeszukuje internet, by trenować podstawowe modele AI i indeksować treści, a FacebookExternalHit pobiera link udostępniony na Facebooku, Instagramie lub w Messengerze, by zbudować jego tytuł, opis i miniaturę. Zablokowanie jednego nie wpływa na drugi.
Czy zablokowanie meta-externalagent psuje podglądy linków na Facebooku?
Nie. Podglądy linków tworzy FacebookExternalHit, który odczytuje token facebookexternalhit w robots.txt. Grupa blokująca wyłącznie meta-externalagent nie zmienia pobierania podglądów. Jeśli chcesz je zachować, nie dodawaj facebookexternalhit do listy blokad.
Ile czasu potrzeba, by zmiana w robots.txt dotarła do crawlerów Mety?
Dokumentacja Mety prosi o uwzględnienie do 24 godzin, bo przez tyle czasu jej crawlery mogą przechowywać zawartość robots.txt w pamięci podręcznej. Po dodaniu blokady rano wizyty crawlera mogą pojawiać się jeszcze po południu i nie oznacza to żadnej awarii. Jeśli żądania trwają dłużej niż 24 godziny, sprawdź, czy plik jest dostępny w katalogu głównym domeny i zwraca 200.
Czy mogę zablokować meta-externalagent tagiem meta robots?
Meta podaje, że woli standardowe rozwiązania branżowe, takie jak robots.txt, od niestandardowych formatów, takich jak tagi NoAI, a jedyną kontrolą crawlerów opisaną w jej dokumentacji jest robots.txt. Tag meta na stronie wymaga też, by crawler najpierw ją pobrał i przeanalizował, co mija się z celem, jeśli chcesz zapobiec pobieraniu. Użyj grupy w robots.txt.
Czym różni się meta-externalagent od meta-externalfetcher?
Meta-ExternalAgent przeszukuje internet szeroko, według harmonogramu Mety, aby budować dane do trenowania i indeksowania. Meta-ExternalFetcher pobiera pojedyncze linki na prośbę użytkownika, wspierając funkcje agentowej AI, i Meta podaje, że z tego powodu może pomijać reguły robots.txt. Blokada w robots.txt jest więc wiarygodnym poleceniem dla pierwszego, a niewiarygodnym dla drugiego.
Gdzie Meta publikuje oficjalną dokumentację meta-externalagent?
Meta publikuje ją w serwisie developers.facebook.com w sekcji Sharing, Webmasters, Meta Web Crawlers, pod adresem https://developers.facebook.com/documentation/sharing/webmasters/web-crawlers. Strona wymienia wszystkie udokumentowane crawlery Mety, ciągi user agent, przykład robots.txt i adres kontaktowy webmasters@meta.com. Zajrzyj tam przed napisaniem reguł zapory, bo Meta zmienia listę crawlerów i numery wersji.
Jak aktualna jest dokumentacja Mety o meta-externalagent?
Meta zaktualizowała stronę Meta Web Crawlers 21 maja 2026 roku, a fakty w tym artykule sprawdzono z nią 9 września 2026 roku. Nazwy crawlerów i numery wersji zmieniają się z czasem, więc reguła zbudowana na starej kopii strony może przeoczyć nowy token. Przed napisaniem reguły zapory sprawdź aktualną stronę na developers.facebook.com.
Z kim się skontaktować, gdy meta-externalagent sprawia problemy na twojej witrynie?
Meta podaje w dokumentacji crawlerów jeden kontakt: webmasters@meta.com. Ta sama strona nie publikuje listy adresów IP, numeru ASN ani metody weryfikacji, więc poza samą blokadą w robots.txt zgłoszenie na ten adres jest jedynym kanałem. Korzystaj z niego w sprawach, których nie opanują reguły twojego serwera.
Czy meta-externalfetcher to crawler tego samego rodzaju co ChatGPT-User?
Meta-ExternalFetcher uruchamia się, gdy ktoś prosi Meta AI o sprawdzenie jednego konkretnego linku, czyli wykonuje tę samą pracę co ChatGPT-User od OpenAI dla ChatGPT. Oba działają na podstawie pojedynczej prośby użytkownika, zamiast szeroko przeszukiwać internet według harmonogramu, co odróżnia je od crawlerów masowych, takich jak meta-externalagent. Meta podaje, że meta-externalfetcher może pomijać robots.txt, więc blokada meta-externalagent nie ma na niego wpływu.
Czy mogę dopuścić meta-externalagent do części witryny, zamiast blokować go wszędzie?
Dokumentacja Mety pokazuje grupę, która dopuszcza całą witrynę i wyklucza jeden katalog, używając Allow: / i następującego po nim Disallow: /private/. Ten sam wzorzec możesz skierować na dowolny folder, który chcesz wyłączyć z trenowania, a resztę zostawić otwartą. To ta sama grupa w robots.txt, tylko z innymi wierszami Allow i Disallow zamiast ogólnego Disallow: /.
Więcej naszych treści w Google
Jedno kliknięcie oznacza RedReplier jako preferowane źródło, dzięki czemu nasze artykuły pojawiają się wyżej w Najważniejszych wiadomościach, trybie AI i Podsumowaniach AI.
Jeszcze chwila...
RedReplier
Żaden kupujący pytający o ofertę nie umknie
RedReplier śledzi Reddita, X, Bluesky i Hacker News w czasie rzeczywistym, ocenia każdy wątek pod kątem intencji zakupowej i przygotowuje odpowiedź, by dotrzeć tam jako pierwszy.
Reddit, X, Bluesky i HN
Alerty o intencjach w czasie rzeczywistym
Nielimitowane odpowiedzi AI
Ocena według intencji zakupowej
Powiązane artykuły


Co CCBot zbiera do otwartego archiwum internetu Common Crawl
CCBot, crawler Common Crawl, buduje bezpłatne, otwarte archiwum internetu, z którego zewnętrzne laboratoria AI tworzą zbiory treningowe, a wszystko to kontroluje jedna reguła w robots.txt.


Czym ChatGPT-User różni się od GPTBot i OAI-SearchBot
Agent ChatGPT-User od OpenAI pobiera jedną stronę tylko wtedy, gdy ktoś poprosi ChatGPT o otwarcie linku, a reguła w robots.txt działa tu inaczej niż dla GPTBot czy OAI-SearchBot.


Jak Cloudflare Pay Per Crawl pobiera od botów AI opłatę za stronę
Cloudflare Pay Per Crawl zwraca odpowiedź HTTP 402, dopóki crawler AI nie zapłaci dokładnie takiej ceny za żądanie, jaką ustalił właściciel witryny.

