TL;DR
9 min czytaniaWitryna publikuje plik robots.txt w katalogu głównym hosta, aby wskazać crawlerom, które ścieżki URL mogą pobierać, zgodnie z RFC 9309 opublikowanym we wrześniu 2022 roku. Plik prosi crawlera o niepobieranie strony, a Google i tak indeksuje zablokowany URL, gdy linkują do niego inne witryny, i pokazuje go bez opisu. Aby naprawdę wykluczyć stronę, usuń disallow i dodaj tag noindex albo umieść stronę za uwierzytelnianiem.
Czym jest robots.txt?
Witryna publikuje plik robots.txt w katalogu głównym hosta, aby wskazać crawlerom, które ścieżki URL mogą pobierać, i na tym kończy się jego zakres: robots.txt prosi crawlera o niepobieranie strony, nie czyni jej prywatną i nie gwarantuje, że adres nie pojawi się w wynikach wyszukiwania. Zasady pochodzą z RFC 9309, czyli Robots Exclusion Protocol, dokumentu ze ścieżki Standards Track opublikowanego we wrześniu 2022 roku przez Martijna Kostera, Gary'ego Illyesa, Hennera Zellera i Lizzi Sassman. RFC 9309 wymaga, aby reguły były „dostępne w pliku o nazwie '/robots.txt' (małymi literami) w ścieżce najwyższego poziomu usługi”, a specyfikacja robots.txt od Google dodaje, że reguły „dotyczą tylko hosta, protokołu i numeru portu, pod którymi znajduje się plik robots.txt”. Traktuj ten plik jak sygnalizację ruchu dla crawlerów, które zechcą się do niej stosować.
Ostatnia weryfikacja: 8 września 2026
Dlaczego strona zablokowana w robots.txt nadal pojawia się w Google?
Google pokazuje adres, bo prowadził do niego link, a umieszczenie adresu na liście nie wymaga pobrania strony. Wprowadzenie Google do robots.txt, ostatnio zaktualizowane 10 grudnia 2025 roku, stwierdza, że plik robots.txt „nie jest mechanizmem służącym do wykluczania strony z Google”, a specyfikacja Google dodaje, że Google „nie może indeksować treści stron zablokowanych przed crawlowaniem, ale nadal może zindeksować URL i pokazać go w wynikach wyszukiwania bez opisu”. Reguła disallow zatrzymuje pobieranie i nic więcej, więc zamiast opisu wynik zawiera tekst kotwicy ze strony linkującej.
Rozwiązanie jest sprzeczne z intuicją. Tag meta robots noindex działa tylko wtedy, gdy crawler pobierze i przeczyta stronę, więc linia disallow to właśnie to, co nie pozwala mu zobaczyć noindex. Usuń disallow, dodaj noindex i pozwól Google pobrać stronę, aby dowiedział się, że ma ją usunąć z wyników. Treści, których nikt nie powinien móc przeczytać, chroń uwierzytelnianiem: robots.txt to publiczny plik, który pokazuje twoje wrażliwe ścieżki każdemu, kto go otworzy.
Co robi każda dyrektywa w robots.txt?
RFC 9309 definiuje trzy pola, user-agent, allow i disallow, oraz trzy znaki specjalne, a specyfikacja Google dodaje pole sitemap.
| Wiersz | Co robi | Źródło |
|---|---|---|
User-agent: GPTBot | Otwiera grupę reguł dla jednego tokenu produktu, bez rozróżniania wielkości liter | RFC 9309 |
User-agent: * | Grupa rezerwowa, której słucha każdy crawler niepasujący do innej grupy | RFC 9309 |
Disallow: /cart/ | Zabrania pobierania pasujących ścieżek | RFC 9309 |
Allow: /cart/gift-guide | Zezwala na ścieżkę, którą objąłby szerszy disallow | RFC 9309 |
* w ścieżce | Dopasowuje zero lub więcej dowolnych dozwolonych znaków | RFC 9309, specyfikacja Google |
$ na końcu ścieżki | Zakotwicza wzorzec na końcu adresu URL | RFC 9309, specyfikacja Google |
# | Rozpoczyna komentarz ignorowany do końca wiersza | RFC 9309 |
Sitemap: https://example.com/sitemap.xml | Wskazuje crawlerom mapę witryny i nie należy do żadnej grupy user-agent | Specyfikacja Google |
Crawl-delay: 1 | Nie ma go w RFC 9309 i Google go nie obsługuje | Specyfikacja Google |
Dosłowne znaki *, $ lub # w ścieżce zapisuj w kodowaniu procentowym, jak zaleca RFC 9309.
Crawl-delay pozostaje poza standardem. Specyfikacja robots.txt od Google, ostatnio zaktualizowana 31 sierpnia 2026 roku, wymienia cztery pola odczytywane przez Google i stwierdza, że „inne pola, takie jak crawl-delay, nie są obsługiwane”. Obsługa zależy od crawlera: dokumentacja Anthropic podaje Crawl-delay: 1 pod User-agent: ClaudeBot jako alternatywę dla pełnej blokady. Dodawaj ten wiersz tylko dla crawlerów, których operator go opisuje.
Która reguła wygrywa, gdy pasują i allow, i disallow?
Wygrywa najdłuższy pasujący wzorzec ścieżki, mierzony w oktetach, a przy dokładnym remisie pierwszeństwo ma allow.
winner = the allow or disallow rule whose path pattern contains the most octets; on an exact tie, allow
RFC 9309 ujmuje to tak: „Należy użyć najbardziej szczegółowego znalezionego dopasowania. Najbardziej szczegółowe dopasowanie to to, które ma najwięcej oktetów”, a remisy rozstrzyga zdaniem: „Jeśli reguła 'allow' i reguła 'disallow' są równoważne, należy zastosować regułę 'allow'”. Specyfikacja Google prowadzi do tego samego wyniku: „W przypadku sprzecznych reguł, także tych z symbolami wieloznacznymi, Google stosuje regułę najmniej restrykcyjną”.
Przeanalizujmy to na adresie https://example.com/blog/drafts/post-1:
| Reguła | Oktety w ścieżce | Pasuje do adresu |
|---|---|---|
Allow: /blog/ | 6 | tak |
Disallow: /blog/drafts/ | 13 | tak |
Allow: /blog/drafts/post-1 | 19 | tak |
19 pokonuje 13, a 13 pokonuje 6, więc wygrywa trzecia reguła i crawler pobiera stronę. Usuń ten wiersz, a 13 pokona 6, więc górę weźmie disallow. Przy remisie Disallow: /p i Allow: /p mają po 2 oktety, więc wygrywa allow, a /page pozostaje dostępna dla crawlera. Kolejność wierszy niczego nie zmienia, więc licz znaki, zamiast przestawiać reguły.

Jak crawlery wybierają obowiązującą grupę user-agent?
Crawler porównuje swój token produktu z wierszami user-agent bez rozróżniania wielkości liter, stosuje się do tej jednej grupy, a do grupy * wraca tylko wtedy, gdy żadna inna nie pasuje. RFC 9309 wymaga, aby „crawlery przy szukaniu grupy pasującej do tokenu produktu stosowały dopasowanie bez rozróżniania wielkości liter” i aby „jeśli nie istnieje pasująca grupa, crawlery stosowały się do grupy z wierszem user-agent o wartości '*'”. Dwie grupy z tym samym tokenem są scalane: RFC 9309 mówi o regułach, które „muszą zostać połączone w jedną grupę”, a specyfikacja Google o crawlerach, które „wewnętrznie scalają grupy”.
Ta konsekwencja często zaskakuje. Daj GPTBotowi własną grupę, a przestanie on czytać grupę *, więc żaden disallow napisany dla wszystkich innych już go nie obowiązuje. Powtórz wspólne wiersze disallow w każdej nazwanej grupie. Z tego samego powodu ważny jest dokładny zapis tokenu każdego crawlera AI: literówka odsyła crawlera z powrotem do grupy *.
RedReplier
Rozpocznij
Reddit, X, Bluesky i HN
Alerty o intencjach w czasie rzeczywistym
Nielimitowane odpowiedzi AI
Ocena według intencji zakupowej
Jak zablokować crawlery AI w robots.txt?
Podaj token każdego operatora w osobnej grupie i decyduj oddzielnie o crawlerach treningowych oraz o crawlerach wyszukiwarek, które cytują i linkują.
# https://example.com/robots.txt
User-agent: *
Disallow: /cart/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
# Model training
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# Answer engines that cite and link
User-agent: OAI-SearchBot
Disallow: /cart/
Disallow: /account/
User-agent: PerplexityBot
Disallow: /cart/
Disallow: /account/
User-agent: Claude-SearchBot
Disallow: /cart/
Disallow: /account/Powtórzone wiersze /cart/ i /account/ to zasada grup w działaniu, a nie zbędny dodatek: każdy nazwany crawler czyta tylko swoją grupę. Operatorzy podają trzy zastrzeżenia. Google opisuje, że „Google-Extended nie ma osobnego ciągu user agent w żądaniach HTTP” i działa „jako mechanizm kontrolny”, a jego zablokowanie „nie wpływa na obecność witryny w wyszukiwarce Google ani nie jest używane jako sygnał rankingowy w wyszukiwarce Google”. OpenAI oddziela GPTBota, który crawluje, aby ulepszać modele bazowe, od OAI-SearchBota, który pokazuje witryny w wyszukiwarce ChatGPT, więc zablokowanie tokenu GPTBot nie narusza dostępu wyszukiwarki ChatGPT. Perplexity podaje, że Perplexity-User w większości przypadków ignoruje reguły robots.txt, bo pobranie zlecił użytkownik, a OpenAI prowadzi taki sam mechanizm pobierania na żądanie pod trzecim tokenem, ChatGPT-User, odrębnym od GPTBota i OAI-SearchBota. Ten sam podział według operatorów wykracza poza tę listę: Amazonbot crawluje, aby ulepszać produkty Amazona, i może trenować modele AI Amazona, jeśli jego token nie zostanie zablokowany, a Applebot-Extended można zablokować osobno, aby zatrzymać trenowanie Apple Intelligence bez wpływu na Siri, Spotlight i wyszukiwanie w Safari.
Blokowanie crawlerów treningowych przy zachowaniu silników odpowiedzi to decyzja dotycząca widoczności i można ją zmierzyć. RedReplier śledzi publiczne wątki wymieniające markę, czyli to, co w praktyce oznacza monitorowanie mediów społecznościowych.

- GPTBot
- ClaudeBot
- Google-Extended
- OAI-SearchBot
- PerplexityBot
- Claude-SearchBot
Co się dzieje, gdy robots.txt nie istnieje, jest ogromny lub zwraca błąd?
Decyduje status HTTP, a dwie klasy błędów działają w przeciwnych kierunkach. RFC 9309 stwierdza, że przy 4xx „crawler może uzyskać dostęp do dowolnych zasobów na serwerze”, a przy 5xx „crawler musi przyjąć pełny zakaz”. Błąd 404 otwiera cały host, a 503 go zamyka, więc serwer zwracający błędy podczas wdrożenia wstrzymuje crawlowanie wszystkiego. RFC 9309 ustala też limit parsowania na „co najmniej 500 kibibajtów”, co Google egzekwuje, ignorując treść powyżej 500 KiB, ogranicza ponowne użycie kopii z pamięci podręcznej do 24 godzin, chyba że plik jest nieosiągalny, co odpowiada 24-godzinnej pamięci podręcznej Google, i wymaga, aby crawlery wykonały „co najmniej pięć kolejnych przekierowań”, zanim uznają plik za niedostępny. Sprawdź, czy twój CDN zwraca 200 dla /robots.txt na każdym hoście i w każdym protokole, które obsługujesz.
Czy robots.txt to to samo co llms.txt?
Nie. robots.txt to standard oparty na RFC i udokumentowany przez wszystkich głównych operatorów crawlerów, a llms.txt to proponowana konwencja, o której nie wspomina żadna z cytowanych tu dokumentacji crawlerów. Oba pliki odpowiadają na różne pytania: robots.txt mówi, które ścieżki crawler może pobierać, a llms.txt proponuje, które treści model powinien przeczytać najpierw.
Żaden z tych plików nie jest narzędziem prawnym. Crawler ignorujący robots.txt łamie konwencję, a to, czy staje się to niezgodnym z prawem pozyskiwaniem danych, zależy od regulaminu, kontroli dostępu i jurysdykcji. Gdy potrzebujesz pewnego i dozwolonego dostępu do danych platformy, sprawę rozstrzyga wybór między scrapingiem a API.
Najczęściej zadawane pytania
Czy robots.txt wyklucza stronę z wyników wyszukiwania?
Nie. Wprowadzenie Google do robots.txt stwierdza wprost, że robots.txt „nie jest mechanizmem służącym do wykluczania strony z Google”. Zablokowany URL, do którego linkują inne witryny, może pojawić się w wynikach jako sam adres bez opisu. Gdy celem jest wykluczenie, użyj tagu meta noindex na stronie dostępnej dla crawlerów albo uwierzytelniania.
Czy kolejność wierszy w robots.txt ma znaczenie?
Nie. RFC 9309 rozstrzyga konflikty według liczby oktetów w pasującym wzorcu ścieżki, więc Disallow: /blog/drafts/ z 13 oktetami pokonuje Allow: /blog/ z 6 oktetami, niezależnie od ich położenia w pliku. Kolejność ma znaczenie tylko dla grupowania, bo każda reguła allow i disallow należy do wiersza user-agent powyżej.
Czy jeden plik robots.txt obejmuje subdomeny i oba protokoły?
Nie. Specyfikacja Google stwierdza, że reguły „dotyczą tylko hosta, protokołu i numeru portu, pod którymi znajduje się plik robots.txt”. Plik pod adresem https://example.com/robots.txt nie mówi nic o https://shop.example.com/ ani o wersji http. Opublikuj osobny plik na każdym hoście, który chcesz kontrolować.
Czy mogę umieścić noindex w robots.txt?
Specyfikacja robots.txt od Google wymienia cztery pola odczytywane przez Google, user-agent, allow, disallow i sitemap, a noindex nie ma wśród nich. Dodaj noindex jako tag meta robots w sekcji head strony lub jako nagłówek HTTP X-Robots-Tag. Oba sposoby wymagają, aby strona pozostała dostępna dla crawlerów, więc usuń każdy obejmujący ją disallow.
Czy robots.txt zatrzymuje scrapery?
Nie. RFC 9309 opisuje reguły, których crawler przestrzega z własnej woli, bez mechanizmu egzekwowania, więc scraper ignorujący plik i tak pobierze strony. Perplexity mówi to otwarcie o własnym narzędziu Perplexity-User, które w większości przypadków ignoruje reguły robots.txt, bo stronę zamówił użytkownik. Faktyczną ochronę zapewniają limity żądań, uwierzytelnianie i reguły WAF.
Czy blokowanie crawlerów AI szkodzi widoczności w wyszukiwarce?
Blokowanie Google-Extended nie szkodzi, bo jak podaje Google, „nie wpływa na obecność witryny w wyszukiwarce Google ani nie jest używane jako sygnał rankingowy w wyszukiwarce Google”. Blokowanie crawlerów silników odpowiedzi to inny kompromis: Anthropic podaje, że zablokowanie Claude-SearchBota może ograniczyć widoczność w wynikach wyszukiwania Claude'a, a OAI-SearchBot i PerplexityBot istnieją po to, aby pokazywać witryny i do nich linkować. Jeśli zależy ci na cytowaniach, blokuj tokeny treningowe i zachowaj tokeny wyszukiwarek.
Kto napisał RFC 9309?
RFC 9309, czyli Robots Exclusion Protocol, napisali Martijn Koster, Gary Illyes, Henner Zeller i Lizzi Sassman. We wrześniu 2022 roku dokument trafił na ścieżkę Standards Track. Specyfikacja robots.txt od Google opiera się na tych samych zasadach i dodaje pola pominięte w RFC 9309, takie jak sitemap.
Jak duży może być plik robots.txt, zanim Google go zignoruje?
RFC 9309 ustala limit parsowania na co najmniej 500 kibibajtów. Google egzekwuje ten pułap, ignorując wszystko powyżej 500 KiB, więc reguły zapisane dalej nigdy nie zadziałają. Dbaj o to, aby plik był krótki, a logikę umieść w kilku grupach user-agent zamiast w jednej rozbudowanej liście.
RedReplier
Rozpocznij
Reddit, X, Bluesky i HN
Alerty o intencjach w czasie rzeczywistym
Nielimitowane odpowiedzi AI
Ocena według intencji zakupowej
Czy zablokowanie GPTBota blokuje też wyszukiwarkę ChatGPT?
Według dokumentacji OpenAI GPTBot i OAI-SearchBot to oddzielne tokeny. GPTBot crawluje, aby ulepszać modele bazowe OpenAI, a OAI-SearchBot pokazuje witryny w wyszukiwarce ChatGPT. Zablokuj samego GPTBota, a dostęp wyszukiwarki ChatGPT pozostanie nienaruszony, bo każdy crawler czyta tylko swoją grupę user-agent.
Jak długo Google przechowuje robots.txt w pamięci podręcznej przed ponownym sprawdzeniem?
Google przechowuje pobrany plik robots.txt w pamięci podręcznej przez maksymalnie 24 godziny, zanim sprawdzi go ponownie, chyba że plik stanie się nieosiągalny. RFC 9309 ustala taki sam limit dla ogólnych crawlerów. Zmiana w wierszu disallow może zacząć działać dopiero po niemal całej dobie, więc planuj wdrażanie nowych reguł blokujących z uwzględnieniem tego opóźnienia.
Więcej naszych treści w Google
Jedno kliknięcie oznacza RedReplier jako preferowane źródło, dzięki czemu nasze artykuły pojawiają się wyżej w Najważniejszych wiadomościach, trybie AI i Podsumowaniach AI.
Jeszcze chwila...
RedReplier
Żaden kupujący pytający o ofertę nie umknie
RedReplier śledzi Reddita, X, Bluesky i Hacker News w czasie rzeczywistym, ocenia każdy wątek pod kątem intencji zakupowej i przygotowuje odpowiedź, by dotrzeć tam jako pierwszy.
Reddit, X, Bluesky i HN
Alerty o intencjach w czasie rzeczywistym
Nielimitowane odpowiedzi AI
Ocena według intencji zakupowej
Powiązane artykuły


Co CCBot zbiera do otwartego archiwum internetu Common Crawl
CCBot, crawler Common Crawl, buduje bezpłatne, otwarte archiwum internetu, z którego zewnętrzne laboratoria AI tworzą zbiory treningowe, a wszystko to kontroluje jedna reguła w robots.txt.


Czym ChatGPT-User różni się od GPTBot i OAI-SearchBot
Agent ChatGPT-User od OpenAI pobiera jedną stronę tylko wtedy, gdy ktoś poprosi ChatGPT o otwarcie linku, a reguła w robots.txt działa tu inaczej niż dla GPTBot czy OAI-SearchBot.


Jak Cloudflare Pay Per Crawl pobiera od botów AI opłatę za stronę
Cloudflare Pay Per Crawl zwraca odpowiedź HTTP 402, dopóki crawler AI nie zapłaci dokładnie takiej ceny za żądanie, jaką ustalił właściciel witryny.

