glossary

Blokada OAI-SearchBot i GPTBot kosztuje cię dwie różne rzeczy

Taras Shynkarenko
Taras Shynkarenko
•Zaktualizowano: •8 min czytania
Blokada OAI-SearchBot i GPTBot kosztuje cię dwie różne rzeczyBlokada OAI-SearchBot i GPTBot kosztuje cię dwie różne rzeczy

TL;DR

8 min czytania

OpenAI dokumentuje trzech agentów webowych o trzech zadaniach: GPTBot zbiera dane do trenowania podstawowych modeli generatywnej AI, OAI-SearchBot indeksuje strony na potrzeby wyszukiwania w ChatGPT, a ChatGPT-User pobiera pojedynczą stronę, którą ktoś poprosił ChatGPT otworzyć. Zablokowanie GPTBot usuwa twoje strony z danych treningowych i nie wpływa na wyszukiwanie w ChatGPT, a zablokowanie OAI-SearchBot usuwa cię z miejsca, które ludzie czytają i klikają. Właściciele witryn, którzy nie chcą trenować modeli, ale chcą zachować ruch, powinni wskazać wyłącznie GPTBot.

Czym różni się OAI-SearchBot od GPTBot?

OpenAI prowadzi OAI-SearchBot i GPTBot jako dwa crawlery o dwóch niezwiązanych zadaniach: OAI-SearchBot pobiera strony, aby wyszukiwanie w ChatGPT mogło je pokazywać, a GPTBot pobiera strony do trenowania podstawowych modeli generatywnej AI, jak podaje dokumentacja botów OpenAI na developers.openai.com, sprawdzona 9 września 2026 roku. Każdy z nich czyta własny nazwany blok w robots.txt, a reguła napisana dla jednego nie wpływa na drugiego. O to właśnie chodzi w tej konstrukcji: OpenAI podaje, że „używa tagów OAI-SearchBot i GPTBot w robots.txt, aby webmasterzy mogli zarządzać tym, jak ich witryny i treści współpracują z AI”.

Jakie są dokładne ciągi user agent crawlerów OpenAI?

OpenAI publikuje pełny ciąg user agent każdego swojego agenta, a każdy zawiera adres URL z opisem, który możesz sprawdzić. Kopiuj je znak po znaku, pisząc filtr logów, bo dopasowanie samego fragmentu GPT złapie naraz trzech różnych agentów.

AgentPełny ciąg user agentPublikowane zakresy IP
GPTBotMozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotopenai.com/gptbot.json
OAI-SearchBotMozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotopenai.com/searchbot.json
ChatGPT-UserMozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/botopenai.com/chatgpt-user.json
OAI-AdsBotMozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbotopenai.com/adsbot.json

OAI-SearchBot wysyła też drugi udokumentowany wariant, z tokenem robots.txt przed adresem URL: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot. Filtr logów opieraj na samym tokenie OAI-SearchBot, aby oba warianty trafiały do tej samej grupy.

Programista edytujący plik robots.txt witryny, co ilustruje wybór, którego crawlera OpenAI zablokować.

Którego bota OpenAI naprawdę warto zablokować?

Zablokuj tego, którego efektu nie chcesz, a kolumna kosztów poniżej to część, którą właściciele witryn pomijają. OpenAI wiąże każdego agenta z innym produktem, więc trzy reguły dają trzy różne wyniki.

AgentDo czego używa go OpenAICo kosztuje jego zablokowanieDyrektywa robots.txt
GPTBotZbiera treści do trenowania podstawowych modeli generatywnej AITwoje strony przestają przez ten crawler zasilać trenowanie przyszłych modeli. Wyszukiwanie w ChatGPT pozostaje bez zmian.User-agent: GPTBot, a potem Disallow: /
OAI-SearchBotObsługuje funkcje wyszukiwania ChatGPT, pokazując witryny w wynikachOpenAI podaje, że witryny, które zrezygnowały, „nie będą pokazywane w odpowiedziach wyszukiwania ChatGPT, choć nadal mogą pojawiać się jako linki nawigacyjne”.User-agent: OAI-SearchBot, a potem Disallow: /
ChatGPT-UserObsługuje działania inicjowane przez użytkowników w ChatGPT i Custom GPTsChatGPT nie otworzy twojej strony, gdy ktoś wklei link i o nią zapyta. OpenAI zaznacza, że reguły robots.txt mogą tu nie obowiązywać, bo żądanie wynika z bieżącego działania użytkownika.User-agent: ChatGPT-User, a potem Disallow: /

Pełne działanie trzeciego agenta, w tym powód, dla którego reguła robots.txt działa inaczej przy pobieraniu na żądanie użytkownika, opisuje osobna strona o ChatGPT-User.

Dlaczego większość właścicieli witryn blokuje niewłaściwego bota?

Błąd polega na traktowaniu „zablokuj crawlery AI” jako jednej decyzji, podczas gdy OpenAI zbudowało to jako dwie. GPTBot to nazwa znana z doniesień o danych treningowych AI, więc trafia do ogólnej reguły razem z OAI-SearchBot, a taka reguła usuwa witrynę z miejsca, które przysyła prawdziwych czytelników. Ruch z wyszukiwania w ChatGPT zależy od tego, czy OAI-SearchBot może czytać cytowaną stronę, a dane treningowe nikogo na twoją witrynę nie przyprowadzają. Rozstrzygnij obie kwestie osobno, a potem napisz dwa bloki.

Jaki robots.txt skopiować dla każdego celu?

Wybierz cel pasujący do twojej firmy i wklej odpowiedni blok w katalogu głównym domeny. Każda grupa User-agent działa samodzielnie, więc dyrektywa pod jedną nazwą nigdy nie dotyczy innej.

Bez trenowania modeli, z zachowaniem ruchu z wyszukiwania w ChatGPT. Takiego ustawienia chce większość wydawców i firm SaaS:

User-agent: GPTBot
Disallow: /
 
User-agent: OAI-SearchBot
Allow: /

Całkowite odcięcie OpenAI, łącznie z wyszukiwaniem i pobieraniem na żądanie użytkowników:

User-agent: GPTBot
Disallow: /
 
User-agent: OAI-SearchBot
Disallow: /
 
User-agent: ChatGPT-User
Disallow: /

Dostęp do wszystkiego poza ścieżkami, które nigdy nie powinny trafić do modelu ani odpowiedzi:

User-agent: GPTBot
Disallow: /members/
Disallow: /checkout/
Disallow: /account/
 
User-agent: OAI-SearchBot
Disallow: /members/
Disallow: /checkout/
Disallow: /account/

Reguły pierwszeństwa, które decydują, który wiersz wygrywa, gdy Allow i Disallow pasują do tego samego adresu URL, opisuje pełny przewodnik po robots.txt.

Czy robots.txt jest egzekwowany, czy tylko respektowany?

Robots.txt jest respektowany zwyczajowo i niczym nie jest egzekwowany. RFC 9309, standard Robots Exclusion Protocol opublikowany we wrześniu 2022 roku, w części Security Considerations mówi wprost, że „Robots Exclusion Protocol nie zastępuje właściwych środków bezpieczeństwa treści”, a w części wstępnej zaznacza, że te reguły „nie są formą autoryzacji dostępu”. Wiersz Disallow to prośba, którą dobrze działający crawler czyta przed pobraniem, a źle działający może zignorować bez żadnych technicznych konsekwencji. Jeśli strony nie może przeczytać nikt spoza strefy logowania, umieść ją za uwierzytelnianiem lub regułą IP po stronie serwera, a wpis w robots.txt traktuj jako deklarację zamiarów dla crawlerów, które się do niej stosują.

Rzędy szaf serwerowych w centrum danych, czyli infrastruktura, która zapisuje i weryfikuje adresy IP crawlerów.

Jak sprawdzić, czy żądanie naprawdę pochodzi od OpenAI?

Porównaj źródłowy adres IP z plikami JSON publikowanymi przez OpenAI, bo ciąg user agent to nagłówek, który może wpisać każdy klient. OpenAI podaje aktualne zakresy pod adresami openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json i openai.com/adsbot.json, a każdy plik zawiera pole creationTime i tablicę prefiksów CIDR. 10 września 2026 roku openai.com/searchbot.json zawierał 39 prefiksów IPv4 z creationTime 2026-01-02, a openai.com/gptbot.json 21 prefiksów z creationTime 2025-10-30. Pobieraj plik cyklicznie, zamiast wpisywać zakresy na stałe, a każde żądanie z tokenem OpenAI spoza aktualnej listy traktuj jako podszywanie się, a nie jako crawlera ignorującego twoje reguły.

RedReplier
RedReplier

Rozpocznij

Reddit, X, Bluesky i HN

Alerty o intencjach w czasie rzeczywistym

Nielimitowane odpowiedzi AI

Ocena według intencji zakupowej

Ile czasu potrzeba, by zmiana w robots.txt dotarła do OpenAI?

Dokumentacja OpenAI podaje, że w przypadku wyników wyszukiwania „dostosowanie naszych systemów po aktualizacji robots.txt witryny może zająć około 24 godzin”. To opóźnienie dotyczy wyszukiwania, więc witryna zmieniająca blokadę OAI-SearchBot na dostęp powinna liczyć się z mniej więcej jednym dniem, zanim wyszukiwanie w ChatGPT to odzwierciedli. Wprowadź zmianę, zanotuj czas i wstrzymaj się z kolejną edycją przez pełny dzień, bo dwie zmiany w oknie propagacji uniemożliwiają odczytanie wyniku.

Zablokuj właściwego agenta i potwierdź, że blokada działa
1
Wybierz cel. GPTBot zasila trenowanie modeli, OAI-SearchBot zasila wyszukiwanie w ChatGPT. Wybierz jednego, obu lub żadnego.
2
Napisz osobny blok dla każdego agenta. Reguła pod jedną nazwą user agenta nigdy nie dotyczy innej.
3
Odczekaj około 24 godzin. Dokumentacja OpenAI szacuje propagację do wyszukiwania na mniej więcej dzień po zmianie w robots.txt.
4
Sprawdzaj źródłowy adres IP, a nie tylko user agenta. Zanim zaufasz wpisowi w logach, porównaj żądania z publikowanymi przez OpenAI zakresami CIDR.
Każdy krok zamyka lukę pozostawioną przez poprzedni, od wyboru agenta po potwierdzenie, że blokada naprawdę działa.

Co śledzić po ustawieniu reguł?

Śledź, czy ChatGPT faktycznie cię cytuje, bo poprawny robots.txt to dane wejściowe, a cytowanie to wynik. Monitoring mediów społecznościowych obejmuje wątki, z których powstają te odpowiedzi, czyli materiał, na który nadal możesz wpływać po dopuszczeniu OAI-SearchBot. Ten sam podział na trenowanie i wyszukiwanie występuje u innych dostawców: Applebot-Extended to mechanizm rezygnacji z trenowania u Apple, który nie wpływa na wyszukiwanie w Siri, Spotlight i Safari, a CCBot to otwarte archiwum Common Crawl, które zewnętrzne laboratoria filtrują do zbiorów treningowych. Samo bycie cytowanym to odrębna dziedzina niż bycie odwiedzanym przez crawlery i zajmuje się nią optymalizacja pod silniki odpowiedzi.

Najczęściej zadawane pytania

Czy zablokowanie GPTBot usuwa mnie z wyszukiwania w ChatGPT?

Nie. OpenAI opisuje GPTBot jako crawler do trenowania podstawowych modeli generatywnej AI, a OAI-SearchBot jako crawler obsługujący funkcje wyszukiwania ChatGPT. Disallow pod User-agent: GPTBot pozostawia OAI-SearchBot swobodę działania, więc wyszukiwanie w ChatGPT nadal może pokazywać i cytować twoje strony.

Co się stanie, jeśli zablokuję OAI-SearchBot?

OpenAI podaje, że witryny, które zrezygnowały z OAI-SearchBot, „nie będą pokazywane w odpowiedziach wyszukiwania ChatGPT, choć nadal mogą pojawiać się jako linki nawigacyjne”. Tracisz cytowanie i związane z nim kliknięcia. OpenAI zaleca dopuszczenie OAI-SearchBot w robots.txt, aby witryna mogła pojawiać się w wynikach wyszukiwania.

Czy jedna dyrektywa blokuje wszystkie boty OpenAI naraz?

Żaden pojedynczy token ich nie obejmuje. OpenAI dokumentuje GPTBot, OAI-SearchBot, ChatGPT-User i OAI-AdsBot jako osobne tokeny user-agent w robots.txt i każdy wymaga własnej nazwanej grupy. Grupa z symbolem wieloznacznym User-agent: * dotyczy przestrzegających zasad crawlerów, które nie znalazły grupy ze swoją nazwą, więc agent mający własny blok czyta właśnie jego.

Który agent OpenAI nie jest crawlerem?

ChatGPT-User. OpenAI opisuje go jako obsługującego działania inicjowane przez użytkowników w ChatGPT i Custom GPTs, co oznacza, że pobiera stronę, ponieważ ktoś poprosił ChatGPT o otwarcie linku. OpenAI zaznacza, że reguły robots.txt mogą nie dotyczyć go w ten sam sposób, bo żądanie zależy od bieżącego działania użytkownika.

Co robi OAI-AdsBot?

OpenAI opisuje OAI-AdsBot jako agenta sprawdzającego bezpieczeństwo stron zgłaszanych jako reklamy w ChatGPT i podaje, że „dane zebrane przez OAI-AdsBot nie są używane do trenowania podstawowych modeli generatywnej AI”. Ma własny token w robots.txt i własną publikowaną listę IP pod adresem openai.com/adsbot.json. Działa niezależnie od crawlera treningowego i wyszukiwawczego.

Czy crawler może zignorować mój plik robots.txt?

Tak. RFC 9309 opisuje Robots Exclusion Protocol jako zestaw reguł czytanych przez crawlery, a sekcja Security Considerations stwierdza, że protokół „nie zastępuje właściwych środków bezpieczeństwa treści”. Nic w protokole nie blokuje żądania na poziomie sieci, więc to, co ma pozostać prywatne, wymaga uwierzytelniania lub blokady po stronie serwera.

Czy wpisać zakresy IP OpenAI na stałe, zamiast pobierać je ponownie?

Pliki z listami IP OpenAI zawierają pole creationTime, które zmienia się przy każdej aktualizacji zakresów, więc kopia wpisana na stałe zdezaktualizuje się przy najbliższej zmianie infrastruktury. Pobieraj cyklicznie openai.com/gptbot.json, searchbot.json, chatgpt-user.json lub adsbot.json, a żądanie z user agentem OpenAI spoza aktualnej listy traktuj jako podszywanie się, a nie crawlera ignorującego robots.txt.

Dlaczego nie wprowadzać drugiej zmiany w robots.txt tuż po pierwszej?

Dokumentacja OpenAI szacuje czas propagacji do wyszukiwania na około 24 godziny od aktualizacji robots.txt. Druga edycja w tym oknie pojawi się, zanim pierwsza w pełni zacznie działać, więc późniejszego wyniku nie da się przypisać do żadnej z nich. Wprowadź jedną zmianę, zanotuj czas i odczekaj pełny dzień, zanim znów ruszysz plik.

Czy robots.txt daje mi jakąś władzę prawną nad crawlerami?

RFC 9309 stwierdza w części wstępnej, że reguły robots.txt „nie są formą autoryzacji dostępu”. Wiersz Disallow prosi przestrzegającego zasad crawlera o pominięcie strony, ale nie ma mechanizmu zatrzymania tego, który się nie stosuje. Treści naprawdę wymagające ochrony powinny znajdować się za logowaniem lub regułą IP po stronie serwera, a wpis w robots.txt służy jedynie jako zapis zamiarów.

Czy reguły dla GPTBot i OAI-SearchBot mogą być w tym samym pliku robots.txt?

Tak, a połączenie Disallow dla GPTBot z Allow dla OAI-SearchBot to dokładnie to ustawienie, które podział OpenAI umożliwia właścicielom witryn chcącym wypisać się z trenowania i zachować ruch z wyszukiwania w ChatGPT. Każda grupa User-agent jest czytana osobno, więc bloki GPTBot i OAI-SearchBot nigdy sobie nie przeszkadzają w jednym pliku.

Więcej naszych treści w Google

Jedno kliknięcie oznacza RedReplier jako preferowane źródło, dzięki czemu nasze artykuły pojawiają się wyżej w Najważniejszych wiadomościach, trybie AI i Podsumowaniach AI.

Jeszcze chwila...

RedReplier

RedReplier

Żaden kupujący pytający o ofertę nie umknie

RedReplier śledzi Reddita, X, Bluesky i Hacker News w czasie rzeczywistym, ocenia każdy wątek pod kątem intencji zakupowej i przygotowuje odpowiedź, by dotrzeć tam jako pierwszy.

Reddit, X, Bluesky i HN

Alerty o intencjach w czasie rzeczywistym

Nielimitowane odpowiedzi AI

Ocena według intencji zakupowej

Powiązane artykuły