Tudo o que o robots.txt controla, e a única coisa que ele não controla

O que é robots.txt?

Um site publica o robots.txt na raiz de um host para dizer aos rastreadores (crawlers) quais caminhos de URL eles podem buscar, e esse é todo o escopo do arquivo: o robots.txt pede que um rastreador não busque uma página, não torna a página privada e não mantém a URL fora dos resultados de busca de forma confiável. As regras vêm da RFC 9309, o Robots Exclusion Protocol, um documento Standards Track publicado em setembro de 2022 por Martijn Koster, Gary Illyes, Henner Zeller e Lizzi Sassman. A RFC 9309 exige que as regras estejam "acessíveis em um arquivo chamado '/robots.txt' (tudo em minúsculas) no caminho de nível superior do serviço", e a especificação de robots.txt do Google acrescenta que as regras "se aplicam apenas ao host, ao protocolo e ao número da porta onde o arquivo robots.txt está hospedado". Leia o arquivo como controle de tráfego para os rastreadores que escolhem obedecê-lo.

Última verificação: 8 de setembro de 2026

Por que uma página bloqueada no robots.txt ainda aparece no Google?

O Google lista a URL porque um link apontou para ela, e listar uma URL não exige nenhuma busca. A introdução ao robots.txt do Google, atualizada pela última vez em 10 de dezembro de 2025, afirma que um arquivo robots.txt "não é um mecanismo para manter uma página da web fora do Google", e a especificação do Google acrescenta que o Google "não consegue indexar o conteúdo de páginas cujo rastreamento está bloqueado, mas ainda pode indexar a URL e mostrá-la nos resultados de busca sem snippet". Uma regra disallow interrompe a busca e nada mais, então o resultado carrega o texto âncora da página que faz o link no lugar de uma descrição.

A correção vai contra o instinto. Uma meta tag robots noindex só funciona quando o rastreador busca a página e a lê, então uma linha disallow é exatamente o que impede que noindex seja visto. Apague o disallow, entregue noindex e deixe o Google buscar a página para aprender que deve tirá-la. Para conteúdo que não pode ser legível de jeito nenhum, use autenticação: o robots.txt é um arquivo público que lista seus caminhos sensíveis para qualquer um que o abra.

O que cada diretiva do robots.txt faz?

A RFC 9309 define três campos, user-agent, allow e disallow, mais três caracteres especiais, e a especificação do Google acrescenta o campo sitemap.

Codifique em porcentagem um *, $ ou # literal dentro de um caminho, como a RFC 9309 recomenda.

Crawl-delay fica fora do padrão. A especificação de robots.txt do Google, atualizada pela última vez em 31 de agosto de 2026, lista os quatro campos que o Google lê e afirma que "outros campos como crawl-delay não têm suporte". O suporte varia por rastreador: a documentação da Anthropic publica Crawl-delay: 1 sob User-agent: ClaudeBot como alternativa a um bloqueio total. Escreva a linha apenas para rastreadores cujo operador a documenta.

Qual regra vence quando allow e disallow correspondem juntos?

O padrão de caminho correspondente mais longo vence, medido em octetos, e um empate exato fica com allow.

winner = the allow or disallow rule whose path pattern contains the most octets; on an exact tie, allow

A RFC 9309 coloca assim: "A correspondência mais específica encontrada DEVE ser usada. A correspondência mais específica é a que tem mais octetos", e resolve empates com "Se uma regra 'allow' e uma regra 'disallow' forem equivalentes, a regra 'allow' DEVERIA ser usada". A especificação do Google chega ao mesmo resultado: "Em caso de regras conflitantes, incluindo as com curingas, o Google usa a regra menos restritiva".

Aplique a https://example.com/blog/drafts/post-1:

19 vence 13 que vence 6, então a terceira regra ganha e o rastreador busca a página. Apague essa linha e 13 vence 6, então o disallow assume. Num empate, Disallow: /p e Allow: /p contam 2 octetos cada, então allow vence e /page continua rastreável. A ordem das linhas não muda nada, então conte caracteres em vez de reorganizar regras.

Como os rastreadores escolhem qual grupo user-agent se aplica?

Um rastreador compara seu token de produto com as linhas user-agent sem diferenciar maiúsculas de minúsculas, obedece a esse único grupo e recorre ao grupo * só quando nenhum grupo corresponde. A RFC 9309 exige que "os rastreadores DEVEM usar comparação sem diferenciar maiúsculas de minúsculas para encontrar o grupo que corresponde ao token de produto" e que "se nenhum grupo correspondente existir, os rastreadores DEVEM obedecer ao grupo com uma linha user-agent com o valor '*'". Dois grupos que citam o mesmo token são mesclados, o que a RFC 9309 formula como regras que "DEVEM ser combinadas em um grupo" e a especificação do Google descreve como rastreadores que "mesclam os grupos internamente".

A consequência pega muita gente de surpresa. Dê ao GPTBot um grupo próprio e o GPTBot para de ler o grupo *, então nenhum disallow escrito para todos os outros o prende mais. Repita as linhas disallow compartilhadas dentro de cada grupo nomeado. Pelo mesmo motivo, escrever cada token de rastreador de IA com exatidão importa: um erro de digitação joga um rastreador de volta no grupo *.

Como bloquear rastreadores de IA no robots.txt?

Nomeie o token de cada operador em um grupo próprio e decida separadamente para os rastreadores de treinamento e para os rastreadores de busca que citam e devolvem link.

# https://example.com/robots.txt
 
User-agent: *
Disallow: /cart/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
 
# Model training
User-agent: GPTBot
Disallow: /
 
User-agent: ClaudeBot
Disallow: /
 
User-agent: Google-Extended
Disallow: /
 
# Answer engines that cite and link
User-agent: OAI-SearchBot
Disallow: /cart/
Disallow: /account/
 
User-agent: PerplexityBot
Disallow: /cart/
Disallow: /account/
 
User-agent: Claude-SearchBot
Disallow: /cart/
Disallow: /account/

As linhas repetidas de /cart/ e /account/ são a regra de grupo em ação, não enchimento: cada rastreador nomeado lê apenas o próprio grupo. Três ressalvas vêm dos operadores. O Google documenta que "o Google-Extended não tem uma string de user agent de solicitação HTTP separada" e atua "em uma função de controle", e que bloqueá-lo "não afeta a inclusão de um site na Busca do Google nem é usado como sinal de classificação na Busca do Google". A OpenAI separa o GPTBot, que rastreia para melhorar seus modelos de fundação, do OAI-SearchBot, que exibe sites na busca do ChatGPT, então bloquear o token GPTBot deixa intacto o acesso da busca do ChatGPT. A Perplexity documenta que o Perplexity-User ignora as regras do robots.txt na maioria dos casos porque um usuário pediu a busca. A mesma divisão por operador vai além desta lista: o Amazonbot rastreia para melhorar os produtos da Amazon e pode treinar os modelos de IA da Amazon se o token dele não for bloqueado, e o Applebot-Extended pode ser desautorizado sozinho para parar o treino do Apple Intelligence sem mexer em Siri, Spotlight e busca do Safari. A OpenAI roda o mesmo tipo de busca sob demanda em um terceiro token, ChatGPT-User, separado do GPTBot e do OAI-SearchBot.

Bloquear rastreadores de treinamento e manter os motores de resposta é uma decisão de visibilidade, e ela é mensurável. A RedReplier acompanha as threads públicas que nomeiam uma marca, que é o que significa na prática o monitoramento de redes sociais.

O que acontece quando o robots.txt some, fica enorme ou retorna erro?

O status HTTP decide, e as duas classes de erro apontam para direções opostas. A RFC 9309 afirma que em um 4xx "o rastreador PODE acessar quaisquer recursos no servidor", e que em um 5xx "o rastreador DEVE presumir bloqueio completo". Um 404 abre o host inteiro e um 503 o fecha, então uma origem com erro durante um deploy pausa o rastreamento de tudo. A RFC 9309 também fixa um limite de parsing de "pelo menos 500 kibibytes", que o Google aplica ignorando conteúdo além de 500 KiB, limita o reuso de uma cópia em cache a 24 horas a menos que o arquivo esteja inacessível, o que bate com o cache de 24 horas do próprio Google, e pede que os rastreadores sigam "pelo menos cinco redirecionamentos consecutivos" antes de tratar o arquivo como indisponível. Verifique se o seu CDN retorna 200 para /robots.txt em cada host e protocolo que você serve.

O robots.txt é a mesma coisa que o llms.txt?

Não. O robots.txt é um padrão com uma RFC por trás e suporte documentado por todo grande operador de rastreador, enquanto o llms.txt é uma convenção proposta que nenhuma das documentações de rastreadores citadas aqui menciona. Os dois respondem perguntas diferentes: o robots.txt diz quais caminhos um rastreador pode buscar, e o llms.txt propõe qual conteúdo um modelo deve ler primeiro.

Nenhum dos dois arquivos é um controle legal. Um rastreador que ignora o robots.txt quebra uma convenção, e se isso passa a ser coleta ilícita depende dos termos de serviço, dos controles de acesso e da jurisdição. Para acesso garantido e permitido aos dados de uma plataforma, a escolha entre scraping e uma API resolve.

Perguntas frequentes

O robots.txt mantém uma página fora dos resultados de busca?

Não. A introdução ao robots.txt do Google diz direto que o robots.txt "não é um mecanismo para manter uma página da web fora do Google". Uma URL bloqueada para a qual outros sites apontam pode aparecer nos resultados como uma URL crua, sem snippet. Use uma meta tag noindex em uma página rastreável, ou autenticação, quando o objetivo for exclusão.

A ordem das linhas no robots.txt importa?

Não. A RFC 9309 resolve conflitos pelo número de octetos no padrão de caminho correspondente, então Disallow: /blog/drafts/ com 13 octetos vence Allow: /blog/ com 6 octetos onde quer que as duas linhas estejam no arquivo. A ordem só importa para o agrupamento, já que todo allow e todo disallow pertence à linha user-agent acima dele.

Um único arquivo robots.txt cobre subdomínios e os dois protocolos?

Não. A especificação do Google afirma que as regras "se aplicam apenas ao host, ao protocolo e ao número da porta onde o arquivo robots.txt está hospedado". Um arquivo em https://example.com/robots.txt não diz nada sobre https://shop.example.com/ nem sobre a versão http. Publique um arquivo separado em cada host que você quer controlar.

Posso colocar noindex no robots.txt?

A especificação de robots.txt do Google lista quatro campos que o Google lê, user-agent, allow, disallow e sitemap, e noindex não está entre eles. Entregue noindex como meta tag robots no head da página ou como cabeçalho HTTP X-Robots-Tag. Os dois exigem que a página continue rastreável, então remova qualquer disallow que a cubra.

O robots.txt impede scrapers?

Não. A RFC 9309 descreve regras que um rastreador escolhe obedecer, sem mecanismo de aplicação, então um scraper que ignora o arquivo busca as páginas do mesmo jeito. A Perplexity diz isso abertamente sobre o próprio fetcher Perplexity-User, que ignora as regras do robots.txt na maioria dos casos porque um usuário pediu a página. Rate limiting, autenticação e regras de WAF são os controles que fazem valer alguma coisa.

Bloquear rastreadores de IA prejudica a visibilidade na busca?

Bloquear o Google-Extended não prejudica, pela declaração do próprio Google de que isso "não afeta a inclusão de um site na Busca do Google nem é usado como sinal de classificação na Busca do Google". Bloquear rastreadores de motores de resposta é outra troca: a Anthropic afirma que bloquear o Claude-SearchBot pode reduzir a visibilidade nos resultados de busca do Claude, e OAI-SearchBot e PerplexityBot existem para exibir e linkar sites. Bloqueie os tokens de treinamento e mantenha os tokens de busca quando as citações importarem para você.

Quem escreveu a RFC 9309?

Martijn Koster, Gary Illyes, Henner Zeller e Lizzi Sassman escreveram a RFC 9309, o Robots Exclusion Protocol. O documento alcançou o status Standards Track em setembro de 2022. A própria especificação de robots.txt do Google se apoia nas mesmas regras e acrescenta campos que a RFC 9309 não cobre, como sitemap.

Qual o tamanho máximo de um arquivo robots.txt antes de o Google ignorá-lo?

A RFC 9309 define um limite de leitura de pelo menos 500 kibibytes para um arquivo robots.txt. O Google aplica esse limite ignorando qualquer conteúdo além da marca de 500 KiB, então regras escritas depois desse ponto nunca valem. Mantenha o arquivo curto e concentre a lógica em poucos grupos user-agent em vez de uma lista longa.

Bloquear o GPTBot também bloqueia a busca do ChatGPT?

GPTBot e OAI-SearchBot são tokens separados segundo a documentação da OpenAI. O GPTBot rastreia para melhorar os modelos de base da OpenAI, enquanto o OAI-SearchBot mostra sites dentro da busca do ChatGPT. Bloquear só o GPTBot mantém o acesso da busca do ChatGPT intacto, porque cada rastreador lê apenas o próprio grupo user-agent.

Por quanto tempo o Google mantém um robots.txt em cache antes de checar de novo?

O Google mantém um arquivo robots.txt em cache por até 24 horas antes de checá-lo de novo, a menos que o arquivo fique inacessível. A RFC 9309 define o mesmo limite para rastreadores genéricos. Uma mudança numa linha disallow pode levar quase um dia inteiro para valer, então vale planejar o deploy de novas regras de bloqueio com essa folga em mente.