Todo lo que robots.txt controla, y lo único que no controla

¿Qué es robots.txt?

Un sitio publica robots.txt en la raíz de un host para indicar a los rastreadores (crawlers) qué rutas de URL pueden solicitar, y ese es todo el alcance del archivo: robots.txt pide a un rastreador que no solicite una página, no vuelve privada esa página y no mantiene la URL fuera de los resultados de búsqueda de forma fiable. Las reglas vienen del RFC 9309, el Robots Exclusion Protocol, un documento de Standards Track publicado en septiembre de 2022 por Martijn Koster, Gary Illyes, Henner Zeller y Lizzi Sassman. El RFC 9309 exige que las reglas sean "accesibles en un archivo llamado '/robots.txt' (todo en minúsculas) en la ruta de nivel superior del servicio", y la especificación de robots.txt de Google añade que las reglas "se aplican solo al host, el protocolo y el número de puerto donde se aloja el archivo robots.txt". Lea el archivo como control de tráfico para los rastreadores que deciden obedecerlo.

Última verificación: 8 de septiembre de 2026

¿Por qué una página bloqueada en robots.txt sigue apareciendo en Google?

Google lista la URL porque un enlace apuntaba a ella, y listar una URL no requiere ninguna descarga. La introducción a robots.txt de Google, actualizada por última vez el 10 de diciembre de 2025, afirma que un archivo robots.txt "no es un mecanismo para mantener una página web fuera de Google", y la especificación de Google añade que Google "no puede indexar el contenido de las páginas cuyo rastreo está bloqueado, pero sí puede indexar la URL y mostrarla en los resultados de búsqueda sin fragmento". Una regla disallow detiene la descarga y nada más, así que el resultado lleva el texto ancla de la página que enlaza en lugar de una descripción.

La solución va en contra del instinto. Una metaetiqueta robots noindex solo funciona si el rastreador solicita la página y la lee, así que una línea disallow es exactamente lo que impide que se vea noindex. Borre el disallow, sirva noindex y deje que Google solicite la página para que aprenda que debe retirarla. Para el contenido que no debe ser legible en absoluto, use autenticación: robots.txt es un archivo público que enumera sus rutas sensibles a cualquiera que lo abra.

¿Qué hace cada directiva de robots.txt?

El RFC 9309 define tres campos, user-agent, allow y disallow, más tres caracteres especiales, y la especificación de Google añade el campo sitemap.

Codifique en porcentaje un *, $ o # literal dentro de una ruta, como recomienda el RFC 9309.

Crawl-delay queda fuera del estándar. La especificación de robots.txt de Google, actualizada por última vez el 31 de agosto de 2026, enumera los cuatro campos que Google lee y afirma que "otros campos como crawl-delay no son compatibles". El soporte depende de cada rastreador: la documentación de Anthropic publica Crawl-delay: 1 bajo User-agent: ClaudeBot como alternativa a un bloqueo completo. Escriba la línea solo para los rastreadores cuyo operador la documenta.

¿Qué regla gana cuando allow y disallow coinciden a la vez?

Gana el patrón de ruta coincidente más largo, medido en octetos, y un empate exacto va para allow.

winner = the allow or disallow rule whose path pattern contains the most octets; on an exact tie, allow

El RFC 9309 lo formula así: "DEBE usarse la coincidencia más específica encontrada. La coincidencia más específica es la que tiene más octetos", y resuelve los empates con "Si una regla 'allow' y una regla 'disallow' son equivalentes, DEBERÍA usarse la regla 'allow'". La especificación de Google llega al mismo resultado: "En caso de reglas en conflicto, incluidas las que llevan comodines, Google usa la regla menos restrictiva".

Aplíquelo a https://example.com/blog/drafts/post-1:

19 gana a 13 y 13 gana a 6, así que vence la tercera regla y el rastreador solicita la página. Borre esa línea y 13 gana a 6, con lo que manda el disallow. En un empate, Disallow: /p y Allow: /p cuentan 2 octetos cada uno, así que gana allow y /page sigue siendo rastreable. El orden de las líneas no cambia nada, así que cuente caracteres en lugar de reordenar reglas.

¿Cómo eligen los rastreadores qué grupo user-agent se aplica?

Un rastreador compara su token de producto con las líneas user-agent sin distinguir mayúsculas y minúsculas, obedece ese único grupo y recurre al grupo * solo cuando ningún grupo coincide. El RFC 9309 exige que "los rastreadores DEBEN usar una comparación que no distinga mayúsculas y minúsculas para encontrar el grupo que coincide con el token de producto" y que "si no existe un grupo coincidente, los rastreadores DEBEN obedecer el grupo con una línea user-agent con el valor '*'". Dos grupos que nombran el mismo token se fusionan, lo que el RFC 9309 expresa como reglas que "DEBEN combinarse en un solo grupo" y la especificación de Google describe como rastreadores que "fusionan los grupos internamente".

La consecuencia pilla a mucha gente. Dé a GPTBot su propio grupo y GPTBot deja de leer el grupo *, así que ningún disallow escrito para todos los demás lo vincula ya. Repita las líneas disallow compartidas dentro de cada grupo con nombre. Por la misma razón importa escribir con exactitud cada token de rastreador de IA: una errata devuelve a un rastreador al grupo *.

¿Cómo se bloquean los rastreadores de IA en robots.txt?

Nombre el token de cada operador en su propio grupo y decida por separado para los rastreadores de entrenamiento y para los rastreadores de búsqueda que citan y enlazan de vuelta.

# https://example.com/robots.txt
 
User-agent: *
Disallow: /cart/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
 
# Model training
User-agent: GPTBot
Disallow: /
 
User-agent: ClaudeBot
Disallow: /
 
User-agent: Google-Extended
Disallow: /
 
# Answer engines that cite and link
User-agent: OAI-SearchBot
Disallow: /cart/
Disallow: /account/
 
User-agent: PerplexityBot
Disallow: /cart/
Disallow: /account/
 
User-agent: Claude-SearchBot
Disallow: /cart/
Disallow: /account/

Las líneas repetidas de /cart/ y /account/ son la regla de grupo en acción, no relleno: cada rastreador con nombre lee solo su propio grupo. Tres advertencias vienen de los operadores. Google documenta que "Google-Extended no tiene una cadena de user agent de solicitud HTTP propia" y que funciona "con una función de control", y que bloquearlo "no afecta a la inclusión de un sitio en la Búsqueda de Google ni se usa como señal de posicionamiento en la Búsqueda de Google". OpenAI separa GPTBot, que rastrea para mejorar sus modelos fundacionales, de OAI-SearchBot, que muestra sitios en la búsqueda de ChatGPT, así que bloquear el token GPTBot deja intacto el acceso de la búsqueda de ChatGPT. Perplexity documenta que Perplexity-User ignora las reglas de robots.txt en la mayoría de los casos porque un usuario pidió la descarga. La misma división por operador va más allá de esta lista: Amazonbot rastrea para mejorar los productos de Amazon y puede entrenar los modelos de IA de Amazon si no se bloquea su token, y Applebot-Extended se puede desautorizar por separado para detener el entrenamiento de Apple Intelligence sin tocar Siri, Spotlight ni la búsqueda de Safari. OpenAI ejecuta el mismo tipo de descarga bajo demanda con un tercer token, ChatGPT-User, separado de GPTBot y de OAI-SearchBot.

Bloquear los rastreadores de entrenamiento y conservar los motores de respuesta es una decisión de visibilidad, y es medible. RedReplier registra los hilos públicos que nombran una marca, que es lo que significa en la práctica la monitorización de redes sociales.

¿Qué pasa cuando robots.txt falta, es enorme o devuelve un error?

El estado HTTP decide, y las dos clases de error apuntan en direcciones opuestas. El RFC 9309 establece que ante un 4xx "el rastreador PUEDE acceder a cualquier recurso del servidor", y que ante un 5xx "el rastreador DEBE asumir un disallow completo". Un 404 abre el host entero y un 503 lo cierra, así que un origen que falla durante un despliegue pausa el rastreo de todo. El RFC 9309 también fija un límite de análisis de "al menos 500 kibibytes", que Google aplica ignorando el contenido que pasa de 500 KiB, limita la reutilización de una copia en caché a 24 horas salvo que el archivo sea inalcanzable, lo que coincide con la caché de 24 horas de Google, y pide a los rastreadores que sigan "al menos cinco redirecciones consecutivas" antes de tratar el archivo como no disponible. Compruebe que su CDN devuelve 200 para /robots.txt en cada host y protocolo que sirva.

¿Es robots.txt lo mismo que llms.txt?

No. robots.txt es un estándar con un RFC detrás y soporte documentado por todos los grandes operadores de rastreadores, mientras que llms.txt es una convención propuesta que ninguna de las documentaciones de rastreadores citadas aquí menciona. Los dos responden preguntas distintas: robots.txt dice qué rutas puede solicitar un rastreador, y llms.txt propone qué contenido debería leer primero un modelo.

Ninguno de los dos archivos es un control legal. Un rastreador que ignora robots.txt rompe una convención, y si eso cruza hacia una recopilación ilícita depende de los términos de servicio, los controles de acceso y la jurisdicción. Para un acceso garantizado y permitido a los datos de una plataforma, la elección entre scraping y una API lo zanja.

Preguntas frecuentes

¿Mantiene robots.txt una página fuera de los resultados de búsqueda?

No. La introducción a robots.txt de Google dice directamente que robots.txt "no es un mecanismo para mantener una página web fuera de Google". Una URL bloqueada a la que enlazan otros sitios puede aparecer en los resultados como una URL desnuda sin fragmento. Use una metaetiqueta noindex en una página rastreable, o autenticación, cuando el objetivo sea la exclusión.

¿Importa el orden de las líneas en robots.txt?

No. El RFC 9309 resuelve los conflictos por el número de octetos del patrón de ruta coincidente, así que Disallow: /blog/drafts/ con 13 octetos gana a Allow: /blog/ con 6 octetos estén donde estén las dos líneas en el archivo. El orden solo importa para agrupar, ya que cada allow y cada disallow pertenece a la línea user-agent que tiene encima.

¿Cubre un solo archivo robots.txt los subdominios y ambos protocolos?

No. La especificación de Google establece que las reglas "se aplican solo al host, el protocolo y el número de puerto donde se aloja el archivo robots.txt". Un archivo en https://example.com/robots.txt no dice nada sobre https://shop.example.com/ ni sobre la versión http. Publique un archivo aparte en cada host que quiera controlar.

¿Puedo poner noindex en robots.txt?

La especificación de robots.txt de Google enumera cuatro campos que Google lee, user-agent, allow, disallow y sitemap, y noindex no está entre ellos. Sirva noindex como metaetiqueta robots en el head de la página o como cabecera HTTP X-Robots-Tag. Ambas exigen que la página siga siendo rastreable, así que quite cualquier disallow que la cubra.

¿Detiene robots.txt a los scrapers?

No. El RFC 9309 describe reglas que un rastreador decide obedecer, sin mecanismo de aplicación, así que un scraper que ignore el archivo descarga las páginas igualmente. Perplexity lo dice abiertamente sobre su propio fetcher Perplexity-User, que ignora las reglas de robots.txt en la mayoría de los casos porque un usuario pidió la página. La limitación de tasa, la autenticación y las reglas de WAF son los controles que hacen cumplir algo.

¿Perjudica a la visibilidad en búsqueda bloquear los rastreadores de IA?

Bloquear Google-Extended no, según la propia declaración de Google de que "no afecta a la inclusión de un sitio en la Búsqueda de Google ni se usa como señal de posicionamiento en la Búsqueda de Google". Bloquear los rastreadores de motores de respuesta es otro trato: Anthropic afirma que bloquear Claude-SearchBot puede reducir la visibilidad en los resultados de búsqueda de Claude, y OAI-SearchBot y PerplexityBot existen para mostrar y enlazar sitios. Bloquee los tokens de entrenamiento y conserve los tokens de búsqueda cuando las citas le importen.

¿Quién escribió el RFC 9309?

Martijn Koster, Gary Illyes, Henner Zeller y Lizzi Sassman escribieron el RFC 9309, el Robots Exclusion Protocol. El documento alcanzó el estado Standards Track en septiembre de 2022. La propia especificación de robots.txt de Google se apoya en las mismas reglas y añade campos que el RFC 9309 no cubre, como sitemap.

¿Qué tamaño puede tener un archivo robots.txt antes de que Google lo ignore?

El RFC 9309 fija un límite de análisis de al menos 500 kibibytes para un archivo robots.txt. Google aplica ese límite ignorando cualquier contenido que supere la marca de 500 KiB, así que las reglas escritas más allá de ese punto nunca se aplican. Mantén el archivo corto y concentra la lógica en unos pocos grupos user-agent en lugar de una lista larga.

¿Bloquear GPTBot también bloquea la búsqueda de ChatGPT?

GPTBot y OAI-SearchBot son tokens separados según la documentación de OpenAI. GPTBot rastrea para mejorar los modelos base de OpenAI, mientras que OAI-SearchBot muestra sitios dentro de la búsqueda de ChatGPT. Bloquear solo GPTBot deja intacto el acceso de la búsqueda de ChatGPT, porque cada rastreador lee únicamente su propio grupo user-agent.

¿Cuánto tiempo guarda Google en caché un archivo robots.txt antes de revisarlo de nuevo?

Google guarda en caché un archivo robots.txt obtenido hasta 24 horas antes de volver a comprobarlo, salvo que el archivo quede inaccesible. El RFC 9309 fija el mismo límite para los rastreadores genéricos. Un cambio en una línea disallow puede tardar casi un día en aplicarse, así que conviene tener ese margen en cuenta al planear despliegues con nuevas reglas de bloqueo.