robots.txt: Disallow y noindex, por qué sigues en Google

Contenido
Añadiste Disallow en robots.txt para sacar una dirección de los resultados de búsqueda, pero pasan los días y esa dirección sigue apareciendo tal cual. No es que hayas configurado algo mal: ocurre porque Disallow no sirve para eso.
robots.txt es un archivo que controla la lectura de las páginas por parte de los robots (el rastreo), mientras que noindex decide si una página se incluye o no en los resultados de búsqueda (la indexación). Son dos ajustes de niveles distintos, así que uno no puede sustituir al otro.
Resumen ①
Disallowes una señal para prohibir el rastreo. La documentación de Google especifica que una página bloqueada por robots.txt también puede indexarse si otros sitios enlazan a ella. ② En ese caso, en los resultados de búsqueda solo aparece la dirección, sin descripción. ③ Para sacarla de la búsqueda hay que usarnoindex, pero si la bloqueas con robots.txt, los robots no pueden ver esenoindex. No combines ambas.
¿Por qué aparece en la búsqueda si la bloqueaste?
Si citamos literalmente la documentación de Google Search Central, una página bloqueada con Disallow en robots.txt puede indexarse si otros sitios enlazan a ella. Y ese resultado indexado aparece sin descripción.
El motivo es sencillo. Los robots no pudieron leer el cuerpo de la página, pero pueden saber que «esa dirección existe» y conocer el texto ancla de los enlaces externos que apuntan a ella con independencia de robots.txt.
Así que el bloqueo se respeta correctamente y, aun así, la dirección permanece en los resultados de búsqueda. En el informe de indexación de páginas de Google Search Console, este estado aparece como una advertencia Indexed, though blocked by robots.txt (indexada, aunque bloqueada por robots.txt).
Es decir, «lo bloqueé, ¿por qué aparece?» no es un fallo, sino el resultado de haber elegido la configuración equivocada para ese objetivo.
El rastreo y la indexación son niveles distintos
Si comparas dónde se coloca cada ajuste y qué bloquea, la diferencia queda clara.
Disallow en robots.txt | noindex | |
|---|---|---|
| Qué bloquea | El rastreo (que los robots lean la página) | La indexación (que se incluya en los resultados de búsqueda) |
| Dónde se indica | El archivo /robots.txt en la raíz del sitio | La etiqueta meta de la página o el encabezado de respuesta HTTP |
| Qué necesita el robot para ver la regla | Basta con leer el archivo robots.txt | Poder rastrear esa página |
| Una dirección ya indexada | Puede permanecer tal cual | Desaparece después de volver a rastrearse |
La tercera fila de la tabla es la clave de este artículo. noindex es una señal que se escribe dentro de la página, así que el robot solo puede leerla si abre esa página.
Por eso, si aplicas Disallow y noindex al mismo tiempo a la misma dirección, la indexación se mantiene. La documentación de Google también lo deja claro: «para que una regla noindex funcione, esa página no debe estar bloqueada por robots.txt».
Qué usar según tu objetivo
El recurso que elijas depende del resultado que quieras obtener.
| Lo que quieres | Lo que debes usar |
|---|---|
| Reducir el tráfico de rastreo | Disallow en robots.txt |
| Sacar una página de los resultados de búsqueda | noindex (dejando el rastreo abierto) |
| Que no la vea nadie | Protección con contraseña o eliminar la página |
Para evitar que una página aparezca en la búsqueda, Google recomienda tres métodos: proteger el archivo con una contraseña, usar noindex en una etiqueta meta o en un encabezado de respuesta, o eliminar la página directamente. El bloqueo mediante robots.txt no figura en esa lista.
Hay un punto más que conviene señalar. robots.txt es, ante todo, una petición dirigida a los robots, y cualquiera puede abrir el archivo. Si incluyes rutas sensibles en Disallow, en la práctica estás publicando esa lista de rutas.
Cómo comprobarlo y escribirlo tú mismo sin herramientas
Empieza por comprobar el estado actual
Si añades /robots.txt después del dominio en la barra de direcciones del navegador y abres esa dirección, verás el archivo que se está aplicando en ese momento. El archivo debe estar en la ruta raíz del sitio y con el nombre robots.txt en minúsculas (RFC 9309); si lo colocas en una subcarpeta, no se reconocerá.
Para comprobar si una página tiene noindex, abre el código fuente en el navegador y busca <meta name="robots" content="noindex">. En los archivos que no son HTML (como un PDF), la indicación se establece mediante encabezados de respuesta, así que revisa X-Robots-Tag con curl -I dirección.
La sintaxis de robots.txt se resuelve con cuatro líneas
Google admite cuatro campos: user-agent, allow, disallow y sitemap. Un grupo empieza por User-agent y las reglas que van debajo se aplican a ese robot.
User-agent: *
Allow: /admin/help/
Disallow: /admin/
Disallow: /search
Sitemap: https://example.com/sitemap.xml
- Si dejas vacío lo que va después de
Disallow:, significa que no se bloquea nada (el patrón vacío de la RFC). Así se expresa un permiso total. - El bloqueo total es
Disallow: /. La diferencia de una sola barra produce el efecto contrario. - Cuando las reglas se solapan, gana la más específica, es decir, la que tiene la ruta más larga. Si la longitud es la misma, se da prioridad a
Allow. - Las rutas distinguen entre mayúsculas y minúsculas.
/Admin/y/admin/son rutas distintas. - Los rastreadores deben admitir
*(cualquier secuencia de cero o más caracteres) y$(final de la ruta). Se usan así:Disallow: /*.pdf$. - Todo lo que sigue a
#es un comentario.
En el ejemplo anterior, /admin/help/ tiene una ruta más larga que Disallow: /admin/ y, por tanto, es más específica; el resultado es que bloqueas la carpeta de administración y dejas abierta solo la ayuda.
Dónde guardarlo y cuándo se aplica
El archivo se aplica por host, protocolo y puerto. blog.example.com y example.com necesitan cada uno su propio robots.txt.
La aplicación tampoco es inmediata. Google suele guardar robots.txt en caché hasta 24 horas, y la RFC 9309 también recomienda que los rastreadores no usen un archivo en caché durante más de 24 horas. Además, Google ignora la parte que supere los 500 KiB.
Cómo crearlo con nuestra herramienta. Cuando usas varios grupos, es fácil cometer errores en las líneas en blanco entre grupos, en la barra inicial de las rutas o en la ortografía de los nombres de campo. En el Generador de robots.txt, si rellenas User-agent, las rutas Disallow y Allow (una por línea) y la dirección de Sitemap, la herramienta genera al momento un archivo conforme a la especificación y te lo muestra. Tiene preajustes para Permitir todo y Bloquear todo, una opción para añadir grupos de User-agent, y botones para copiar y descargar el archivo.
La herramienta también incluye un campo Crawl-delay, pero es opcional. Google no incluye crawl-delay en su lista de campos admitidos, así que puedes dejarlo vacío a menos que lo necesites por otro motor de búsqueda.
Se arma al instante en el navegador, sin instalación ni registro, y las rutas que escribes no se envían a ningún servidor.

Puntos que suelen causar problemas
Si quieres sacar una dirección que ya está indexada, el orden es importante. Primero debes quitar Disallow para que el robot pueda entrar, leer el noindex y sacarla del índice. Si mantienes el bloqueo y solo añades noindex, no pasará nada.
| Situación | Qué ocurre |
|---|---|
Escribir una línea Noindex: en robots.txt | Google la ignora porque no es un campo que admita |
Aplicar Disallow y noindex a la vez | El noindex no se lee y la indexación se mantiene |
Especificar Crawl-delay | Google no lo admite |
| Bloquear las carpetas de CSS y JS | También bloqueas los archivos necesarios para renderizar la página, y la evaluación puede cambiar |
Enumerar rutas con información sensible en Disallow | Como el archivo es público, las rutas quedan expuestas tal cual |
Crawl-delay no es un campo definido en la RFC 9309 y Google tampoco lo incluyó en su lista de campos admitidos. Sin embargo, algunos motores de búsqueda lo interpretan, así que, si lo necesitas, lo más preciso es consultar la documentación para webmasters de ese motor y comprobar si lo admite.
Cuando necesites retirar un resultado con urgencia, puedes usar la herramienta de eliminación de Search Console, pero es una medida temporal. La documentación de Google indica que la solicitud se mantiene solo unos 6 meses, así que durante ese tiempo debes aplicar una solución permanente, como noindex o la eliminación de la página.
Resumen
- El
Disallowde robots.txt significa prohibir el rastreo, no excluir una página de los resultados de búsqueda. - Una URL bloqueada también puede indexarse si hay enlaces externos que apunten a ella y, en ese caso, aparece en los resultados solo la dirección, sin descripción.
- Para sacar una página de los resultados de búsqueda, usa la metaetiqueta
noindexo el encabezado de respuestaX-Robots-Tagy deja abierto el rastreo de esa página. - Si aplicas ambas cosas a la vez, el
noindexno se llega a leer y el resultado es el contrario. Si ya la habías bloqueado, primero levanta el bloqueo. - El contenido que deba quedar completamente oculto se protege con contraseña o se elimina. robots.txt es un archivo público.
- Coloca el archivo en la ruta raíz con el nombre
robots.txten minúsculas; en las reglas, prevalece la ruta más larga y se distingue entre mayúsculas y minúsculas.
Se arma al instante en el navegador, sin instalación ni registro, y las rutas que escribes no se envían a ningún servidor.
Preguntas frecuentes
¿No basta con escribir noindex en robots.txt?
Google indica explícitamente que no admite la opción de especificar noindex en el archivo robots.txt. Los únicos campos compatibles son user-agent, allow, disallow y sitemap, así que cualquier otra línea se ignora. noindex debe incluirse en la etiqueta meta de la página o en un encabezado de respuesta HTTP.
¿En qué orden debo actuar para quitar una URL que ya aparece en los resultados de búsqueda?
Primero, elimina el Disallow de esa ruta en robots.txt para que los robots puedan acceder a la página. Después, añade noindex a la página y espera a que se vuelva a rastrear. Si tienes prisa, puedes usar la herramienta de eliminación de Search Console como medida temporal, pero dura unos 6 meses, así que durante ese tiempo debes completar el proceso con noindex o eliminando la página.
Añadí Crawl-delay, pero la velocidad de rastreo sigue igual
Se debe a que crawl-delay no figura entre los campos que admite Google. Tampoco está definido en la RFC 9309: es un campo no estándar, y cada motor de búsqueda decide si lo interpreta o no. Consulta en la documentación de las herramientas para webmasters del motor que uses si es compatible; si no lo es, lo más fiable es revisar la configuración del servidor o los ajustes de velocidad de rastreo que ofrezca cada herramienta.
¿También tengo que crear archivos distintos para los subdominios y para http y https?
Sí. robots.txt se aplica por host, protocolo y puerto. Las reglas de https://example.com/robots.txt no se aplican a https://blog.example.com, y cada host debe tener su propio archivo en su ruta raíz. Las direcciones con un puerto distinto también son independientes.
Este artículo está adaptado de nuestro original en coreano. Leer el original en coreano