robots.txt: Disallow y noindex, por qué sigues en Google

PublicadoHerramientaGenerador de robots.txt

Contenido
  1. ¿Por qué aparece en la búsqueda si la bloqueaste?
  2. El rastreo y la indexación son niveles distintos
  3. Qué usar según tu objetivo
  4. Cómo comprobarlo y escribirlo tú mismo sin herramientas
  5. Puntos que suelen causar problemas
  6. Resumen
  7. Preguntas frecuentes

Añadiste Disallow en robots.txt para sacar una dirección de los resultados de búsqueda, pero pasan los días y esa dirección sigue apareciendo tal cual. No es que hayas configurado algo mal: ocurre porque Disallow no sirve para eso.

robots.txt es un archivo que controla la lectura de las páginas por parte de los robots (el rastreo), mientras que noindex decide si una página se incluye o no en los resultados de búsqueda (la indexación). Son dos ajustes de niveles distintos, así que uno no puede sustituir al otro.

Resumen ① Disallow es una señal para prohibir el rastreo. La documentación de Google especifica que una página bloqueada por robots.txt también puede indexarse si otros sitios enlazan a ella. ② En ese caso, en los resultados de búsqueda solo aparece la dirección, sin descripción. ③ Para sacarla de la búsqueda hay que usar noindex, pero si la bloqueas con robots.txt, los robots no pueden ver ese noindex. No combines ambas.

¿Por qué aparece en la búsqueda si la bloqueaste?

Si citamos literalmente la documentación de Google Search Central, una página bloqueada con Disallow en robots.txt puede indexarse si otros sitios enlazan a ella. Y ese resultado indexado aparece sin descripción.

El motivo es sencillo. Los robots no pudieron leer el cuerpo de la página, pero pueden saber que «esa dirección existe» y conocer el texto ancla de los enlaces externos que apuntan a ella con independencia de robots.txt.

Así que el bloqueo se respeta correctamente y, aun así, la dirección permanece en los resultados de búsqueda. En el informe de indexación de páginas de Google Search Console, este estado aparece como una advertencia Indexed, though blocked by robots.txt (indexada, aunque bloqueada por robots.txt).

Es decir, «lo bloqueé, ¿por qué aparece?» no es un fallo, sino el resultado de haber elegido la configuración equivocada para ese objetivo.

El rastreo y la indexación son niveles distintos

Si comparas dónde se coloca cada ajuste y qué bloquea, la diferencia queda clara.

Disallow en robots.txtnoindex
Qué bloqueaEl rastreo (que los robots lean la página)La indexación (que se incluya en los resultados de búsqueda)
Dónde se indicaEl archivo /robots.txt en la raíz del sitioLa etiqueta meta de la página o el encabezado de respuesta HTTP
Qué necesita el robot para ver la reglaBasta con leer el archivo robots.txtPoder rastrear esa página
Una dirección ya indexadaPuede permanecer tal cualDesaparece después de volver a rastrearse

La tercera fila de la tabla es la clave de este artículo. noindex es una señal que se escribe dentro de la página, así que el robot solo puede leerla si abre esa página.

Por eso, si aplicas Disallow y noindex al mismo tiempo a la misma dirección, la indexación se mantiene. La documentación de Google también lo deja claro: «para que una regla noindex funcione, esa página no debe estar bloqueada por robots.txt».

Qué usar según tu objetivo

El recurso que elijas depende del resultado que quieras obtener.

Lo que quieresLo que debes usar
Reducir el tráfico de rastreoDisallow en robots.txt
Sacar una página de los resultados de búsquedanoindex (dejando el rastreo abierto)
Que no la vea nadieProtección con contraseña o eliminar la página

Para evitar que una página aparezca en la búsqueda, Google recomienda tres métodos: proteger el archivo con una contraseña, usar noindex en una etiqueta meta o en un encabezado de respuesta, o eliminar la página directamente. El bloqueo mediante robots.txt no figura en esa lista.

Hay un punto más que conviene señalar. robots.txt es, ante todo, una petición dirigida a los robots, y cualquiera puede abrir el archivo. Si incluyes rutas sensibles en Disallow, en la práctica estás publicando esa lista de rutas.

Cómo comprobarlo y escribirlo tú mismo sin herramientas

Empieza por comprobar el estado actual

Si añades /robots.txt después del dominio en la barra de direcciones del navegador y abres esa dirección, verás el archivo que se está aplicando en ese momento. El archivo debe estar en la ruta raíz del sitio y con el nombre robots.txt en minúsculas (RFC 9309); si lo colocas en una subcarpeta, no se reconocerá.

Para comprobar si una página tiene noindex, abre el código fuente en el navegador y busca <meta name="robots" content="noindex">. En los archivos que no son HTML (como un PDF), la indicación se establece mediante encabezados de respuesta, así que revisa X-Robots-Tag con curl -I dirección.

La sintaxis de robots.txt se resuelve con cuatro líneas

Google admite cuatro campos: user-agent, allow, disallow y sitemap. Un grupo empieza por User-agent y las reglas que van debajo se aplican a ese robot.

User-agent: *
Allow: /admin/help/
Disallow: /admin/
Disallow: /search

Sitemap: https://example.com/sitemap.xml
  • Si dejas vacío lo que va después de Disallow:, significa que no se bloquea nada (el patrón vacío de la RFC). Así se expresa un permiso total.
  • El bloqueo total es Disallow: /. La diferencia de una sola barra produce el efecto contrario.
  • Cuando las reglas se solapan, gana la más específica, es decir, la que tiene la ruta más larga. Si la longitud es la misma, se da prioridad a Allow.
  • Las rutas distinguen entre mayúsculas y minúsculas. /Admin/ y /admin/ son rutas distintas.
  • Los rastreadores deben admitir * (cualquier secuencia de cero o más caracteres) y $ (final de la ruta). Se usan así: Disallow: /*.pdf$.
  • Todo lo que sigue a # es un comentario.

En el ejemplo anterior, /admin/help/ tiene una ruta más larga que Disallow: /admin/ y, por tanto, es más específica; el resultado es que bloqueas la carpeta de administración y dejas abierta solo la ayuda.

Dónde guardarlo y cuándo se aplica

El archivo se aplica por host, protocolo y puerto. blog.example.com y example.com necesitan cada uno su propio robots.txt.

La aplicación tampoco es inmediata. Google suele guardar robots.txt en caché hasta 24 horas, y la RFC 9309 también recomienda que los rastreadores no usen un archivo en caché durante más de 24 horas. Además, Google ignora la parte que supere los 500 KiB.

Cómo crearlo con nuestra herramienta. Cuando usas varios grupos, es fácil cometer errores en las líneas en blanco entre grupos, en la barra inicial de las rutas o en la ortografía de los nombres de campo. En el Generador de robots.txt, si rellenas User-agent, las rutas Disallow y Allow (una por línea) y la dirección de Sitemap, la herramienta genera al momento un archivo conforme a la especificación y te lo muestra. Tiene preajustes para Permitir todo y Bloquear todo, una opción para añadir grupos de User-agent, y botones para copiar y descargar el archivo.

La herramienta también incluye un campo Crawl-delay, pero es opcional. Google no incluye crawl-delay en su lista de campos admitidos, así que puedes dejarlo vacío a menos que lo necesites por otro motor de búsqueda.

Generador de robots.txt

Se arma al instante en el navegador, sin instalación ni registro, y las rutas que escribes no se envían a ningún servidor.

Puntos que suelen causar problemas

Si quieres sacar una dirección que ya está indexada, el orden es importante. Primero debes quitar Disallow para que el robot pueda entrar, leer el noindex y sacarla del índice. Si mantienes el bloqueo y solo añades noindex, no pasará nada.

SituaciónQué ocurre
Escribir una línea Noindex: en robots.txtGoogle la ignora porque no es un campo que admita
Aplicar Disallow y noindex a la vezEl noindex no se lee y la indexación se mantiene
Especificar Crawl-delayGoogle no lo admite
Bloquear las carpetas de CSS y JSTambién bloqueas los archivos necesarios para renderizar la página, y la evaluación puede cambiar
Enumerar rutas con información sensible en DisallowComo el archivo es público, las rutas quedan expuestas tal cual

Crawl-delay no es un campo definido en la RFC 9309 y Google tampoco lo incluyó en su lista de campos admitidos. Sin embargo, algunos motores de búsqueda lo interpretan, así que, si lo necesitas, lo más preciso es consultar la documentación para webmasters de ese motor y comprobar si lo admite.

Cuando necesites retirar un resultado con urgencia, puedes usar la herramienta de eliminación de Search Console, pero es una medida temporal. La documentación de Google indica que la solicitud se mantiene solo unos 6 meses, así que durante ese tiempo debes aplicar una solución permanente, como noindex o la eliminación de la página.

Resumen

  • El Disallow de robots.txt significa prohibir el rastreo, no excluir una página de los resultados de búsqueda.
  • Una URL bloqueada también puede indexarse si hay enlaces externos que apunten a ella y, en ese caso, aparece en los resultados solo la dirección, sin descripción.
  • Para sacar una página de los resultados de búsqueda, usa la metaetiqueta noindex o el encabezado de respuesta X-Robots-Tag y deja abierto el rastreo de esa página.
  • Si aplicas ambas cosas a la vez, el noindex no se llega a leer y el resultado es el contrario. Si ya la habías bloqueado, primero levanta el bloqueo.
  • El contenido que deba quedar completamente oculto se protege con contraseña o se elimina. robots.txt es un archivo público.
  • Coloca el archivo en la ruta raíz con el nombre robots.txt en minúsculas; en las reglas, prevalece la ruta más larga y se distingue entre mayúsculas y minúsculas.
Generador de robots.txt

Se arma al instante en el navegador, sin instalación ni registro, y las rutas que escribes no se envían a ningún servidor.

Preguntas frecuentes

¿No basta con escribir noindex en robots.txt?

Google indica explícitamente que no admite la opción de especificar noindex en el archivo robots.txt. Los únicos campos compatibles son user-agent, allow, disallow y sitemap, así que cualquier otra línea se ignora. noindex debe incluirse en la etiqueta meta de la página o en un encabezado de respuesta HTTP.

¿En qué orden debo actuar para quitar una URL que ya aparece en los resultados de búsqueda?

Primero, elimina el Disallow de esa ruta en robots.txt para que los robots puedan acceder a la página. Después, añade noindex a la página y espera a que se vuelva a rastrear. Si tienes prisa, puedes usar la herramienta de eliminación de Search Console como medida temporal, pero dura unos 6 meses, así que durante ese tiempo debes completar el proceso con noindex o eliminando la página.

Añadí Crawl-delay, pero la velocidad de rastreo sigue igual

Se debe a que crawl-delay no figura entre los campos que admite Google. Tampoco está definido en la RFC 9309: es un campo no estándar, y cada motor de búsqueda decide si lo interpreta o no. Consulta en la documentación de las herramientas para webmasters del motor que uses si es compatible; si no lo es, lo más fiable es revisar la configuración del servidor o los ajustes de velocidad de rastreo que ofrezca cada herramienta.

¿También tengo que crear archivos distintos para los subdominios y para http y https?

Sí. robots.txt se aplica por host, protocolo y puerto. Las reglas de https://example.com/robots.txt no se aplican a https://blog.example.com, y cada host debe tener su propio archivo en su ruta raíz. Las direcciones con un puerto distinto también son independientes.

Este artículo está adaptado de nuestro original en coreano. Leer el original en coreano

Artículos relacionados

  1. Firma PNG con fondo transparente: dibuja y descargaDibuja tu firma con el ratón o el dedo y guárdala como PNG con fondo transparente: solo se guardan los trazos, sin recuadro blanco.
  2. sitemap priority y changefreq: Google los ignora, lastmod cuentaGoogle ignora priority y changefreq: qué valores fija la especificación, cuándo se usa lastmod y por qué un sitemap no garantiza la indexación.
  3. Cómo dividir en equipos: cuántas personas por equipoCalcula cuántas personas van en cada equipo al repartir un grupo, con la regla del resto y la diferencia entre fijar equipos o personas por equipo.
  4. Datos ficticios para pruebas: por qué no usar datos realesDescubre cómo los datos reales se filtran en tus pruebas y cómo generar datos ficticios que nunca existieron: dominios reservados y UUID.
  5. Nombres de usuario que no estén en uso: cómo crearlosPor qué tu nombre de usuario aparece como ya en uso y cómo combinar adjetivo, sustantivo y número para generar varios apodos distintos de una vez.
  6. UUID v4: estructura de 122 bits y probabilidad de duplicadoPor qué un UUID v4 siempre se corta en 8-4-4-4-12, qué significan el 4 y el 8/9/a/b, y cuál es la probabilidad real de que se repita.

Herramientas relacionadas