ES
Crear mi sitio web
Inicio›Herramientas SEO con IA›Probador de robots.txt
Sin registro · sin tarjeta

Probador de robots.txt: ¿pueden los buscadores rastrear esta página?

Un probador de robots.txt es una herramienta que comprueba si el archivo robots.txt de un sitio permite a un buscador o a un rastreador de IA rastrear una página concreta. Escribe la dirección de una página y elige un rastreador: la herramienta lee el archivo, encuentra la regla que decide y te dice si la página se puede rastrear.

En segundos · comprobarlo no cuesta nada · solo leemos páginas públicas

Esta herramienta comprueba una sola cosa. El Verificador SEO de sitios web con IA analiza todo tu sitio web: 23 comprobaciones, todas las páginas públicas, tres páginas leídas en profundidad y las palabras clave con las que puedes posicionarte.

Analiza el SEO de tu sitio web con IA →

¿Para qué sirve robots.txt?

Robots.txt es un archivo de texto plano en la raíz de un sitio web (tuempresa.com/robots.txt) que indica a los rastreadores qué partes del sitio pueden visitar. Los rastreadores lo leen antes que nada. Es una petición, no un candado: el propio estándar dice que estas reglas no son una forma de autorización de acceso. Los rastreadores que se portan bien, como Googlebot y Bingbot, lo respetan, mientras que los bots maliciosos lo ignoran, así que nunca confíes en él para ocultar páginas privadas.

¿Cómo decide este probador si una página se puede rastrear?

Aplica las reglas que publica Google: encontrar el grupo del rastreador, encontrar las reglas que coinciden con la dirección y dejar que decida la regla más específica.

  1. Encuentra el grupo correcto. Robots.txt se divide en grupos, y cada uno empieza con una o más líneas User-agent. Un rastreador sigue el grupo cuyo nombre coincide más con el suyo (Googlebot-Image sigue un grupo Googlebot-Image; en su defecto, un grupo Googlebot; y, si tampoco lo hay, el grupo para todos los rastreadores, *).
  2. Encuentra las reglas que coinciden con la dirección. Una regla coincide cuando la dirección empieza por su ruta. Un asterisco (*) representa cualquier texto y el signo de dólar ($) marca el final de la dirección.
  3. Gana la regla más específica. Google usa la regla más específica según la longitud de su ruta. Cuando un Allow y un Disallow tienen la misma longitud, gana Allow. Si ninguna regla coincide, la página se puede rastrear.

Estas son las reglas que Google publica y sigue, y las mismas que recoge el estándar Robots Exclusion Protocol (RFC 9309), así que la respuesta que ves aquí es la que obtiene Googlebot.

¿Qué no comprueba este probador?

Responde a una sola pregunta, si un rastreador puede pedir la dirección, así que no puede decirte si la página está indexada ni en qué posición aparece. Una página que se puede rastrear puede quedar fuera de los resultados por una etiqueta noindex, y una página bloqueada puede seguir apareciendo. Bing, los rastreadores de IA y otros suelen seguir las mismas reglas, pero cada uno puede interpretar a su manera los casos poco habituales, y algunos ignoran robots.txt por completo. La línea Crawl-delay se muestra, pero no se aplica, porque Google la ignora. El probador lee el robots.txt de la dirección exacta que escribes, y http y https, o con www y sin www, pueden tener cada uno su propio archivo. Igual que Google, solo lee los primeros 500 KB.

¿Qué errores se cometen con robots.txt?

Los habituales son bloquear todo el sitio por accidente, bloquear CSS y JavaScript, usar robots.txt para quitar páginas y un robots.txt que responde con un error del servidor.

  • Un Disallow: / que quedó del sitio de desarrollo, que deja todo el sitio web fuera de las búsquedas.
  • Bloquear las carpetas de CSS y JavaScript, de modo que Google no puede renderizar la página tal como la ven los visitantes.
  • Usar robots.txt para quitar una página de Google. Google dice que robots.txt no es un mecanismo para mantener una página fuera de Google: una página bloqueada puede seguir apareciendo, sin descripción, si otros sitios enlazan a ella. Usa en su lugar una etiqueta noindex y deja que la página se rastree para que Google la vea.
  • Un robots.txt que responde con un error del servidor. En ese caso, Google pausa el rastreo de todo el sitio.

Robots.txt también es el mejor lugar para indicar tu sitemap con una línea Sitemap. Revísalo con el verificador de sitemap y mira cómo lee Google todo tu sitio con el Verificador SEO de sitios web con IA.

Preguntas

Probador de robots.txt: preguntas y respuestas

¿Para qué sirve robots.txt?

Indica a los rastreadores qué partes de un sitio pueden visitar. No elimina páginas de Google: una página bloqueada puede aparecer igualmente si otros sitios la enlazan. Para mantener una página fuera de los resultados, usa una etiqueta noindex y deja que se pueda rastrear.

¿Qué regla gana cuando coinciden dos reglas?

Google usa la regla más específica, la de la ruta más larga. Cuando una regla Allow y una Disallow tienen la misma longitud, gana Allow. Este probador sigue las mismas reglas.

¿Qué pasa si un sitio no tiene robots.txt?

Si robots.txt devuelve "no encontrado", los rastreadores pueden rastrearlo todo. Si el servidor responde con un error (un código 5xx), Google deja de rastrear el sitio durante un tiempo, así que un robots.txt roto es peor que no tener ninguno.

¿Debo bloquear los rastreadores de IA como GPTBot?

Es una decisión de negocio. Bloquearlos mantiene tu contenido fuera de algunos entrenamientos y respuestas de IA, pero también puede dejar a tu negocio fuera de las respuestas que la gente lee en los asistentes de IA.

Más herramientas SEO

Revisa el resto de tu SEO

🔧
Herramienta de vista previa SERPUna herramienta de vista previa SERP muestra cómo se verán el título y la metadescripción de una página en los...
🔧
Verificador de sitemapUn verificador de sitemap es una herramienta que encuentra el sitemap XML de un sitio web y comprueba si los b...
🔧
Verificador de redireccionesUn verificador de redirecciones es una herramienta que sigue una dirección a través de cada redirección hasta...
🔧
Verificador de enlaces rotosUn verificador de enlaces rotos es una herramienta que prueba cada enlace de una página y muestra cuáles lleva...
🔧
Verificador de encabezadosUn verificador de encabezados es una herramienta que muestra los encabezados H1 a H6 de una página como un esq...
🔧
Verificador de Open GraphUn verificador de Open Graph es una herramienta que lee las etiquetas que una página da a las aplicaciones soc...
🔧
Verificador de marcado SchemaUn verificador de marcado Schema es una herramienta que lee los datos estructurados del código de una página y...
🔧
Verificador de dificultad de palabras claveUn verificador de dificultad de palabras clave es una herramienta que estima cuántas personas buscan una frase...
🔧
Verificador de tiempo de respuesta del servidorUn verificador del tiempo de respuesta del servidor es una herramienta que mide cuánto tarda un servidor web e...
🔧
Verificador de texto alternativoUn verificador de texto alternativo es una herramienta que enumera las imágenes de una página con su texto alt...