Probador de robots.txt: ¿pueden los buscadores rastrear esta página?
Un probador de robots.txt es una herramienta que comprueba si el archivo robots.txt de un sitio permite a un buscador o a un rastreador de IA rastrear una página concreta. Escribe la dirección de una página y elige un rastreador: la herramienta lee el archivo, encuentra la regla que decide y te dice si la página se puede rastrear.
Esta herramienta comprueba una sola cosa. El Verificador SEO de sitios web con IA analiza todo tu sitio web: 23 comprobaciones, todas las páginas públicas, tres páginas leídas en profundidad y las palabras clave con las que puedes posicionarte.
Analiza el SEO de tu sitio web con IA →¿Para qué sirve robots.txt?
Robots.txt es un archivo de texto plano en la raíz de un sitio web (tuempresa.com/robots.txt) que indica a los rastreadores qué partes del sitio pueden visitar. Los rastreadores lo leen antes que nada. Es una petición, no un candado: el propio estándar dice que estas reglas no son una forma de autorización de acceso. Los rastreadores que se portan bien, como Googlebot y Bingbot, lo respetan, mientras que los bots maliciosos lo ignoran, así que nunca confíes en él para ocultar páginas privadas.
¿Cómo decide este probador si una página se puede rastrear?
Aplica las reglas que publica Google: encontrar el grupo del rastreador, encontrar las reglas que coinciden con la dirección y dejar que decida la regla más específica.
- Encuentra el grupo correcto. Robots.txt se divide en grupos, y cada uno empieza con una o más líneas User-agent. Un rastreador sigue el grupo cuyo nombre coincide más con el suyo (Googlebot-Image sigue un grupo Googlebot-Image; en su defecto, un grupo Googlebot; y, si tampoco lo hay, el grupo para todos los rastreadores, *).
- Encuentra las reglas que coinciden con la dirección. Una regla coincide cuando la dirección empieza por su ruta. Un asterisco (*) representa cualquier texto y el signo de dólar ($) marca el final de la dirección.
- Gana la regla más específica. Google usa la regla más específica según la longitud de su ruta. Cuando un Allow y un Disallow tienen la misma longitud, gana Allow. Si ninguna regla coincide, la página se puede rastrear.
Estas son las reglas que Google publica y sigue, y las mismas que recoge el estándar Robots Exclusion Protocol (RFC 9309), así que la respuesta que ves aquí es la que obtiene Googlebot.
¿Qué no comprueba este probador?
Responde a una sola pregunta, si un rastreador puede pedir la dirección, así que no puede decirte si la página está indexada ni en qué posición aparece. Una página que se puede rastrear puede quedar fuera de los resultados por una etiqueta noindex, y una página bloqueada puede seguir apareciendo. Bing, los rastreadores de IA y otros suelen seguir las mismas reglas, pero cada uno puede interpretar a su manera los casos poco habituales, y algunos ignoran robots.txt por completo. La línea Crawl-delay se muestra, pero no se aplica, porque Google la ignora. El probador lee el robots.txt de la dirección exacta que escribes, y http y https, o con www y sin www, pueden tener cada uno su propio archivo. Igual que Google, solo lee los primeros 500 KB.
¿Qué errores se cometen con robots.txt?
Los habituales son bloquear todo el sitio por accidente, bloquear CSS y JavaScript, usar robots.txt para quitar páginas y un robots.txt que responde con un error del servidor.
- Un Disallow: / que quedó del sitio de desarrollo, que deja todo el sitio web fuera de las búsquedas.
- Bloquear las carpetas de CSS y JavaScript, de modo que Google no puede renderizar la página tal como la ven los visitantes.
- Usar robots.txt para quitar una página de Google. Google dice que robots.txt no es un mecanismo para mantener una página fuera de Google: una página bloqueada puede seguir apareciendo, sin descripción, si otros sitios enlazan a ella. Usa en su lugar una etiqueta noindex y deja que la página se rastree para que Google la vea.
- Un robots.txt que responde con un error del servidor. En ese caso, Google pausa el rastreo de todo el sitio.
Robots.txt también es el mejor lugar para indicar tu sitemap con una línea Sitemap. Revísalo con el verificador de sitemap y mira cómo lee Google todo tu sitio con el Verificador SEO de sitios web con IA.
Probador de robots.txt: preguntas y respuestas
¿Para qué sirve robots.txt?
Indica a los rastreadores qué partes de un sitio pueden visitar. No elimina páginas de Google: una página bloqueada puede aparecer igualmente si otros sitios la enlazan. Para mantener una página fuera de los resultados, usa una etiqueta noindex y deja que se pueda rastrear.
¿Qué regla gana cuando coinciden dos reglas?
Google usa la regla más específica, la de la ruta más larga. Cuando una regla Allow y una Disallow tienen la misma longitud, gana Allow. Este probador sigue las mismas reglas.
¿Qué pasa si un sitio no tiene robots.txt?
Si robots.txt devuelve "no encontrado", los rastreadores pueden rastrearlo todo. Si el servidor responde con un error (un código 5xx), Google deja de rastrear el sitio durante un tiempo, así que un robots.txt roto es peor que no tener ninguno.
¿Debo bloquear los rastreadores de IA como GPTBot?
Es una decisión de negocio. Bloquearlos mantiene tu contenido fuera de algunos entrenamientos y respuestas de IA, pero también puede dejar a tu negocio fuera de las respuestas que la gente lee en los asistentes de IA.
AI Web Maker