PT
Criar meu site
Início›Ferramentas de SEO com IA›Testador de robots.txt
Sem cadastro · sem cartão

Testador de robots.txt: os mecanismos de busca podem rastrear esta página?

Um testador de robots.txt é uma ferramenta que verifica se o arquivo robots.txt de um site permite que um mecanismo de busca ou um rastreador de IA rastreie uma determinada página. Digite o endereço de uma página e escolha um rastreador: o testador lê o arquivo, encontra a regra que decide e diz se a página pode ser rastreada.

Em segundos · verificar não custa nada · só lemos páginas públicas

Esta ferramenta verifica uma coisa só. O Verificador de SEO de sites com IA analisa seu site inteiro: 23 verificações, todas as páginas públicas, três páginas lidas em profundidade e as palavras-chave que você pode conquistar.

Analise o SEO do seu site com IA →

Para que serve o robots.txt?

O robots.txt é um arquivo de texto simples na raiz de um site (suaempresa.com.br/robots.txt) que diz aos rastreadores quais partes do site eles podem visitar. Os rastreadores o leem antes de qualquer outra coisa. É um pedido, não uma tranca: o próprio padrão diz que essas regras não são uma forma de autorização de acesso. Rastreadores bem-comportados, como o Googlebot e o Bingbot, obedecem, enquanto bots mal-intencionados o ignoram, então nunca conte com ele para esconder páginas privadas.

Como este testador decide se uma página pode ser rastreada?

Ele aplica as regras que o Google publica: encontrar o grupo do rastreador, encontrar as regras que correspondem ao endereço e deixar a regra mais específica decidir.

  1. Ele encontra o grupo certo. O robots.txt é dividido em grupos, cada um começando com uma ou mais linhas User-agent. Um rastreador segue o grupo cujo nome corresponde a ele com mais precisão (o Googlebot-Image segue um grupo Googlebot-Image, na falta dele um grupo Googlebot e, por último, o grupo de todos os rastreadores, *).
  2. Ele encontra as regras que correspondem ao endereço. Uma regra corresponde quando o endereço começa com o caminho dela. Um asterisco (*) representa qualquer texto e um cifrão ($) marca o fim do endereço.
  3. A regra mais específica vence. O Google usa a regra mais específica, de acordo com o tamanho do caminho. Quando um Allow e um Disallow têm o mesmo tamanho, o Allow vence. Se nenhuma regra corresponder, a página pode ser rastreada.

Essas são as regras que o Google publica e segue, as mesmas do padrão Robots Exclusion Protocol (RFC 9309), então a resposta aqui é a mesma que o Googlebot recebe.

O que este testador não verifica?

Ele responde a uma única pergunta, se um rastreador pode buscar o endereço, então não consegue dizer se a página está indexada nem em que posição aparece. Uma página que pode ser rastreada ainda pode ficar fora dos resultados por causa de uma tag noindex, e uma página bloqueada ainda pode aparecer. O Bing, os rastreadores de IA e outros costumam seguir as mesmas regras, mas cada um pode ler casos incomuns do seu jeito, e alguns ignoram o robots.txt por completo. Uma linha Crawl-delay é mostrada, mas não aplicada, já que o Google a ignora. O testador lê o robots.txt do endereço exato que você digita, e http e https, ou com www e sem www, podem ter cada um o seu próprio arquivo. Assim como o Google, ele lê só os primeiros 500 KB.

Quais erros são comuns no robots.txt?

Os mais comuns são bloquear o site inteiro sem querer, bloquear CSS e JavaScript, usar o robots.txt para tirar páginas do Google e um robots.txt que responde com erro do servidor.

  • Disallow: / esquecido do site de desenvolvimento, o que tira o site inteiro da busca.
  • Bloquear as pastas de CSS e JavaScript, o que impede o Google de renderizar a página como os visitantes a veem.
  • Usar o robots.txt para tirar uma página do Google. O Google diz que o robots.txt não é um mecanismo para manter uma página fora do Google: uma página bloqueada ainda pode aparecer, sem descrição, se outros sites tiverem links para ela. Use uma tag noindex no lugar e deixe a página ser rastreada para que o Google veja a tag.
  • Um robots.txt que responde com erro do servidor. Nesse caso, o Google pausa o rastreamento do site inteiro.

O robots.txt também é o melhor lugar para indicar o seu sitemap, com uma linha Sitemap. Confira o sitemap com o verificador de sitemap e veja como o Google lê o seu site inteiro com o Verificador de SEO de sites com IA.

Perguntas

Testador de robots.txt: perguntas e respostas

Para que serve o robots.txt?

Ele diz aos rastreadores quais partes de um site eles podem visitar. Ele não remove páginas do Google: uma página bloqueada ainda pode aparecer se outros sites tiverem links para ela. Para manter uma página fora dos resultados, use uma tag noindex e deixe-a rastreável.

Qual regra vale quando duas regras se aplicam?

O Google usa a regra mais específica, a que tem o caminho mais longo. Quando uma regra Allow e uma Disallow têm o mesmo tamanho, a Allow vence. Este testador segue as mesmas regras.

O que acontece quando um site não tem robots.txt?

Se o robots.txt retorna "não encontrado", os rastreadores podem rastrear tudo. Se o servidor responde com um erro (um código 5xx), o Google para de rastrear o site por um tempo, então um robots.txt com defeito é pior do que nenhum.

Devo bloquear rastreadores de IA como o GPTBot?

É uma decisão de negócio. Bloqueá-los mantém seu conteúdo fora de alguns treinamentos e respostas de IA, mas também pode deixar seu negócio fora das respostas que as pessoas leem nos assistentes de IA.

Mais ferramentas de SEO

Analise o resto do seu SEO

🔧
Ferramenta de prévia da SERPUma ferramenta de prévia da SERP mostra como o título e a meta description de uma página vão aparecer nos resu...
🔧
Verificador de sitemapUm verificador de sitemap é uma ferramenta que encontra o sitemap XML de um site e verifica se os mecanismos d...
🔧
Verificador de redirecionamentosUm verificador de redirecionamentos é uma ferramenta que segue um endereço por cada redirecionamento até a pág...
🔧
Verificador de links quebradosUm verificador de links quebrados é uma ferramenta que testa cada link de uma página e mostra quais levam a er...
🔧
Verificador de títulosUm verificador de títulos é uma ferramenta que mostra os títulos de H1 a H6 de uma página como um sumário, do...
🔧
Verificador de Open GraphUm verificador de Open Graph é uma ferramenta que lê as tags que uma página fornece aos aplicativos sociais e...
🔧
Verificador de marcação SchemaUm verificador de marcação Schema é uma ferramenta que lê os dados estruturados no código de uma página e most...
🔧
Verificador de dificuldade de palavras-chaveUm verificador de dificuldade de palavras-chave é uma ferramenta que estima quantas pessoas buscam uma frase e...
🔧
Verificador de tempo de resposta do servidorUm verificador de tempo de resposta do servidor é uma ferramenta que mede quanto tempo um servidor web leva pa...
🔧
Verificador de texto alternativoUm verificador de texto alternativo é uma ferramenta que lista as imagens de uma página com o texto alternativ...