Testador de robots.txt: os mecanismos de busca podem rastrear esta página?
Um testador de robots.txt é uma ferramenta que verifica se o arquivo robots.txt de um site permite que um mecanismo de busca ou um rastreador de IA rastreie uma determinada página. Digite o endereço de uma página e escolha um rastreador: o testador lê o arquivo, encontra a regra que decide e diz se a página pode ser rastreada.
Esta ferramenta verifica uma coisa só. O Verificador de SEO de sites com IA analisa seu site inteiro: 23 verificações, todas as páginas públicas, três páginas lidas em profundidade e as palavras-chave que você pode conquistar.
Analise o SEO do seu site com IA →Para que serve o robots.txt?
O robots.txt é um arquivo de texto simples na raiz de um site (suaempresa.com.br/robots.txt) que diz aos rastreadores quais partes do site eles podem visitar. Os rastreadores o leem antes de qualquer outra coisa. É um pedido, não uma tranca: o próprio padrão diz que essas regras não são uma forma de autorização de acesso. Rastreadores bem-comportados, como o Googlebot e o Bingbot, obedecem, enquanto bots mal-intencionados o ignoram, então nunca conte com ele para esconder páginas privadas.
Como este testador decide se uma página pode ser rastreada?
Ele aplica as regras que o Google publica: encontrar o grupo do rastreador, encontrar as regras que correspondem ao endereço e deixar a regra mais específica decidir.
- Ele encontra o grupo certo. O robots.txt é dividido em grupos, cada um começando com uma ou mais linhas User-agent. Um rastreador segue o grupo cujo nome corresponde a ele com mais precisão (o Googlebot-Image segue um grupo Googlebot-Image, na falta dele um grupo Googlebot e, por último, o grupo de todos os rastreadores, *).
- Ele encontra as regras que correspondem ao endereço. Uma regra corresponde quando o endereço começa com o caminho dela. Um asterisco (*) representa qualquer texto e um cifrão ($) marca o fim do endereço.
- A regra mais específica vence. O Google usa a regra mais específica, de acordo com o tamanho do caminho. Quando um Allow e um Disallow têm o mesmo tamanho, o Allow vence. Se nenhuma regra corresponder, a página pode ser rastreada.
Essas são as regras que o Google publica e segue, as mesmas do padrão Robots Exclusion Protocol (RFC 9309), então a resposta aqui é a mesma que o Googlebot recebe.
O que este testador não verifica?
Ele responde a uma única pergunta, se um rastreador pode buscar o endereço, então não consegue dizer se a página está indexada nem em que posição aparece. Uma página que pode ser rastreada ainda pode ficar fora dos resultados por causa de uma tag noindex, e uma página bloqueada ainda pode aparecer. O Bing, os rastreadores de IA e outros costumam seguir as mesmas regras, mas cada um pode ler casos incomuns do seu jeito, e alguns ignoram o robots.txt por completo. Uma linha Crawl-delay é mostrada, mas não aplicada, já que o Google a ignora. O testador lê o robots.txt do endereço exato que você digita, e http e https, ou com www e sem www, podem ter cada um o seu próprio arquivo. Assim como o Google, ele lê só os primeiros 500 KB.
Quais erros são comuns no robots.txt?
Os mais comuns são bloquear o site inteiro sem querer, bloquear CSS e JavaScript, usar o robots.txt para tirar páginas do Google e um robots.txt que responde com erro do servidor.
- Disallow: / esquecido do site de desenvolvimento, o que tira o site inteiro da busca.
- Bloquear as pastas de CSS e JavaScript, o que impede o Google de renderizar a página como os visitantes a veem.
- Usar o robots.txt para tirar uma página do Google. O Google diz que o robots.txt não é um mecanismo para manter uma página fora do Google: uma página bloqueada ainda pode aparecer, sem descrição, se outros sites tiverem links para ela. Use uma tag noindex no lugar e deixe a página ser rastreada para que o Google veja a tag.
- Um robots.txt que responde com erro do servidor. Nesse caso, o Google pausa o rastreamento do site inteiro.
O robots.txt também é o melhor lugar para indicar o seu sitemap, com uma linha Sitemap. Confira o sitemap com o verificador de sitemap e veja como o Google lê o seu site inteiro com o Verificador de SEO de sites com IA.
Testador de robots.txt: perguntas e respostas
Para que serve o robots.txt?
Ele diz aos rastreadores quais partes de um site eles podem visitar. Ele não remove páginas do Google: uma página bloqueada ainda pode aparecer se outros sites tiverem links para ela. Para manter uma página fora dos resultados, use uma tag noindex e deixe-a rastreável.
Qual regra vale quando duas regras se aplicam?
O Google usa a regra mais específica, a que tem o caminho mais longo. Quando uma regra Allow e uma Disallow têm o mesmo tamanho, a Allow vence. Este testador segue as mesmas regras.
O que acontece quando um site não tem robots.txt?
Se o robots.txt retorna "não encontrado", os rastreadores podem rastrear tudo. Se o servidor responde com um erro (um código 5xx), o Google para de rastrear o site por um tempo, então um robots.txt com defeito é pior do que nenhum.
Devo bloquear rastreadores de IA como o GPTBot?
É uma decisão de negócio. Bloqueá-los mantém seu conteúdo fora de alguns treinamentos e respostas de IA, mas também pode deixar seu negócio fora das respostas que as pessoas leem nos assistentes de IA.
AI Web Maker