IT
Crea il mio sito web
Home›Strumenti SEO con IA›Tester robots.txt
Senza registrazione · senza carta

Tester robots.txt: i motori di ricerca possono scansionare questa pagina?

Un tester robots.txt è uno strumento che verifica se il file robots.txt di un sito permette a un motore di ricerca o a un crawler di IA di scansionare una determinata pagina. Inserisci l'indirizzo di una pagina e scegli un crawler: lo strumento legge il file, trova la regola che decide e ti dice se la pagina può essere scansionata.

In pochi secondi · controllare non costa nulla · leggiamo solo le pagine pubbliche

Questo strumento controlla una sola cosa. L'Analizzatore SEO del sito web con IA analizza tutto il tuo sito web: 23 controlli, tutte le pagine pubbliche, tre pagine lette a fondo e le parole chiave su cui puoi posizionarti.

Analizza la SEO del tuo sito web con l'IA →

A cosa serve il robots.txt?

Il robots.txt è un semplice file di testo nella cartella principale di un sito web (tuaazienda.it/robots.txt) che dice ai crawler quali parti del sito possono visitare. I crawler lo leggono prima di qualsiasi altra cosa. È una richiesta, non un lucchetto: lo standard stesso dice che queste regole non sono una forma di autorizzazione all'accesso. I crawler corretti come Googlebot e Bingbot lo rispettano, mentre i bot malevoli lo ignorano, quindi non affidarti mai al robots.txt per nascondere pagine private.

Come decide questo tester se una pagina può essere scansionata?

Applica le regole che Google pubblica: trova il gruppo del crawler, trova le regole che corrispondono all'indirizzo e lascia decidere la regola più specifica.

  1. Trova il gruppo giusto. Il robots.txt è diviso in gruppi, ognuno dei quali inizia con una o più righe User-agent. Un crawler segue il gruppo il cui nome corrisponde meglio al suo (Googlebot-Image segue un gruppo Googlebot-Image, poi un gruppo Googlebot, poi il gruppo per tutti i crawler, *).
  2. Trova le regole che corrispondono all'indirizzo. Una regola corrisponde quando l'indirizzo inizia con il suo percorso. Un asterisco (*) sta per qualsiasi testo e il simbolo del dollaro ($) indica la fine dell'indirizzo.
  3. Vince la regola più specifica. Google usa la regola più specifica in base alla lunghezza del suo percorso. Quando un Allow e un Disallow hanno la stessa lunghezza, vince Allow. Se nessuna regola corrisponde, la pagina può essere scansionata.

Sono le regole che Google pubblica e segue, le stesse scritte nello standard Robots Exclusion Protocol (RFC 9309), quindi la risposta che ottieni qui è la stessa che riceve Googlebot.

Cosa non controlla questo tester?

Risponde a una sola domanda, cioè se un crawler può richiedere l'indirizzo, quindi non può dirti se la pagina è indicizzata né dove si posiziona. Una pagina che può essere scansionata può comunque restare fuori dai risultati per un tag noindex, e una pagina bloccata può comunque comparire. Bing, i crawler di IA e gli altri seguono di solito le stesse regole, ma ognuno può leggere a modo suo i casi insoliti, e alcuni ignorano del tutto il robots.txt. Una riga Crawl-delay viene segnalata ma non applicata, perché Google la ignora. Il tester legge il robots.txt dell'indirizzo esatto che inserisci, e http e https, o con e senza www, possono avere ciascuno un file proprio. Come Google, legge solo i primi 500 KB.

Quali errori si fanno spesso con il robots.txt?

I più comuni sono bloccare per sbaglio tutto il sito, bloccare CSS e JavaScript, usare il robots.txt per togliere pagine e un robots.txt che risponde con un errore del server.

  • Un Disallow: / rimasto dal sito di sviluppo, che esclude l'intero sito web dalla ricerca.
  • Bloccare le cartelle CSS e JavaScript, così Google non riesce a visualizzare la pagina come la vedono i visitatori.
  • Usare il robots.txt per togliere una pagina da Google. Google dice che il robots.txt non è un metodo per escludere una pagina web da Google: una pagina bloccata può comparire lo stesso, senza descrizione, se altri siti la linkano. Usa invece un tag noindex, e lascia che la pagina venga scansionata così Google lo vede.
  • Un robots.txt che risponde con un errore del server. In quel caso Google sospende la scansione di tutto il sito.

Il robots.txt è anche il posto migliore per indicare la tua sitemap, con una riga Sitemap. Controllala con lo strumento Verifica sitemap, e scopri come Google legge tutto il tuo sito con l'Analizzatore SEO del sito web con IA.

Domande

Tester robots.txt: domande e risposte

A cosa serve robots.txt?

Dice ai crawler quali parti di un sito possono visitare. Non rimuove pagine da Google: una pagina bloccata può comunque comparire nei risultati se altri siti la linkano. Per tenere una pagina fuori dai risultati, usa un tag noindex e lasciala scansionabile.

Quale regola prevale quando due regole corrispondono?

Google applica la regola più specifica, cioè quella con il percorso più lungo. Quando una regola Allow e una Disallow hanno la stessa lunghezza, vince Allow. Questo tester segue le stesse regole.

Cosa succede se un sito non ha un robots.txt?

Se robots.txt restituisce "non trovato", i crawler possono scansionare tutto. Se il server risponde con un errore (un codice 5xx), Google smette di scansionare il sito per un po', quindi un robots.txt guasto è peggio di nessuno.

Devo bloccare i crawler IA come GPTBot?

È una scelta aziendale. Bloccarli tiene i tuoi contenuti fuori da una parte dell'addestramento e delle risposte delle IA, ma può anche tenere la tua attività fuori dalle risposte che le persone leggono negli assistenti IA.

Altri strumenti SEO

Verifica il resto della tua SEO