AI Web MakerRobots.txt-Tester: Dürfen Suchmaschinen diese Seite crawlen?
Geben Sie eine Seitenadresse ein und wählen Sie einen Crawler. Der Tester liest die robots.txt der Website, findet die entscheidende Regel und sagt Ihnen, ob die Seite gecrawlt werden darf.
Dieses Tool prüft eine einzige Sache. Der KI-Website-SEO-Checker prüft Ihre ganze Website: 23 Prüfpunkte, jede öffentliche Seite, drei genau gelesene Seiten und die Keywords, bei denen Sie vorne landen können.
Prüfen Sie die SEO Ihrer Website mit KI →Wofür robots.txt da ist
Robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Website (ihrunternehmen.de/robots.txt). Crawler lesen sie vor allem anderen, um zu erfahren, welche Teile der Website sie besuchen dürfen. Sie ist eine Bitte, kein Schloss: Seriöse Crawler wie Googlebot und Bingbot halten sich daran, schädliche Bots ignorieren sie. Verlassen Sie sich also nie darauf, um private Seiten zu verbergen.
Wie dieser Tester entscheidet
- Er findet die passende Gruppe. Robots.txt ist in Gruppen aufgeteilt, die jeweils mit einer oder mehreren User-agent-Zeilen beginnen. Ein Crawler folgt der Gruppe, deren Name am genauesten zu ihm passt (Googlebot-Image folgt einer Googlebot-Image-Gruppe, sonst einer Googlebot-Gruppe, sonst der Gruppe für alle Crawler, *).
- Er findet die Regeln, die zur Adresse passen. Eine Regel passt, wenn die Adresse mit ihrem Pfad beginnt. Ein Stern (*) steht für beliebigen Text, und ein Dollarzeichen ($) markiert das Ende der Adresse.
- Die genaueste Regel gewinnt. Von allen passenden Regeln entscheidet die mit dem längsten Pfad. Sind ein Allow und ein Disallow gleich lang, gewinnt Allow. Passt keine Regel, darf die Seite gecrawlt werden.
Das sind die Regeln, die Google veröffentlicht und befolgt, die Antwort hier ist also die Antwort, die Googlebot bekommt.
Häufige Fehler
- Ein Disallow: /, das von der Entwicklungsversion übrig geblieben ist und die gesamte Website aus der Suche aussperrt.
- CSS- und JavaScript-Ordner blockieren, sodass Google die Seite nicht so darstellen kann, wie Besucher sie sehen.
- Robots.txt nutzen, um eine Seite aus Google zu entfernen. Eine blockierte Seite kann trotzdem erscheinen, ohne Beschreibung, wenn andere Websites auf sie verlinken. Verwenden Sie stattdessen ein noindex-Tag, und lassen Sie die Seite crawlen, damit Google es sieht.
- Eine robots.txt, die mit einem Serverfehler antwortet. Google unterbricht dann das Crawlen der gesamten Website.
Robots.txt ist auch der beste Ort, um Ihre Sitemap mit einer Sitemap-Zeile anzugeben. Prüfen Sie sie mit dem Sitemap-Checker, und sehen Sie mit dem KI-Website-SEO-Checker, wie Google Ihre gesamte Website liest.
Robots.txt-Tester: Fragen und Antworten
Wozu dient die robots.txt?
Sie sagt Crawlern, welche Bereiche einer Website sie besuchen dürfen. Sie entfernt keine Seiten aus Google: Eine blockierte Seite kann trotzdem gelistet werden, wenn andere Websites darauf verlinken. Um eine Seite aus den Suchergebnissen herauszuhalten, verwenden Sie ein noindex-Tag und lassen Sie sie crawlbar.
Welche Regel gilt, wenn zwei Regeln passen?
Google wendet die spezifischste Regel an, also die mit dem längsten Pfad. Sind eine Allow- und eine Disallow-Regel gleich lang, gewinnt Allow. Dieser Tester folgt denselben Regeln.
Was passiert, wenn eine Website keine robots.txt hat?
Wenn robots.txt „nicht gefunden“ meldet, dürfen Crawler alles crawlen. Antwortet der Server mit einem Fehler (einem 5xx-Code), hört Google eine Zeit lang auf, die Website zu crawlen, daher ist eine defekte robots.txt schlimmer als gar keine.
Sollte ich KI-Crawler wie GPTBot blockieren?
Das ist eine geschäftliche Entscheidung. Wenn Sie sie blockieren, bleiben Ihre Inhalte aus einem Teil des KI-Trainings und der KI-Antworten heraus, aber womöglich auch Ihr Unternehmen aus den Antworten, die Menschen in KI-Assistenten lesen.