Robots.txt-Tester: Dürfen Suchmaschinen diese Seite crawlen?
Ein Robots.txt-Tester ist ein Tool, das prüft, ob die robots.txt einer Website einer Suchmaschine oder einem KI-Crawler erlaubt, eine bestimmte Seite zu crawlen. Geben Sie eine Seitenadresse ein und wählen Sie einen Crawler: Der Tester liest die Datei, findet die entscheidende Regel und sagt Ihnen, ob die Seite gecrawlt werden darf.
Dieses Tool prüft eine einzige Sache. Der KI-Website-SEO-Checker prüft Ihre ganze Website: 23 Prüfpunkte, jede öffentliche Seite, drei genau gelesene Seiten und die Keywords, bei denen Sie vorne landen können.
Prüfen Sie die SEO Ihrer Website mit KI →Wofür ist robots.txt da?
Robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Website (ihrunternehmen.de/robots.txt), die Crawlern sagt, welche Teile der Website sie besuchen dürfen. Crawler lesen sie vor allem anderen. Sie ist eine Bitte, kein Schloss: Der Standard selbst sagt, dass diese Regeln keine Form der Zugriffsberechtigung sind. Seriöse Crawler wie Googlebot und Bingbot halten sich daran, schädliche Bots ignorieren sie. Verlassen Sie sich also nie darauf, um private Seiten zu verbergen.
Wie entscheidet dieser Tester, ob eine Seite gecrawlt werden darf?
Er wendet die Regeln an, die Google veröffentlicht: die Gruppe des Crawlers finden, die Regeln finden, die zur Adresse passen, und die genaueste passende Regel entscheiden lassen.
- Er findet die passende Gruppe. Robots.txt ist in Gruppen aufgeteilt, die jeweils mit einer oder mehreren User-agent-Zeilen beginnen. Ein Crawler folgt der Gruppe, deren Name am genauesten zu ihm passt (Googlebot-Image folgt einer Googlebot-Image-Gruppe, sonst einer Googlebot-Gruppe, sonst der Gruppe für alle Crawler, *).
- Er findet die Regeln, die zur Adresse passen. Eine Regel passt, wenn die Adresse mit ihrem Pfad beginnt. Ein Stern (*) steht für beliebigen Text, und ein Dollarzeichen ($) markiert das Ende der Adresse.
- Die genaueste Regel gewinnt. Google verwendet die genaueste Regel, gemessen an der Länge ihres Pfads. Sind ein Allow und ein Disallow gleich lang, gewinnt Allow. Passt keine Regel, darf die Seite gecrawlt werden.
Das sind die Regeln, die Google veröffentlicht und befolgt, und dieselben, die im Standard Robots Exclusion Protocol (RFC 9309) stehen. Die Antwort hier ist also die Antwort, die Googlebot bekommt.
Was prüft dieser Tester nicht?
Er beantwortet eine einzige Frage, nämlich ob ein Crawler die Adresse abrufen darf, und kann daher nicht sagen, ob die Seite indexiert ist oder wo sie rankt. Eine Seite, die gecrawlt werden darf, kann trotzdem durch ein noindex-Tag aus den Ergebnissen herausgehalten werden, und eine blockierte Seite kann trotzdem erscheinen. Bing, KI-Crawler und andere folgen meist denselben Regeln, lesen ungewöhnliche Fälle aber teils auf eigene Weise, und manche ignorieren robots.txt ganz. Eine Crawl-delay-Zeile wird angezeigt, aber nicht angewendet, da Google sie ignoriert. Der Tester liest die robots.txt genau der Adresse, die Sie eingeben, und http und https oder www und ohne www können jeweils eine eigene Datei haben. Wie Google liest er nur die ersten 500 KB.
Welche Fehler werden bei robots.txt häufig gemacht?
Häufig sind: die ganze Website versehentlich blockieren, CSS und JavaScript blockieren, Seiten per robots.txt entfernen wollen und eine robots.txt, die mit einem Serverfehler antwortet.
- Ein Disallow: /, das von der Entwicklungsversion übrig geblieben ist und die gesamte Website aus der Suche aussperrt.
- CSS- und JavaScript-Ordner blockieren, sodass Google die Seite nicht so darstellen kann, wie Besucher sie sehen.
- Robots.txt nutzen, um eine Seite aus Google zu entfernen. Google sagt, robots.txt sei kein Mittel, um eine Webseite aus Google herauszuhalten: Eine blockierte Seite kann trotzdem erscheinen, ohne Beschreibung, wenn andere Websites auf sie verlinken. Verwenden Sie stattdessen ein noindex-Tag, und lassen Sie die Seite crawlen, damit Google es sieht.
- Eine robots.txt, die mit einem Serverfehler antwortet. Google unterbricht dann das Crawlen der gesamten Website.
Robots.txt ist auch der beste Ort, um Ihre Sitemap mit einer Sitemap-Zeile anzugeben. Prüfen Sie sie mit dem Sitemap-Checker, und sehen Sie mit dem KI-Website-SEO-Checker, wie Google Ihre gesamte Website liest.
Robots.txt-Tester: Fragen und Antworten
Wozu dient die robots.txt?
Sie sagt Crawlern, welche Bereiche einer Website sie besuchen dürfen. Sie entfernt keine Seiten aus Google: Eine blockierte Seite kann trotzdem gelistet werden, wenn andere Websites darauf verlinken. Um eine Seite aus den Suchergebnissen herauszuhalten, verwenden Sie ein noindex-Tag und lassen Sie sie crawlbar.
Welche Regel gilt, wenn zwei Regeln passen?
Google wendet die spezifischste Regel an, also die mit dem längsten Pfad. Sind eine Allow- und eine Disallow-Regel gleich lang, gewinnt Allow. Dieser Tester folgt denselben Regeln.
Was passiert, wenn eine Website keine robots.txt hat?
Wenn robots.txt „nicht gefunden“ meldet, dürfen Crawler alles crawlen. Antwortet der Server mit einem Fehler (einem 5xx-Code), hört Google eine Zeit lang auf, die Website zu crawlen, daher ist eine defekte robots.txt schlimmer als gar keine.
Sollte ich KI-Crawler wie GPTBot blockieren?
Das ist eine geschäftliche Entscheidung. Wenn Sie sie blockieren, bleiben Ihre Inhalte aus einem Teil des KI-Trainings und der KI-Antworten heraus, aber womöglich auch Ihr Unternehmen aus den Antworten, die Menschen in KI-Assistenten lesen.
AI Web Maker