Die robots.txt ist eine öffentlich erreichbare Textdatei im Stammverzeichnis einer Website, die Suchmaschinen und anderen Crawlern mitteilt, welche Bereiche sie abrufen dürfen.
Die Datei gehört zum Robots Exclusion Protocol und wird üblicherweise unter der Adresse `/robots.txt` bereitgestellt. Bevor ein regelkonformer Crawler Inhalte einer Website abruft, kann er dort nachlesen, welche Verzeichnisse oder einzelnen URL-Pfade für ihn freigegeben oder ausgeschlossen sind. Die Anweisungen beziehen sich auf das Crawling, also das automatische Abrufen von Inhalten.
Die Regeln werden bestimmten Crawlern über die Angabe `User-agent` zugeordnet. Mit `Disallow` lassen sich Pfade vom Abruf ausschließen, während `Allow` Ausnahmen für bestimmte Bereiche festlegen kann. Das Sternchen (*) als User-agent spricht alle Crawler an, für die keine speziellere Regel gilt. Nicht aufgeführte Bereiche dürfen grundsätzlich abgerufen werden.
Zusätzlich kann die robots.txt einen Verweis auf die XML-Sitemap einer Website enthalten. Diese `sitemap.xml` hilft Suchmaschinen dabei, vorhandene URLs zu entdecken. Die Sitemap und die robots.txt erfüllen damit unterschiedliche Aufgaben: Die eine liefert eine Übersicht über Seiten, die andere regelt den vorgesehenen Zugriff durch Crawler.
Wichtig ist die Abgrenzung zur Indexierung. Eine mit `Disallow` gesperrte URL kann unter Umständen trotzdem in Suchergebnissen erscheinen, etwa wenn andere Webseiten auf sie verlinken. Soll eine Seite nicht indexiert werden, kommen andere Maßnahmen wie eine `noindex`-Anweisung infrage. Damit Suchmaschinen diese erkennen können, dürfen sie jedoch nicht gleichzeitig am Abruf der Seite gehindert werden.
Die robots.txt ist außerdem kein Sicherheitsmechanismus. Ihre Regeln beruhen auf der freiwilligen Beachtung durch Crawler und verhindern weder den direkten Aufruf einer URL noch den Zugriff unerwünschter Programme. Vertrauliche Inhalte müssen deshalb durch geeignete Zugriffsbeschränkungen geschützt werden.
Neben klassischen Suchmaschinen können auch KI-Crawler eine robots.txt auswerten. Ob und wie sie die dort definierten Regeln beachten, hängt vom jeweiligen Dienst ab.
Passende Produkte zum Thema:
LMs® Landingpage Ultimate – Mietversion
LMs® Landingpage Ultimate
LMs® Landingpage Business – Mietversion
LMs® Landingpage Business
LMs® Webseiten Business – Mietversion
LMs® Webseiten Business
Querverweise zum Thema:
ard.json
llms.txt
sitemap.xml
