Die robots.txt einer Website
Wie sie aufgebaut ist
Die Datei besteht aus Blöcken. Jeder beginnt mit der Angabe, für welches Programm die folgenden Regeln gelten, danach folgen Freigaben und Sperren für einzelne Pfade. Ein Stern steht für alle Programme. Zusätzlich wird üblicherweise am Ende auf die Sitemap verwiesen.
Wichtig ist die Reihenfolge der Genauigkeit: Bei widersprüchlichen Angaben gilt in der Regel die spezifischere Regel. Wer unsicher ist, prüft das Ergebnis in der Search Console, dort lässt sich für eine konkrete Adresse nachsehen, ob sie abgerufen werden darf.
Was hineingehört und was nicht
- Sinnvoll: interne Suchergebnisse, Verwaltungsbereiche, Skripte zur Formularverarbeitung
- Sinnvoll: Verweis auf die Sitemap als eigene Zeile
- Nicht geeignet: Inhalte, die geheim bleiben sollen, denn die Datei ist öffentlich lesbar
- Nicht geeignet: Seiten, die nicht in den Suchergebnissen erscheinen sollen, dafür ist noindex zuständig
Ein Beispiel aus der Praxis
Ein Betrieb wollte verhindern, dass eine Preisliste in den Suchergebnissen auftaucht, und sperrte den Ordner in der robots.txt. Die Datei blieb trotzdem in den Ergebnissen sichtbar, weil eine andere Website darauf verlinkte, nur eben ohne Beschreibungstext. Erst die noindex-Anweisung im Dokument selbst löste das Problem. Danach musste die Sperre wieder entfernt werden, denn sonst hätte die Suchmaschine die Anweisung nie gelesen.
Neue Rolle bei KI-Systemen
Inzwischen greifen auch Programme von KI-Anbietern auf Websites zu und lassen sich über die robots.txt steuern. Das ist eine unternehmerische Abwägung: Wer alle solchen Zugriffe sperrt, schützt seine Inhalte vor der Verwertung durch fremde Modelle, verzichtet aber gleichzeitig auf die Chance, in deren Antworten als Quelle genannt zu werden.
Häufige Fehler
Der Klassiker ist eine aus der Testumgebung übernommene Sperre für die gesamte Website. Ebenfalls häufig: das Sperren von Verzeichnissen mit Stylesheets und Skripten, wodurch Suchmaschinen die Seite nicht mehr so sehen können wie ein Besucher. Beides fällt oft erst auf, wenn die Sichtbarkeit bereits eingebrochen ist.
Prüfen vor dem Livegang
Die Datei gehört auf jede Abnahmeliste, direkt neben die Prüfung der Weiterleitungen. Zwei Minuten reichen: Datei im Browser aufrufen, lesen, und in der Search Console eine wichtige Adresse gegenprüfen. Wer eine Testumgebung nutzt, sollte dort bewusst eine vollständige Sperre setzen, damit die Vorabversion nicht in Suchmaschinen landet, und beim Umzug auf die Livedomain daran denken, sie zu entfernen.
Häufige Fragen zu robots.txt
Braucht jede Website eine robots.txt?
Zwingend nicht. Fehlt sie, wird alles abgerufen. Sinnvoll ist sie trotzdem, schon wegen des Verweises auf die Sitemap.
Passend dazu bei NETZTIME
Wie wir mit diesem Thema in Projekten umgehen, steht bei unsere Arbeit an der Sichtbarkeit bei Google.