X-Robots-Tag im HTTP-Header

Das X-Robots-Tag ist eine Angabe im HTTP-Header, mit der sich steuern lässt, ob eine Datei in den Suchindex aufgenommen wird. Es erfüllt denselben Zweck wie die entsprechende Angabe im Quelltext, funktioniert aber auch für Dateien, die keinen Quelltext haben.

Wofür man es braucht

Die übliche noindex-Angabe steht im Kopfbereich einer HTML-Seite. Bei einem PDF, einem Bild oder einer Tabellendatei gibt es diesen Bereich nicht. Wer verhindern will, dass eine Preisliste als PDF in den Suchergebnissen auftaucht, kommt mit der klassischen Methode also nicht weiter. Der Header wird dagegen bei jeder Datei mitgeliefert, unabhängig vom Format.

Wo es gesetzt wird

Nicht im Dokument selbst, sondern in der Serverkonfiguration. Bei Apache geschieht das über die htaccess-Datei, bei nginx in der Serverdefinition. Üblich ist eine Regel, die alle Dateien eines bestimmten Typs oder eines bestimmten Verzeichnisses erfasst. Das ist zugleich der Vorteil gegenüber der Auszeichnung im Dokument: Eine Regel deckt hunderte Dateien ab, ohne dass jede einzeln angefasst werden muss.

Der klassische Fehler

Wer eine Datei gleichzeitig in der robots.txt sperrt und über den Header von der Aufnahme ausschließt, erreicht das Gegenteil. Die Sperre verhindert, dass die Datei überhaupt abgerufen wird, und damit wird die Anweisung im Header nie gelesen. Die Datei kann dann trotzdem in den Ergebnissen erscheinen, sobald jemand darauf verlinkt. Die Regel lautet also: Entweder sperren oder von der Aufnahme ausschließen, aber nicht beides zugleich.

Ein Beispiel aus der Praxis

Ein Anbieter stellte Angebotsunterlagen als PDF bereit, ohne Zugangsschutz und ohne Steuerung. Nach einigen Monaten waren mehrere dieser Dateien über eine Suche auffindbar, samt Konditionen. Eine einzige Zeile in der Serverkonfiguration hätte das verhindert. Der eigentliche Fehler lag natürlich davor: Vertrauliche Unterlagen gehören hinter einen Zugangsschutz und nicht in ein offenes Verzeichnis.

Wann es sich lohnt

PDF-Dateien, die nicht in Suchergebnissen erscheinen sollen
Ganze Verzeichnisse, etwa mit Downloads oder Archivmaterial
Testumgebungen, zusätzlich zu einem Passwortschutz
Bilder, die nicht in der Bildersuche auftauchen sollen

Prüfen

Ob die Angabe wirklich ankommt, lässt sich mit den Entwicklerwerkzeugen des Browsers nachsehen: Datei aufrufen, im Netzwerkbereich die Antwortheader ansehen. Alternativ zeigt die URL-Prüfung in der Search Console, wie Google die Datei behandelt.

Häufige Fragen zu X-Robots-Tag

Brauche ich das bei einer normalen Website?

Meist nicht. Sobald Sie Dateien zum Herunterladen anbieten, die nicht gefunden werden sollen, wird es relevant.

Passend dazu bei NETZTIME

Wie wir mit diesem Thema in Projekten umgehen, steht bei unsere Arbeit an der Sichtbarkeit bei Google.

Zurück zur Glossarübersicht