Crawling durch Suchmaschinen
Wie ein Crawler vorgeht
Suchmaschinen arbeiten dafür mit Programmen, die man Crawler nennt. Ein solcher Crawler startet mit einer Liste bekannter Adressen, ruft sie ab, wertet den Quelltext aus und trägt gefundene Links in die Liste ein. Dieser Vorgang läuft ununterbrochen. Wie oft eine bestimmte Seite besucht wird, hängt davon ab, wie oft sie sich ändert, wie gut sie intern und extern verlinkt ist und wie schnell der Server antwortet.
Der Aufwand, den eine Suchmaschine für eine Website betreibt, ist nicht unbegrenzt. Bei kleinen Unternehmensseiten spielt das kaum eine Rolle. Bei großen Seiten mit vielen automatisch erzeugten Adressen kann es passieren, dass wichtige Seiten selten abgerufen werden, weil unwichtige die Kapazität binden.
Was Crawling behindert
- Wichtige Inhalte, die erst durch Skripte nachgeladen werden
- Seiten, die nur über ein Formular oder eine Suchfunktion erreichbar sind
- Sperren in der robots.txt, die versehentlich zu weit gefasst sind
- Sehr langsame Server, die den Abruf ausbremsen
- Endlose Adressvarianten durch Filter und Sortierungen
Ein Beispiel aus der Praxis
Nach einem Relaunch war eine Website wochenlang nicht mehr auffindbar. Ursache war eine Zeile in der robots.txt, die aus der Testumgebung übernommen worden war und das komplette Verzeichnis für alle Crawler gesperrt hatte. Der Fehler war in einer Minute behoben, die verlorene Sichtbarkeit brauchte deutlich länger, um zurückzukommen. Solche Zeilen gehören auf jede Checkliste vor dem Livegang.
Wie man es steuert
Über die robots.txt lässt sich festlegen, welche Bereiche nicht abgerufen werden sollen. Eine XML-Sitemap teilt der Suchmaschine mit, welche Adressen es gibt und wann sie zuletzt geändert wurden. Die Search Console zeigt, welche Seiten abgerufen wurden und wo Fehler aufgetreten sind. Wichtig zu wissen: Eine Sperre in der robots.txt verhindert das Abrufen, nicht zwingend das Erscheinen in den Suchergebnissen.
Was man selbst prüfen kann
Ein einfacher Test kostet zwei Minuten: In der Search Console eine beliebige Adresse der eigenen Website prüfen lassen und sich die gerenderte Version ansehen. Wenn dort Inhalte fehlen, die im Browser sichtbar sind, liegt ein Problem vor. Ebenso aufschlussreich ist ein Blick in den Quelltext einer Seite. Steht der eigentliche Text dort, ist alles in Ordnung. Findet sich nur ein Gerüst aus Skriptverweisen, sollte man genauer hinsehen.
Häufige Fragen zu Crawling
Wie schnell wird eine neue Seite gefunden?
Bei einer regelmäßig aktualisierten Website oft innerhalb von Tagen, bei selten geänderten Seiten kann es Wochen dauern. Eine aktuelle Sitemap und ein interner Link von einer bereits bekannten Seite beschleunigen das deutlich.
Passend dazu bei NETZTIME
Wie wir mit diesem Thema in Projekten umgehen, steht bei unsere Arbeit an der Sichtbarkeit bei Google.