Die Datei llms.txt für KI-Systeme

Die llms.txt ist eine einfache Textdatei im Wurzelverzeichnis einer Website. Sie beschreibt in Markdown, worum es auf der Seite geht und welche Unterseiten wichtig sind. Gedacht ist sie für Sprachmodelle, die eine Website erfassen, ohne sich durch Navigation, Skripte und Beiwerk arbeiten zu müssen.

Woher die Idee kommt

KI-Systeme lesen Websites anders als Menschen. Vorgeschlagen wurde das Format 2024 von dem Entwickler Jeremy Howard. Der Gedanke: Eine HTML-Seite enthält viel, was für ein Sprachmodell nur Ballast ist, von Navigation über Einwilligungsabfragen bis zu Skripten. Eine kurze, klar gegliederte Datei in Markdown liefert stattdessen genau das, worauf es ankommt, und zwar in einer Form, die Modelle ohnehin gut verarbeiten.

Der Unterschied zu robots.txt und Sitemap

Alle drei Dateien liegen im Wurzelverzeichnis und werden gern verwechselt. Die robots.txt regelt, welche Bereiche abgerufen werden dürfen, also eine Erlaubnisfrage. Die Sitemap listet vollständig alle Adressen auf, damit nichts übersehen wird. Die llms.txt tut etwas anderes: Sie trifft eine Auswahl. Sie sagt nicht, was es alles gibt, sondern was wichtig ist und wie es zusammenhängt.

Wie sie aufgebaut ist

Eine Überschrift mit dem Namen des Unternehmens oder Projekts
Ein kurzer Absatz, der in zwei bis drei Sätzen erklärt, worum es geht
Abschnitte mit den wichtigsten Seiten, jeweils als Link mit einer Zeile Beschreibung
Optional Hinweise, etwa zur bevorzugten Domain oder zu Themen, die bewusst fehlen

Das Ganze bleibt übersichtlich. Eine gute Datei für eine Unternehmenswebsite passt auf zwei Bildschirmseiten. Wer alle vierhundert Unterseiten hineinschreibt, hat das Prinzip verfehlt, dann wäre die Sitemap das richtige Werkzeug.

Was sie bringt und was nicht

Ehrlich gesagt: Ein verbindlicher Standard ist das Format nicht, und keiner der großen Anbieter hat öffentlich zugesagt, es auszuwerten. Wer verspricht, mit dieser Datei zuverlässig in KI-Antworten zu landen, behauptet mehr, als er wissen kann.

Trotzdem spricht einiges dafür, sie anzulegen. Der Aufwand liegt bei einer knappen Stunde, die Datei schadet nicht, und sie zwingt zu einer nützlichen Übung: Man muss in wenigen Sätzen formulieren, worum es auf der eigenen Website eigentlich geht. Erfahrungsgemäß fällt dabei auf, dass mehrere Seiten dasselbe Thema behandeln oder dass eine wichtige Frage nirgends beantwortet wird.

Ein Beispiel aus der Praxis

Beim Anlegen der Datei für eine Unternehmenswebsite mussten wir für jede Seite eine Zeile schreiben, die ihren Zweck benennt. Bei drei Seiten gelang das nicht, weil sie inhaltlich dasselbe abdeckten wie andere. Genau diese drei wurden anschließend zusammengelegt. Der Nutzen der Übung lag damit weniger in der Datei selbst als in dem, was sie sichtbar gemacht hat.

Erstellen und prüfen

Von Hand geschrieben ist die Datei am besten, weil die Beschreibungen dann wirklich zur Sache passen. Für den ersten Entwurf gibt es Werkzeuge, die eine Website auslesen und ein Gerüst erzeugen, etwa den kostenlosen llms.txt Generator, den man anschließend von Hand nachschärft. Danach gehört die Datei ins Wurzelverzeichnis, erreichbar unter der Adresse mit dem Zusatz llms.txt, und sollte bei größeren Änderungen an der Website aktualisiert werden.

Häufige Fragen zu llms.txt

Ist die llms.txt Pflicht?

Nein. Es gibt keine Vorschrift und keine offizielle Zusage der KI-Anbieter, dass sie ausgewertet wird. Der Aufwand ist aber gering genug, dass sich der Versuch lohnt.

Ersetzt sie die Sitemap?

Nein, beide erfüllen verschiedene Zwecke. Die Sitemap ist vollständig und für Suchmaschinen gedacht, die llms.txt ist eine kuratierte Auswahl für Sprachmodelle.

Passend dazu bei NETZTIME

Wie wir mit diesem Thema in Projekten umgehen, steht bei unsere Arbeit an der Sichtbarkeit in KI-Suchen.

Zurück zur Glossarübersicht