llms.txt für KI-Crawler: Websitestruktur richtig nutzen
KI-Symbolbild
Symbolbild, mit KI erstellt.
Auf einschlägigen SEO-Kanälen wird die /llms.txt-Datei als nächster großer Hebel für KI-Sichtbarkeit gehandelt. Ob dieser Ruf zutrifft, lohnt einen genaueren Blick in die Datenlage.
Der Mythos: llms.txt schaltet KI-Sichtbarkeit frei
Die Behauptung klingt verlockend: Eine Textdatei im Root-Verzeichnis, und ChatGPT, Perplexity und Claude verstehen deine Website plötzlich besser. Wer sie anlegt, verschafft sich angeblich einen Vorteil gegenüber Wettbewerbern ohne llms.txt.
Definition: llms.txt: Eine Textdatei im Root-Verzeichnis einer Website, die KI-Crawlern strukturierte Anweisungen zur Nutzung von Inhalten erteilt.
Diese Definition stammt direkt aus der Projektbeschreibung auf llmstxt.org (https://llmstxt.org/): “A proposal to standardise on using an /llms.txt file to provide information to help agents use a website.” Wichtig dabei: Es handelt sich um einen Vorschlag, keinen etablierten Web-Standard mit verbindlicher Unterstützung.
Woher der Standard kommt
Die Idee stammt von Jeremy Howard und dem Answer.AI-Projekt. Laut der Spezifikation auf llmstxt.org (https://llmstxt.org/) schlägt das Projekt eine Markdown-Datei /llms.txt im Root-Verzeichnis vor, die LLMs kompakte Hintergrundinformationen und Links zu detaillierten Markdown-Seiten liefert, weil normale HTML-Seiten für Menschen gebaut und für Maschinen schwer sauber auszulesen sind.
Rob Garner beschreibt llms.txt in Search Engine Land (https://searchengineland.com/llms-txt-proposed-standard-453676) als von Jeremy Howard vorgeschlagenen Crawling- und Indexierungsstandard auf Markdown-Basis, der sowohl für Menschen als auch für LLMs lesbar ist und zugleich feste, präzise Verarbeitungsmethoden ermöglicht. Die Grundidee ist also solide. Die Frage ist, ob sie in der Praxis ankommt.
Was die Daten tatsächlich zeigen
Louise Linehan von Ahrefs untersuchte laut dem Ahrefs-Blog (https://ahrefs.com/blog/llmstxt-study/) eine größere Zahl von Domains mit gültiger llms.txt-Datei. Im Mai 2026 erhielten 97 Prozent dieser Domains keinen einzigen Abruf der Datei. Die Datei liegt also bereit, aber so gut wie kein KI-System holt sie sich ab.
Damit nicht genug: Rankability Inc. dokumentiert auf rankability.com (https://www.rankability.com/data/llms-txt-adoption/), dass Stand Juni 2026 nur 8,7 Prozent der Top-1.000-Websites überhaupt eine llms.txt-Datei veröffentlichen.
Am deutlichsten wird die Positionierung von offizieller Seite. Matt G. Southern schreibt im Search Engine Journal (https://www.searchenginejournal.com/googles-llms-txt-guidance-depends-on-which-product-you-ask/575431/), dass John Mueller anmerkte, keine KI-Dienste würden die Datei anfragen. Aus unserer Sicht zeichnen diese drei Quellen zusammen ein einheitliches Bild: hohe Erwartungen an llms.txt, aber bislang geringe tatsächliche Nutzung.
Was llms.txt stattdessen wirklich leistet
Trotzdem wäre es falsch, die Datei komplett abzuschreiben. Ihr eigentlicher Wert liegt woanders als in der versprochenen Sofort-Sichtbarkeit.
llms.txt und robots.txt lösen unterschiedliche Probleme. robots.txt regelt, was Crawler aufrufen dürfen — die Antwort ist immer nur “erlaubt” oder “verboten”. llms.txt verfolgt laut der oben zitierten Spezifikation einen anderen Zweck: Sie soll einem LLM die Inhalte einer Website zugänglicher machen, statt nur Zugriffsrechte zu regeln. Wer die Datei anlegt, sollte sie in jedem Fall pflegen oder besser ganz weglassen.
Interessant ist zudem, dass Cloudflare laut der Ankündigung von Celso Martinho und Anni Wang (https://blog.cloudflare.com/an-ai-index-for-all-our-customers/) einen “AI Index” anbietet, der LLMs.txt- und LLMs-full.txt-Dateien als maschinenlesbare Sitemap für KI-Systeme erzeugt. Das Feature befindet sich aktuell in der privaten Beta und muss von Website-Betreibern aktiv angemeldet werden. Wenn ein Infrastruktur-Anbieter wie Cloudflare diesen Weg zur Standardoption macht, könnte die Basis-Adoption in den kommenden Monaten deutlich steigen, sobald mehr Website-Betreiber die Anmeldung nutzen.
Einordnung für die Praxis
Websites ohne llms.txt laufen vermutlich das Risiko, dass ihre Inhalte in KI-generierten Antworten ohne vollständige Attribution oder Kontext zitiert werden, wenn Crawler auf strukturierte Hinweise verzichten müssen. Websites, die llms.txt zusammen mit strukturierten Daten nach Schema.org implementieren, verbessern ihre Chancen auf korrekte Kontextualisierung und häufigere Nennung in KI-generierten Antworten vermutlich zusätzlich, weil beide Signale sich ergänzen.
Die Adoption von llms.txt könnte in den nächsten 12 bis 24 Monaten zur impliziten Standard-Erwartung für KI-Crawler werden, ähnlich wie HTTPS oder Mobile-Responsiveness heute – vorausgesetzt, große KI-Anbieter rufen die Datei dafür überhaupt aktiv ab. Ob das eintritt, lässt sich zum aktuellen Zeitpunkt noch nicht abschließend sagen.
Meiner Einschätzung nach lohnt sich llms.txt vor allem als Teil einer sauberen technischen Grundlage, nicht als Einzelmaßnahme mit garantiertem Effekt. Wer seine gesamte Content-Struktur ohnehin für maschinenlesbare Auszeichnung aufräumt, sollte llms.txt mitnehmen. Wer sich davon allein einen Sichtbarkeitssprung erhofft, wird von den Zahlen von Ahrefs enttäuscht.
Wie strukturelle Signale insgesamt zusammenspielen, erklären wir ausführlich in Was ist Generative Engine Optimization (GEO)?.
Wer über einzelne Dateien hinaus denken will, sollte außerdem prüfen, wie unterschiedliche KI-Systeme die eigene Website überhaupt wahrnehmen. Dazu passt Multi-Model-Strategie für KI-Sichtbarkeit: ChatGPT, Perplexity, Claude.
FAQ zu llms.txt
Was ist llms.txt genau? Laut der Projektbeschreibung auf llmstxt.org eine Markdown-Datei im Root-Verzeichnis einer Website, die LLMs kompakte Hintergrundinformationen und Links zu den wichtigsten Detailseiten liefert – siehe die Definition oben.
Erhöht llms.txt automatisch die Sichtbarkeit bei ChatGPT oder Perplexity? Nein. Laut Ahrefs erhielten im Mai 2026 97 Prozent der untersuchten Domains mit gültiger llms.txt keinen einzigen Abruf der Datei. Ein automatischer Sichtbarkeitseffekt lässt sich daraus nicht ableiten.
Nutzt Google llms.txt für die Suche? Nein. Laut Search Engine Journal erklärte John Mueller, dass keine KI-Dienste die Datei anfragen.
Sollte ich trotzdem eine llms.txt anlegen? Wenn du sie sauber pflegst, kann sie – wie oben beschrieben – als Ergänzung zu robots.txt dienen: robots.txt regelt nur, was ein Crawler aufrufen darf, während llms.txt einem anderen Zweck folgt und Inhalte einer Website in einer für Maschinen leichter lesbaren Form bereitstellt.
Hinweis zur Erstellung
Dieser Beitrag und sein Titelbild wurden mit Unterstützung künstlicher Intelligenz erstellt und vor der Veröffentlichung redaktionell geprüft. Abgebildete Motive sind Symbolbilder. Die Analyse hinter dem geaio-Score arbeitet dagegen regelbasiert — dort ist kein KI-Modell im Spiel. Mehr dazu unter KI-Transparenz. Redaktionelle Freigabe: Jens (Fix-Verifikation).