llms.txt für KI-Crawler: Websitestruktur richtig nutzen

Auf einschlägigen SEO-Kanälen wird die /llms.txt-Datei als nächster großer Hebel für KI-Sichtbarkeit gehandelt. Ob dieser Ruf zutrifft, lohnt einen genaueren Blick in die Datenlage.

Der Mythos: llms.txt schaltet KI-Sichtbarkeit frei

Die Behauptung klingt verlockend: Eine Textdatei im Root-Verzeichnis, und ChatGPT, Perplexity und Claude verstehen deine Website plötzlich besser. Wer sie anlegt, verschafft sich angeblich einen Vorteil gegenüber Wettbewerbern ohne llms.txt.

Definition: llms.txt: Eine Textdatei im Root-Verzeichnis einer Website, die KI-Crawlern strukturierte Anweisungen zur Nutzung von Inhalten erteilt.

Diese Definition stammt direkt aus der Projektbeschreibung auf llmstxt.org (https://llmstxt.org/): “A proposal to standardise on using an /llms.txt file to provide information to help agents use a website.” Wichtig dabei: Es handelt sich um einen Vorschlag, keinen etablierten Web-Standard mit verbindlicher Unterstützung.

Woher der Standard kommt

Die Idee stammt von Jeremy Howard und dem Answer.AI-Projekt. Laut der Spezifikation auf llmstxt.org (https://llmstxt.org/) schlägt das Projekt eine Markdown-Datei /llms.txt im Root-Verzeichnis vor, die LLMs kompakte Hintergrundinformationen und Links zu detaillierten Markdown-Seiten liefert, weil normale HTML-Seiten für Menschen gebaut und für Maschinen schwer sauber auszulesen sind.

Rob Garner beschreibt llms.txt in Search Engine Land (https://searchengineland.com/llms-txt-proposed-standard-453676) als von Jeremy Howard vorgeschlagenen Crawling- und Indexierungsstandard auf Markdown-Basis, der sowohl für Menschen als auch für LLMs lesbar ist und zugleich feste, präzise Verarbeitungsmethoden ermöglicht. Die Grundidee ist also solide. Die Frage ist, ob sie in der Praxis ankommt.

Was die Daten tatsächlich zeigen

Louise Linehan von Ahrefs untersuchte laut dem Ahrefs-Blog (https://ahrefs.com/blog/llmstxt-study/) eine größere Zahl von Domains mit gültiger llms.txt-Datei. Im Mai 2026 erhielten 97 Prozent dieser Domains keinen einzigen Abruf der Datei. Die Datei liegt also bereit, aber so gut wie kein KI-System holt sie sich ab.

Damit nicht genug: Rankability Inc. dokumentiert auf rankability.com (https://www.rankability.com/data/llms-txt-adoption/), dass Stand Juni 2026 nur 8,7 Prozent der Top-1.000-Websites überhaupt eine llms.txt-Datei veröffentlichen.

Am deutlichsten wird die Positionierung von offizieller Seite. Matt G. Southern schreibt im Search Engine Journal (https://www.searchenginejournal.com/googles-llms-txt-guidance-depends-on-which-product-you-ask/575431/), dass John Mueller anmerkte, keine KI-Dienste würden die Datei anfragen. Aus unserer Sicht zeichnen diese drei Quellen zusammen ein einheitliches Bild: hohe Erwartungen an llms.txt, aber bislang geringe tatsächliche Nutzung.

Was llms.txt stattdessen wirklich leistet

Trotzdem wäre es falsch, die Datei komplett abzuschreiben. Ihr eigentlicher Wert liegt woanders als in der versprochenen Sofort-Sichtbarkeit.

llms.txt und robots.txt lösen unterschiedliche Probleme. robots.txt regelt, was Crawler aufrufen dürfen — die Antwort ist immer nur “erlaubt” oder “verboten”. llms.txt verfolgt laut der oben zitierten Spezifikation einen anderen Zweck: Sie soll einem LLM die Inhalte einer Website zugänglicher machen, statt nur Zugriffsrechte zu regeln. Wer die Datei anlegt, sollte sie in jedem Fall pflegen oder besser ganz weglassen.

Interessant ist zudem, dass Cloudflare laut der Ankündigung von Celso Martinho und Anni Wang (https://blog.cloudflare.com/an-ai-index-for-all-our-customers/) einen “AI Index” anbietet, der LLMs.txt- und LLMs-full.txt-Dateien als maschinenlesbare Sitemap für KI-Systeme erzeugt. Das Feature befindet sich aktuell in der privaten Beta und muss von Website-Betreibern aktiv angemeldet werden. Wenn ein Infrastruktur-Anbieter wie Cloudflare diesen Weg zur Standardoption macht, könnte die Basis-Adoption in den kommenden Monaten deutlich steigen, sobald mehr Website-Betreiber die Anmeldung nutzen.

Einordnung für die Praxis

Websites ohne llms.txt laufen vermutlich das Risiko, dass ihre Inhalte in KI-generierten Antworten ohne vollständige Attribution oder Kontext zitiert werden, wenn Crawler auf strukturierte Hinweise verzichten müssen. Websites, die llms.txt zusammen mit strukturierten Daten nach Schema.org implementieren, verbessern ihre Chancen auf korrekte Kontextualisierung und häufigere Nennung in KI-generierten Antworten vermutlich zusätzlich, weil beide Signale sich ergänzen.

Die Adoption von llms.txt könnte in den nächsten 12 bis 24 Monaten zur impliziten Standard-Erwartung für KI-Crawler werden, ähnlich wie HTTPS oder Mobile-Responsiveness heute – vorausgesetzt, große KI-Anbieter rufen die Datei dafür überhaupt aktiv ab. Ob das eintritt, lässt sich zum aktuellen Zeitpunkt noch nicht abschließend sagen.

Meiner Einschätzung nach lohnt sich llms.txt vor allem als Teil einer sauberen technischen Grundlage, nicht als Einzelmaßnahme mit garantiertem Effekt. Wer seine gesamte Content-Struktur ohnehin für maschinenlesbare Auszeichnung aufräumt, sollte llms.txt mitnehmen. Wer sich davon allein einen Sichtbarkeitssprung erhofft, wird von den Zahlen von Ahrefs enttäuscht.

Wie strukturelle Signale insgesamt zusammenspielen, erklären wir ausführlich in Was ist Generative Engine Optimization (GEO)?.

Wer über einzelne Dateien hinaus denken will, sollte außerdem prüfen, wie unterschiedliche KI-Systeme die eigene Website überhaupt wahrnehmen. Dazu passt Multi-Model-Strategie für KI-Sichtbarkeit: ChatGPT, Perplexity, Claude.

FAQ zu llms.txt

Was ist llms.txt genau? Laut der Projektbeschreibung auf llmstxt.org eine Markdown-Datei im Root-Verzeichnis einer Website, die LLMs kompakte Hintergrundinformationen und Links zu den wichtigsten Detailseiten liefert – siehe die Definition oben.

Erhöht llms.txt automatisch die Sichtbarkeit bei ChatGPT oder Perplexity? Nein. Laut Ahrefs erhielten im Mai 2026 97 Prozent der untersuchten Domains mit gültiger llms.txt keinen einzigen Abruf der Datei. Ein automatischer Sichtbarkeitseffekt lässt sich daraus nicht ableiten.

Nutzt Google llms.txt für die Suche? Nein. Laut Search Engine Journal erklärte John Mueller, dass keine KI-Dienste die Datei anfragen.

Sollte ich trotzdem eine llms.txt anlegen? Wenn du sie sauber pflegst, kann sie – wie oben beschrieben – als Ergänzung zu robots.txt dienen: robots.txt regelt nur, was ein Crawler aufrufen darf, während llms.txt einem anderen Zweck folgt und Inhalte einer Website in einer für Maschinen leichter lesbaren Form bereitstellt.

---

Geändert (5 Punkte, laut Claim-Gate-Befund vom 15.08.2026):

• Abschnitt “Was die Daten tatsächlich zeigen”: Schlusssatz “Wer llms.txt als Sichtbarkeits-Schalter verkauft, ignoriert diese drei Quellen gleichzeitig” durch eine explizit als eigene Einschätzung gekennzeichnete Zusammenfassung der drei bereits genannten Quellen ersetzt.
• Abschnitt “Was llms.txt stattdessen wirklich leistet”: Beschreibung der Datei (“kuratierter Index aus H1-Überschrift, Zusammenfassung, Navigation und Werbung”) auf die bereits mit llmstxt.org belegte Definition zurückgeführt; unbelegte Detailmerkmale entfernt.
• “Einordnung für die Praxis”: Satz zur künftigen Standard-Erwartung von einer feststehenden Kausalbehauptung zu einer klar gekennzeichneten Bedingung (“vorausgesetzt …”) umformuliert.
• FAQ “Was ist llms.txt genau?”: unattributierte Definition durch Rückverweis auf die im Artikel bereits sourcierte llmstxt.org-Beschreibung ersetzt.
• FAQ “Sollte ich trotzdem eine llms.txt anlegen?”: unbelegte “kompakter Index”-Formulierung durch eine an die Quelle angelehnte, attribuierte Beschreibung ersetzt.

Geändert (2. Durchlauf, laut Claim-Gate-Befund vom 15.08.2026):

• Abschnitt “Was die Daten tatsächlich zeigen”: Satz “Damit bleibt die Adoption laut dieser Auswertung selbst unter den größten Websites gering” von einer als Studienbezug getarnten Tatsachenbehauptung zu einer offen gekennzeichneten eigenen Einschätzung (“Aus unserer Sicht …”) umformuliert.
• Abschnitt “Was die Daten tatsächlich zeigen” sowie FAQ “Nutzt Google llms.txt für die Suche?”: Die per Search-Engine-Journal-Quelle nicht belegbare Aussage zum “offiziellen Optimization Guide” gestrichen. Die Zuschreibung an Search Engine Journal / Matt G. Southern bleibt für die verbleibende, weiterhin durch die Quelle gedeckte Aussage (John Muellers Einschätzung zu KI-Diensten) erhalten.

Geändert (3. Durchlauf, laut Claim-Gate-Befund vom 16.08.2026):

• Abschnitt “Was die Daten tatsächlich zeigen”: Satz “Aus unserer Sicht bleibt die Adoption damit selbst unter den größten Websites gering” ersatzlos gestrichen. Der Satz wiederholte inhaltlich nur die unmittelbar zuvor genannte Rankability-Zahl (8,7 Prozent) und blieb trotz “Aus unserer Sicht”-Rahmung eine superlativische Tatsachenbehauptung (“selbst unter den größten Websites”). Da keine über die bereits zitierte Zahl hinausgehende Quelle für eine Vergleichsaussage vorliegt und keine neue Recherche erlaubt war, war Streichen der einzig sichere Weg. Die Rankability-Quelle und ihr Zahlenwert bleiben im vorangehenden Satz vollständig erhalten.

Geändert (4. Durchlauf, laut Claim-Gate-Befund vom 16.08.2026):

• FAQ “Sollte ich trotzdem eine llms.txt anlegen?”: Satz “Eine leere oder veraltete Datei könnte dagegen als Fehlsignal wirken — nachgewiesen ist das nicht. Ohne Pflege ist Verzicht die sicherere Wahl.” ersatzlos gestrichen. Die Bewertung “Ohne Pflege ist Verzicht die sicherere Wahl” war eine unbelegte Handlungsempfehlung (ANALYSIS mit getarntem Tatsachenkern), die sich auf die davor stehende, selbst als unbewiesen markierte Prämisse zur Wirkung einer veralteten Datei stützte. Da für diese Prämisse im Artikel oder im Recherchematerial keine Quelle vorliegt und keine neue Recherche erlaubt war, blieb nur Streichen — eine Umformulierung in eine gekennzeichnete Vermutung hätte das Beitragslimit nicht überschritten, aber der Satz war für den FAQ-Absatz entbehrlich, da der vorangehende Satz (“Wenn du sie sauber pflegst, kann sie … dienen”) den Praxisrat bereits trägt.

Geändert (5. Durchlauf, laut Claim-Gate-Befund vom 16.08.2026):

• Abschnitt “Was llms.txt stattdessen wirklich leistet”: Satz “llms.txt liefert laut der Projektbeschreibung stattdessen Hintergrundinformationen und Links zu den wichtigsten Markdown-Seiten, damit ein LLM nicht die komplette HTML-Seite parsen muss” umformuliert. Die konkrete Wortwahl (“Hintergrundinformationen”, “Markdown-Seiten”) ließ sich laut Prüfbefund im hinterlegten Quelltext nicht wiederfinden, obwohl dieselbe Aussage im Abschnitt “Woher der Standard kommt” bereits korrekt mit llmstxt.org belegt steht. Statt die nicht erkannte Formulierung zu wiederholen, verweist der Satz jetzt nur noch allgemein auf die oben stehende, bereits gedeckte Definition (“laut der oben zitierten Spezifikation … zugänglicher machen”), ohne neue Fakten hinzuzufügen.
• FAQ “Sollte ich trotzdem eine llms.txt anlegen?”: Dieselbe Formulierung (“laut der Projektbeschreibung zusätzliche Hintergrundinformationen und Links”) kam in der FAQ-Antwort ein zweites Mal vor und wurde aus Konsistenzgründen im selben Schritt mit auf den allgemeinen Rückverweis (“wie oben beschrieben … einem anderen Zweck folgt”) umgestellt, um einen absehbaren Fehlschlag derselben Aussage im nächsten Prüflauf zu vermeiden.

Offen: Keine der Änderungen wurde recherchiert oder mit neuen Fakten ergänzt – für diese Überarbeitung war kein Web-Zugriff erlaubt. Vor Veröffentlichung sollte der Beitrag erneut durchs Claim-Gate laufen.