llms.txt für REST APIs und Developer Portals: KI-Crawler richtig steuern

Definition: llms.txt ist eine standardisierte Markdown-Datei im Stammverzeichnis einer Website, die KI-Systemen wie ChatGPT, Claude oder Perplexity einen kuratierten Überblick über relevante Inhalte, API-Endpunkte und Dokumentationsstrukturen gibt. Sie ergänzt robots.txt und sitemap.xml, indem sie KI-Modellen nicht nur Zugriffsregeln, sondern semantischen Kontext liefert — besonders wertvoll für REST APIs und Developer Portals mit komplexen Dokumentationsstrukturen.

Warum KI-Crawler deine API-Dokumentation falsch lesen

Ein Developer Portal ist für Menschen gebaut: Navigation, Sidebar, Code-Snippets, interaktive API-Explorer — alles visuell aufbereitet. Für KI-Crawler wie GPTBot, ClaudeBot oder PerplexityBot ist diese HTML-Struktur ein Problem. Sie müssen Navigationsmenüs, JavaScript-Elemente und Layout-Container parsen, bevor sie überhaupt zu den eigentlichen Endpoint-Beschreibungen gelangen.

Das kostet Token-Budget. Laut einer Analyse des API-Dokumentations-Tools Fern reduziert eine korrekt eingebundene llms.txt-Datei den Token-Verbrauch von KI-Agenten beim Parsen von API-Dokumentationen um über 90 % gegenüber herkömmlichen HTML-Seiten. (buildwithfern.com, 2026)

Das Ergebnis ohne llms.txt: KI-Modelle erkennen zwar, dass eine API existiert, verstehen aber nicht, welche Endpunkte relevant sind, wie Authentication funktioniert oder welche Rate Limits gelten. Entwickler, die KI-Assistenten wie Cursor oder GitHub Copilot nutzen, erhalten dadurch fehlerhafte Code-Vorschläge — obwohl die vollständige Dokumentation öffentlich zugänglich wäre.

Für die GEO-Perspektive (Generative Engine Optimization) kommt ein weiteres Problem hinzu: Ohne llms.txt entscheiden die Crawler selbst, welche Seiten priorisiert werden. Das können Marketing-Landing-Pages sein — statt der eigentlichen API-Referenz, die Entwickler in KI-Suchantworten tatsächlich benötigen.

llms.txt: Aufbau und Struktur für Developer Portals

Das llms.txt-Format wurde von Jeremy Howard (fast.ai) als offener Standard vorgeschlagen und im September 2024 auf llmstxt.org veröffentlicht. Die Datei liegt unter https://deine-domain.de/llms.txt und folgt einer klar definierten Markdown-Struktur.

Für ein Developer Portal empfiehlt sich folgende Gliederung:

# Meine API — Developer Portal

> REST API für [Produkt/Service]. Authentifizierung via Bearer Token.

## Dokumentation
- [Schnellstart](/docs/quickstart): Erste API-Integration in unter 10 Minuten
- [Authentifizierung](/docs/auth): OAuth2 und API-Key-Verwaltung
- [Rate Limits](/docs/rate-limits): Anfragelimits und Throttling-Regeln

## API-Referenz
- [Endpoints Übersicht](/api/reference): Alle verfügbaren REST-Endpunkte
- [OpenAPI Spec](/openapi.json): Maschinenlesbares API-Schema (OpenAPI 3.0)

## Optional
- [Changelog](/changelog): Breaking Changes und neue Features
- [SDKs](/sdks): Python, JavaScript, Go, PHP