DSGVO für KI-Crawler: Compliance in der generativen Suche
Definition: DSGVO-Compliance für KI-Crawler bezeichnet die rechtssichere Steuerung von Bots wie GPTBot, ClaudeBot und PerplexityBot über robots.txt und llms.txt, damit Website-Betreiber nachvollziehbar dokumentieren, welche Inhalte für KI-Training und welche für die generative Antwortsuche zugänglich sind.
DSGVO KI-Crawler ist für Website-Betreiber 2026 kein Nischenthema mehr. Wer heute keine klare Regelung für GPTBot, ClaudeBot, PerplexityBot und CommonCrawl trifft, riskiert zweierlei: unkontrollierte Nutzung personenbezogener Daten für KI-Training und gleichzeitig den Ausschluss aus ChatGPT, Perplexity und Google AI Overviews. Beides lässt sich vermeiden — mit einer sauberen Trennung zwischen Trainings- und Suchcrawlern sowie einer durchdachten llms.txt. Dieser Beitrag zeigt, wie Compliance und KI-Sichtbarkeit sich nicht ausschließen, sondern ergänzen.
Warum DSGVO und KI-Crawler zusammengehören
Generative KI-Systeme wie ChatGPT, Claude und Perplexity greifen auf zwei Arten von Bots zurück: Trainingscrawler, die Inhalte für das Sprachmodell sammeln, und Suchcrawler, die Antworten in Echtzeit generieren. Rechtlich sind das zwei verschiedene Baustellen. Für Trainingsdaten greift in der EU insbesondere Art. 4 der DSM-Richtlinie (EU 2019/790), der ein maschinenlesbares Opt-out gegen Text- und Data-Mining vorsieht — robots.txt ist dabei die anerkannte technische Umsetzung. Für personenbezogene Daten (Kundenlisten, Kommentare, Nutzerprofile) greift zusätzlich die DSGVO mit ihren Grundsätzen zu Zweckbindung und Datenminimierung.
Das Problem in der Praxis: Viele Websites blockieren pauschal alle KI-Bots per robots.txt und verlieren dadurch Sichtbarkeit in ChatGPT Search oder Perplexity — oder sie lassen alle Crawler unkontrolliert zu und verlieren die Kontrolle über sensible Inhalte. Laut SEOSOON-Studie blockieren bereits 33 % der deutschen Websites KI-Crawler grundsätzlich (2026), oft ohne zwischen Training und Suche zu unterscheiden. Genau hier setzt eine differenzierte DSGVO-Strategie an: Training blockieren, Suche erlauben, sensible Bereiche gezielt aussperren.
GPTBot, ClaudeBot & PerplexityBot: rechtliche Unterschiede
Nicht jeder KI-Crawler verfolgt denselben Zweck — und nicht jeder verdient dieselbe Behandlung in robots.txt. Ein Überblick über die wichtigsten Bots:
| Bot | Betreiber | Zweck | DSGVO-Risiko |
|---|---|---|---|
| GPTBot | OpenAI | Modelltraining | Hoch — sammelt Volltexte |
| OAI-SearchBot / ChatGPT-User | OpenAI | Live-Suche für ChatGPT | Niedrig — kein Training |
| ClaudeBot | Anthropic | Modelltraining | Hoch — sammelt Volltexte |
| Claude-SearchBot / Claude-User | Anthropic | Live-Suche für Claude | Niedrig — kein Training |
| PerplexityBot | Perplexity AI | Live-Suche & teilweise Training | Mittel |
| CCBot | Common Crawl | Datensatz für Dritte (u. a. Trainingsbasis vieler LLMs) | Hoch — Weiterverwendung unklar |
Laut einer Analyse von SEOSOON (2026) wird ClaudeBot 60 % häufiger serverseitig blockiert als GPTBot (17,1 % vs. 10,7 % der untersuchten deutschen Websites) — ein Hinweis darauf, dass Betreiber Trainingscrawler zunehmend gezielt aussperren, ohne die Such-Pendants zu betreffen. Gleichzeitig zeigt eine Auswertung des Cloudflare-Netzwerks, dass GPTBot inzwischen von 5,6 Millionen Websites blockiert wird — ein Anstieg von 70 % innerhalb eines Jahres (Stand 2026). Wer hier undifferenziert vorgeht, verliert Reichweite in generativen Suchmaschinen, ohne einen echten Compliance-Vorteil zu gewinnen.
Robots.txt und llms.txt DSGVO-konform konfigurieren
Die technische Umsetzung folgt einem einfachen Prinzip: Trainingscrawler per Disallow ausschließen, Suchcrawler mit Allow gezielt zulassen, sensible URL-Pfade (Login-Bereiche, Nutzerprofile, interne Suchergebnisse) für alle Bots sperren.
Praktisches Vorgehen in vier Schritten:
- Trainingscrawler identifizieren — GPTBot, ClaudeBot, CCBot, Google-Extended per
Disallow: /blockieren. - Suchcrawler gezielt erlauben — OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot mit
Allow: /zulassen, damit Zitierungen weiter möglich bleiben. - Personenbezogene Pfade sperren — Nutzerkonten, Formulare mit Kontaktdaten, interne Suchen konsequent per Disallow ausschließen, unabhängig vom Bot-Typ.
- llms.txt ergänzen — im Root-Verzeichnis eine llms.txt anlegen, die den erlaubten KI-Systemen strukturiert mitteilt, welche Inhalte als autoritative Quelle zitiert werden dürfen. Details zur technischen Umsetzung liefert der Leitfaden llms.txt für die eigene Website optimieren.
Ein konkretes Beispiel aus der Praxis: Ein mittelständischer B2B-Anbieter reduzierte nach Einführung einer differenzierten robots.txt-Strategie die Trainingscrawler-Zugriffe auf sensible Kundenbereiche um 92 %, während die Zitierungsrate in Perplexity und ChatGPT Search im selben Zeitraum um 18 % stieg. Der Unterschied lag ausschließlich in der Trennung zwischen Training und Suche — nicht in einem pauschalen Verbot. Wie sich diese Regeln technisch sauber in der robots.txt abbilden lassen, beschreibt der Beitrag robots.txt für KI-Crawler und Crawlability.
Häufige Fehler: blockierte Crawler und falsch indexierte Inhalte
Drei Fehlerbilder tauchen bei geaio-Analysen von Kundenwebsites immer wieder auf:
- Kompletter Ausschluss ohne Differenzierung: Alle KI-Bots per
User-agent: *blockiert — inklusive Suchcrawler, die eigentlich Zitierungen bringen würden. - Fehlende llms.txt: Ohne llms.txt fehlt KI-Systemen der strukturierte Hinweis, welche Seiten als Quelle zitierfähig sind. Die Folge: KI-Modelle greifen auf veraltete gecachte Inhalte zurück oder zitieren falsche Unterseiten.
- Sensible Daten ungeschützt: Cookie-Banner-Texte, Kontaktformulare oder interne Suchergebnisse werden von Trainingscrawlern miterfasst, weil Disallow-Regeln nur grob auf Verzeichnisebene greifen statt auf einzelne Pfade. Wie sich Cookie-Banner und Consent-Layer DSGVO-konform für KI-Crawler gestalten lassen, zeigt der Beitrag Cookie-Banner und KI-Crawler DSGVO-konform gestalten.
Diese drei Fehler lassen sich mit einem einmaligen Audit der robots.txt, der llms.txt und der Server-Logs beheben — idealerweise regelmäßig wiederholt, da KI-Anbieter ihre Crawler-User-Agents mehrfach im Jahr anpassen.
Fazit: Compliance als Wettbewerbsvorteil
DSGVO-Compliance und KI-Sichtbarkeit sind kein Widerspruch. Wer GPTBot, ClaudeBot und PerplexityBot differenziert steuert, schützt personenbezogene Daten und bleibt gleichzeitig zitierfähig in ChatGPT, Perplexity und Google AI Overviews. Entscheidend ist die Trennung zwischen Trainings- und Suchcrawlern, eine gepflegte llms.txt und ein regelmäßiges Audit der Crawler-Zugriffe. geaio prüft automatisiert, ob Ihre robots.txt und llms.txt aktuellen DSGVO-Anforderungen entsprechen und wie sich das auf Ihre KI-Sichtbarkeit auswirkt.
Häufig gestellte Fragen
Ist robots.txt rechtlich verbindlich für KI-Crawler? robots.txt ist kein Gesetz, gilt aber als anerkannte technische Umsetzung des Opt-outs nach Art. 4 der DSM-Richtlinie (EU 2019/790). Seriöse KI-Anbieter wie OpenAI und Anthropic respektieren die Regeln vertraglich und öffentlich dokumentiert.
Muss ich alle KI-Crawler blockieren, um DSGVO-konform zu sein? Nein. Ein pauschaler Ausschluss ist meist kontraproduktiv, da er auch Suchcrawler wie OAI-SearchBot oder Claude-SearchBot betrifft, die keine Trainingsdaten sammeln. Entscheidend ist die Trennung zwischen Training und Live-Suche sowie der Schutz personenbezogener Pfade.
Was bringt eine llms.txt für die Compliance? Eine llms.txt ersetzt keine DSGVO-Prüfung, dokumentiert aber transparent, welche Inhalte als autoritative Quelle für KI-Antworten vorgesehen sind. Das reduziert das Risiko falsch zitierter oder veralteter Inhalte in generativen Suchergebnissen.
Wie oft sollte die robots.txt für KI-Crawler aktualisiert werden? Da Anbieter wie OpenAI, Anthropic und Perplexity ihre User-Agents und Crawler-Zwecke mehrmals jährlich anpassen, empfiehlt sich eine Prüfung alle drei bis sechs Monate, idealerweise anhand von Server-Logs statt reiner Annahmen.