Cookie-Banner KI-Crawler: DSGVO-Compliance richtig umsetzen

· von geaio

Definition: Ein Cookie-Banner (auch: Consent Management Platform, CMP) ist ein UI-Element, das Website-Besucher um Zustimmung zur Datenverarbeitung bittet, wie es die DSGVO und der ePrivacy-Rechtsrahmen verlangen. Für KI-Crawler wie GPTBot, ClaudeBot oder PerplexityBot gelten dabei andere Zugriffsregeln als für menschliche Nutzer – werden diese Unterschiede nicht berücksichtigt, sperren viele Consent-Lösungen KI-Crawler versehentlich aus und senken die KI-Sichtbarkeit einer Website erheblich.

Im Kern geht es um eine technische Kollision: Moderne Cookie-Consent-Plattformen bauen häufig auf JavaScript-Overlays, die den gesamten Seiteninhalt hinter einer Zustimmungsschranke verbergen. Genau das ist für KI-Crawler problematisch. GPTBot, ClaudeBot und PerplexityBot sind keine menschlichen Nutzer; sie senden kein Consent-Signal und können keine Schaltfläche klicken.

Laut Cloudflare-Daten vom Mai 2026 machen KI-Crawler inzwischen 20,3 % des gesamten verifizierten Bot-Traffics aus. GPTBot allein steht für 11,48 % aller KI-Bot-Anfragen, ClaudeBot für 9,73 %. (Cloudflare / technologychecker.io, 2026)

Wer seinen Seiteninhalt vollständig hinter einem Consent-Wall verbirgt, verhindert, dass diese Crawler überhaupt Inhalte lesen können – und schließt sich damit aus KI-generierten Antworten in ChatGPT Search, Perplexity oder Google AI Overviews aus. Wie KI-Bots das Crawl-Budget einer Website aufteilen und welche Server-Response-Parameter dabei zählen, erklärt der Beitrag über Crawl Budget für KI-Bots und Server-Response-Zeit.

Zwei häufige Fehlermuster in der Praxis:

  • JavaScript-Blocking: Das CMP-Script lädt, bevor Inhalte gerendert werden. Crawler ohne vollständige JavaScript-Engine sehen nur die leere Consent-Wall – der eigentliche Seiteninhalt bleibt unsichtbar.
  • Inhalt per CSS versteckt: Texte sind über display: none hinter dem Banner verborgen. KI-Crawler lesen zwar den DOM, erhalten aber ohne gesetztes Consent-Signal keinen verwertbaren Inhalt zurück.

Der Leistungseinbruch: Core Web Vitals und LCP

Cookie-Banner belasten nicht nur die Crawlbarkeit – sie schaden auch den Core Web Vitals, die mittelbar Einfluss auf die KI-Sichtbarkeit haben, da Google AI Overviews schnelle, technisch saubere Seiten bevorzugt.

Laut einer Analyse von DebugBear kann ein schlecht implementiertes Consent-Banner den LCP-Wert von 1,43 Sekunden auf 3,61 Sekunden verschlechtern. Auf Mobilgeräten wurden LCP-Werte von bis zu 4.721 ms gemessen – weit über Googles Schwellenwert von 2,5 Sekunden für „Good”. (DebugBear, 2025)

Bekannte CMP-Anbieter und ihre typischen Auswirkungen auf die Seitenperformance:

CMP-AnbieterZusätzliche DatenmengeLCP-Verschlechterung
OneTrust+184 KB (unkomprimiert)+2 Sekunden
CookieYesvariabelbis 6,5 s (Mobile)
Termly (WordPress)variabelPageSpeed 70–74 → 37–43

Das Problem liegt in render-blockierenden Scripts. Wird das Consent-Script synchron im <head> eingebunden, wartet der Browser auf dessen vollständige Ausführung, bevor er mit dem Rendern beginnt. Für KI-Crawler, die Page-Speed-Signale als Qualitätsmerkmal auswerten, ist das ein eindeutig negativer Faktor. Wie Page Experience und Core Web Vitals die KI-Sichtbarkeit insgesamt beeinflussen, beschreibt der Artikel Core Web Vitals und KI-Sichtbarkeit: Page Experience ausführlich.

DSGVO-Pflichten vs. KI-Sichtbarkeit: Der Zielkonflikt

Die rechtliche Ausgangslage ist klar: Die DSGVO verlangt für die Verarbeitung personenbezogener Daten eine Rechtsgrundlage. Cookie-Banner erfüllen diese Pflicht gegenüber menschlichen Nutzern. Doch müssen diese Regeln auch gegenüber KI-Crawlern durchgesetzt werden?

Nach aktueller Rechtsauffassung müssen KI-Crawler, die lediglich strukturierten Webseiteninhalt für Indexierungszwecke lesen und keine personenbezogenen Daten verarbeiten, nicht durch ein Consent-Overlay gesperrt werden. Die DSGVO-Problematik entsteht erst dann, wenn ein Crawler Daten wie Namen, E-Mail-Adressen oder Nutzerprofile erfasst und diese für Trainingszwecke weiterverarbeitet. (insights.casoon.de, 2025)

Daraus ergibt sich ein klarer Handlungspfad:

  1. Kerninhalt trennen: Redaktionelle Inhalte – Artikel, Produkttexte, FAQs – sollten im DOM für Crawler sichtbar bleiben, auch ohne gesetztes Consent-Signal.
  2. Tracking separat schalten: Analytics-Scripts, Pixel und personalisierte Inhalte können nach Consent aktiviert werden; der Textinhalt benötigt das nicht.
  3. robots.txt gezielt nutzen: Wer bestimmte Training-Crawler ausschließen möchte, kann das per robots.txt steuern. User-Agent-Crawler (ChatGPT-User, Claude-User) sollten dabei jedoch niemals blockiert werden, da diese Live-Suchanfragen bearbeiten. Wann welche Regel sinnvoll ist, erklärt der Beitrag robots.txt für KI-Crawler und Crawlability.

Ein DSGVO-konformer Cookie-Banner, der KI-Crawler nicht blockiert und Core Web Vitals nicht belastet, folgt diesen technischen Grundprinzipien:

1. Async-Loading des CMP-Scripts

<script async src="https://cdn.mein-cmp.de/consent.js"></script>
← Alle Artikel