ClaudeBot sperren? Claude-User und Claude-SearchBot im Vergleich
KI-Symbolbild
Symbolbild, mit KI erstellt.
Eine einzelne Disallow-Zeile für „Claude“ ist zu grob, weil Anthropic mehrere Bots mit verschiedenen Aufgaben betreibt und du jeden einzeln entscheiden kannst.
Definition: ClaudeBot, Claude-User und Claude-SearchBot sind drei getrennte Crawler von Anthropic. ClaudeBot sammelt Trainingsdaten, Claude-User ruft Seiten auf Anfrage eines Nutzers ab, Claude-SearchBot dient der Suchqualität. In der robots.txt lassen sich alle drei über ihren User-Agent-Namen einzeln erlauben oder sperren.
Drei Bots, drei Zwecke: Was Anthropic dokumentiert
Laut dem Claude Help Center von Anthropic trennt das Unternehmen die Aufgaben: ClaudeBot für Trainingsdaten, Claude-User für Abrufe auf Nutzeranfrage und Claude-SearchBot für die Suchqualität. Wer ClaudeBot sperrt, schließt künftige Inhalte nur vom Training aus. Das Sperren von Claude-User oder Claude-SearchBot kann dagegen die Sichtbarkeit in Claude-Suchantworten mindern (https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler).
Das ist der Grund für die Entscheidungsfrage dieses Beitrags. Die Bots sind nicht austauschbar, und eine Sperre wirkt je nach Name völlig unterschiedlich. OpenAI geht laut seiner Bot-Dokumentation ähnlich vor: GPTBot für Training, OAI-SearchBot für die Suche (https://developers.openai.com/api/docs/bots). Mehr zum OpenAI-Pendant findest du im Beitrag zum OAI-SearchBot.
Option A: Alle Anthropic-Bots sperren
Du trägst für ClaudeBot, Claude-User und Claude-SearchBot jeweils Disallow: / ein. Das ist die einfachste Variante und passt, wenn du Inhalte rechtlich oder vertraglich nicht an KI-Systeme weitergeben darfst.
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-User
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
Der Nachteil liegt auf der Hand: Nach Anthropics Angaben kann das die Sichtbarkeit in Claude-Suchantworten mindern. Angenommen, eine Website hat 400 Seiten und davon sind 40 interne Preislisten. In einem solchen Szenario liefe die Komplettsperre darauf hinaus, dass alle 400 Seiten für die Claude-Suche ausfallen, obwohl nur 40 geschützt werden müssten. Dafür hat die Pfad-Variante aus Option C den Vorteil, dass sie nur die sensiblen Bereiche trifft. Dazu kommt eine Grenze, die für jede robots.txt gilt: Laut Google Search Central ist sie kein Mittel, eine Seite aus Google herauszuhalten, dafür dienen noindex oder Passwortschutz (https://developers.google.com/search/docs/crawling-indexing/robots/intro).
Option B: Nur ClaudeBot sperren
Hier sperrst du das Training und lässt Suche und Abruf offen.
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
Nach der Anthropic-Dokumentation hält das künftige Inhalte aus dem Training heraus, ohne dass du Claude-Suchantworten ausschließt. Der Nachteil: Bereits gesammelte Daten holt eine Sperre laut derselben Beschreibung nicht zurück, sie wirkt für künftige Inhalte. Außerdem stützt sich der Schutz auf die Freiwilligkeit des Crawlers. Anthropic warnt selbst, dass das Blockieren per IP-Adresse einen Opt-out nicht zuverlässig garantiert. Der RFC 9309 von Martijn Koster, Gary Illyes, Henner Zeller und Lizzi Sassman (IETF, 2022) hält zudem fest, dass robots.txt keine Zugriffsautorisierung ist (https://www.rfc-editor.org/rfc/rfc9309).
Seit dem 30. Oktober 2026 erkennt Anthropic laut seinem Help Center außerdem ein maschinenlesbares Signal gegen KI-Training an, wobei ein ClaudeBot-Eintrag in der robots.txt für den jeweiligen Pfad Vorrang hat. Was dieses Signal im Detail steuert, steht im Beitrag zu __usage_ai-training.
Option C: Pfadweise steuern und llms.txt ergänzen
Die dritte Variante lässt alle Bots grundsätzlich zu und sperrt nur Bereiche, die in keiner KI-Antwort auftauchen sollen.
User-agent: ClaudeBot
Disallow: /intern/
Disallow: /preislisten/
Crawl-delay: 10
Anthropic unterstützt laut Help Center die nicht standardisierte Crawl-delay-Erweiterung. Der Wert 10 im Beispiel ist ein Platzhalter, den du an deine Serverlast anpassen musst. Ob du Crawl-delay brauchst, zeigt dir eine Log-File-Analyse.
Dazu kommt optional eine llms.txt. Laut Jeremy Howard (llmstxt.org, 3. September 2024) ist sie ein Vorschlag für eine Markdown-Datei unter /llms.txt, deren einziges Pflichtelement eine H1-Überschrift mit dem Namen der Website oder des Projekts ist (https://llmstxt.org/). Sie ist kein etablierter Standard. Ob und wie Anthropic-Bots die Datei auswerten, ist öffentlich nicht einheitlich dokumentiert, und wir leiten daraus keine Wirkung ab. Der Aufwand für eine kurze Datei ist gering, ein belegter Nutzen fehlt aber bislang.
Der Vergleich auf einen Blick
| Option | Wirkung laut Anthropic-Doku | Nachteil |
|---|---|---|
| A: alles sperren | Kein Training, Sichtbarkeit in Claude-Suche kann sinken | Auch öffentliche Seiten fehlen in Antworten |
| B: nur ClaudeBot | Künftige Inhalte bleiben außerhalb des Trainings | Frühere Datenstände bleiben unberührt, Schutz hängt an der Befolgung |
| C: pfadweise | Nur sensible Pfade sind ausgeschlossen | Pflegeaufwand, Fehler in Pfaden fallen leicht durch |
Empfehlung: ClaudeBot gezielt steuern, die Suchbots offen lassen
Aus unserer Sicht ist Option B oder die Kombination aus B und C ein vernünftiger Ausgangspunkt, wenn du in Claude auftauchen willst. Wir halten es für sinnvoll, zuerst festzulegen, ob Claude-SearchBot und Claude-User überhaupt durchkommen sollen. Eine Sperre dort berührt laut Anthropic die Sichtbarkeit in Suchantworten, eine Sperre von ClaudeBot betrifft nur das Training. Option A gehört dorthin, wo Rechte oder Verträge eine Weitergabe ausschließen.
Eine ehrliche Einschränkung gehört dazu: Wie stark offene Suchbots die tatsächliche Nennung in Claude-Antworten beeinflussen, ist öffentlich nicht belegt. Abruf und Zitat sind zwei Schritte, wie der Beitrag Abruf ist nicht Zitat zeigt. Nach einer Änderung planst du außerdem Wartezeit ein. OpenAI nennt für seine Systeme laut Bot-Dokumentation rund 24 Stunden, bis eine robots.txt-Änderung greift. Für Anthropic fanden wir keine vergleichbare Angabe. Welche Wartezeit du ansetzt, ist deine Entscheidung, und ein Blick in die Server-Logs zeigt dir, ob die Änderung angekommen ist.
Häufig gestellte Fragen
Darf ich ClaudeBot sperren, ohne in Claude unsichtbar zu werden? Laut Anthropic schließt das Sperren von ClaudeBot künftige Inhalte nur vom Training aus. Bei Claude-User und Claude-SearchBot nennt Anthropic dagegen mögliche Einbußen bei der Sichtbarkeit in Suchantworten. Eine Garantie für Nennungen gibt es in keinem Fall.
Reicht die robots.txt, um Inhalte sicher zu schützen? Nein. Laut RFC 9309 ist robots.txt keine Zugriffsautorisierung, und Google Search Central empfiehlt für den Ausschluss aus der Suche noindex oder Passwortschutz. Vertrauliche Inhalte gehören hinter einen Login.
Muss ich eine llms.txt anlegen, damit Claude meine Seite findet? Nein. Die llms.txt ist laut llmstxt.org ein Vorschlag aus dem Jahr 2024, kein etablierter Standard. Eine öffentlich einheitlich dokumentierte Auswertung durch Anthropic-Bots gibt es nicht.
Wie lange dauert es, bis eine Änderung in der robots.txt wirkt? Für Anthropic liegt uns keine Angabe vor. OpenAI nennt für seine Systeme ca. 24 Stunden. Ein Blick in die Server-Logs zeigt dir, ob die Änderung angekommen ist.
Hinweis zur Erstellung
Dieser Beitrag und sein Titelbild wurden mit Unterstützung künstlicher Intelligenz erstellt und vor der Veröffentlichung redaktionell geprüft. Abgebildete Motive sind Symbolbilder. Die Analyse hinter dem geaio-Score arbeitet dagegen regelbasiert — dort ist kein KI-Modell im Spiel. Mehr dazu unter KI-Transparenz. Redaktionelle Freigabe: Jens Schöberling.