OAI-SearchBot: Neue Seiten in ChatGPT Search finden lassen

Der Mythos lautet: Eine neue Seite taucht in ChatGPT Search auf, sobald sie online ist. Veröffentlichung und Auslieferung sind aber zwei getrennte Schritte, und zwischen ihnen sitzt ein Crawler.

Definition: Der OAI-SearchBot ist der Crawler von OpenAI, der Websites für die Suchfunktionen von ChatGPT erfasst. Eine Seite, die ihn per robots.txt ausschließt, erscheint nicht in ChatGPT-Suchantworten. Für Betreiber neuer Seiten ist er damit der erste technische Prüfpunkt für Sichtbarkeit in der KI-Suche.

Was OpenAI zum OAI-SearchBot dokumentiert

Laut der OpenAI-Dokumentation dient der OAI-SearchBot dazu, Websites in den Suchfunktionen von ChatGPT anzuzeigen. Seiten, die ihn ausschließen, erscheinen nicht in ChatGPT-Suchantworten, können aber weiter als Navigationslinks auftauchen (https://developers.openai.com/api/docs/bots).

Dieselbe Dokumentation trennt drei Zugriffsarten. GPTBot betrifft das Training von Foundation-Modellen und ist vom Such-Crawler getrennt. ChatGPT-User wird durch Nutzeraktionen ausgelöst, deshalb müssen robots.txt-Regeln dort nicht greifen. Für OAI-SearchBot veröffentlicht OpenAI außerdem eine IP-Liste unter https://openai.com/searchbot.json, mit der du Zugriffe in deinen Logs zuordnen kannst.

Eine Zeitangabe nennt OpenAI ebenfalls: Nach einer Änderung der robots.txt kann es etwa 24 Stunden dauern, bis die Systeme für die Suche angepasst sind (https://developers.openai.com/api/docs/bots).

Was daraus nicht folgt

Aus der Dokumentation lässt sich nicht ablesen, wie schnell eine erlaubte, frisch veröffentlichte Seite tatsächlich in Antworten erscheint. Die Frist von etwa 24 Stunden bezieht sich auf die Übernahme von robots.txt-Änderungen. Zur Aufnahme neuer Inhalte sagt sie nichts.

Ebenso wenig belegt ist, ob Ladezeiten, Core-Web-Vitals-Werte oder ein bestimmtes Crawl Budget die Auswahl für ChatGPT Search beeinflussen. OpenAI nennt dazu nichts. Wer dir hier konkrete Schwellenwerte verkauft, hat keine öffentliche Quelle dafür. In eigenen Analysen mit geaio-Scans sehen wir langsame oder fehlerhafte Antworten immer wieder als Auffälligkeit neben ausbleibender Sichtbarkeit, leiten daraus aber keine Kausalität ab. Das ist eine Einzelbeobachtung ohne repräsentative Grundlage.

Auch der Abruf selbst garantiert keine Nennung. Warum ein abgerufener Inhalt trotzdem nicht zitiert wird, beschreibt unser Beitrag Abruf ist nicht Zitat: Warum ChatGPT deine Seite nicht nennt.

Google-Doku als Vergleichsmaßstab: Indexierung und Snippet-Fähigkeit

Für ChatGPT Search fehlt eine Anforderungsliste in der Tiefe, die Google für die eigenen KI-Funktionen veröffentlicht. Laut Google Search Central muss eine Seite für Googles KI-Funktionen indexiert und snippet-fähig sein; zusätzliche technische Anforderungen oder spezielle Markups gibt es nicht, und Indexierung sowie Auslieferung sind nicht garantiert (https://developers.google.com/search/docs/appearance/ai-features, Stand 10.12.2025).

Die Google-Dokumentation lässt sich nur mit Vorsicht auf OpenAI übertragen, denn OpenAI formuliert diese Anforderungen so nicht. Als Prüfgedanke bleibt trotzdem naheliegend: Eine Seite, die der Crawler nicht abrufen kann, wird auch durch besseren Text nicht sichtbarer. Die Grundlagen sind dieselben, die klassisches SEO seit Jahren prüft.

Prüfliste: Wo neue Seiten technisch hängen bleiben

Die folgende Tabelle ordnet die Kernprobleme der Zielgruppe den Prüfpunkten zu. Sie beschreibt Prüfschritte, keine Garantien.

Problem	Prüfpunkt	Wo du nachsiehst
KI-Blocker	Steht OAI-SearchBot in einem Disallow oder greift ein pauschales User-agent: * mit Disallow?	robots.txt
Indexierungsfehler	Setzt die Seite noindex oder zeigt der Canonical auf eine andere URL?	HTML-Head, HTTP-Header
Crawlbarkeit	Antwortet die URL mit Status 200, ohne Weiterleitungskette?	Server-Log, Statuscode-Test
Firewall oder CDN	Werden Zugriffe aus der veröffentlichten OAI-SearchBot-IP-Liste abgewiesen?	Server-Log, WAF-Regeln
Langsame Ladezeit	Antwortet der Server stabil, auch bei vielen parallelen Abrufen?	PageSpeed, Server-Monitoring
Mehrsprachigkeit	Zeigen Hreflang-Verweise auf erreichbare, kanonische Varianten?	Quelltext der Sprachversionen

Ein Hinweis zur Einordnung von robots.txt: Laut Google Search Central ist robots.txt kein Mechanismus, um eine Seite aus Google herauszuhalten; dafür sind noindex oder Passwortschutz vorgesehen (https://developers.google.com/search/docs/crawling-indexing/robots/intro, Stand 10.12.2025). Die Datei regelt den Abruf. Eine ausführliche Abgrenzung findest du in robots.txt für KI-Crawler: Was sie steuert und wo die Grenze liegt.

Ein Rechenbeispiel (hypothetisch): Angenommen, du entfernst einen Disallow für OAI-SearchBot und veröffentlichst direkt danach 20 neue Seiten. Dann kann es laut der von OpenAI genannten Spanne etwa 24 Stunden dauern, bis die Suchsysteme die neue Regel übernommen haben. Bis dahin solltest du nicht davon ausgehen, dass der Bot die Seiten erfasst.

Reihenfolge beim Veröffentlichen: robots.txt zuerst

Aus der Dokumentation ergibt sich eine praktische Reihenfolge. Prüfe zuerst die robots.txt, weil eine Änderung dort Zeit braucht, bevor sie wirkt. Danach folgen Statuscode und Canonical der neuen URL, denn eine Weiterleitungskette oder ein falscher Canonical verändert, welche Adresse überhaupt als Ziel gilt. Zu Ketten und Weiterleitungstypen haben wir Redirect-Handling für KI-Crawler: 301, 302 und Ketten richtig nutzen geschrieben.

Als Nächstes sieht dein Server-Log nach, ob OAI-SearchBot die URL tatsächlich abgerufen hat. Findest du keinen Zugriff, gleiche die IP-Adressen mit der veröffentlichten Liste ab und prüfe, ob eine Firewall sie blockt. Nur ein bestätigter Abruf erlaubt dir überhaupt eine Aussage darüber, ob ein Problem bei der Erreichbarkeit oder woanders liegt.

Serverlogs und reale Crawler-Zugriffe wertet der geaio-Scan nicht aus; das bleibt ein manueller Schritt. Zu Canonical-Angaben findest du mehr im Beitrag zu Canonical Tags (Link unten).

Was du aus dem Stand der Dinge mitnimmst: drei belegte Prüfpunkte

Belegt ist, dass OAI-SearchBot für die Sucherfassung zuständig ist, dass ein Ausschluss die Aufnahme in Suchantworten verhindert und dass robots.txt-Änderungen etwa 24 Stunden brauchen. Unbelegt bleibt, wie stark Geschwindigkeit, Crawl Budget oder Hreflang die Auswahl beeinflussen.

Aus unserer Sicht lohnt es sich, zuerst Erreichbarkeit, Statuscode und robots.txt zu klären, weil sich diese Punkte direkt nachprüfen lassen. Wer sie sauber hat, kann danach gezielter an Inhalt und Struktur arbeiten, etwa mit den Hinweisen aus Canonical Tags für generative Suche.

Häufig gestellte Fragen

Muss ich OAI-SearchBot in der robots.txt ausdrücklich erlauben? Laut OpenAI-Dokumentation erscheinen Seiten in ChatGPT-Suchantworten nicht, wenn sie OAI-SearchBot ausschließen. Ein ausdrücklicher Allow-Eintrag ist nur nötig, wenn eine allgemeinere Regel den Bot sonst sperren würde. Prüfe deshalb auch pauschale Disallow-Regeln.

Wie lange dauert es, bis eine robots.txt-Änderung wirkt? OpenAI nennt für die Suchsysteme etwa 24 Stunden nach einer Änderung (https://developers.openai.com/api/docs/bots). Wie lange eine neue Seite danach bis zur Nennung in Antworten braucht, ist öffentlich nicht dokumentiert.

Reicht es, GPTBot zu erlauben, damit ChatGPT Search meine Seite findet? Nein, nach der OpenAI-Dokumentation betrifft GPTBot das Training von Foundation-Modellen und ist vom Such-Crawler getrennt. Für die Suche zählt OAI-SearchBot.

Verhindert robots.txt, dass eine Seite indexiert wird? Laut Google Search Central ist robots.txt kein Mechanismus, um eine Seite aus Google herauszuhalten. Dafür sind noindex oder Passwortschutz vorgesehen (https://developers.google.com/search/docs/crawling-indexing/robots/intro).