Cloudflare und KI-Crawler: Ihr CDN entscheidet, wer Sie liest

„KI-Crawler sperren“ und „KI-Training untersagen“ klingen nach derselben Einstellung. Bei Cloudflare sind es seit dem 15. September 2026 zwei verschiedene, und genau genommen sogar drei: Search regelt, ob ein Crawler Ihre Website für einen Suchindex lesen darf, Training, ob er sie zum Trainieren eines Modells sammeln darf, und Agent, ob ein Assistent eine Seite öffnen darf, weil ein Nutzer ihn gerade darum gebeten hat. Welche Cloudflare-KI-Crawler-Einstellung für Ihre Domain gilt, entscheidet also, welche Assistenten Ihre Seiten überhaupt zu sehen bekommen. Wer diese drei Werte nie geöffnet hat, lebt mit den Voreinstellungen.

Training betrifft das, was ein Modell in einigen Monaten weiß. Search und Agent betreffen die Antwort, die ein Einkäufer heute bekommt, wenn ChatGPT oder Claude Ihre Produktseite aufruft. Eine Einstellung, die Ihren Katalog aus Trainingsdaten heraushalten soll, kann ihn bei falscher Wahl auch aus der Antwort heraushalten.

Der Hintergrund: Am 15. September 2026 hat Cloudflare den Beitrag Have it both ways: stay discoverable in search while disallowing AI training veröffentlicht. Der alte Schalter „Block AI Bots“ wird abgelöst durch die drei Kontrollen, jede mit den Werten Allow, Block oder Block on pages with ads. Nur Training hat einen vierten Wert, Disallow AI Training. Damit bleiben Googlebot, Bingbot und Applebot, die sowohl für die Suche als auch für Training crawlen, für die Suche zugelassen, während reine Trainings-Crawler, darunter die von Amazon, Anthropic, Meta und OpenAI, gesperrt werden. Umgekehrt gelten Block und Block on pages with ads jetzt auch für diese gemischten Crawler und stoppen damit auch deren Indexierung.

Gleichzeitig ersetzt Bot Preference Sync (angekündigt am 21. August 2026, aktualisiert am 15. September) das frühere „Managed robots.txt“. Die Funktion schreibt Ihre Auswahl selbst in die robots.txt und ist für Neukunden standardmäßig aktiv. Die folgende Prüfung hat fünf Schritte und dauert etwa zwanzig Minuten.

Schritt 1. Den Nutzungsvorbehalt nach § 44b UrhG mitdenken

In Deutschland hat die robots.txt eine Bedeutung, die über Technik hinausgeht. Nach § 44b Abs. 3 UrhG ist ein Vorbehalt gegen Text und Data Mining bei online zugänglichen Werken nur wirksam, wenn er in maschinenlesbarer Form erfolgt. Eine Disallow-Zeile für Trainings-Crawler ist eine solche maschinenlesbare Erklärung.

Das hat eine praktische Folge, die selten jemand bedenkt: Wenn Ihr Unternehmen einen solchen Vorbehalt erklärt hat, stammt er womöglich gar nicht aus Ihrer Hand, sondern aus einem Häkchen im CDN, gesetzt von der Agentur oder dem Hoster. Und er verschwindet, sobald jemand Training auf Allow stellt. Ob die robots.txt als Vorbehalt genügt, ist eine Frage für Ihre Rechtsberatung, nicht für diesen Beitrag. Wer die Einstellung verantwortet, sollte Ihre Rechtsabteilung aber wissen.

Schritt 2. Die tatsächlich ausgelieferte robots.txt lesen

Bot Preference Sync stellt einen eigenen Block vor den vorhandenen Inhalt. Die Datei, die Crawler erhalten, kann also länger sein als die, die in Ihrem CMS liegt. Prüfen Sie von außen:

curl -s https://www.example.de/robots.txt

Suchen Sie den Abschnitt zwischen # BEGIN Cloudflare Bot Preference Sync und # END Cloudflare Bot Preference Sync. Alles darin hat das CDN geschrieben, aus Ihren Dashboard-Einstellungen und aus einer Bot-Liste, die Cloudflare laufend pflegt. Notieren Sie, welche User Agents dort mit Disallow: / stehen. Fehlen beide Markierungen, ist die Synchronisierung aus oder die Website läuft nicht über Cloudflare.

Schritt 3. Welcher KI-Crawler an welcher Cloudflare-Kontrolle hängt

So hat das öffentliche Bot-Verzeichnis von Cloudflare die Crawler der Assistenten eingeordnet, als wir es am 20. Oktober 2026 geprüft haben:

• OpenAI: GPTBot unter Training, OAI-SearchBot unter Search, ChatGPT-User unter Agent.
• Anthropic: ClaudeBot unter Training, Claude-SearchBot unter Search, Claude-User unter Agent.
• Google, Microsoft, Apple: Googlebot, Bingbot und Applebot gelten als gemischt.

Disallow AI Training betrifft also GPTBot und ClaudeBot, die übrigen vier nicht. ChatGPT-User und Claude-User sind die Abrufe, die stattfinden, während ein Mensch auf eine Antwort wartet. Cloudflare beschreibt ihren Zugriff als „intermediary“, also vom Endnutzer ausgelöst.

Perplexity steht nicht in diesem Verzeichnis. Cloudflare hat es am 4. August 2025 aus den verifizierten Bots entfernt, nachdem es nicht deklariertes Crawling gemeldet hatte. Wie die drei Kontrollen die Perplexity-Crawler behandeln, sagen die Beiträge vom September nicht, und wir raten hier nicht.

Schritt 4. Den Agent-Wert gegen Seiten mit Werbung prüfen

Für Domains, die seit dem 15. September hinzugefügt wurden, dokumentiert Cloudflare zwei Voreinstellungen:

• Website ohne Werbung: Search, Training und Agent auf Allow;
• Website mit Werbeeinnahmen: Search Allow, Training Disallow AI Training, Agent Block on pages with ads.

Ältere Domains wurden migriert, nicht zurückgesetzt: Wer früher „Block AI Bots“ eingeschaltet hatte, landet bei der zweiten Variante. Steht Agent auf Block on pages with ads, werden ChatGPT-User und Claude-User auf allen Seiten abgewiesen, auf denen Cloudflare Werbung erkennt. Training bleibt unberührt, die Indexierung ebenso. Es scheitert genau der Live-Abruf, der eine konkrete Frage beantworten soll.

Bei einem Industrieunternehmen ohne Werbung steht dort fast immer Allow. Genauer hinsehen sollten Sie, wenn irgendein Bereich der Website Anzeigen trägt. Und falls Training auf Block statt auf Disallow AI Training steht, sind Googlebot, Bingbot und Applebot auch für die Suche gesperrt.

Schritt 5. Mit den echten Assistenten testen

Ein gefälschter User Agent vom eigenen Laptop beweist nichts, denn Cloudflare prüft Bots nicht nur anhand des Namens.

1. Wählen Sie drei URLs: Startseite, eine Produktseite, eine Seite mit Werbung, falls vorhanden.
2. Fügen Sie jede URL in ChatGPT und in Claude ein und bitten Sie um eine Zusammenfassung in zwei Zeilen.
3. Filtern Sie in Ihren Logs oder in den Sicherheitsereignissen von Cloudflare im selben Zeitfenster nach ChatGPT-User und Claude-User: 200 heißt ausgeliefert, 403 heißt abgewiesen.
4. Wiederholen Sie den Test mit Perplexity.

Wie solche Zeilen aussehen, zeigt unser Beitrag Wie ein KI-Crawler in Ihrem Server-Logfile aussieht. Halten Sie danach die drei Werte, das Datum und den Grund schriftlich fest. Zwei Termine gehören in den Kalender: Microsoft plant, die „no training“-Angabe in der robots.txt erst ab Anfang 2027 zu beachten, und die Bot-Liste von Cloudflare ändert sich, auch wenn niemand das Dashboard anfasst.

Diese Prüfung zeigt, ob Assistenten Ihre Seiten lesen können, nicht, ob sie Sie nennen. Zugang ist eine Voraussetzung, keine Garantie. Die Antworten selbst, nach Sprache und Markt getrennt, misst PSentry zweimal im Monat bei ChatGPT, Claude, Gemini und Perplexity. Zum Thema robots.txt und llms.txt finden Sie mehr in KI-Crawler und llms.txt.