KI-Crawler und llms.txt: Was Bots wirklich blockiert
Öffnen Sie Ihre robots.txt und sehen Sie nach. Trainings-Crawler und Live-Abrufer sind zwei getrennte Entscheidungen, die die meisten Seiten versehentlich beide sperren.
Bevor Sie weiterlesen, machen Sie die Probe. Öffnen Sie einen neuen Tab, geben Sie Ihre Domain gefolgt von /robots.txt ein, und lesen Sie, was zurückkommt. Das dauert zehn Sekunden und ist einer der wenigen Bereiche der KI-Sichtbarkeit, der eine eindeutige Antwort liefert.
Sie suchen nach Zeilen wie User-agent: GPTBot gefolgt von Disallow: /. Auch ClaudeBot, PerplexityBot, Google-Extended. Wenn diese dort stehen, hat jemand auf Ihrer Seite sie eingetragen, und es gibt eine gute Chance, dass heute niemand im Team mehr weiß, wer oder warum. Diese Regeln haben sich während der Scraping-Panik verbreitet, in Vorlagendateien und Plugins, die niemand mehr geöffnet hat. Eine Regel, die einmal hinzugefügt wurde, um die Maschinen fernzuhalten, hält sie weiterhin fern, und die Maschinen sind heute der Ort, an dem ein Teil Ihrer Käufer die erste Frage zu Ihrer Kategorie stellt.
Der schwierigere Fall ist die Seite, deren robots.txt alles erlaubt, deren Bots aber trotzdem an der Tür abgewiesen werden, von einem CDN, das diese Datei überhaupt nicht befragt.
Die Unterscheidung, die die Entscheidung verändert
Fast jede Diskussion darüber behandelt KI-Crawler als eine einzige Sache, die man erlauben oder verbieten kann. Tatsächlich zerfallen sie in zwei Kategorien, und eine Sperre ist für die eine vertretbar und für die andere selbstschädigend.
Crawler, die Trainingsdaten sammeln
Diese laden Seiten in großen Mengen herunter, nach ihrem eigenen Zeitplan, und der Text landet in dem Korpus, mit dem ein künftiges Modell trainiert wird. GPTBot gehört OpenAI, ClaudeBot gehört Anthropic. Das ist der Crawler, an den man denkt, wenn man davon spricht, dass KI-Unternehmen Inhalte nehmen, ohne dafür zu zahlen, und ihn zu sperren ist eine legitime Haltung zum Eigentum an Ihren Texten. Ein Verlag mit einem Archiv, das eine Lizenzierung wert ist, hat ein echtes Argument für die Sperre.
Was Sie verlieren, ist diffus und weniger wert, als die meisten Ratschläge zur KI-Sichtbarkeit nahelegen: Ein Modell, das mit dem gesamten Web trainiert wurde, hat ohnehin schon über Sie gelesen, über Quellen, die Sie nie kontrolliert haben.
Abrufer, die eine Seite in Echtzeit holen
Hier entsteht der Schaden leise. Wenn der Assistent entscheidet, dass eine Frage aktuelle Informationen braucht, holt ein anderer Agent Seiten, um die Antwort vor den Augen der fragenden Person zu schreiben. OpenAI schickt OAI-SearchBot und ChatGPT-User, Anthropic verwendet eigene User Agents für nutzerausgelöste Abrufe, und Perplexity betreibt ein eigenes Abrufsystem.
Diese zu sperren schützt Ihr Urheberrecht in keinem greifbaren Sinn: Der Inhalt fließt in keinen Trainingsdatensatz ein, er wird gelesen, um genau jetzt eine Frage zu beantworten, die jemand stellt, vielleicht über Sie. Verweigern Sie diese Anfrage, wendet sich der Assistent an denjenigen, der sie erlaubt hat, und schreibt dessen Namen anstelle Ihres eigenen. Sie haben nichts verteidigt, Sie haben sich selbst aus dem Satz entfernt.
Das sind zwei getrennte Entscheidungen, treffen Sie sie getrennt. Das Training zu sperren und den Abruf zu erlauben ist kohärent, wahrscheinlich sinnvoll für ein Unternehmen, das verkauft statt veröffentlicht. Sperren Sie nicht beides nur, weil eine Zeile in einer Vorlagendatei das für Sie entschieden hat.
Der, der überhaupt kein Crawler ist
Google-Extended ruft nichts ab. Es ist ein Kontroll-Token: Googlebot durchsucht Ihre Seite weiterhin wie immer, und Google-Extended regelt, ob dieser bereits gecrawlte Inhalt für Gemini verwendet werden darf. Es zu verbieten entfernt Sie nicht aus der Suche. Es ist eine Berechtigung, ausgedrückt in einer Datei, die für etwas ganz anderes gedacht ist, und deshalb wird darüber so oft falsch nachgedacht.
Die Sperren, die Sie im Browser nicht sehen
Ein Unternehmen prüft seine robots.txt, findet sie freizügig, und macht weiter. Währenddessen erreichen die Anfragen die Anwendung nie. Bot-Management, Ratenbegrenzung und Anwendungs-Firewalls arbeiten mit der User-Agent-Zeichenkette und dem Ruf des anfragenden Netzwerks, meist mit Regeln, die für Scraper gedacht sind, und KI-Crawler sehen genau wie Scraper aus, weil sie es in einem engen technischen Sinn auch sind. Die Anfrage wird abgelehnt oder erhält eine Prüfung, die sie nicht lösen kann, und nichts davon taucht in einer Datei auf, die Sie einsehen können. Ihre robots.txt ist ein höflicher Hinweis an der Tür. Ihr CDN entscheidet, wer hereinkommt, und die beiden sprechen nicht miteinander.
Das Rendering ist das andere stille Element. Abrufagenten sind meist keine vollständigen Browser. Wenn eine Seite ihren Hauptinhalt mit JavaScript zusammensetzt, bekommt der Abrufer womöglich nur eine leere Hülle, und Wörter, die erst nach dem Ausführen eines Skripts entstehen, könnten ebenso gut gar nicht auf der Seite stehen.
llms.txt, ehrlich betrachtet
llms.txt ist eine vorgeschlagene Konvention: eine einfache Markdown-Datei im Stammverzeichnis Ihrer Domain, die eine saubere, geordnete Übersicht Ihrer wichtigen Inhalte bietet, damit sich ein Modell nicht durch Navigation und Layout kämpfen muss, um zum Wesentlichen zu gelangen. Die Idee ist vernünftig, und eine solche Datei zu schreiben zwingt Sie dazu, klar zu sagen, was Ihr Produkt eigentlich ist.
Und jetzt der ehrliche Teil, denn diese Datei wird schlecht verkauft. Es ist ein Vorschlag, kein Standard. Niemand hat sich verpflichtet, ihn zu befolgen, und Unterstützung kommt von den für Sie wichtigen Anbietern vielleicht nie. Er gewährt keine Erlaubnis, entfernt keine Sperre, verpflichtet niemanden, Sie zu zitieren. Ein Modell, das llms.txt ignoriert, verhält sich nicht falsch, denn es gibt keine Regel, die gebrochen würde. Eine solche Datei zu veröffentlichen kostet einen Nachmittag und könnte helfen. Sie als den Schlüssel zu behandeln, der KI-Sichtbarkeit aufschließt, ist eine Behauptung, die niemand belegen kann.
Ein Prüfprotokoll, das Sie diese Woche durchführen können
All das ist überprüfbar: Sie finden das Problem, oder Sie schließen es aus.
Lesen Sie die Datei. Durchsuchen Sie ihredomain.de/robots.txt nach jedem Agenten namentlich: GPTBot, ClaudeBot, PerplexityBot, Google-Extended, dazu die nutzerausgelösten Abrufer, die jeder Anbieter dokumentiert. Finden Sie anschließend heraus, ob die Sperre eine bewusste Urheberrechtsentscheidung war oder ein kopiertes Snippet ohne weiteres Nachdenken.
Fordern Sie Ihre eigenen Seiten so an, wie es die Bots tun. Rufen Sie von einem Terminal aus eine wichtige Seite ab und senden Sie dabei die User-Agent-Zeichenkette jedes KI-Crawlers, und vergleichen Sie das Ergebnis mit dem eines gewöhnlichen Browsers. Erhält der Browser die Seite und der Bot eine Ablehnung, eine Prüfung oder einen leeren Inhalt, liegt die Sperre nicht in der robots.txt. Sie liegt an Ihrer Netzwerkgrenze, und dieser einzelne Befehl deckt den häufigsten unsichtbaren Fehler in diesem Zusammenhang auf.
Laden Sie Ihre Seiten ohne JavaScript. Öffnen Sie Ihre Produktseite, Ihre Preisseite und Ihre Dokumentation bei deaktivierten Skripten. Fehlt der Inhalt, der erklärt, was Sie verkaufen, sieht ein Abrufagent womöglich dieselbe Leere.
Schauen Sie in die Protokolle. Das ist die eigentliche Wahrheit, und fast niemand tut es. Durchsuchen Sie Ihre Zugriffsprotokolle nach den KI-User-Agents. Kommen sie an, auf welchen Pfaden, und bekommen sie die Seite oder eine Ablehnung? Eine Seite, die alles erlaubt und trotzdem keinen KI-Crawler-Verkehr sieht, hat ein anderes Problem als eine Seite, die sie sperrt.
Prüfen Sie nach jeder Infrastrukturänderung erneut. Ein neues CDN, ein Sicherheits-Plugin, eine Migration. Bot-Regeln werden durch Standardkonfigurationen wieder eingeführt, nicht durch bewusste Entscheidungen.
Was Sie damit erreichen, und was nicht
Die Crawler freizugeben ist notwendig und nicht ausreichend. Es macht Sie abrufbar. Es macht Sie nicht empfohlen. Ein Modell, das Ihre Seite erreichen kann, muss trotzdem entscheiden, ob es sich lohnt, sie zu erreichen, und das hängt davon ab, was das gesamte Web über Sie sagt, in jeder Sprache, über Jahre hinweg. Zugang ist der Boden des Gebäudes, nicht das Gebäude.
Deshalb muss diese Prüfung mit Messung gepaart werden: Eine Sperre zu beheben bedeutet nur dann etwas, wenn Sie wissen, ob die Assistenten Sie vorher genannt haben, und ob sie Sie danach nennen. Genau das leistet PSentry. Es führt Ihren Prompt-Satz über ChatGPT, Claude, Gemini und Perplexity aus, in jeder Sprache, in der Sie verkaufen, und zeigt, wo Sie genannt wurden, wo Sie als Quelle zitiert wurden, und wer stattdessen empfohlen wurde. Es optimiert nichts und manipuliert nicht, was die Modelle sagen. Es verspricht Ihnen nicht, dass eine freigegebene Sperre Ihre Position verändert. Es sagt Ihnen, ob es so war.
Häufig gestellte Fragen
Verschwindet meine Marke aus ChatGPT, wenn ich GPTBot sperre?
Nein. Einen Trainings-Crawler zu sperren löscht nicht, was ein Modell bereits aufgenommen hat, und hindert den Assistenten nicht daran, Sie anhand von Presse, Foren und Bewertungen zu beschreiben. Was Sie damit entfernen, ist Ihre eigene Seite als künftige direkte Quelle. Die Live-Abrufagenten zu sperren ist der unmittelbarere Verlust, weil diese Seiten abrufen, während ein Nutzer wartet.
Wird llms.txt tatsächlich von ChatGPT, Claude, Gemini oder Perplexity gelesen?
Es gibt keine Zusage eines Anbieters, die das bestätigt, und Sie sollten nicht darauf planen. Behandeln Sie es als eine günstige Wette mit ungewissem Ausgang. Wer Ihnen sagt, dass die großen Assistenten sie heute bereits lesen, behauptet mehr, als sich wissen lässt.
Meine robots.txt erlaubt alles. Warum sehe ich keine KI-Bots in meinen Protokollen?
Höchstwahrscheinlich weist etwas vor Ihrer Anwendung sie ab: eine CDN-Bot-Regel, eine Firewall-Signatur, eine aggressive Ratenbegrenzung. Rufen Sie Ihre eigene Seite ab, während Sie sich als KI-User-Agent ausgeben, und vergleichen Sie das mit einer gewöhnlichen Browseranfrage. Unterscheiden sie sich, haben Sie die Ursache gefunden. Die andere Erklärung ist, dass auf Ihrer Seite noch nichts steht, das sich abzurufen lohnt, was ein anderes Problem ist.
Wie schnell zeigt sich eine Freigabe in den Antworten der KI?
Langsam und ungleichmäßig. Der Live-Abruf kann Sie berücksichtigen, sobald die Sperre verschwindet. Alles, was vom Training abhängt, nimmt Ihre Inhalte in einem Zyklus auf, den Sie weder kontrollieren noch beobachten. Das ist eine Veränderung, die man über Monate misst, und auch deshalb würde Ihnen eine Echtzeit-Warnung dazu nichts sagen.