KI-Agenten ohne Namen: Was Ihr Server-Logfile nicht zeigt

Ein Server-Logfile kann nicht sagen, welcher KI-Agent gestern Ihre Website gelesen hat, wenn dieser Agent es nicht selbst sagt. Das ist keine Schwäche Ihrer Auswertung, sondern eine Eigenschaft des Formats. Und es ist eine Grenze, die auch für uns gilt: PSentry misst, was vier Assistenten auf eine Frage antworten, nicht, wer welche Seite abgerufen hat.

Im Beitrag Wie ein KI-Crawler in Ihrem Server-Logfile aussieht ging es um Bots, die sich ankündigen. Hier geht es um die anderen, und um die Frage, was sich über sie belegen lässt.

Gekürzte IP-Adressen: das Problem vor dem Problem

In Deutschland beginnt die Logfile-Analyse oft mit einer Lücke, die man selbst eingebaut hat. Viele Unternehmen kürzen IP-Adressen schon beim Schreiben ins Logfile oder anonymisieren sie nach wenigen Tagen. Der Grund ist die DSGVO: IP-Adressen gelten als personenbezogene Daten, und die Speicherung braucht eine Rechtsgrundlage und eine begrenzte Frist. Verbreitet ist die Kürzung um das letzte Oktett.

Das ist datenschutzrechtlich sauber, hat aber eine technische Folge, die selten mitgedacht wird. Eine gekürzte Adresse lässt sich nicht mehr gegen die IP-Bereiche prüfen, die OpenAI oder Google für ihre deklarierten Crawler veröffentlichen, und auch kein Reverse-DNS-Abgleich ist mehr möglich. Wer nach der Kürzung „GPTBot“ im User-Agent findet, weiß nur noch, dass ein Client sich so genannt hat.

Die Lösung ist eine Reihenfolge, keine Ausnahme vom Datenschutz: Prüfen Sie die Herkunft beim Eingang der Anfrage, speichern Sie das Ergebnis („verifiziert“ oder „nicht verifiziert“) und kürzen Sie danach. So bleibt die Aussage erhalten, ohne dass die volle Adresse liegen bleibt.

Was ein Logfile über KI-Agenten belegt

Ein Zugriffsprotokoll speichert, was der Client sendet. Im Standardformat von Apache und nginx sind das IP-Adresse, Zeit, Anfragezeile, Statuscode, Antwortgröße, Referrer und User-Agent. Der User-Agent ist eine Selbstauskunft: Jeder Client kann sich als Chrome auf dem Mac ausgeben, oder als GPTBot.

Unter einem KI-Agenten verstehen wir hier Software, die im Auftrag einer Person surft: Sie öffnet Seiten, liest sie und klickt oder füllt Formulare aus, um eine Aufgabe zu erledigen. KI-Traffic erreicht einen Server auf drei Wegen.

• Deklarierte Crawler wie GPTBot, ClaudeBot, OAI-SearchBot und Claude-SearchBot. Fester Name, öffentliche Dokumentation, prüfbare Adressen.
• Abrufe auf Nutzeranfrage wie ChatGPT-User und Claude-User. Ebenfalls deklariert, aber ausgelöst durch eine konkrete Frage. Im öffentlichen Bot-Verzeichnis von Cloudflare stehen beide in der Kategorie Agent, getrennt von Search und Training.
• Agenten mit eigenem Browser. Eine Aufgabe wie „drei Lieferanten für Edelstahlventile vergleichen und beim günstigsten ein Angebot anfragen“ erledigt ein Agent, der einen vollständigen Browser steuert, meist auf einem entfernten Rechner. Er führt JavaScript aus, lädt Bilder und Stylesheets und hält Cookies in der Sitzung.

Die ersten beiden lassen sich mit vertretbarer Sicherheit zählen. Die dritte Gruppe erzeugt Zeilen, die aussehen wie ein menschlicher Besuch, weil technisch ein Browser kommt.

Der Fall Perplexity, so weit die Quellen reichen

Am 4. August 2025 veröffentlichte Cloudflare einen Beitrag, in dem das Unternehmen erklärt, nach der Sperre von PerplexityBot und Perplexity-User auf Testseiten Anfragen eines nicht deklarierten Crawlers beobachtet zu haben. Dieser habe sich als Chrome unter macOS ausgegeben und sei von IP-Adressen außerhalb der von Perplexity veröffentlichten Bereiche gekommen. Im selben Beitrag schreibt Cloudflare, Perplexity aus der Liste der verifizierten Bots entfernt zu haben. Zum Vergleich hält der Beitrag fest, dass ChatGPT-User im selben Test die robots.txt abrief und dort stoppte, wo der Zugriff untersagt war.

Perplexity widersprach öffentlich. Ein Assistent, der eine Seite auf Wunsch eines Nutzers abruft, sei kein Crawler, und Cloudflare habe dem Unternehmen Traffic eines externen Cloud-Browser-Dienstes zugeordnet. Stand 20. Oktober 2026 erscheinen weder PerplexityBot noch Perplexity-User im öffentlichen Bot-Verzeichnis von Cloudflare.

Wer recht hat, können wir nicht beurteilen, und wir versuchen es nicht. Die Lehre für Ihre eigene Auswertung ist schmaler: Zwei Unternehmen mit weit mehr Verkehrsdaten als jede einzelne Website waren sich öffentlich nicht einig, wem diese Anfragen gehörten. Eine Zeile mit Chrome aus einem Rechenzentrum klärt die Frage in Ihrem Logfile ebenso wenig. Unsignierten Traffic zuzuordnen ist eine Einschätzung, keine Messung.

Signaturen und was Sie heute prüfen können

Die Antwort der Branche heißt Web Bot Auth. Cloudflare hat das Verfahren am 15. Mai 2025 vorgeschlagen, es baut auf dem Standard HTTP Message Signatures (RFC 9421) auf. Der Agent signiert jede Anfrage, ein Header Signature-Agent nennt den Ort der öffentlichen Schlüssel, die Website prüft. Am 28. August 2025 führte Cloudflare die Kategorie der Signed Agents ein; ChatGPT agent gehörte zur ersten Gruppe. Seit dem 1. Juli 2026 ordnet die Cloudflare-Dokumentation sie den verifizierten Bots zu und unterscheidet direkten Zugriff (ein Betreiber) von intermediärem (ein Dienst, den viele Endnutzer steuern).

Eine Signatur benennt die Plattform, nicht den Auftraggeber und nicht den Zweck. Sie ist freiwillig, und das Standardformat von Apache und nginx speichert sie nicht. Daraus ergeben sich vier Prüfungen:

• Nur verifizierte Bots als Bots zählen, per IP-Bereich oder Reverse DNS, und den Rest getrennt ausweisen.
• Signaturen protokollieren. In nginx steht jeder Header als Variable bereit; $http_signature_agent gehört in ein eigenes log_format.
• Unbekanntes als unbekannt führen. Browserartige Anfragen aus Cloud-Netzen, die eine Seite lesen und gehen, sind eine Kategorie, keine Identität.
• Besuche und Sichtbarkeit trennen. Ein Assistent kann über Ihre Produkte aus seinem Index oder über eine Suchmaschine antworten, ohne Ihre Seite in diesem Moment abzurufen.

Ihr Logfile zeigt, wer lesen kam, nicht, was der Assistent dem Einkäufer danach gesagt hat, in welcher Sprache und ob Ihr Name dabei war. Diese zweite Frage misst PSentry: die Antworten von ChatGPT, Claude, Gemini und Perplexity auf die Fragen Ihrer Kunden, zweimal im Monat, je Sprache und Markt. Besuche sieht PSentry nicht, Antworten sieht Ihr Logfile nicht. Und wer den Zugriff über die robots.txt regeln will, sollte wissen, dass nur deklarierte Bots diese Datei lesen; mehr dazu in KI-Crawler und llms.txt.