Wie ein KI-Crawler in Ihrem Server-Logfile aussieht
Ihr Zugriffsprotokoll weiß längst, welche KI-Systeme Ihre Seite gelesen haben. Ihre Analytics weiß es nicht, und zwar aus einem technischen Grund.
PSentry liest Ihre Logfiles nicht. Das Werkzeug misst, was die Assistenten über Ihre Marke sagen, und das ist eine andere Frage als die, was sie heruntergeladen haben. Kein Dashboard macht aus der einen die andere. Die Logfile-Seite müssen Sie selbst ansehen. Es lohnt sich, denn es ist die einzige Stelle in diesem ganzen Thema, an der Sie eine Tatsache vor sich haben statt einer Schätzung, und die Datei liegt bereits auf einer Maschine, die Ihnen gehört.
Was folgt, ist eine Anleitung. Sie brauchen nur Zugang zu einem Zugriffsprotokoll, über das Hoster-Panel oder per SSH. Alles darin ist an einem Nachmittag überprüfbar.
Warum Ihre Analytics diese Zugriffe gar nicht kennt
Fangen wir mit dem Missverständnis an, das die meisten Berichte in diesem Bereich unbrauchbar macht.
Die Reichweitenmessung läuft in vielen deutschen Unternehmen über Matomo, häufig aus guten datenschutzrechtlichen Gründen, teils selbst gehostet, oft von einer Agentur betreut. Matomo zählt, wie fast jedes Analysewerkzeug, über ein Stück JavaScript im Browser. Ein Crawler führt kein JavaScript aus. Er holt sich das HTML und geht wieder.
Daraus folgt etwas Unbequemes: keine dieser Auswertungen kann KI-Crawler überhaupt sehen. Wenn im Monatsbericht eine Zeile mit KI-Traffic steht, misst sie etwas anderes, nämlich Menschen, die aus einer Assistenten-Oberfläche heraus geklickt haben und deren Referrer entsprechend gesetzt war. Das ist eine legitime Zahl, aber es ist nicht die Zahl, um die es hier geht, und die beiden werden regelmäßig verwechselt.
Das Zugriffsprotokoll des Servers hat dieses Problem nicht. Es protokolliert jede Anfrage, auch die ohne Browser. Deshalb liegt die Antwort dort und nicht im Dashboard. Wenn Sie hinter einem CDN sitzen, nehmen Sie dessen Protokoll und nicht das des Ursprungsservers: Letzteres zeigt nur, was das CDN durchgereicht hat.
Ein Blick lohnt dabei auf die Statuscodes neben diesen Anfragen. Eine Wand aus 403 bedeutet, dass eine Firewall- oder Bot-Schutz-Regel die Crawler abweist, bevor sie den Inhalt überhaupt erreichen, und solche Regeln wurden meist von jemand anderem eingerichtet und seitdem nie wieder gelesen.
Sammeln oder gefragt worden
Das ist die Unterscheidung, die den Aufwand rechtfertigt, und fast niemand trifft sie.
GPTBot, ClaudeBot und PerplexityBot sind Massen-Crawler. Sie laufen nach ihrem eigenen Zeitplan über Ihre Seite und sammeln Seiten für das Training oder für einen Index ein. Ihr Besuch sagt Ihnen, dass die Tür offen steht. Über Nachfrage sagt er nichts.
ChatGPT-User, Claude-User und Perplexity-User sind etwas anderes. Sie werden ausgelöst, wenn ein Mensch mitten in einem Gespräch etwas fragt, das den Assistenten dazu bringt, genau in diesem Moment eine Seite zu holen. Eine solche Zeile im Protokoll ist ein Mensch mit einer Frage, auf Ihrer Seite, in dieser Sekunde. Näher an eine Kaufabsicht kommen Sie in dieser ganzen Kategorie nicht.
Zählen Sie beide deshalb getrennt. Ein Anstieg der Sammelzugriffe und ein Anstieg der von Nutzern ausgelösten Abrufe bedeuten Gegenteiliges, und wer sie zu einer Zahl namens KI-Traffic verrechnet, wirft das einzige Signal weg, das in der Datei steckte.
Die Namen, die es wirklich gibt
Es sind mehr, als die kursierenden Listen nahelegen, und sie bedeuten nicht dasselbe. Durchsuchen Sie das User-Agent-Feld nach:
GPTBot,OAI-SearchBotundChatGPT-User, alle von OpenAIClaudeBot,Claude-UserundClaude-SearchBot, von AnthropicPerplexityBotundPerplexity-UserBingbot, wichtiger als es aussieht: mehrere Assistenten beziehen ihre Web-Ergebnisse auf diesem Weg, statt Sie direkt zu besuchen
Einen Namen werden Sie nicht finden, und Sie können aufhören, danach zu suchen: Google-Extended ist kein Crawler. Es ist eine Kennung für Ihre robots.txt, mit der Sie Google mitteilen, Ihre Inhalte nicht für Gemini und nicht für das Training seiner Modelle zu verwenden. Unter diesem Namen ruft nichts etwas ab, also taucht er in keinem Zugriffsprotokoll auf. Jede Checkliste, die Ihnen sagt, Sie sollten dort danach suchen, gibt etwas weiter, das niemand nachgeprüft hat.
Wer sich nur als Crawler ausgibt
Eine User-Agent-Zeichenkette ist Text. Jeder kann GPTBot in einem Header senden, und Content-Sauger tun das ständig, weil Seiten solche Anfragen gern durchlassen. Eine Zeile im Protokoll ist also eine Behauptung, keine Tatsache.
Die Prüfung ist dieselbe, die Sie bei Googlebot ohnehin anwenden. OpenAI, Anthropic und Perplexity veröffentlichen die IP-Bereiche ihrer Crawler als JSON-Dateien auf den eigenen Domains, und mehrere unterstützen zusätzlich eine Rückwärtsauflösung auf ihre Infrastruktur. Gleichen Sie die Adressen aus Ihrem Protokoll damit ab und verwerfen Sie, was nicht passt. Wer das zum ersten Mal macht, sollte damit rechnen, dass die Zahl der echten Besuche niedriger ausfällt als die rohe Suche vermuten ließ.
Was das Logfile nicht zeigt
Zwei Grenzen, und sie erklären, warum dieses Vorgehen die Messung ergänzt und nicht ersetzt.
Ein Modell kann Ihr Unternehmen ausführlich beschreiben, ohne irgendetwas abzurufen, allein aus dem, was es im Training aufgenommen hat. Im Protokoll steht dann gar nichts, und genau so können Sie durchaus sichtbar sein. Dafür ist das Logfile blind.
Und umgekehrt: Ein Crawler kann jede Ihrer Seiten lesen, und der Assistent nennt trotzdem einen Wettbewerber, wenn jemand fragt, wer liefert, was Sie liefern. Abgerufen zu werden ist nicht dasselbe wie empfohlen zu werden. Das Logfile misst den Zugriff. Was in der Antwort gesagt wird, ist eine eigene Messung, und die führt PSentry durch, über 4 Assistenten und in jeder Sprache, in der Sie verkaufen.
Machen Sie die Logfile-Prüfung trotzdem. Sie kostet nichts außer einem Nachmittag und ist der einzige Teil dieses Problems, bei dem Sie belastbare Daten ansehen statt einer Stichprobe.