À quoi ressemble un crawler d'IA dans vos logs
Votre journal d'accès sait déjà quels systèmes d'IA ont lu votre site. Reste à trouver les lignes, et à distinguer une collecte d'une question réellement posée.
PSentry ne lit pas vos logs. L'outil mesure ce que les assistants disent de votre marque, ce qui n'est pas la même question que ce qu'ils ont téléchargé, et aucun tableau de bord ne transforme l'une en l'autre. Le versant journaux, vous devez le regarder vous-même. Cela vaut le détour : c'est le seul endroit de tout ce dossier où vous disposez d'un fait plutôt que d'une estimation, et le fichier existe déjà sur une machine qui vous appartient.
Ce qui suit est une procédure. Il faut simplement pouvoir accéder à un journal d'accès, depuis le panneau de votre hébergeur ou en SSH. Tout y est vérifiable en un après-midi.
Le bon fichier, et celui que vous n'aurez pas
Si vous êtes derrière un CDN, le journal de l'origine est le mauvais fichier : il montre ce que le CDN a transmis, pas ce qui est arrivé. Cloudflare et les autres exposent leurs propres journaux de requêtes, et ce sont ceux-là qui donnent l'image complète. Sur un hébergement classique, cherchez access.log ou son équivalent dans le panneau.
Un champ compte avant tous les autres : la chaîne user agent. Idéalement vous voulez aussi l'adresse du client et le code de statut que vous avez renvoyé, dont on reparle plus bas.
Les noms qui existent vraiment
Ils sont plus nombreux que ne le suggèrent les listes qui circulent, et ils ne veulent pas tous dire la même chose. Cherchez dans le champ user agent :
GPTBot,OAI-SearchBotetChatGPT-User, tous chez OpenAIClaudeBot,Claude-UseretClaude-SearchBot, chez AnthropicPerplexityBotetPerplexity-UserBingbot, plus important qu'il n'y paraît : plusieurs assistants récupèrent leurs résultats web par cette voie plutôt qu'en vous explorant directement
Un nom que vous ne trouverez pas, et que vous pouvez cesser de chercher : Google-Extended n'est pas un crawler. C'est un jeton à placer dans votre robots.txt pour indiquer à Google de ne pas utiliser vos contenus pour Gemini et pour l'entraînement de ses modèles. Rien ne circule sous ce nom, donc il n'apparaîtra jamais dans un journal d'accès. Chaque check-list qui vous dit de l'y chercher répète une chose que personne n'a vérifiée.
Ce que vous avez répondu
Regardez maintenant les codes de statut à côté de ces requêtes, car c'est là que se trouvent les vrais problèmes.
Un mur de 403 signifie qu'un pare-feu applicatif refoule les crawlers avant qu'ils n'atteignent le contenu ; la règle a généralement été ajoutée par quelqu'un d'autre, à une autre époque, et n'a pas été relue depuis. Une série de 404 sur vos pages produit vient presque toujours d'une migration qui a laissé les anciens chemins dans l'index de quelqu'un. Les chaînes de 301 imbriquées méritent d'être aplaties. Et si le crawler reçoit votre bannière de cookies au lieu du contenu, cela se voit : la taille de réponse est suspectement identique sur toutes les requêtes.
La durée de conservation, une question qui n'est pas technique
Voici l'obstacle que rencontrent la plupart des entreprises de ce côté-ci du dossier, et il ne vient pas de l'informatique.
Un journal d'accès contient des adresses IP, donc des données à caractère personnel. Beaucoup d'organisations ont fixé, souvent sur avis du délégué à la protection des données, une durée de conservation courte et une purge automatique. La règle est légitime. Sa conséquence pratique l'est moins : si vous découvrez la question à la mi-août, le trafic de juillet a déjà disparu, et personne n'a fait d'erreur.
La discussion à avoir n'est donc pas « gardons tout plus longtemps », qui vous sera refusée à juste titre, mais : peut-on conserver, au-delà de la purge, un extrait agrégé et sans adresses IP, comptant par jour les requêtes par user agent ? C'est une demande modeste, elle ne conserve aucune donnée personnelle, et elle suffit entièrement à tout ce qui suit. Posez-la avant d'avoir besoin de l'historique, pas après.
Séparer la collecte de la question posée
C'est la distinction qui justifie l'heure passée, et presque personne ne la fait.
GPTBot, ClaudeBot et PerplexityBot sont des explorateurs de masse. Ils parcourent votre site à leur propre rythme, pour l'entraînement ou pour un index. Leur passage vous dit que la porte est ouverte. Il ne dit rien de la demande.
ChatGPT-User, Claude-User et Perplexity-User sont autre chose. Ils se déclenchent quand une personne, au fil d'une conversation, pose une question qui pousse l'assistant à aller chercher une page à cet instant. Une de ces lignes, c'est un être humain avec une question, sur votre page, à cette seconde-là. C'est ce qui ressemble le plus à une intention dans toute cette catégorie.
Comptez-les donc séparément. Une hausse de la collecte et une hausse des récupérations déclenchées par un utilisateur signifient des choses opposées, et les fondre dans un chiffre unique appelé trafic IA jette le seul signal que contenait le fichier.
Vérifier ceux qui se disent crawlers
Une chaîne user agent, c'est du texte. N'importe qui peut envoyer GPTBot dans un en-tête, et les aspirateurs de contenu ne s'en privent pas, parce que les sites ont tendance à les laisser passer. Une ligne dans le journal est donc une déclaration, pas un fait.
La vérification est celle que vous appliquez déjà à Googlebot. OpenAI, Anthropic et Perplexity publient chacun les plages d'adresses de leurs crawlers, sous forme de fichiers JSON sur leurs propres domaines, et plusieurs acceptent aussi une résolution DNS inverse vers leur infrastructure. Confrontez les adresses de votre journal à ces plages et écartez celles qui ne correspondent pas. Si vous ne l'avez jamais fait, attendez-vous à un décompte de visites authentiques plus bas que ne le laissait croire la recherche brute.
Ce que le journal ne dira pas
Deux limites, et elles expliquent pourquoi cette procédure complète la mesure au lieu de la remplacer.
Un modèle peut décrire votre entreprise longuement sans rien télécharger, à partir de ce qu'il a absorbé pendant son entraînement. Rien n'apparaît dans le journal, et vous pouvez être visible précisément de cette manière. Le journal y est aveugle.
Et l'inverse : un crawler peut lire chacune de vos pages, et l'assistant nommer malgré tout un concurrent quand on lui demande qui fournit ce que vous fournissez. Être exploré n'est pas être recommandé. Le journal mesure l'accès. Ce qui se dit dans la réponse est une mesure distincte, et c'est celle que réalise PSentry, sur 4 assistants et dans chaque langue où vous vendez.