Crawlers IA et llms.txt : ce qui bloque vraiment les bots

Avant de continuer cette lecture, faites la vérification. Ouvrez un nouvel onglet, tapez votre domaine suivi de /robots.txt, et lisez ce qui s'affiche. Cela prend dix secondes, et c'est l'une des rares parties de la visibilité IA à donner une réponse nette.

Cherchez des lignes comme User-agent: GPTBot suivie de Disallow: /. Aussi ClaudeBot, PerplexityBot, Google-Extended. Si elles sont là, quelqu'un de votre côté les a placées, et personne dans l'équipe ne sait sans doute plus qui ni pourquoi : ces règles se sont répandues pendant la panique du scraping, dans des guides de durcissement et des extensions jamais rouvertes. Une règle ajoutée une fois pour tenir les machines à l'écart continue de les tenir à l'écart, et les machines sont désormais l'endroit où vos acheteurs posent leur première question sur votre catégorie.

Le cas le plus difficile est celui du site dont le robots.txt autorise tout, mais dont les bots sont malgré tout refusés à la porte par un CDN qui ne consulte jamais ce fichier.

La distinction qui change la décision

Presque toutes les discussions sur ce sujet traitent les crawlers IA comme une seule chose à autoriser ou refuser. Ils se répartissent en deux catégories : bloquer se défend pour l'une, c'est contre-productif pour l'autre.

Les crawlers qui collectent des données d'entraînement

Ceux-ci récupèrent des pages en masse, selon leur propre calendrier, et le texte finit dans le corpus sur lequel un futur modèle sera entraîné. GPTBot appartient à OpenAI, ClaudeBot à Anthropic. Personne n'attend cette page de l'autre côté, à cet instant précis. C'est le crawler auquel on pense quand on parle d'entreprises IA qui prennent du contenu sans le payer, et le bloquer est une position légitime sur la propriété de ce que vous écrivez. Un éditeur avec des archives qui méritent d'être licenciées a un argument réel pour ce blocage.

Ce que vous perdez est diffus, et vaut moins que ne le laisse entendre la plupart des conseils sur la visibilité IA : un modèle entraîné sur tout le web a déjà lu sur vous, par des sources que vous n'avez de toute façon jamais contrôlées.

Les robots qui récupèrent une page en temps réel

C'est là que le dommage se produit en silence. Quand l'assistant décide qu'une question exige une information à jour, un agent différent va chercher des pages, à cet instant précis, pour rédiger la réponse devant la personne qui l'a posée. OpenAI envoie OAI-SearchBot et ChatGPT-User, Anthropic utilise des user agents distincts pour les requêtes d'un utilisateur, et Perplexity gère son propre système de récupération.

Bloquer ceux-ci ne protège votre droit d'auteur en aucun sens concret : le contenu ne va dans aucun jeu d'entraînement, il est lu pour répondre à une question posée à l'instant, peut-être à votre sujet. Refusez cette requête, et l'assistant se tourne vers celui qui l'a autorisée, et écrit son nom à la place du vôtre. Vous n'avez rien défendu, vous vous êtes retiré de la phrase.

Ce sont deux décisions distinctes, prenez-les séparément. Bloquer l'entraînement en autorisant la récupération est cohérent, probablement le bon défaut pour qui vend quelque chose plutôt que de le publier. Ne bloquez pas les deux juste parce qu'une ligne dans un fichier modèle l'a décidé à votre place.

Celui qui n'est pas du tout un crawler

Google-Extended ne récupère rien. C'est un jeton de contrôle : Googlebot explore votre site comme toujours, et Google-Extended détermine si ce contenu déjà exploré peut servir à Gemini. L'interdire ne vous retire pas de la recherche. L'autoriser n'ajoute aucun nouveau crawler dans vos journaux. C'est une permission exprimée dans un fichier conçu pour autre chose, d'où la confusion fréquente à son sujet.

Les blocages invisibles depuis un navigateur

Une entreprise consulte son robots.txt, le trouve permissif, et passe à autre chose. Pendant ce temps, les requêtes n'atteignent jamais l'application. La gestion des bots, la limitation de débit et les pare-feux applicatifs travaillent sur la chaîne du user agent, sur la réputation du réseau et sur des signatures comportementales, avec des règles pensées pour les scrapers que les crawlers IA imitent techniquement. La requête est refusée, ou reçoit un défi qu'elle ne sait pas résoudre, sans que rien n'apparaisse dans un fichier inspectable. Votre robots.txt est un panneau poli sur la porte. Votre CDN décide qui entre, et les deux ne se parlent pas.

Le rendu est l'autre élément silencieux. Les agents de récupération ne sont généralement pas des navigateurs complets : si une page compose son contenu principal avec du JavaScript, ce qui la récupère peut ne recevoir qu'une coquille vide.

llms.txt, honnêtement

llms.txt est une convention proposée : un simple fichier markdown à la racine de votre domaine, offrant une carte claire de votre contenu important, pour qu'un modèle n'ait pas à se frayer un chemin dans la navigation pour trouver l'essentiel. L'idée est sensée, et en écrire un vous oblige à énoncer clairement ce qu'est votre produit.

Voici maintenant la partie honnête, parce que ce fichier est mal vendu. C'est une proposition, pas une norme. Personne ne s'est engagé à la respecter, aucun assistant majeur ne s'est engagé à la lire, et le soutien pourrait ne jamais venir des fournisseurs qui comptent pour vous. Il n'accorde aucune permission, ne retire aucun blocage, n'oblige personne à vous citer. Un modèle qui l'ignore ne se comporte pas mal, car il n'y a aucune règle à enfreindre. Le publier coûte un après-midi et pourrait aider. Le traiter comme la clé qui débloque la visibilité IA est une affirmation indéfendable.

Un protocole de vérification à exécuter cette semaine

Tout ceci est falsifiable : vous trouvez le problème, ou vous l'écartez.

Lisez le fichier. Cherchez dans votredomaine.fr/robots.txt chaque agent par son nom : GPTBot, ClaudeBot, PerplexityBot, Google-Extended, plus les robots à déclenchement utilisateur que documente chaque fournisseur. Puis découvrez qui a ajouté le blocage, et pourquoi.

Demandez vos propres pages comme le font les bots. Depuis un terminal, récupérez une page clé en envoyant la chaîne user agent de chaque crawler IA, et comparez avec ce que reçoit un navigateur ordinaire. Si le navigateur reçoit la page et que le bot reçoit un refus, un défi, ou un corps vide, le blocage n'est pas dans le robots.txt : il est à la périphérie de votre infrastructure, la panne invisible la plus fréquente ici.

Chargez vos pages sans JavaScript. Ouvrez votre page produit, tarifs et documentation, scripts désactivés. Si le contenu qui explique ce que vous vendez est absent, un agent de récupération pourrait voir le même vide.

Regardez dans les journaux. C'est la vérité de terrain, et presque personne ne le fait. Passez vos journaux d'accès au crible pour les user agents IA. Arrivent-ils ? Sur quels chemins ? Obtiennent-ils la page ou un refus ? Un site qui autorise tout et ne voit aucun trafic de crawlers IA a un problème différent d'un site qui les bloque.

Revérifiez après chaque changement d'infrastructure. Un nouveau CDN, une extension de sécurité, une migration. Les règles sur les bots reviennent par des configurations par défaut, pas par des décisions réfléchies.

Ce que cela vous apporte, et ce que cela n'apporte pas

Débloquer les crawlers est nécessaire, pas suffisant. Cela vous rend récupérable, pas recommandé. Un modèle capable d'atteindre votre page doit encore décider si elle mérite d'être atteinte, ce qui dépend de ce que tout le web dit de vous, dans chaque langue, sur plusieurs années. L'accès est le sol du bâtiment, pas le bâtiment.

C'est pourquoi cette vérification doit s'accompagner d'une mesure : corriger un blocage ne signifie rien si vous ignorez si les assistants vous nommaient avant, et s'ils vous nomment après. C'est ce que fait PSentry : il exécute vos prompts sur ChatGPT, Claude, Gemini et Perplexity, dans chaque langue où vous vendez, et indique où vous avez été nommé, cité comme source, et qui a été recommandé à votre place. Il n'optimise ni ne manipule ce que disent les modèles, et ne promet pas qu'un déblocage changera votre position. Il vous dira si cela a été le cas.

Questions Fréquentes

Si je bloque GPTBot, ma marque disparaît-elle de ChatGPT ?

Non. Bloquer un crawler d'entraînement n'efface pas ce qu'un modèle a déjà absorbé, et n'empêche pas l'assistant de vous décrire à partir de la presse et des avis. Vous retirez seulement votre propre site comme future source directe. Bloquer les agents de récupération en direct est la perte la plus immédiate : ils récupèrent des pages pendant qu'un utilisateur attend.

llms.txt est-il vraiment lu par ChatGPT, Claude, Gemini ou Perplexity ?

Aucun fournisseur ne s'y est engagé. Traitez-le comme un pari à faible coût, au résultat incertain : prétendre que les assistants majeurs le lisent déjà aujourd'hui, c'est en savoir plus que ce qui est vérifiable.

Mon robots.txt autorise tout. Pourquoi ne vois-je aucun bot IA dans mes journaux ?

Le plus probable est que quelque chose devant votre application les refuse : une règle de bot du CDN, une signature de pare-feu, un débit trop limité. Récupérez votre page en vous présentant comme un user agent IA, et comparez avec une requête normale. Si elles diffèrent, vous avez trouvé la cause. Sinon, rien sur votre site ne mérite encore d'être récupéré.

À quelle vitesse le déblocage se reflète-t-il dans les réponses des IA ?

Lentement, et de façon inégale. La récupération en direct peut vous prendre en compte dès que le blocage disparaît. Tout ce qui dépend de l'entraînement absorbe votre contenu selon un cycle que vous ne contrôlez ni n'observez : un changement qui se mesure en mois, pas en jours.