Cloudflare et crawlers IA : votre CDN choisit qui vous lit

Le mot « crawler IA » recouvre au moins trois visiteurs différents, et Cloudflare les sépare désormais. Le robot qui indexe votre site pour un moteur de recherche, celui qui le collecte pour entraîner un modèle et celui qui ouvre une page parce qu'un utilisateur vient de la demander à son assistant n'ont ni le même rôle ni les mêmes conséquences. Depuis le 15 septembre 2026, les réglages Cloudflare pour les crawlers IA traitent chacun à part. Si vous ne les avez jamais ouverts, ce sont les valeurs par défaut qui ont tranché.

Seul l'entraînement concerne l'avenir. La recherche et les agents concernent la réponse qu'un acheteur obtient aujourd'hui, quand ChatGPT ou Claude va lire votre fiche produit. Un réglage pensé pour garder votre catalogue hors des données d'entraînement peut, s'il est mal choisi, le garder aussi hors de la réponse.

Trois contrôles au lieu d'un seul interrupteur

Le 15 septembre 2026, Cloudflare a publié Have it both ways: stay discoverable in search while disallowing AI training. L'ancien bouton « Block AI Bots » est abandonné au profit de trois contrôles : Search, Training et Agent. Chacun prend la valeur Allow, Block ou Block on pages with ads ; Training dispose en plus d'une quatrième option, Disallow AI Training.

Avec Disallow AI Training, Googlebot, Bingbot et Applebot, qui servent à la fois à la recherche et à l'entraînement, restent autorisés pour la recherche. Les crawlers dédiés à l'entraînement, dont ceux d'Amazon, d'Anthropic, de Meta et d'OpenAI, sont bloqués. En revanche, Block et Block on pages with ads s'appliquent maintenant aussi à ces crawlers mixtes, et coupent donc leur indexation.

Le même billet remplace l'ancien « Managed robots.txt » par Bot Preference Sync, annoncé le 21 août 2026 et mis à jour le 15 septembre. Cette fonction écrit vos choix dans le robots.txt à votre place, et elle est activée par défaut pour les nouveaux clients.

Le protocole qui suit se déroule en cinq étapes, avec un terminal et l'accès au tableau de bord Cloudflare du domaine.

Étape 1. Savoir quel crawler IA dépend de quel contrôle Cloudflare

Nous commençons par la carte, parce que tout le reste en découle. Voici comment l'annuaire public des bots de Cloudflare classait les robots des assistants lorsque nous l'avons consulté, le 20 octobre 2026 :

• OpenAI : GPTBot relève de Training, OAI-SearchBot de Search, ChatGPT-User d'Agent.
• Anthropic : ClaudeBot relève de Training, Claude-SearchBot de Search, Claude-User d'Agent.
• Google, Microsoft, Apple : Googlebot, Bingbot et Applebot sont mixtes, recherche et entraînement à la fois.

Disallow AI Training ne touche donc que GPTBot et ClaudeBot. ChatGPT-User et Claude-User, ceux qui lisent une page pendant qu'un utilisateur attend sa réponse, dépendent du seul contrôle Agent. Cloudflare qualifie leur accès d'« intermediary » : c'est l'utilisateur final qui les déclenche.

Perplexity ne figure pas dans cet annuaire. Cloudflare l'a retiré de ses bots vérifiés le 4 août 2025, après avoir signalé des explorations non déclarées. Les billets de septembre ne précisent pas comment les trois contrôles traitent ses robots, et nous ne le supposerons pas.

Étape 2. Lire le robots.txt réellement servi

Bot Preference Sync ajoute son propre bloc en tête du fichier existant. Le robots.txt que reçoivent les robots peut donc être plus long que celui que vous avez déposé. Vérifiez de l'extérieur :

curl -s https://www.example.fr/robots.txt

Repérez la section comprise entre # BEGIN Cloudflare Bot Preference Sync et # END Cloudflare Bot Preference Sync. Tout ce qui s'y trouve a été écrit par le CDN, à partir de vos réglages et d'une liste de bots que Cloudflare tient à jour. Notez les user agents suivis de Disallow: /. Sans ces deux marqueurs, soit la synchronisation est coupée, soit le site ne passe pas par Cloudflare.

Étape 3. Relier ce bloc à votre droit d'opposition

Ce point ne se pose pas partout de la même manière. En France, l'exception de fouille de textes et de données de l'article L122-5-3 du Code de la propriété intellectuelle joue sauf si l'auteur s'y est opposé, notamment par des procédés lisibles par machine pour les contenus publiés en ligne. Une ligne Disallow visant les robots d'entraînement est, par construction, une déclaration lisible par machine.

Conséquence pratique : si votre opposition existe aujourd'hui, elle a peut-être été écrite par votre CDN, à partir d'une case cochée par un prestataire, et elle peut disparaître le jour où quelqu'un repasse Training sur Allow. Votre service juridique devrait savoir qui tient ce réglage. Ce n'est pas un avis juridique : la question de savoir si le robots.txt suffit comme opposition relève de votre conseil.

Étape 4. Vérifier la valeur Agent face aux pages avec annonces

Pour les domaines ajoutés depuis le 15 septembre, Cloudflare documente deux préréglages :

• site sans publicité : Search, Training et Agent sur Allow ;
• site monétisé par la publicité : Search Allow, Training Disallow AI Training, Agent Block on pages with ads.

Les domaines plus anciens ont été migrés, pas remis à zéro : un site qui avait activé l'ancien « Block AI Bots » hérite du second préréglage. Avec Agent sur Block on pages with ads, ChatGPT-User et Claude-User sont refusés sur toutes les pages où Cloudflare détecte des annonces. L'entraînement n'est pas concerné, l'indexation non plus : c'est la lecture en direct, celle qui sert à répondre à une question, qui échoue.

Un industriel B2B sans publicité aura presque toujours Allow. La vérification compte davantage si une rubrique du site porte des annonces. Et si Training est sur Block plutôt que sur Disallow AI Training, Googlebot, Bingbot et Applebot sont arrêtés pour la recherche aussi.

Étape 5. Tester avec les vrais assistants

Un user agent falsifié depuis votre poste ne prouve rien : Cloudflare vérifie les bots par d'autres moyens que le nom annoncé.

1. Choisissez trois URL : l'accueil, une fiche produit, une page avec annonces s'il y en a une.
2. Collez chaque URL dans ChatGPT et dans Claude et demandez un résumé en deux lignes.
3. Dans vos logs ou dans les événements de sécurité Cloudflare, filtrez ChatGPT-User et Claude-User sur les mêmes minutes : 200 signifie servi, 403 refusé.
4. Recommencez avec Perplexity et observez ce qui arrive.

Notre article sur un crawler d'IA dans vos logs explique comment lire ces lignes. Notez ensuite les trois valeurs, la date et la raison du choix. Deux rappels pour l'agenda : Microsoft prévoit de respecter la préférence « no training » du robots.txt à partir de début 2027, et la liste de bots de Cloudflare évolue même si personne ne touche au tableau de bord.

Ce protocole établit si les assistants peuvent lire vos pages, pas s'ils vous citent. L'accès est une condition, jamais une garantie. Les réponses elles-mêmes, langue par langue et marché par marché, c'est ce que mesure PSentry, deux fois par mois sur ChatGPT, Claude, Gemini et Perplexity. Pour l'autre volet du sujet, voir Crawlers IA et llms.txt.