Cloudflare e crawler AI: il CDN decide chi legge il tuo sito

Bloccare i crawler AI e bloccare l'addestramento non sono la stessa cosa, e da metà settembre 2026 Cloudflare li tratta come scelte separate. I controlli sono tre: Search decide se un crawler può leggere il sito per costruire un indice di ricerca, Training se può raccoglierlo per addestrare un modello, Agent se un assistente può aprire una pagina perché un utente gliel'ha chiesto. Se il tuo sito passa da Cloudflare, i crawler AI che arrivano fino a te dipendono da questi tre valori. E se non li hai mai guardati, li ha scelti qualcun altro.

Il punto pratico è che solo l'addestramento riguarda il futuro. Search e Agent riguardano la risposta che un buyer tedesco o francese riceve oggi, quando ChatGPT o Claude vanno a leggere la tua scheda prodotto. Un'impostazione pensata per tenere il catalogo fuori dai dati di training, se è quella sbagliata, lo tiene fuori anche dalla risposta.

Quella che segue è una verifica in quattro passi. Servono un terminale, l'accesso alla dashboard Cloudflare del dominio e una ventina di minuti.

Prima dei passi: chi ha le chiavi del CDN

In molte PMI italiane il sito l'ha fatto un'agenzia web, il dominio l'ha registrato il sistemista e l'account Cloudflare sta sotto un'email che in azienda non legge nessuno. Non è una colpa, è il modo in cui di solito si costruisce il sito di un'azienda manifatturiera. Ma significa che la persona che risponde delle vendite all'estero spesso non sa nemmeno che il CDN esiste.

Prima di cominciare, quindi, una domanda a chi gestisce il sito: chi è il proprietario dell'account Cloudflare, e possiamo avere un accesso in sola lettura? Se la risposta è "non lo so", hai già trovato il primo problema, e non è tecnico. Se non riesci ad avere l'accesso subito, il passo 1 e il passo 4 si fanno comunque da fuori.

Cosa ha cambiato Cloudflare il 15 settembre 2026

Il 15 settembre 2026 Cloudflare ha pubblicato Have it both ways: stay discoverable in search while disallowing AI training. Il vecchio interruttore unico "Block AI Bots" va in pensione e al suo posto arrivano i tre controlli. Ognuno accetta Allow, Block oppure Block on pages with ads; il solo Training ha in più una quarta voce, Disallow AI Training.

Con Disallow AI Training, Googlebot, Bingbot e Applebot, che fanno sia ricerca sia addestramento, restano ammessi per la ricerca, mentre i crawler di solo training, compresi quelli di Amazon, Anthropic, Meta e OpenAI, vengono bloccati. Il rovescio della medaglia: Block e Block on pages with ads ora fermano anche quei crawler misti, quindi anche la loro indicizzazione.

Nello stesso articolo il vecchio "Managed robots.txt" viene sostituito da Bot Preference Sync (annunciato il 21 agosto, aggiornato il 15 settembre), che scrive le tue scelte nel robots.txt al posto tuo ed è attivo di default per i nuovi clienti.

1. Il robots.txt servito non è quello che hai scritto

Bot Preference Sync antepone un proprio blocco al contenuto che c'è già. Il file che ricevono i crawler può quindi essere più lungo di quello caricato dall'agenzia. Si controlla da fuori:

curl -s https://www.example.com/robots.txt

Cerca la sezione che si apre con # BEGIN Cloudflare Bot Preference Sync e si chiude con # END Cloudflare Bot Preference Sync. Tutto quello che sta in mezzo l'ha scritto il CDN, partendo dalle impostazioni della dashboard e da un elenco di bot che Cloudflare aggiorna per conto suo. Annota quali user agent compaiono con Disallow: /. Se i due marcatori non ci sono, la sincronizzazione è spenta oppure il sito non passa da Cloudflare.

2. Il controllo Agent e le pagine con annunci

È il passo che sorprende di più, per questo viene prima della mappa dei bot. Per i domini aggiunti dal 15 settembre Cloudflare documenta due impostazioni predefinite:

• dominio senza pubblicità: Search, Training e Agent tutti su Allow;
• dominio che monetizza con annunci: Search Allow, Training Disallow AI Training, Agent Block on pages with ads.

I domini più vecchi sono stati migrati, non azzerati: chi aveva acceso il vecchio "Block AI Bots" si ritrova con il secondo assetto. Con Agent su Block on pages with ads, ChatGPT-User e Claude-User vengono respinti su tutte le pagine in cui Cloudflare rileva annunci. L'addestramento non c'entra, l'indicizzazione nemmeno: fallisce proprio la lettura in tempo reale, quella che serve a rispondere a una domanda.

Per un produttore B2B senza pubblicità il valore sarà quasi sempre Allow. Vale la pena guardare meglio se da qualche parte del sito girano annunci, per esempio un blog con banner. Quali pagine contano come "con annunci" lo decide il rilevamento di Cloudflare, non tu.

Lo stesso ragionamento vale per Training: se è su Block invece che su Disallow AI Training, Googlebot, Bingbot e Applebot si fermano anche per la ricerca.

3. Quale crawler AI risponde a quale controllo Cloudflare

Ecco come la directory pubblica dei bot di Cloudflare classificava i crawler degli assistenti quando l'abbiamo consultata, il 20 ottobre 2026:

• OpenAI: GPTBot è Training, OAI-SearchBot è Search, ChatGPT-User è Agent.
• Anthropic: ClaudeBot è Training, Claude-SearchBot è Search, Claude-User è Agent.
• Google, Microsoft, Apple: Googlebot, Bingbot e Applebot sono misti.

Disallow AI Training, quindi, tocca GPTBot e ClaudeBot e lascia stare gli altri quattro. Perplexity in quella directory non c'è: Cloudflare l'ha tolto dai bot verificati il 4 agosto 2025, dopo aver segnalato crawling non dichiarato. Gli articoli di settembre non dicono come i tre controlli trattino i suoi crawler, e non lo diremo noi.

4. La prova con ChatGPT e Claude

Uno user agent falsificato dal tuo portatile non dimostra niente: Cloudflare verifica i bot con qualcosa di più del nome che dichiarano. La prova onesta si fa con gli assistenti veri.

1. Scegli tre URL: home, una scheda prodotto, una pagina con annunci se esiste.
2. Incolla ogni URL in ChatGPT e in Claude e chiedi un riassunto di due righe.
3. Nei log o negli eventi di sicurezza di Cloudflare filtra ChatGPT-User e Claude-User negli stessi minuti: 200 vuol dire servito, 403 respinto.
4. Ripeti con Perplexity e guarda cosa arriva, se arriva qualcosa.

Se l'assistente risponde in modo vago che non riesce ad aprire la pagina e nel log, a quel minuto, c'è un 403, hai trovato l'impostazione. Per leggere quelle righe c'è la nostra guida su come riconoscere un crawler AI nei log del server.

Annota poi i tre valori, la data e il motivo della scelta, e mettiti in calendario due cose: Microsoft prevede di rispettare il "no training" del robots.txt solo da inizio 2027, e l'elenco dei bot di Cloudflare cambia nel tempo anche se nessuno tocca la dashboard.

Questa verifica dice se gli assistenti possono leggere le tue pagine, non se ti nominano. L'accesso è una condizione, mai una garanzia. Le risposte, lingua per lingua e mercato per mercato, le misura PSentry, due volte al mese su ChatGPT, Claude, Gemini e Perplexity: se uno score cambia nella stessa settimana in cui è cambiata un'impostazione del CDN, la tua nota con la data è ciò che ti permette di accorgertene. Per l'altra metà del discorso, robots.txt e llms.txt, c'è Crawler AI e llms.txt.