Crawler AI e llms.txt: cosa blocca davvero i bot

Prima di continuare a leggere, fai la verifica. Apri una scheda nuova, scrivi il tuo dominio seguito da /robots.txt e leggi cosa risponde. Ci vogliono dieci secondi, ed è una delle poche parti della visibilità AI che dà una risposta netta.

Cerca righe come User-agent: GPTBot seguita da Disallow: /. Anche ClaudeBot, PerplexityBot, Google-Extended. Se ci sono, qualcuno dalla tua parte le ha messe lì, e probabilmente oggi nessuno in azienda sa più chi o perché: queste regole si sono diffuse durante il panico da scraping, dentro guide di hardening e plugin mai più riaperti. Una regola aggiunta una volta per tenere fuori le macchine continua a tenerle fuori, e oggi le macchine sono il luogo dove parte dei tuoi compratori fa la prima domanda sulla tua categoria.

Il caso più difficile è il sito il cui robots.txt permette tutto e i cui bot vengono comunque respinti alla porta da un CDN che quel file non consulta affatto.

La distinzione che cambia la decisione

Quasi ogni discussione sull'argomento tratta i crawler AI come un'unica cosa da permettere o negare. In realtà si dividono in due categorie, e bloccare è difendibile per una ed è controproducente per l'altra.

I crawler che raccolgono dati di addestramento

Questi scaricano pagine in blocco, secondo un proprio calendario, e il testo finisce nel corpus su cui un modello futuro viene addestrato. GPTBot è di OpenAI, ClaudeBot è di Anthropic. Nessuno aspetta dall'altra parte quella pagina, in quel momento. È il crawler a cui si pensa quando si parla di aziende AI che prendono contenuti senza pagarli, e bloccarlo è una posizione legittima sulla proprietà di ciò che scrivi. Un editore con un archivio che vale la pena licenziare ha un argomento vero per il blocco. Lo hai anche tu, se è quello in cui credi.

Quello che perdi è diffuso, e vale meno di quanto suggerisca gran parte dei consigli sulla visibilità AI: un modello addestrato su tutto il web ha già letto di te da fonti che comunque non hai mai controllato.

I fetcher che recuperano una pagina in tempo reale

Qui è dove il danno avviene in silenzio. Quando l'assistente decide che una domanda richiede informazioni aggiornate, un agente diverso va a recuperare pagine, in quel preciso istante, per scrivere la risposta davanti alla persona che l'ha chiesta. OpenAI manda OAI-SearchBot e ChatGPT-User. Anthropic usa user agent separati per le richieste avviate dall'utente. Perplexity gestisce un proprio sistema di recupero, che è gran parte di cosa sia Perplexity.

Bloccare questi non protegge il tuo copyright in nessun senso concreto. Il contenuto non finisce in nessun set di addestramento. Viene letto per rispondere a una domanda che qualcuno sta facendo proprio ora, magari su di te. Nega quella richiesta e l'assistente si rivolge a chi invece ha permesso l'accesso, scrivendo il suo nome al posto del tuo. Non hai difeso niente. Ti sei tolto dalla frase.

Sono due decisioni distinte, prendile separatamente. Bloccare l'addestramento e permettere il recupero è una posizione coerente, probabilmente il default giusto per chi vende qualcosa invece di pubblicarlo. Quello che non dovresti fare è bloccare entrambi solo perché lo ha deciso una riga in un file modello.

Quello che non è affatto un crawler

Google-Extended non scarica niente. È un token di controllo: Googlebot continua a scansionare il tuo sito come ha sempre fatto, e Google-Extended regola se quel contenuto già scansionato possa essere usato per Gemini. Vietarlo non ti toglie dalla ricerca. Permetterlo non aggiunge nessun nuovo crawler nei tuoi log. È un permesso espresso dentro un file pensato per tutt'altro, ed è per questo che viene ragionato male.

I blocchi che non vedi da un browser

Un'azienda controlla il robots.txt, lo trova permissivo, e passa oltre. Nel frattempo le richieste non arrivano mai all'applicazione. La gestione dei bot, il rate limiting e i firewall applicativi lavorano sulla stringa dello user agent, sulla reputazione della rete e su firme comportamentali. La maggior parte arriva già con regole pensate per gli scraper, e i crawler AI somigliano esattamente a scraper, perché in un senso tecnico ristretto lo sono. La richiesta viene rifiutata, oppure riceve una verifica che non sa risolvere, e niente di tutto questo compare in un file che puoi ispezionare. Il tuo robots.txt è un cartello educato sulla porta. Il tuo CDN decide chi entra, e i due non si parlano.

Il rendering è l'altro elemento silenzioso. Gli agenti di recupero in genere non sono browser completi: se una pagina compone il contenuto principale con JavaScript, quello che la scarica potrebbe ricevere solo un guscio vuoto.

llms.txt, onestamente

llms.txt è una convenzione proposta: un file markdown semplice, alla radice del tuo dominio, che offre una mappa pulita e ordinata dei tuoi contenuti importanti, così un modello non deve farsi strada tra navigazione e impaginazione per trovare la sostanza. L'idea ha senso, e scriverne uno ti costringe a dire con chiarezza cos'è il tuo prodotto.

E ora la parte onesta, perché questo file viene venduto male. È una proposta, non uno standard. Nessuno si è impegnato a rispettarlo, nessun assistente importante ha dichiarato di leggerlo, e il supporto potrebbe non arrivare mai dai fornitori che contano per te. Non concede permessi, non toglie blocchi, non obbliga nessuno a citarti. Un modello che lo ignora non si sta comportando male, perché non esiste nessuna regola da rispettare. Pubblicarne uno costa un pomeriggio e potrebbe aiutare. Trattarlo come la chiave che sblocca la visibilità AI è un'affermazione che nessuno può sostenere.

Un protocollo di verifica che puoi eseguire questa settimana

È tutto falsificabile: o trovi il problema, o lo escludi.

Leggi il file. Cerca dentro tuodominio.it/robots.txt ogni agente per nome: GPTBot, ClaudeBot, PerplexityBot, Google-Extended, più i fetcher avviati dall'utente che ogni fornitore documenta. Poi scopri chi ha aggiunto il blocco, e se era una scelta sul copyright o uno snippet copiato senza pensarci.

Richiedi le tue pagine come farebbero i bot. Da un terminale, scarica una pagina chiave inviando la stringa user agent di ogni crawler AI, e confrontala con cosa riceve un browser normale. Se il browser ottiene la pagina e il bot ottiene un rifiuto, una verifica, o un corpo vuoto, il blocco non è nel robots.txt. È al tuo perimetro, ed è il guasto invisibile più comune in questa storia.

Carica le tue pagine senza JavaScript. Apri la pagina di prodotto, quella dei prezzi e la documentazione con lo scripting disattivato. Se il contenuto che spiega cosa vendi non c'è, un agente di recupero potrebbe vedere la stessa assenza.

Guarda nei log. È la verità di base, e quasi nessuno la controlla. Fai un grep nei log di accesso cercando gli user agent AI. Arrivano? Su quali percorsi? Ottengono la pagina o un rifiuto? Un sito che permette tutto e non vede comunque traffico dai crawler AI ha un problema diverso da un sito che li blocca.

Ricontrolla dopo ogni cambio di infrastruttura. Un nuovo CDN, un plugin di sicurezza, una migrazione. Le regole sui bot vengono reintrodotte dalle configurazioni di default, non da decisioni prese consapevolmente.

Cosa ottieni, e cosa no

Sbloccare i crawler è necessario e non è sufficiente. Ti rende recuperabile, non consigliato. Un modello che riesce a raggiungere la tua pagina deve ancora decidere se vale la pena raggiungerla, e questo dipende da cosa dice di te tutto il web, in ciascuna lingua, nel corso di anni. L'accesso è il pavimento dell'edificio, non l'edificio.

Per questo la verifica va accoppiata alla misurazione: correggere un blocco significa qualcosa solo se sai se gli assistenti ti nominavano prima, e se ti nominano dopo. È quello che fa PSentry: esegue il tuo insieme di prompt su ChatGPT, Claude, Gemini e Perplexity, in ciascuna lingua in cui vendi, e riporta dove sei stato nominato, dove sei stato citato come fonte, e chi è stato consigliato al posto tuo. Non ottimizza né manipola quello che dicono i modelli. Non promette che sbloccare un crawler cambi la tua posizione. Ti dice se è successo.

Domande Frequenti

Se blocco GPTBot, il mio marchio scompare da ChatGPT?

No. Bloccare un crawler di addestramento non cancella quello che un modello ha già assorbito, e non impedisce all'assistente di descriverti sulla base di stampa, forum e recensioni. Togli solo il tuo sito come input diretto futuro. Bloccare gli agenti di recupero in tempo reale è la perdita più immediata: scaricano pagine mentre un utente aspetta.

llms.txt viene letto davvero da ChatGPT, Claude, Gemini o Perplexity?

Non esiste nessun impegno da parte dei fornitori che lo confermi. Trattalo come una scommessa a basso costo con un ritorno incerto: chi ti dice che gli assistenti principali lo leggono già oggi sta affermando più di quanto si possa sapere.

Il mio robots.txt permette tutto. Perché non vedo bot AI nei log?

Molto probabilmente qualcosa davanti alla tua applicazione li sta rifiutando: una regola del CDN, una firma del firewall, un rate limit aggressivo. Scarica la tua pagina presentandoti come uno user agent AI e confrontala con una richiesta da browser normale. Se sono diverse, hai trovato il problema. Altrimenti, sul tuo sito non c'è ancora niente che valga la pena recuperare, che è un problema diverso.

Quanto velocemente sbloccare i crawler si riflette nelle risposte delle AI?

Lentamente, e in modo irregolare. Il recupero in tempo reale può cominciare a considerarti non appena il blocco sparisce. Tutto ciò che dipende dall'addestramento assorbe il tuo contenuto secondo un ciclo che non controlli né osservi: è un cambiamento che si misura nel corso di mesi, non di giorni.