Cloudflare y bots de IA: tu CDN decide quién lee tu web
Desde septiembre de 2026 tu CDN puede escribir el robots.txt por ti. Cinco pasos para saber a qué asistentes deja entrar y a cuáles rechaza sin avisar.
Bloquear los bots de IA y prohibir el entrenamiento no son lo mismo, y desde el 15 de septiembre de 2026 Cloudflare los trata como decisiones distintas. Son tres controles: Search decide si un rastreador puede leer tu web para construir un índice de búsqueda, Training si puede recogerla para entrenar un modelo y Agent si un asistente puede abrir una página porque un usuario se lo acaba de pedir. Si tu web pasa por Cloudflare, los bots de IA que llegan a leerla dependen de esos tres valores. Y si nunca los has mirado, los eligió otro.
Solo el entrenamiento mira al futuro. Search y Agent deciden la respuesta que recibe hoy un comprador cuando ChatGPT o Claude van a leer tu ficha de producto. Un ajuste pensado para dejar tu catálogo fuera de los datos de entrenamiento puede, si es el equivocado, dejarlo también fuera de la respuesta.
El contexto en pocas líneas. El 15 de septiembre de 2026 Cloudflare publicó Have it both ways: stay discoverable in search while disallowing AI training. El antiguo interruptor «Block AI Bots» se retira y lo sustituyen los tres controles, cada uno con los valores Allow, Block o Block on pages with ads; Training tiene además un cuarto, Disallow AI Training. Con él, Googlebot, Bingbot y Applebot, que rastrean para búsqueda y para entrenamiento a la vez, siguen admitidos para la búsqueda, y los rastreadores solo de entrenamiento, entre ellos los de Amazon, Anthropic, Meta y OpenAI, quedan bloqueados. La otra cara: Block y Block on pages with ads ahora también frenan a esos rastreadores mixtos, y con ellos la indexación.
El mismo artículo sustituye el antiguo «Managed robots.txt» por Bot Preference Sync (anunciado el 21 de agosto de 2026 y actualizado el 15 de septiembre), que escribe tus preferencias en el robots.txt por ti y viene activado por defecto para los clientes nuevos. Lo que sigue es una comprobación en cinco pasos.
Paso 1. El control Agent y las páginas con anuncios
Empezamos por aquí porque es lo que más sorprende. Para los dominios añadidos desde el 15 de septiembre, Cloudflare documenta dos configuraciones por defecto:
- dominio sin publicidad: Search, Training y Agent en Allow;
- dominio que se monetiza con anuncios: Search Allow, Training Disallow AI Training, Agent Block on pages with ads.
Los dominios antiguos se migraron, no se reiniciaron: quien tenía activado el viejo «Block AI Bots» pasa a la segunda configuración. Con Agent en Block on pages with ads, ChatGPT-User y Claude-User quedan rechazados en todas las páginas donde Cloudflare detecta anuncios. El entrenamiento no cambia, la indexación tampoco: lo que falla es justo la lectura en directo, la que sirve para contestar una pregunta concreta.
Una empresa B2B sin publicidad tendrá casi siempre Allow. Merece más atención si alguna sección de la web lleva anuncios. Y si Training está en Block en lugar de Disallow AI Training, Googlebot, Bingbot y Applebot también se detienen para la búsqueda.
Paso 2. Un dominio por mercado, una configuración por dominio
Si tu empresa vende también en Latinoamérica, es probable que tenga más de un dominio: el .es, el .com y a veces un .mx o un .com.co para un mercado concreto. En Cloudflare cada dominio es una zona distinta, con sus propios valores de Search, Training y Agent.
Eso tiene una consecuencia que pasa desapercibida. El dominio principal, dado de alta hace años, conserva la configuración que heredó en la migración. Un dominio de mercado dado de alta después del 15 de septiembre recibe los nuevos valores por defecto. Puedes acabar con dos políticas diferentes para el mismo catálogo, en dos idiomas, sin que nadie lo haya decidido. Repite los pasos de esta comprobación en cada zona, no solo en la principal.
Paso 3. Qué bot de IA depende de qué control de Cloudflare
Así clasificaba el directorio público de bots de Cloudflare a los rastreadores de los asistentes cuando lo consultamos, el 20 de octubre de 2026:
- OpenAI: GPTBot en Training, OAI-SearchBot en Search, ChatGPT-User en Agent.
- Anthropic: ClaudeBot en Training, Claude-SearchBot en Search, Claude-User en Agent.
- Google, Microsoft, Apple: Googlebot, Bingbot y Applebot son mixtos.
Disallow AI Training afecta, por tanto, a GPTBot y ClaudeBot y deja en paz a los otros cuatro. Perplexity no aparece en ese directorio: Cloudflare lo retiró de sus bots verificados el 4 de agosto de 2025, tras denunciar rastreo no declarado. Los artículos de septiembre no dicen cómo tratan los tres controles a sus rastreadores, y no vamos a suponerlo.
Paso 4. Leer el robots.txt que se sirve de verdad
Bot Preference Sync antepone su propio bloque al contenido que ya existe, así que el archivo que reciben los rastreadores puede ser más largo que el que subiste. Compruébalo desde fuera:
curl -s https://www.example.es/robots.txt
Busca la sección entre # BEGIN Cloudflare Bot Preference Sync y # END Cloudflare Bot Preference Sync. Todo lo que hay dentro lo ha escrito el CDN, a partir de tu configuración y de una lista de bots que Cloudflare actualiza por su cuenta. Apunta qué user agents aparecen con Disallow: /. Si no están esas dos marcas, la sincronización está apagada o la web no pasa por Cloudflare.
Paso 5. La prueba con los asistentes reales
Un user agent falsificado desde tu portátil no demuestra nada: Cloudflare verifica los bots con algo más que el nombre que declaran.
- Elige tres URL: la portada, una ficha de producto y una página con anuncios si la hay.
- Pega cada URL en ChatGPT y en Claude y pide un resumen de dos líneas.
- En tus logs o en los eventos de seguridad de Cloudflare, filtra ChatGPT-User y Claude-User en esos mismos minutos: 200 significa servido, 403 rechazado.
- Repite con Perplexity y mira qué llega.
Si el asistente contesta con vaguedades sobre que no puede abrir la página y en el log hay un 403 a esa hora, ya tienes el ajuste culpable. Para leer esas líneas tienes nuestra guía sobre cómo se ve un rastreador de IA en tus logs. Después apunta los tres valores de cada zona, la fecha y el motivo. Dos recordatorios para la agenda: Microsoft prevé respetar la preferencia «no training» del robots.txt a partir de principios de 2027, y la lista de bots de Cloudflare cambia aunque nadie toque el panel.
Esta comprobación dice si los asistentes pueden leer tus páginas, no si te mencionan. El acceso es una condición, nunca una garantía. Las respuestas, idioma por idioma y mercado por mercado, las mide PSentry dos veces al mes en ChatGPT, Claude, Gemini y Perplexity. Para la otra mitad del tema, robots.txt y llms.txt, está Rastreadores de IA y llms.txt.
