Cloudflare acaba de dar a los dueños de sitios web el control sobre qué bots de IA pueden rastrear su contenido
El 1 de julio de 2026, Cloudflare publicó en su blog un anuncio que la empresa llamó "Content Independence Day 2026." Sin fanfarria de keynote. Sin evento de lanzamiento. Solo una entrada de blog con implicaciones que afectan a cualquier persona que tenga un sitio web, construya agentes de IA que navegan la web, o esté en el negocio de entrenar modelos de lenguaje.
El titular del anuncio es simple: Cloudflare reemplazó su toggle binario de "Bloquear bots de IA" con tres controles independientes — uno para Search crawlers, uno para Agent bots, y uno para Training crawlers. Disponible para todos los clientes, incluyendo el plan gratuito.
La fecha que importa es la que viene después: el 15 de septiembre de 2026, todos los nuevos dominios en Cloudflare tendrán como configuración por defecto bloquear tanto los Agent bots como los Training crawlers en páginas que muestren publicidad. Sin acción requerida del dueño del sitio. Sin configuración adicional. Por defecto.
Y los crawlers de uso mixto — los que combinan búsqueda, uso agéntico y entrenamiento en un solo bot, como históricamente ha funcionado Googlebot — serán bloqueados en todas las páginas con publicidad si el sitio bloquea Training crawlers. Incluso cuando Search crawlers estén permitidos.
Esto no es un cambio técnico menor. Es el primer movimiento a escala de infraestructura para redefinir quién tiene acceso a qué contenido en la web abierta, y en qué condiciones.
Por qué Cloudflare está en posición de hacer esto
Para entender la magnitud del cambio, hay que entender la posición de Cloudflare en la infraestructura de internet.
Cloudflare protege aproximadamente el 20% del tráfico web global. Más de 20 millones de sitios web pasan su tráfico a través de la red de Cloudflare. Eso incluye desde blogs personales en el plan gratuito hasta publishers mediáticos masivos, plataformas SaaS, servicios financieros y gobierno. Cuando Cloudflare cambia sus defaults, ese cambio afecta instantáneamente a una fracción enorme de la web — sin que el propietario del sitio tenga que hacer nada.
El CEO de Cloudflare, Matthew Prince, lo señaló en el anuncio con una estadística que captura la asimetría actual del ecosistema: el motor de búsqueda más grande del mundo tiene acceso a aproximadamente el doble de información que las principales empresas de IA — porque mezclan la indexación para búsqueda con el entrenamiento de modelos en un solo crawler, dejando a los dueños de contenido sin forma práctica de distinguir entre los dos usos.
El nuevo sistema de tres categorías es la respuesta de Cloudflare a esa asimetría. No elimina el acceso de los bots de IA al contenido de la web. Crea las condiciones para que ese acceso sea negociado, transparente y diferenciado por propósito — en lugar de un todo-o-nada que obliga a los dueños de contenido a elegir entre visibilidad y protección.
Las tres categorías: qué son y qué hacen diferente
La taxonomía que Cloudflare definió en el anuncio del 1 de julio no es arbitraria. Está diseñada para mapear los tres propósitos fundamentalmente diferentes que tiene la automatización en la web de IA:
Search — cualquier comportamiento que recolecta o indexa tu contenido para responder preguntas sobre él más tarde. La clave es que Search está construyendo proactivamente una base de datos de tu sitio para responder queries en el futuro. Los dueños de sitios deberían recibir tráfico de referencia u otra compensación equitativa como resultado.
Agent — comportamiento automatizado que actúa, usualmente en tiempo real, en nombre de una persona para completar una tarea ahora mismo. Esto incluye chat fetch bots como ChatGPT-User y browser-use agents como Gemini o Claude conduciendo Chrome. La clave es que visita tu aplicación web para completar un trabajo, y frecuentemente hay un humano esperando del otro lado.
Training — un crawler que toma tu contenido para entrenar o fine-tunear un modelo. La clave es que tus datos son absorbidos permanentemente en la arquitectura subyacente de la IA para mejorar sus capacidades.
La distinción anterior a este anuncio era binaria: bot de IA o no-bot de IA. El problema con esa distinción es que no refleja la realidad del ecosistema. Un usuario legítimo de ChatGPT que pide a su agente que visite tu sitio para completar una tarea en tiempo real tiene un propósito completamente diferente al de un scraper que recolecta tu contenido para incorporarlo a un dataset de entrenamiento. El toggle binario no podía distinguir entre los dos.
Los tres nuevos controles pueden hacerlo. Y son independientes: puedes permitir Search, bloquear Training, y decidir por separado qué hacer con Agent — dependiendo de qué tipo de acceso quieres ofrecer a cada caso de uso.
Los nuevos defaults del 15 de septiembre: lo que cambia para quién
El anuncio distingue entre cuatro grupos de usuarios, con comportamientos diferentes para cada uno:
Nuevos clientes de Cloudflare desde el 15 de septiembre: Training y Agent bots bloqueados por default en páginas con publicidad. Search bots permitidos por default. Sin acción requerida.
Nuevos sitios de clientes existentes desde el 15 de septiembre: El mismo default. Cuando registras un nuevo dominio en tu cuenta de Cloudflare existente, recibirá automáticamente la nueva configuración.
Clientes existentes en plan gratuito que no hayan cambiado sus settings antes del 15 de septiembre: La nueva configuración se aplicará automáticamente. Si ya tienes un sitio en Cloudflare gratuito y no entras a cambiar nada, desde el 15 de septiembre tus páginas con publicidad bloquearán Agent y Training bots por default.
Clientes de pago existentes que ya modificaron sus settings: No se verán afectados automáticamente. Sus configuraciones actuales se preservan.
El detalle crítico sobre los crawlers mixtos: si tu sitio bloquea Training crawlers, bots multipropósito como Googlebot, Applebot y BingBot serán bloqueados, incluso cuando Search crawlers estén permitidos. Cloudflare está presionando explícitamente a las grandes empresas de tecnología a separar sus crawlers por propósito — indexación para búsqueda en un crawler, recolección para entrenamiento en otro. Si no lo hacen, sus crawlers caerán bajo la política más restrictiva.
Matthew Prince lo formuló directamente en el comunicado oficial: "Esperamos que nuestros cambios de default propuestos alienten a los crawlers de uso mixto a separar la búsqueda del uso agéntico y el entrenamiento."
BotBase y Attribution Business Insights: las herramientas que vienen con el cambio
El cambio de defaults no llegó solo. Cloudflare anunció dos herramientas adicionales que cambian fundamentalmente la información disponible para los dueños de sitios.
BotBase es un directorio searchable de todos los bots conocidos que Cloudflare rastrea, disponible directamente en el dashboard. Para cada bot, muestra su clasificación por comportamiento — Search, Agent, Training, y otras categorías como Transact, Data Collection, SEO y Ads Verification — para que los dueños de sitios entiendan exactamente por qué un crawler determinado los está visitando. Se puede filtrar el tráfico propio hasta un bot individual para investigar su actividad específica, y copiar el detection ID del bot para usarlo en reglas de seguridad.
La implicación práctica de BotBase es significativa para equipos de seguridad y compliance: por primera vez, hay una referencia centralizada y verificada que clasifica cada bot conocido por tipo y comportamiento. Si tu agente crawler está registrado y correctamente clasificado, los dueños de sitios pueden permitirlo específicamente. Si no está registrado, cae bajo la política más restrictiva por default.
Attribution Business Insights es el dashboard diseñado para dueños de contenido y tomadores de decisiones de negocio que quieren saber qué bots ayudan o dañan su negocio, sin necesidad de leer sintaxis de reglas. El dashboard reporta ratios de crawl-to-referral tanto a nivel de sitio como por operador de bot — comparando con qué frecuencia una empresa crawlea tu contenido versus cuántos visitantes realmente te envía de vuelta — sobre las últimas 24 horas, 7 días, o 30 días.
Ese ratio es la métrica que ningún dueño de contenido había podido medir con facilidad hasta ahora. Si GPTBot crawlea tu sitio 10,000 veces al mes pero te envía 50 visitantes de referencia, ese ratio está visible. Si un bot de IA menos conocido crawlea tu sitio 500 veces pero te envía 5,000 visitantes, ese dato también está ahí.
Pay Per Use: el modelo de negocio que viene después del bloqueo
El cambio de defaults y las nuevas herramientas de control tienen un contexto comercial que el anuncio describe explícitamente: Cloudflare está construyendo la infraestructura para que los dueños de contenido sean compensados cuando su contenido crea valor para las empresas de IA.
El primer paso fue Pay Per Crawl, lanzado el año anterior: un marketplace que permite a los sitios web cobrar a los bots de IA por hacer scraping de su contenido.
El siguiente paso, anunciado el 1 de julio, es Pay Per Use: en lugar de basar los pagos en si una página web fue crawleada, Cloudflare dice que los dueños de sitios serán pagados cuando su contenido aparezca en respuestas de chatbots de IA. Las primeras partnerships confirmadas son con Ceramic.AI y You.com.
La lógica es directa: si tu artículo aparece en la respuesta que ChatGPT o Perplexity le da a un usuario, ese es el momento en que tu contenido generó valor — no cuando fue crawleado semanas antes. Pay Per Use intenta monetizar ese momento en lugar del crawl previo.
El mercado para contenido monetizado ya muestra señales de madurez: más de 50 acuerdos importantes de licenciamiento de contenido entre publishers y plataformas de IA en el último año. Cloudflare está construyendo la infraestructura de pago que puede escalar ese modelo más allá de las empresas grandes que pueden negociar directamente.
Lo que esto significa si construyes agentes que navegan la web
Para developers que construyen agentes de IA que necesitan navegar sitios web para completar tareas — research agents, monitoring systems, competitive intelligence tools, cualquier agente que use browser-use o herramientas de web scraping — el cambio del 15 de septiembre tiene consecuencias operacionales que vale la pena anticipar ahora.
Los sitios web van a bloquear Agent-class bots por default en páginas con publicidad a partir del 15 de septiembre. Eso no es una posibilidad — es el nuevo default para todos los nuevos dominios y para todos los clientes gratuitos existentes que no cambien sus settings.
En términos prácticos, los builders de agentes deberían esperar:
Mayor frecuencia de respuestas 403 de sitios protegidos por Cloudflare. El patrón que hoy muestra una tasa relativamente baja de bloqueos puede cambiar significativamente después de septiembre, especialmente en sitios de publishers y medios que monetizan con publicidad.
Enforcement más estricto de robots.txt. BotBase da a los dueños de sitios la capacidad de identificar y bloquear crawlers específicos con precisión que antes no tenían. Los agentes que antes pasaban desapercibidos porque usaban user-agents genéricos ahora pueden ser identificados y bloqueados con mayor precisión.
Necesidad de negociar acceso explícito con dueños de contenido. Para casos de uso de alto valor que requieren acceso consistente a sitios específicos, el modelo que emerge es la negociación directa o la integración con el sistema Pay Per Use de Cloudflare — no la asunción de que el acceso de crawl es permisivo.
La recomendación práctica de Stack Archive, que analizó el cambio para equipos de desarrollo: si tu agente crawler está construido sobre una plataforma reconocida, asegúrate de que esté registrado y correctamente clasificado en BotBase. Un bot verificado y clasificado puede ser permitido específicamente por los dueños de sitios. Un bot sin clasificar cae en la categoría más restrictiva por default.
El problema que el anuncio no resuelve: la verificación de identidad del agente
Hay una tensión en el centro del nuevo sistema que el propio Cloudflare reconoce pero no resuelve completamente en este anuncio.
El sistema de clasificación funciona para bots de grandes empresas que tienen presencia verificable y recursos para registrarse en BotBase. Funciona menos bien para agentes construidos por developers independientes, startups pequeñas, o sistemas de automatización internos que no tienen la visibilidad ni el proceso para obtener verificación formal.
Cloudflare está desarrollando un modelo de confianza transitiva para agentes de IA que operan a través de plataformas de terceros. La propuesta usa el header HTTP Forwarded estándar para identificar al solicitante original detrás de un intermediario — incluyendo el uso declarado del contenido por parte del operador. Eso permitiría a los dueños de sitios aplicar políticas de confianza y acceso basadas en el operador original del bot en lugar del intermediario que maneja la solicitud.
La implementación completa de ese modelo de confianza transitiva está planeada para más adelante en 2026. Por ahora, el sistema funciona sobre verificación de identidad de bot — y verificación confirma identidad, no acceso. El acceso depende de la clasificación del bot y las políticas del dueño del sitio.
La narrativa más grande: el fin del web scraping sin fricción como fuente de datos
El anuncio de Cloudflare es parte de un movimiento más amplio que ha estado acelerándose en 2026: la web abierta, que durante décadas fue tratada como datos de entrenamiento de libre acceso para cualquier empresa de IA, está siendo gradualmente cercada por un sistema de derechos y compensación.
El movimiento tiene múltiples frentes simultáneos. Los juicios por derechos de autor contra OpenAI, Anthropic y Meta por parte de publishers, autores y artistas han producido settlements y acuerdos de licenciamiento que establecen precedentes sobre qué contenido puede usarse para entrenamiento y en qué condiciones. Los acuerdos directos entre plataformas de IA y grandes publishers — más de 50 en el último año según Cloudflare — han establecido el modelo de licenciamiento como alternativa al scraping. Y ahora Cloudflare está construyendo la infraestructura técnica que hace posible ese sistema a escala, más allá de las empresas grandes que pueden negociar directamente.
La frase que el anuncio usó como framing — "Content Independence Day" — no es casual. Cloudflare está posicionando este cambio como el momento en que los dueños de contenido recuperan agencia sobre quién accede a qué y en qué condiciones.
La dirección de ese movimiento tiene implicaciones para el modelo de negocio de los agentes de IA que dependen de acceso irrestricto a contenido web. No es que el acceso desaparezca — es que el acceso gratuito y sin fricción está siendo reemplazado por acceso negociado, monetizado, y clasificado por propósito.
Lo que tienes que hacer antes del 15 de septiembre
Si tienes un sitio web en Cloudflare plan gratuito:
Entra a tu dashboard antes del 15 de septiembre y revisa tu configuración actual de bots. Si quieres cambiar el comportamiento que tendrás desde esa fecha — ya sea para ser más permisivo o más restrictivo de lo que será el nuevo default — tienes hasta el 14 de septiembre para configurarlo.
Si tienes un blog o sitio de contenido que monetizas con publicidad, el nuevo default probablemente protege tus intereses: bloquea Training y Agent bots en páginas con ads mientras permite Search. Si tienes un sitio que quieres que sea completamente accesible para agentes de IA porque tu negocio depende de esa visibilidad, necesitas configurar explícitamente que Agent bots estén permitidos antes de que el default cambie.
Si tienes un sitio web en Cloudflare plan de pago:
Tu configuración actual se preserva. Pero vale la pena revisar si la nueva taxonomía de tres categorías te da más control del que tenías con el toggle binario anterior — especialmente si tienes necesidades mixtas (permitir search, bloquear training, gestionar agents caso por caso).
Si construyes agentes que navegan la web:
El cambio más urgente es asegurarte de que tu bot esté correctamente identificado y registrado. Un agente que opera bajo un user-agent genérico y no tiene clasificación en BotBase caerá en la categoría más restrictiva por default a partir del 15 de septiembre. Si tu caso de uso es legítimo y puedes articular qué tipo de uso estás haciendo del contenido, el sistema está diseñado para que puedas ser clasificado correctamente y accesible para los sitios que quieran permitirte.
"Tu sitio, tus reglas" — y lo que eso significa realmente
El slogan que Cloudflare usó para el anuncio — "Your site, your rules" — es más que marketing. Describe un cambio en la arquitectura de poder de la web que llevaba años gestándose.
Durante los primeros años de la IA generativa, el modelo por defecto fue que el contenido de la web era datos de entrenamiento de libre acceso. Las empresas de IA construyeron sus modelos sobre ese contenido. Los publishers y creadores que generaron ese contenido no fueron consultados ni compensados.
Ese modelo está siendo cuestionado simultáneamente desde múltiples frentes: legal, regulatorio, y ahora técnico. Cloudflare, que controla el acceso a una fracción significativa de la web, acaba de cambiar el default de "acceso permisivo a todo" a "acceso diferenciado por propósito, con monetización de las páginas que tienen publicidad."
No es el fin del acceso de los bots de IA a la web. Es el inicio de un sistema donde ese acceso tiene reglas, clasificaciones, y potencialmente un precio.
Para developers en ambos lados de ese sistema — los que construyen agentes y los que construyen sitios que esos agentes visitan — entender las reglas antes del 15 de septiembre es la diferencia entre un sistema que funciona y uno que empieza a fallar silenciosamente después de esa fecha.
¿Tienes sitios en Cloudflare que necesites revisar antes del 15 de septiembre? ¿O construyes agentes que navegan la web y necesitas anticipar el impacto? Cuéntalo en los comentarios. Y si quieres una guía paso a paso para configurar los tres controles de bots de IA en Cloudflare según el tipo de sitio que tienes, déjalo abajo.
Comentarios