精选理由
Cloudflare 不再一刀切拦所有AI爬虫，而是让站长自己选哪些可以抓。广告页面还会自动屏蔽训练和Agent爬虫，挺实用的。
Cloudflare 为所有用户提供细粒度 AI 爬虫控制，网站所有者可分别管理搜索、训练和代理爬虫，而非统一阻止。从 2026 年 9 月 15 日起，训练和代理爬虫将在广告支持的页面上默认被阻止。这项更新旨在平衡网站内容保护与搜索引擎及 AI 的需求。广告页面将自动屏蔽训练和 Agent 爬虫，但搜索爬虫仍可正常运行。
AI 翻译 · 中文
Cloudflare 为所有用户提供细粒度 AI 爬虫控制，网站所有者可分别管理搜索、训练和代理爬虫，而非统一阻止。从 2026 年 9 月 15 日起，训练和代理爬虫将在广告支持的页面上默认被阻止。这项更新旨在平衡网站内容保护与搜索引擎及 AI 的需求。广告页面将自动屏蔽训练和 Agent 爬虫，但搜索爬虫仍可正常运行。
Cloudflare is giving all customers granular AI bot controls. Site owners can now manage Search, Training, and Agent bots separately instead of blocking them all at once. Starting September 15, 2026, Training and Agent bo…