Cloudflare 推出细粒度 AI 爬虫控制，分搜索/训练/代理三类管理
Cloudflare 不再一刀切拦所有AI爬虫，而是让站长自己选哪些可以抓。广告页面还会自动屏蔽训练和Agent爬虫，挺实用的。
#训练爬虫
共 2 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「训练爬虫」标签的资讯、产品与论文，按刊登时间排，新的在上。
7月7日
7月2日
产品12:03
Cloudflare 细化网络爬虫屏蔽管理，将默认禁止 AI 代理与训练爬虫访问广告页面Cloudflare 出了个新招：给爬虫打标签，让你能精准拦住AI训练爬虫偷你广告页面的内容，同时允许搜索引擎正常收录。
IT之家原文