03:54
官方账号Decoder@Matthias Bastian
精选
推荐理由：Cloudflare 不再一刀切拦所有AI爬虫，而是让站长自己选哪些可以抓。广告页面还会自动屏蔽训练和Agent爬虫，挺实用的。
网站管理
共 1 条相关 AI 资讯
7月7日
03:54
Cloudflare 为所有用户提供细粒度 AI 爬虫控制，网站所有者可分别管理搜索、训练和代理爬虫，而非统一阻止。从 2026 年 9 月 15 日起，训练和代理爬虫将在广告支持的页面上默认被阻止。这项更新旨在平衡网站内容保护与搜索引擎及 AI 的需求。广告页面将自动屏蔽训练和 Agent 爬虫，但搜索爬虫仍可正常运行。