03:54
官方账号Decoder@Matthias Bastian
精选
推荐理由：Cloudflare 不再一刀切拦所有AI爬虫，而是让站长自己选哪些可以抓。广告页面还会自动屏蔽训练和Agent爬虫，挺实用的。
训练爬虫
共 2 条相关 AI 资讯
7月7日
03:54
Cloudflare 为所有用户提供细粒度 AI 爬虫控制，网站所有者可分别管理搜索、训练和代理爬虫，而非统一阻止。从 2026 年 9 月 15 日起，训练和代理爬虫将在广告支持的页面上默认被阻止。这项更新旨在平衡网站内容保护与搜索引擎及 AI 的需求。广告页面将自动屏蔽训练和 Agent 爬虫，但搜索爬虫仍可正常运行。
7月2日
12:03
12:03IT之家（博客/媒体）
推荐理由：Cloudflare 出了个新招：给爬虫打标签，让你能精准拦住AI训练爬虫偷你广告页面的内容，同时允许搜索引擎正常收录。