精选理由
Cloudflare 出了个新招：给爬虫打标签，让你能精准拦住AI训练爬虫偷你广告页面的内容，同时允许搜索引擎正常收录。
Cloudflare 宣布细化爬虫管理，为爬虫机器人赋予搜索、代理、训练等标签。计划于 2026 年 9 月 15 日起默认禁止 AI 代理与训练爬虫访问含广告的网页。混合型多任务爬虫只要有一种行为被网站所有者禁止，就无法在特定网站上爬取。Cloudflare 还提供新版归因业务洞察仪表板，适应从 SEO 到 GEO 再到 AEO 的变迁，并推出页面变动监控与按使用计价的抓取付费模式。
原文 · IT之家
IT之家 7 月 2 日消息，互联网基础服务企业 Cloudflare 当地时间 1 日宣布细化网络爬虫屏蔽管理，根据其行为对爬虫机器人赋予搜索、代理、训练等一系列标签，并 计划在 2026 年 9 月 15 日默认禁止 AI 代理与训练爬虫访问含广告的网页 。 Cloudflare 表示，大多数网站所有者都希望自己的内容既能够被人工智能发现又不会损失来自知识产权的收益。负责任的 AI 企业会清晰标记其网络爬虫机器人的用途，但仍然存在相当数量的混合型爬虫，同时具备多种功能。 Cloudflare 的爬虫管理器会为混合型爬虫匹配其所有行为模式，这意味着 多任务爬虫只要一种行为被网页所有者禁止就无法在特定网站上爬取 。 Cloudflare 还将为网站所有者提供新版归因业务洞察仪表板，适应搜索优化从 SEO 到 GEO 再到 AEO（IT之家注：答案引擎优化）的变迁。Cloudflare 还将推出页面变动监控以避免无意义的重复抓取，并提供按使用计价的抓取付费模式。