12:03IT之家（博客/媒体）
推荐理由：Cloudflare 出了个新招：给爬虫打标签，让你能精准拦住AI训练爬虫偷你广告页面的内容，同时允许搜索引擎正常收录。
爬虫管理
共 1 条相关 AI 资讯
7月2日
12:03
Cloudflare 宣布细化爬虫管理，为爬虫机器人赋予搜索、代理、训练等标签。计划于 2026 年 9 月 15 日起默认禁止 AI 代理与训练爬虫访问含广告的网页。混合型多任务爬虫只要有一种行为被网站所有者禁止，就无法在特定网站上爬取。Cloudflare 还提供新版归因业务洞察仪表板，适应从 SEO 到 GEO 再到 AEO 的变迁，并推出页面变动监控与按使用计价的抓取付费模式。