精选理由
Cloudflare给AI公司下了最后通牒，不分开爬虫就封你。这对用网络数据训练模型的公司影响很大，出版商终于能控制内容被怎么用了。
Cloudflare要求AI公司在9月15日前将用于搜索的爬虫与用于AI训练和代理的爬虫分离，否则将被许多出版商网站默认屏蔽。该政策旨在帮助出版商识别并限制AI公司未经授权抓取内容用于模型训练。Cloudflare将提供工具让网站所有者设置规则，区分不同用途的爬虫访问权限。此举直接影响OpenAI、Google、Anthropic等依赖网络爬虫的AI公司。
原文 · techcrunch
Cloudflare’s new policy pushes AI companies to pay for publishers’ content
Cloudflare is giving AI companies until September 15 to separate web crawlers used for search from those used for AI training and agents, or risk being blocked by default on many publisher sites.