01:51techcrunch@Sarah PerezCloudflare要求AI公司在9月15日前将用于搜索的爬虫与用于AI训练和代理的爬虫分离,否则将被许多出版商网站默认屏蔽。该政策旨在帮助出版商识别并限制AI公司未经授权抓取内容用于模型训练。Cloudflare将提供工具让网站所有者设置规则,区分不同用途的爬虫访问权限。此举直接影响OpenAI、Google、Anthropic等依赖网络爬虫的AI公司。行业CloudflareAI训练爬虫出版商内容付费10 个信源在谈推荐理由:Cloudflare给AI公司下了最后通牒,不分开爬虫就封你。这对用网络数据训练模型的公司影响很大,出版商终于能控制内容被怎么用了。原文