Cloudflare新政策要求AI公司为出版商内容付费

Cloudflare要求AI公司在9月15日前将用于搜索的爬虫与用于AI训练和代理的爬虫分离，否则将被许多出版商网站默认屏蔽。该政策旨在帮助出版商识别并限制AI公司未经授权抓取内容用于模型训练。Cloudflare将提供工具让网站所有者设置规则，区分不同用途的爬虫访问权限。此举直接影响OpenAI、Google、Anthropic等依赖网络爬虫的AI公司。