#爬虫

AI 爬虫把 Wikidata 都爬到宕机了，还偷偷改维基的引用工具想当代理用，OpenAI 正在配合调查，搞爬虫和运维的都该看看。

rohanpaul_ai@rohanpaul_ai11 个信源在谈原文

Cloudflare 推出工具阻止 AI 训练但保留搜索，针对混合用途爬虫，占其网络验证爬虫流量的 36.6%。

Tech in Asia@Minh Le原文

Firecrawl 出了个 Research 功能，现在就能用，API、CLI、MCP 都支持，搞搜索抓取的可以直接上手。

Firecrawl@firecrawl_dev原文

Cloudflare给AI公司下了最后通牒，不分开爬虫就封你。这对用网络数据训练模型的公司影响很大，出版商终于能控制内容被怎么用了。

techcrunch@Sarah Perez11 个信源在谈原文