Google、Microsoft、OpenAI、Anthropic 统一采用 AI 训练数据禁止标签

Google、Microsoft、OpenAI、Anthropic 四家公司达成一致，将共同遵守 robots.txt 中的新指令 ai-training，用于声明网站数据不可用于 AI 训练。该标签基于 Internet Engineering Task Force (IETF) 的草案规范。此前各家爬虫使用不同标签，网站主需分别设置。落地时间上，OpenAI 将在数月内支持，Bing 定于 2027 年 2 月 1 日，Google 计划在 2027 年内实现。