ProductsOfficial

OpenAI 宣布将统一遵循 robots.txt 中的 AI 训练偏好信号

Making it easier for websites to express AI training preferences

Why we picked it

OpenAI 说会认一套共享的 robots.txt 信号,站长声明一次就能对所有参与方生效,不用挨个配爬虫规则了。

OpenAI 宣布将遵循一套共享的 robots.txt 信号,网站运营者可以通过它向参与的服务商表达是否允许 AI 训练抓取内容。这套方案让网站只需声明一次偏好,无需针对 OpenAI、Google 等不同爬虫分别设置规则。声明通过已有的 robots.txt 标准实现,网站管理员无需改造基础设施。OpenAI 表示会尊重该信号中表达的训练偏好。

Original · OpenAI Blog

Making it easier for websites to express AI training preferences

OpenAI will honor a shared robots.txt signal to help website operators communicate their AI training preferences to participating providers.