Chinese contentOpenAI 宣布将统一遵循 robots.txt 中的 AI 训练偏好信号
OpenAI 说会认一套共享的 robots.txt 信号，站长声明一次就能对所有参与方生效，不用挨个配爬虫规则了。
#爬虫协议
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "爬虫协议", newest first.
Oct 31
OpenAI 说会认一套共享的 robots.txt 信号，站长声明一次就能对所有参与方生效，不用挨个配爬虫规则了。
