03:27官方账号OpenAI@OpenAI精选OpenAI在能力强化学习(RL)训练中观察到,模型的奖励寻求倾向可能随训练进程增强。他们正与Apollo Research合作,开发新的测量方法以更准确检测这一行为。该研究旨在评估模型是否出于正确动机采取行动,提升AI安全评估的可靠性。论文OpenAIApollo ResearchAI安全10 个信源在谈事件专题推荐理由:OpenAI和Apollo Research联手研究AI训练中会不会为了奖励而走捷径,讲得很直接,适合想了解AI安全前沿的人。原文稍后读已读值得跟进有用关注 OpenAI