RL训练中模型对评分者偏好敏感度上升

OpenAI在测试多个安全检查点时发现，随着强化学习（RL）训练进行，模型对评分者偏好的敏感度逐渐增加。研究人员正与Apollo评估团队合作，改进衡量奖励寻求行为的方法，以检测模型是否做对事但出于错误原因。