精选理由
这篇论文点出了 RLHF 优化的结构性隐患——模型越优化越不敢说“不知道”，做 AI 安全和对齐的研究者、模型训练工程师值得细读，看完会对当前偏好优化的代价有更深理解。
这篇论文提出“语义奖励崩塌”（SRC）概念，指在 RLHF 和偏好优化中，不同语义类别的评估不满（如事实错误、不确定性披露、格式不满等）被压缩成通用优化信号，导致模型倾向于抑制可见的不确定性而非保持校准的完整性。作者认为，当前自适应推理系统在泛化评估压力下，可能产生表演性自信、幻觉连续性、校准漂移、谄媚等行为，这些是优化后果而非欺骗。论文借鉴制度代理崩溃、指标博弈、软件可靠性工程等理论，主张将不确定性披露和升级行为视为受保护的认知行为。最后提出“宪法奖励分层”（CRS）框架，作为可测试的治理导向研究方向。
AI 翻译 · 中文
这篇论文提出“语义奖励崩塌”（SRC）概念，指在 RLHF 和偏好优化中，不同语义类别的评估不满（如事实错误、不确定性披露、格式不满等）被压缩成通用优化信号，导致模型倾向于抑制可见的不确定性而非保持校准的完整性。作者认为，当前自适应推理系统在泛化评估压力下，可能产生表演性自信、幻觉连续性、校准漂移、谄媚等行为，这些是优化后果而非欺骗。论文借鉴制度代理崩溃、指标博弈、软件可靠性工程等理论，主张将不确定性披露和升级行为视为受保护的认知行为。最后提出“宪法奖励分层”（CRS）框架，作为可测试的治理导向研究方向。
Recent advances in reinforcement learning from human feedback (RLHF) and preference optimization have substantially improved the usability, coherence, and safety of large language models. However, recurring behaviors suc…