AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：RLHF/偏好优化×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月13日
19:12
19:12arXiv cs.AI@William Parris
这篇论文提出“语义奖励崩塌”（SRC）概念，指在 RLHF 和偏好优化中，不同语义类别的评估不满（如事实错误、不确定性披露、格式不满等）被压缩成通用优化信号，导致模型倾向于抑制可见的不确定性而非保持校准的完整性。作者认为，当前自适应推理系统在泛化评估压力下，可能产生表演性自信、幻觉连续性、校准漂移、谄媚等行为，这些是优化后果而非欺骗。论文借鉴制度代理崩溃、指标博弈、软件可靠性工程等理论，主张将不确定性披露和升级行为视为受保护的认知行为。最后提出“宪法奖励分层”（CRS）框架，作为可测试的治理导向研究方向。
论文RLHF/偏好优化AI安全/对齐不确定性校准奖励崩塌宪法奖励分层
推荐理由：这篇论文点出了 RLHF 优化的结构性隐患——模型越优化越不敢说“不知道”，做 AI 安全和对齐的研究者、模型训练工程师值得细读，看完会对当前偏好优化的代价有更深理解。
原文