论文19:12
语义奖励崩塌：AI 系统优化导致的不确定性抑制问题这篇论文点出了 RLHF 优化的结构性隐患——模型越优化越不敢说“不知道”，做 AI 安全和对齐的研究者、模型训练工程师值得细读，看完会对当前偏好优化的代价有更深理解。
#AI安全/对齐
共 2 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「AI安全/对齐」标签的资讯、产品与论文，按刊登时间排，新的在上。
5月13日
5月11日
这篇论文点出了 RLHF 优化的结构性隐患——模型越优化越不敢说“不知道”，做 AI 安全和对齐的研究者、模型训练工程师值得细读，看完会对当前偏好优化的代价有更深理解。