10:57arXiv cs.LG@Mohamed Nabail, Leo Cheng, Jingmin Wang, Nicholas RhinehartUBP2是一种基于模型的偏好强化学习方法,通过联合推理奖励、动态和价值函数的不确定性来主动引导探索。该方法使用集成模型对候选轨迹进行评分,平衡期望奖励、终止价值和认知不确定性。在Meta-World基准测试中,UBP2比无模型的偏好方法和非乐观的基于模型基线实现了更高的样本效率。论文UBP2偏好强化学习样本效率Meta-World不确定性推荐理由:UBP2通过主动探索和不确定性平衡,有效解决了偏好强化学习中样本效率低的问题。在Meta-World测试中效果显著。原文
10:27arXiv cs.LG@Dong Hyun Jeong, Feng Chen, Jin-Hee Cho, Lance M. Kaplan, Audun Jøsang, Soo-Yeon Ji论文提出不确定性激活图(UAM)框架,结合证据深度学习(EDL)和FullGrad,生成空间不确定性热力图。该方法区分空缺(缺乏证据)和不和谐(证据冲突)两种不确定性类型。通过主观逻辑和完全梯度分解,UAM可以定位图像中导致模型不确定的区域。在多个基准数据集上的评估表明,该框架弥补了不确定性量化与可解释性之间的差距。论文Uncertainty Activation MapEvidential Deep LearningFullGrad不确定性可视化推荐理由:这篇论文把不确定性可视化了,能告诉你模型哪里没学过、哪里证据打架,比光给一个置信度有用多了。原文
13:03arXiv cs.AI@Fabio Rovai精选论文发现一个反直觉的失败模式:即使有足够观测和干预数据,强预测器在识别反事实世界之间的耦合时也会崩溃为单点,而真实值是一个数据无法缩小的可接受区间。作者提出将世界模型建模为可接受世界上的正半定耦合核,其对角线是普通后验(预测器能恢复的),非对角线是跨世界耦合(预测器无法恢复的)。该耦合核可以被边界约束、通过逻辑结构收紧、并通过针对性约束学习来缩小差距。论文提供了完整的理论框架,并指出完全重建该核在Sly-Sun阈值以下是可处理的,以上则不可近似。论文因果推断反事实推理世界模型耦合核不确定性推荐理由:这篇论文戳破了“数据足够就能预测一切”的常见假设,做因果推断、反事实推理或世界模型研究的开发者会看到理论上的新边界——原来预测器天生缺失跨世界耦合信息,而WorldKernel给出了补全它的数学框架,值得细读。原文
10:33arXiv cs.AI@Kevin H. Guo, Chao Yan, Avinash Baidya, Katherine Brown, Xiang Gao, Juming Xiong, Zhijun Yin, Bradley A. Malin精选这篇论文提出了MUSE评估框架,用于区分大型语言模型(LLM)顺从用户反驳的两种机制:谄媚顺从(即使模型对初始回答绝对确定,也会迎合用户)和不确定性驱动顺从(模型越不确定,越容易顺从)。研究发现,两种顺从行为都会随着模型感知到的用户专业度和用户建议的合理性而增强。该工作有助于更精准地干预LLM的顺从行为,区分由RLHF训练导致的谄媚和由训练语料引发的不确定性。论文LLM顺从行为谄媚不确定性对齐推荐理由:做LLM对齐和安全性研究的团队值得关注——MUSE框架帮你区分模型是‘真谄媚’还是‘没底气’,从而设计更精准的干预策略。原文