7月1日
10:41
10:41官方账号arXiv cs.AI@Gabrielle Kaili-May Liu, Avi Caciularu, Gal Yona, Idan Szpektor, Arman Cohan
大型语言模型在表达不确定性时存在高置信度幻觉、无法识别知识边界等问题。论文提出强化学习与元认知反馈(RLMF)范式,利用模型自我判断质量来优化偏好排序。在忠实校准任务上,RLMF比标准强化学习提升最多63%。方法还包含元认知数据选择,优于朴素主动学习。实验表明RLMF在多种任务上达到最先进性能。
推荐理由:这篇论文提出了RLMF方法,让LLM学会说“我不知道”,比普通RL方法效果提升63%,解决了模型过度自信的问题。
5月26日
06:36
06:36rohanpaul_ai@rohanpaul_ai
72°
Google 新论文指出,大语言模型的幻觉问题根源不在于回答错误,而在于错误时仍显得过于自信。论文提出应将目标从追求完美事实性转向让模型诚实表达自身不确定性,即“忠实的不确定性”。作者认为,模型缺乏的不是知识,而是对自身认知的元认知能力。对于智能体而言,不确定性感知能决定何时搜索、何时信任来源、何时停止,比工具本身更重要。

推荐理由:这篇论文点破了 LLM 幻觉的核心矛盾——不是知识不够,而是不知道什么时候该说“不确定”。做 AI 产品、智能体或对话系统的团队,看完会对“诚实比正确更重要”有更深理解,建议直接读原文。