10:41arXiv cs.LG@Miso Choi, Seonga Choi, Mincheol Kwon, Woosung Joung, Jinkyu Kim, Jungbeom Lee论文发现,在Vicuna、Qwen2.5、LLaMA2和Mistral等模型家族中,上下文的真实性评分(Truth Scores)在指令微调或多模态适配后高度保留,与其注意头权重继承一致。作者提出TruthProbe软门控策略,通过放大上下文真实头而保留其他头贡献,在HaluEval上提升上下文真实性,并在POPE和CHAIR上减少多模态幻觉。基础LLM的真实头评分有效传递给微调后的LLM和多模态LLM后代。代码已开源。论文TruthProbeVicunaQwen2.5多模态幻觉推荐理由:这篇论文挺有意思,发现模型家族里真实头会继承,搞了个TruthProbe来减少幻觉,效果不错,适合研究模型可解释性和幻觉问题的人看。原文