AITOP

隐藏状态

共 2 条相关 AI 资讯
7月28日
12:10
12:10官方账号arXiv cs.AI@Bianca Raimondi, Davide Evangelista, Maurizio Gabbrielli, Elena Loli Piccolomini
论文提出D-Score，一种基于隐藏激活矩阵奇异值分布的谱统计量，通过单次前向传播计算。在FAVA-Annotation和RAGTruth两个基准上评估，以特定层和容忍参数下奇异值接近最大值的数量作为幻觉分数。实验表明D-Score是强隐藏状态信号，无需外部验证器、检索步骤或多轮生成即可检测幻觉。该方法灵感源于模型处理与内部知识冲突的文本时，隐藏表示会沿额外奇异方向扩散。
论文D-ScoreFAVA-AnnotationRAGTruth
推荐理由：这篇论文给出一个简单检测幻觉的方法，只靠模型内部的隐藏状态算一个分数，不用外部工具，在FAVA和RAG上验证有效。
原文
6月15日
11:11