AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

实体熟悉度

共 1 条相关 AI 资讯
7月9日
09:51
09:51官方账号arXiv cs.LG@Grzegorz Brzezinka
研究使用四个波兰语Bielik模型(1.5B至11B参数)测试了504个提示,覆盖运动员、城市、作家、音乐家四个实体域(各42个知名、42个冷门但真实、42个虚构实体)。无监督激活分散性指标(逆参与率和谱熵)在AUROC 0.95-1.00范围内区分已知与虚构实体,线性探针达0.99-1.00。但事实可靠性随规模大幅提升:1.5B模型仅答对0/42知名运动员,11B模型答对19/42。在2520个答案审计中仅出现2次拒绝和1次含糊回应。
论文Bielik实体熟悉度事实可靠性激活分散性模型规模

推荐理由:这篇论文发现Bielik模型内部激活能提前判断它是否熟悉某个实体,但模型几乎不会拒绝回答,事实准确性随规模增长明显。对理解大模型胡说八道的原因很有启发。
原文
精选全部日报登录