知识边界相关 AI 资讯 · AI 热点

8月14日

12:02

12:02

官方账号arXiv cs.AI@Dananjay Srinivas, Saksham Khatwani, Maria Pacheco

这篇论文受格莱斯合作原则启发，提出LLM在遇到未知实体时应从具体表述撤退到更安全的泛化表述。作者基于T-REx构建基准，改变实体熟悉度和指称特异性，探测模型内部激活是否编码了知识边界和待生成指称的特异性。结果显示两种信号都存在，但生成时模型仍偏好具体指称，即使提供正确的泛化选项也如此。这表明实现Gricean退避所需的基本表征已具备，但缺少将其转化为生成策略的机制。

论文 T-REx LLM 知识边界

推荐理由：这篇用探针方法拆开了LLM一本正经胡说八道的原因：模型内部其实知道自己不知道，但嘴硬不肯说泛话。

11:33

11:33

官方账号arXiv cs.LG@Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thaddäus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell, Wieland Brendel

研究者推出LITTLECURRICULUM，一个包含880亿token的预训练语料库，内容限定为美国小学五年级以下的知识范围。他们用该语料从头训练出5B参数的LittleLearner模型，模型语言能力足以进行开放式评测，但知识边界清晰对应课程大纲。实验表明，通过后训练和上下文学习注入新知识，LittleLearner能更好利用已有知识，但无法提升超出课程范围的能力。该研究为可控条件下研究模型知识获取提供了沙盒环境。

论文 LittleLearner LITTLECURRICULUM 预训练

推荐理由：想搞懂模型知识边界怎么控制？这篇论文用小学课程语料训练了个5B模型，还公开了数据和模型，适合研究预训练数据影响的人看。

7月7日

11:38

11:38

官方账号arXiv cs.AI@Haozhe Wang, Weijia Feng, Jinpeng Yu, Che Liu, Ping Nie, Fangzhen Lin, Jiaming Liu, Ruihua Huang, Jimmy Lin, Wenhu Chen, Cong Wei

本文提出SearchGen-20K数据集和SearchGen-Bench基准，包含20,839条提示，覆盖12类失败模式和22个领域。在SearchGen-Bench上，前沿开放视觉生成模型得分仅21-28分（满分100），比现有基准低40分。作者发现朴素搜索无效，会引入噪声，并识别出生成器特有的知识边界，提出"先教后搜"协同训练框架，即使最小版本也带来单调改进。

论文 SearchGen-20K SearchGen-Bench 视觉生成

推荐理由：想了解视觉生成模型为什么画不出新角色或近期事件？这篇论文用具体数据告诉你差距在哪，还给了个可复现的协作搜索方案。

6月10日

11:31

11:31

官方账号arXiv cs.AI@Haeji Jung, Hila Gonen

精选72°

研究者推出 PhantomBench，这是首个专门评估语言模型对“不存在概念”识别能力的基准，包含超过6万个从真实领域衍生的虚构术语和实体。测试了21个不同规模和类型的模型，发现平均幻觉率高达86.7%，即使是前沿模型在面对预设存在的输入时也几乎无法拒绝回答。该基准可作为研究模型在罕见概念上幻觉行为的代理工具，并提供了可扩展的构建流程。这项工作揭示了模型知识边界认知的严重缺陷，对高风险应用场景构成警示。

论文幻觉基准测试模型评估

推荐理由：做AI安全或模型评估的团队，这个基准直接戳中了当前模型最致命的弱点——它们连“不存在的东西”都分不清，建议用PhantomBench测测自家模型。