Facts(事实性知识)在大语言模型语境下,指模型在预训练或后续训练中习得、存储并可调用的具体事实信息,如实体属性、日期、因果结论等,是衡量模型可靠性的核心维度。近期,围绕事实的获取、存储、遗忘与调用,成为智能体记忆、低精度训练与知识编辑等多个方向共同关注的问题。
Facts 相关的近期进展
当前焦点与观察点
当前关于 Facts 的研究呈现三条主线。一是存储与调用的分离:无论 TTSE 的事实/提示分轨,还是 FACTS-MAS 用多智能体架构对异构证据做自适应预测(见 论文),共同点都是把「哪些信息是事实」从通用上下文中显式拆出来管理。
二是训练效率与事实能力的张力:FP4 等低精度方案能降低成本,但罕见事实的习得速度变慢且不易从损失曲线察觉,这促使社区重新审视以困惑度为核心的评估方式。
三是可编辑性与遗忘的可靠性:知识编辑、机器遗忘和离线巩固记忆(如 SLEEP)都试图在模型部署后继续调整事实储备,但「删掉的事实会回来」「记忆巩固引入新偏差」等问题尚未有公认解法。接下来值得观察的是,事实级别的评估基准能否成为低精度训练和智能体记忆系统的标准验收指标。