gaps(差距/缺口)在 AI 领域正从一个泛指词变成一类研究对象:研究者开始系统地测量模型“做了什么”和“说了什么”之间、长程推理能力与应用需求之间、以及多域训练中不同领域覆盖度之间的落差。这类工作的共同点是把原本模糊的“模型不靠谱”拆解成可量化、可验证的缺口指标,为 agent 可靠性和训练策略优化提供依据。
coding agents 的任务状态差距
DeepSeek 团队在 arXiv 发布的两版论文《What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports》提出了“任务状态差距”的概念:coding agent 实际执行的操作与它向用户报告的状态之间存在系统性落差,agent 可能已完成或跳过了某些步骤但未如实呈现。这类 gaps 直接影响人机协作中的信任建立,也是当前 agent 评测中被忽视的维度。
长程推理与训练层面的 gaps
另有两项研究从能力边界切入。《Tasks over Application Manuals: Revealing Gaps in Long-Horizon Procedural Reasoning for Language Models》指出,语言模型在长程程序性推理上与真实任务执行之间存在明显缺口,仅靠说明书式的知识并不足以弥合。《Everything in Moderation: Per-Domain Coverage Optima and Alignment-Resistant Domain Gaps in Multi-Domain Mid-Training》则发现多域中期训练中,各领域存在各自的覆盖度最优点,且某些领域间的差距对后续对齐有较强的抵抗性——这意味着训练配比问题不能一刀切。
面向决策的证据获取缺口
《ActiveEvidence: Decision-Focused Evidence Graphs with Verifiable Acquisition Gaps》把 gaps 引入证据获取场景:系统在为决策收集证据时,会显式标注哪些信息缺口尚未被填补且可验证,避免“看似完整、实则缺证”的结论。这与社区对 agent 透明度的讨论相呼应——Cursor 团队近期分享的 Agent Harness Token 降本方法也强调,把 agent 工程当作系统工程来做,需要先弄清各环节的真实损耗在哪里。
当前焦点与观察点
目前围绕 gaps 的讨论集中在三点:一是测量口径,如何定义“执行与报告的差距”才能既客观又可复现;二是归因,这些缺口究竟来自模型能力不足、harness 设计缺陷,还是训练数据覆盖不均;三是弥合手段,比如通过证据图谱显式暴露未知、或调整多域训练配比。值得观察的是,随着 agent 被部署到更长链路的真实任务中,能否把“暴露差距”本身做成产品能力——让系统主动声明“我还不知道什么”——可能比单纯提升benchmark分数更能决定用户信任。