№delta·general
Delta
别名
- 首次出现
- 2026-05-22
- 最近出现
- 2026-07-23
- 累计提及
- 69
§ 01综述
Delta，即增量或变化量，在AI领域常指模型参数更新、输出差异或梯度变化。近期，围绕Delta机制涌现多项进展：大型开源模型的增量升级、流式输出的增量传输、线性注意力中的增量记忆以及评估指标的非单调性现象。
Delta 近期进展
Kimi K3 增量发布：Moonshot AI 发布 Kimi K3，拥有 2.8 万亿参数、百万上下文窗口和原生多模态能力。该模型在 Text Arena 排名第 9，超越前代 Kimi K2.6，体现了参数规模和性能的显著增量提升。
Kimi K3发布：2.8万亿参数开源模型，百万上下文多模态
OpenRouter 支持增量 diff 流式输出：OpenRouter 宣布支持 OpenAI 的增量 diff 流式输出，其他模型返回完整补丁。该机制通过传输差异（delta）而非完整数据，优化了实时交互的带宽效率。
OpenRouter 支持 OpenAI 增量 diff 流式输出，其他模型返回完整补丁
HOLA：为线性注意力引入海马体互补存储：论文提出 HOLA 方法，为线性注意力模型增加类似海马体的互补存储模块，以提升长程召回能力。该方法通过增量存储关键信息，在不增加计算量下改进记忆性能。
HOLA：为线性注意力引入海马体互补存储，提升长程召回
通过沉默获胜：LLM评估中的删除非单调性：该研究揭示了LLM在计划评估中存在的删除非单调性现象，即添加更多信息可能降低性能，而删除某些信息反而提升。这种非单调性挑战了传统评估的增量假设。
通过沉默获胜：LLM计划评估中的删除非单调性、自主利用与类型状态门控
当前焦点与观察点
Delta 机制正从模型训练扩展到推理和评估阶段。参数规模的增量升级（如Kimi K3）显示大模型仍处快速迭代期；流式 diff 输出优化了交互成本，但标准化尚未统一。线性注意力的增量记忆（HOLA）可能成为长上下文模型的关键技术，但其与softmax注意力的差距仍需缩小。评估中的非单调性现象则提示，单纯的增量指标可能误导模型行为分析。未来，如何在效率与效果间平衡Delta的运用，是研究的核心挑战。