Decomposition

general · First seen 2026-05-22 · Last seen 2026-10-20 · 65 mentions

Overview

Decomposition(分解)指把复杂问题、模型参数或模型错误输出拆解为更小单元来分析与优化的一类方法思路,目前在 AI 研究中横跨错误归因、可解释性与计算优化等多个方向。近期 arXiv 论文与社区讨论显示,这一思路正从传统的任务拆解,扩展到权重可读化与结构化输出诊断等新场景。

Decomposition 近期进展

  • 输出错误分解:2026年8月提交的 arXiv 2608.25358 提出 Where vs What 框架,把大模型生成结构化输出时的失败拆成“结构错在哪”与“内容错在哪”两类分别归因,使修复可以有的放矢。Where vs What: Decomposing Structural and Content Failures in LLM-Generated Structured Outputs
  • 参数分解让权重可读:VPD(adVersarial Parameter Decomposition)尝试用对抗式分解把神经网络权重投影到更可解释的方向,被 AlphaSignal 解读为“让权重变得可读”的代表工作。VPD 论文让神经网络权重变得可读:adVersarial Parameter Decomposition
  • 注意力计算拆分:2026年10月挂出的 arXiv 2610.11134(QUILT)聚焦稀疏注意力的预填充阶段,将长上下文计算按模式拆分处理以降低开销,来源标注与 DeepSeek 相关。QUILT优化稀疏注意力预填充
  • 当前焦点与观察点

    围绕分解方法的讨论目前集中在两点:一是粒度问题——拆得越细归因越准,但结构/内容二分能否覆盖所有失败模式、评估口径是否统一仍缺共识;二是落地验证——VPD 一类参数分解能否在生产环境中稳定解释权重行为,还需更多复现。值得留意的是,输出侧的错误分解与参数侧的权重分解开始进入同一讨论场,而 QUILT 代表的计算拆分路线更直接服务于推理成本;三者的共同前提是,先把系统拆开,才谈得上针对性优化。

    Coverage

    10 on file
    Decomposition · AI 话题观测|AI热报