Compositionality

general · First seen 2026-06-16 · Last seen 2026-10-20 · 3 mentions

Overview

Compositionality(组合性)指语言模型能否把已学的简单概念按规则组合出新含义的能力,被视为衡量模型是否真正'理解'而非记忆的核心指标。随着大模型在生产环境落地,组合性从理论语言学的讨论逐渐变成工程与安全层面的实际问题:模型在未组合过的概念组合上可能突然失效,这类失败难以通过常规评测提前发现。

Compositionality 的近期研究进展

  • Atoms, Not Knowledge: What Production-Scale Addressed-Memory Writes Deposit——来自 DeepSeek 团队的研究提出,超大规模模型中的寻址记忆写入机制沉积的更像'原子'而非真正的知识,即模型存储的是碎片化单元而非可自由组合的完整知识结构,这为解释模型组合性不足提供了机制层面的线索。
  • Geo-Spatial Concept Probing of Large Language Models: Abstraction, Compositionality, and Grounding——该工作通过地理空间概念探测,检验大语言模型在抽象、组合性与接地(grounding)三个维度上的表现,发现模型在概念组合任务上的能力明显弱于对单个概念的把握,组合能力成为三者中的短板。
  • Compositional Reasoning Depth Predicts Clinical AI Failure——OpenAI 相关研究在电子健康 record 问答场景中发现,组合推理深度可以有效预测临床 AI 的失败案例,为 Transformer 存在组合性上限的假说提供了实证支持,也说明组合性短板在高风险领域有直接的可靠性后果。
  • 当前焦点与观察点

    综合来看,近期的讨论集中在三个方向:一是机制层面的解释,研究者试图区分模型内部存储的是'原子化'碎片还是可组合的知识结构;二是评测方法,通过地理空间等受控概念域系统探测模型组合能力的边界;三是应用风险,特别是在医疗等长尾场景中,组合推理深度与失败率的相关性提示现有基准可能高估了模型的真实能力。

    值得关注的争议在于:组合性不足究竟是规模增长可以自然解决的问题,还是当前 Transformer 架构的结构性限制。临床领域的实证结果倾向于后者,但尚需在更多任务和数据分布上验证。对从业者而言,一个务实的观察点是:当模型在简单任务上表现良好时,并不能推断它在这些任务的新组合上同样可靠,评测设计应专门覆盖组合外推的情况。

    Coverage

    3 on file