Compositionality(组合性)指语言模型能否把已学的简单概念按规则组合出新含义的能力,被视为衡量模型是否真正'理解'而非记忆的核心指标。随着大模型在生产环境落地,组合性从理论语言学的讨论逐渐变成工程与安全层面的实际问题:模型在未组合过的概念组合上可能突然失效,这类失败难以通过常规评测提前发现。
Compositionality 的近期研究进展
当前焦点与观察点
综合来看,近期的讨论集中在三个方向:一是机制层面的解释,研究者试图区分模型内部存储的是'原子化'碎片还是可组合的知识结构;二是评测方法,通过地理空间等受控概念域系统探测模型组合能力的边界;三是应用风险,特别是在医疗等长尾场景中,组合推理深度与失败率的相关性提示现有基准可能高估了模型的真实能力。
值得关注的争议在于:组合性不足究竟是规模增长可以自然解决的问题,还是当前 Transformer 架构的结构性限制。临床领域的实证结果倾向于后者,但尚需在更多任务和数据分布上验证。对从业者而言,一个务实的观察点是:当模型在简单任务上表现良好时,并不能推断它在这些任务的新组合上同样可靠,评测设计应专门覆盖组合外推的情况。