Mechanisms(机制)在 AI 领域通常指对模型内部行为的研究——即大模型为什么会产生某种输出、决策或失败模式,涵盖可解释性、安全对齐、持续学习等多个研究方向。它不是某个具体产品,而是当前大模型研究中的一个核心视角:与其只看模型性能指标,不如拆解其背后的工作原理和脆弱环节。
AI 机制研究的近期进展
围绕模型内部机制,近期多项研究各有侧重:
当前焦点与观察点
从这些工作看,机制研究大致沿三条线展开:一是可解释性,试图定位并理解模型内部的激活模式与失效原因;二是安全与对齐,关注拒绝行为、有害内容过滤等机制在不同场景下的阈值差异,以及组织层面的发现流程;三是记忆与遗忘,即在持续学习框架下让模型可控地记住或删除信息。
争议点主要在于机制的可靠边界。例如视觉大规模激活虽然可解释性强,但被证明存在脆弱性;安全拒绝阈值随任务形式变化,也说明当前机制并非在所有分布下稳定。值得关注的观察点包括:机制层面的发现能否反哺模型训练(如推理成本优化,SoL-Ppi 据称可节省约一半 token),以及企业大规模部署中这些机制在真实负载下的表现是否会偏离实验室结论。