Absorption(吸收)在 AI 领域主要指两类技术现象:一是多头潜在注意力(MLA)推理中的权重吸收优化,二是稀疏自编码器(SAE)可解释性研究中的特征吸收问题。前者关系到大规模模型推理的显存与通信效率,后者影响对模型内部机制的理解精度,两者近期都出现了值得关注的进展。
Absorption 的近期进展
当前焦点与观察点
围绕 Absorption 的讨论目前集中在两个方向。在系统层面,MLA 的权重吸收虽是推理加速的关键手段,但论文指出其在序列并行训练中会带来显存回退,这也解释了 Megatron-Core 禁止 Absorption 的原因,LAGA 等新方案能否在通信效率与显存占用间取得平衡,是工程团队关注的重点。
在可解释性层面,特征吸收会导致稀疏自编码器难以准确分离模型内部的独立概念,影响机制可解释性研究的结论可靠性。C²R 通过跨样本一致性正则化来缓解特征分裂与吸收,代表了这一方向的新思路。
总体来看,Absorption 相关研究正在从单纯的推理优化技巧,扩展为涉及训练效率、并行策略与可解释性的系统性课题。随着 MLA 架构在开源大模型中的普及,以及 SAE 分析方法的广泛应用,如何在不同场景下正确处理吸收效应,预计仍会是未来一段时间的活跃讨论点。