LoRA（低秩适配）作为参数高效微调的核心方法，近期在理论与应用层面均有关键突破。其核心理念——通过低秩矩阵近似模型权重更新——正被扩展到更复杂场景。
- 近期主要进展包括：
- 理论深化：arXiv 研究《Recoverable but Not Stationary》揭示了 LoRA 微调后权重与激活中的局部线性结构，为理解模型微调行为提供了新视角 (Recoverable but Not Stationary)。
- 应用扩展：LoRA 被用于金融 NER 任务，结合 NEFTune 微调 DeepSeek-R1-8B 达到 0.912 F1 分数，展示了其在下游任务中的有效性 (LoRA+NEFTune 微调 DeepSeek-R1-8B)。同时，Code2LoRA 通过超网络生成仓库级代码适配器，实现零推理开销 (Code2LoRA)。
- 工程效能：Trajectory 发布并发多 LoRA 训练栈，使持续学习实验吞吐量提升 2.81 倍，缓解了多任务场景下的性能瓶颈 (Trajectory 发布并发多 LoRA 训练栈)。此外，NVIDIA 与 Hugging Face 合作推出 Nemotron 3.5 ASR 微调方案，支持 LoRA 适配特定语言或口音 (微调 Nemotron 3.5 ASR)。
- 融合创新：ProtoAda 通过原型引导的适配器整合，实现了多模态持续指令微调中的性能维持 (ProtoAda)。
当前焦点集中在 LoRA 的可解释性与泛化能力上，尤其是线性结构的存在如何影响迁移与灾难性遗忘。未来观察点包括：LoRA 在语音与多模态领域的融合潜力，以及高吞吐训练堆栈对大规模部署的推动。此外，自改进智能体 SIA 的出现提示 LoRA 有望成为持续学习框架的关键组件。