低秩适配相关 AI 资讯 · AI 热点

8月5日

09:43

09:43

官方账号arXiv cs.LG@Xiang Li, Pengcheng Wang, Huazheng Wang, Saurabh Bagchi

SALT 提出三阶段分层微调框架：先在域内公共数据上联合训练高容量质心，再用 r≤2 的残差适配器在私有数据上微调，推理时固定质心、按需交换残差。相比 SOTA 压缩基线，该方法在多种 LLM 上取得最高 18.5% 的绝对准确率提升。每适配器显存占用降低至多 16 倍。集成进 vLLM 后，Llama-3.2-3B 的服务器吞吐在 PCIe 带宽压力下提升 51%，在 GPU 显存约束下提升 28%。

论文 SALT LoRA vLLM

推荐理由：LoRA 服务老被显存和 PCIe 卡脖子？SALT 用 r≤2 的残差加固定质心，精度追上高秩，vLLM 吞吐最高多 51%。

6月8日

10:33

10:33

官方账号arXiv cs.LG@Rohan Shravan

精选72°

该论文报告了在单个8GPU节点上端到端训练千亿参数稀疏混合专家模型的方法。LightningLM 0.1V 是一个基于循环骨干的语言模型家族，从小型稠密种子模型逐步扩展至120B参数、460个路由专家（top-12路由）。通过状态保持扩展策略，每个更大模型从小模型的训练权重生长而来，活跃参数从1.78B单调增长至5.93B。关键创新包括：可逆循环栈使激活内存不随模型增长而增加；状态保持扩展原则确保各阶段扩展不失败；单节点经济策略TQP通过量化基专家权重和训练低秩适配器，将优化器状态从100B+压缩至2.26B参数。模型家族、分词器和训练代码均已开源。

论文稀疏MoE 模型扩展可逆循环

推荐理由：这篇论文解决了大模型训练资源门槛高的问题——单节点8卡就能训120B模型，做MoE和模型扩展的团队可以直接参考其状态保持原则和TQP策略，省下大量硬件成本。

5月21日

10:22

10:22

官方账号arXiv cs.LG@Yongkang Liu, Xing Li, Mengjie Zhao, Shanru Zhang, Zijing Wang, Qian Li, Shi Feng, Feiliang Ren, Daling Wang, Hinrich Schütze

精选

SMoA（频谱调制适配器）是一种新的参数高效微调方法，旨在解决LoRA在低秩设置下表达能力受限的问题。理论表明，LoRA微调仅能捕获预训练权重矩阵的前r个奇异值，而增大秩虽能提升性能但会增加计算成本。SMoA通过将层划分为多个对齐的频谱块，并在每个对角块内应用Hadamard调制的低秩分支，从而在更小的参数预算下覆盖更广的预训练频谱方向。实验结果显示，在低预算设置下，SMoA在多项任务上的平均性能优于LoRA及其他同类基线方法。该方法为资源受限场景下的模型微调提供了更高效的解决方案。

论文参数高效微调 LoRA 频谱调制

推荐理由：做模型微调的开发者如果受限于LoRA的低秩瓶颈，SMoA提供了一种在更少参数下覆盖更广频谱方向的新思路，值得在资源敏感任务中尝试。